Nvidia heeft de eerste video game demo met behulp van AI-gegenereerde graphics

De recente boom in de kunstmatige intelligentie heeft geproduceerd indrukwekkende resultaten in een enigszins verrassende wereld: de wereld van beeld-en video-generatie. Het laatste voorbeeld komt van chip designer Nvidia, die vandaag gepubliceerd onderzoek laat zien hoe AI-gegenereerde beelden kunnen gecombineerd worden met een traditionele video-game-engine. Het resultaat is een hybride grafisch systeem dat kan worden gebruikt in video games, films, en virtual reality.

“Het is een nieuwe manier voor het renderen van video-inhoud met behulp van diep leren,” Nvidia ‘ s vice-president van de toegepaste diep leren, Bryan Catanzaro, vertelde De Berm. “Het is duidelijk dat Nvidia geeft een veel over het genereren van grafische [en] we denken na over hoe AI gaat om een revolutie op het veld.”

De resultaten van Nvidia ‘ s werken niet fotorealistische en toon het merk visueel te smeren gevonden in veel AI-generated imagery. Noch zijn ze totaal roman. In een research paper, het bedrijf van de ingenieurs uit te leggen hoe ze gebouwd op een aantal bestaande methoden, waaronder een invloedrijke open-source systeem genoemd pix2pix. Hun werken implementeert een soort neuraal netwerk dat bekend staat als een generatieve tegenspraak netwerk, of GAN. Deze worden op grote schaal gebruikt in AI-image-generatie, met inbegrip van voor de oprichting van een AI-portret onlangs verkocht door Christie ‘ s.

“We denken na over hoe AI gaat om een revolutie op het veld.”

Maar Nvidia heeft een aantal innovaties, en een product van dit werk, het zegt, is de eerste video game demo met AI-gegenereerde graphics. Het is een eenvoudige rijsimulator waarin spelers het navigeren op een paar straten van het AI-gegenereerde ruimte, maar kan het niet laten hun auto of anders omgaan met de wereld. De demo wordt aangedreven met behulp van slechts een enkele GPU — een opmerkelijke prestatie voor zo ‘ cutting-edge werken. (Hoewel toegegeven dat de GPU is het bedrijf de bovenkant van de range van $3.000 Titan V “is de meest krachtige PC GPU ooit gemaakt” en een typisch gebruikt voor de geavanceerde simulatie verwerking in plaats van gaming.)

Nvidia ‘ s systeem genereert afbeeldingen met behulp van een aantal stappen. Eerst hebben de onderzoekers verzamelen gegevens opleiding, die in dit geval werd genomen van open-source datasets gebruikt voor autonoom rijden onderzoek. Dit beeldmateriaal is vervolgens gesegmenteerd, wat betekent dat elk frame wordt verdeeld in verschillende categorieën: lucht, auto ‘ s, bomen, wegen, gebouwen, enzovoort. Een generatieve tegenspraak netwerk wordt dan getraind op deze gesegmenteerde gegevens voor het genereren van nieuwe versies van deze objecten.

Vervolgens hebben de technici van de basic topologie van de virtuele omgeving met behulp van een traditionele game-engine. In dit geval was het systeem de Unreal Engine 4, een populaire motor gebruikt voor titels zoals Fortnite, PUBG, Gears of War 4, en vele anderen. Met behulp van deze omgeving als kader, deep learning algoritmes dan het genereren van de graphics voor elke categorie van het item in real-time, plakken ze op de game-engine modellen.

“De structuur van de wereld wordt gemaakt traditioneel”, verklaart Catanzaro, “het enige wat de AI genereert, wordt de graphics.” Hij voegt toe dat de demo zelf is basic, en is samengesteld door een enkele technicus. “Het is een bewijs-van-concept in plaats van een spel dat leuk is om te spelen.”

Dit systeem te maken Nvidia ‘ s ingenieurs hadden om te werken rond een aantal uitdagingen, de grootste van die object permanentie. Het probleem is, als de diepe leren van algoritmen voor het genereren van de afbeeldingen om de wereld op een snelheid van 25 frames per seconde, hoe houden ze objecten hetzelfde uitzien? Catanzaro zegt dat dit probleem betekende de eerste resultaten van het systeem zijn “pijnlijk om naar te kijken” als kleuren en texturen “veranderd elk frame.”

De oplossing werd gevonden in het systeem geven een korte-termijn geheugen, zodat het zou vergelijken met elke nieuwe lijst met wat is geweest. Het probeert te voorspellen zaken als beweging binnen deze beelden, en creëert nieuwe frames die in overeenstemming zijn met wat u op het scherm ziet. Al deze berekening is duur, zodat het spel wordt alleen uitgevoerd bij 25 frames per seconde.

De technologie is zeer veel in de kinderschoenen, benadrukt Catanzaro, en het zal waarschijnlijk decennia tot AI-gegenereerde graphics zien van de consument titels. Hij vergelijkt de situatie aan de ontwikkeling van het ray tracing, de huidige hot techniek in de weergave van afbeeldingen waarbij de afzonderlijke stralen van het licht in real time gegenereerd voor het creëren van realistische reflecties, schaduwen en transparantie in virtuele omgevingen. “De allereerste interactieve ray tracing demo gebeurde een lange tijd geleden, maar als we niet krijgen in games tot een paar weken geleden”, zegt hij.

Het werk heeft wel potentiële toepassingen in andere gebieden van onderzoek, hoewel, zoals robotica en zelf-rijdende auto ‘ s, waar het kan worden gebruikt voor het genereren van krachttraining. En het zou kunnen dat zien in consumentenproducten vroeg zij het in een meer beperkte capaciteit.

Bijvoorbeeld, deze technologie kan worden gebruikt in een hybride grafisch systeem, waar de meerderheid van een game wordt gemaakt met behulp van traditionele methoden, maar AI wordt gebruikt om de beeltenissen van mensen of voorwerpen. Consumenten konden vastleggen van beelden zelf met behulp van smartphones, vervolgens uploaden van deze gegevens naar de cloud waar algoritmen zouden leren om het te kopiëren en invoegen in games. Het zou het gemakkelijker maken van avatars, die er net als spelers bijvoorbeeld.

Deskundigen maken zich zorgen over AI deepfakes gebruikt voor desinformatie

Dit soort technologie brengt een aantal voor de hand liggende vragen, dat wel. In de afgelopen jaren hebben de deskundigen worden in toenemende mate zorgen over het gebruik van AI-gegenereerde deepfakes desinformatie en propaganda. Onderzoekers hebben aangetoond dat het eenvoudig genereren van valse beelden van politici en beroemdheden te zeggen of dingen te doen die ze niet, een machtig wapen in de verkeerde handen. Door het naar voren duwen van de mogelijkheden van deze technologie en de publicatie van het onderzoek, Nvidia is aantoonbaar bijdragen aan dit potentiële probleem..

Het bedrijf, al zegt dit is niet een nieuw probleem. “Kan [technologie] worden gebruikt voor het maken van inhoud die is misleidend? Ja. Een technologie voor de weergave gebruikt kan worden om dat te doen,” zegt Catanzaro. Hij zegt Nvidia werkt samen met partners aan methoden van onderzoek voor het opsporen van AI fakes, maar dat uiteindelijk het probleem van verkeerde informatie is een “trust probleem.” En, net als veel vertrouwen problemen voor, dan zal moeten worden opgelost met een scala van methoden, niet alleen technologische.

Catanzaro zegt tech bedrijven zoals Nvidia kan alleen zoveel verantwoordelijkheid. “Houdt u van het energiebedrijf verantwoordelijk omdat ze gemaakt de elektriciteit die de bevoegdheden van de computer maakt de nep-video?” vraagt hij.

En uiteindelijk, voor Nvidia, duwden de AI-gegenereerde graphics heeft een duidelijk voordeel: het zal helpen meer verkopen van het bedrijf van de hardware. Aangezien de diepe leren boom nam in het begin van de 2010s, Nvidia de prijs van het aandeel is gestegen als het duidelijk werd dat de computer chips waren bij uitstek geschikt voor machine learning onderzoek en ontwikkeling.

Zo zou een AI-revolutie in de computer graphics goed zijn voor de omzet van het bedrijf? Het zou zeker geen kwaad, Catanzaro lacht. “Iets dat verhoogt onze mogelijkheid om het genereren van afbeeldingen die zijn meer realistische en meeslepende ik denk dat is goed voor Nvidia’ s bottom line.”