Nvidia har opprettet den første videoen spillet demo ved hjelp av AI-generert grafikk

Den siste boom i kunstig intelligens har produsert imponerende resultater i en noe overraskende verden: en verden av bilde og video generasjon. Det siste eksempelet kommer fra chip designer Nvidia, som i dag publisert forskning som viser hvordan AI-generert grafikk kan være kombinert med en tradisjonell video spillmotor. Resultatet er en hybrid grafikk system som en dag vil kunne bli brukt i tv-spill, filmer og virtuell virkelighet.

“Det er en ny måte å gjengi video-innhold ved hjelp av dyp læring,” Nvidia ‘ s vice president of applied dyp læring, Bryan Catanzaro, fortalte Randen. “Åpenbart Nvidia bryr seg mye om generering av grafikk [og] vi tenker om hvordan AI kommer til å revolusjonere feltet.”

Resultatene av Nvidia ‘ s arbeid er ikke fotorealistiske og vis varemerke visuelle smøre funnet i mye AI-genererte bilder. De er heller ikke helt roman. I en forskning papir, selskapets ingeniører forklare hvordan de er bygget på en rekke av eksisterende metoder, inkludert en innflytelsesrik open-source system kalt pix2pix. Deres verk som benytter en type nevrale nettverk som er kjent som en generativ alternative nettverk, eller GAN. Disse er mye brukt i AI bilde generasjon, blant annet for etableringen av en AI stående nylig solgt av auksjonshuset Christie ‘ s.

“Vi tenker om hvordan AI kommer til å revolusjonere feltet.”

Men Nvidia har innført en rekke innovasjoner, og ett produkt av dette arbeidet, det sier, er den første noensinne video spill demo med AI-generert grafikk. Det er en enkel driving simulator der spillere navigere et par kvartaler av AI-generert plass, men kan ikke forlate bilen sin eller på andre måter samhandler med verden. Demoen er drevet ved hjelp av bare en enkelt GPU — en bemerkelsesverdig prestasjon for en slik banebrytende arbeid. (Men riktignok at GPU er selskapets toppmodell $3,000 Titan V, “den mest kraftfulle PC GPU som noensinne er laget” og en som vanligvis brukes for avansert simulering behandling snarere enn gaming.)

Nvidia systemet genererer grafikk ved hjelp av noen få trinn. Først forskere har til å samle trening data, som i dette tilfellet ble tatt fra open-source-datasett som brukes for selvstendig kjøring forskning. Denne filmen er så segmentert, som betyr at hvert bilde er delt inn i ulike kategorier: sky, biler, trær, veier, bygninger og så videre. En generativ alternative nettverk er så trent på dette segmentert data til å generere nye versjoner av disse objektene.

Neste, ingeniører opprettet den grunnleggende topologi av det virtuelle miljøet ved hjelp av et tradisjonelt spill motor. I dette tilfellet systemet var Unreal Engine 4, en populær motor som brukes for titler som Fortnite, PUBG, Gears of War 4, og mange andre. Ved hjelp av dette miljøet som en ramme, dyp læring algoritmer deretter generere grafikk for hver annen kategori element i real-time, lime dem på spillet motorens modeller.

“Strukturen i verden blir laget på tradisjonelt vis,” forklarer Catanzaro, “det eneste AI genererer er grafikken.” Han legger til at den demo i seg selv er grunnleggende, og var satt sammen av et enkelt ingeniør. “Det er proof-of-concept snarere enn et spill som er gøy å spille.”

For å lage dette systemet Nvidia ‘ s ingeniører måtte jobbe rundt en rekke utfordringer, og den største av dem var objekt permanens. Problemet er, hvis dybdekunnskap algoritmer til å generere grafikk for verden med en hastighet på 25 bilder per sekund, hvordan holder de objekter som ser det samme? Catanzaro sier dette problemet mente de første resultatene av systemet var “vondt å se på” som farger og teksturer “endres hver ramme.”

Løsningen ble å gi systemet en kort sikt minne, slik at det skulle sammenligne hver ny ramme med hva som har gått før. Den prøver å forutsi ting som bevegelse innenfor disse bildene, og skaper nye rammer som er i samsvar med det som er på skjermen. All denne utregningen er dyrt skjønt, og slik at spillet bare går på 25 bilder per sekund.

Teknologien er svært mye i de tidlige stadier, understreker Catanzaro, og det vil trolig bli flere tiår før AI-generert grafikk vises i forbruker-titler. Han sammenligner situasjonen til utvikling av ray tracing, dagens varme teknikk i grafikk rendering der enkelte stråler av lys er generert i sanntid for å skape realistiske refleksjoner, skygger og tetthet i virtuelle miljøer. “Den aller første interaktive ray tracing demo skjedde en lang, lang tid siden, men vi fikk den ikke i spill inntil for noen få uker siden,” sier han.

Arbeidet har potensial programmer i andre områder av forskning, inkludert robotics og selvkjørende biler, der den kan brukes til å generere trening miljøer. Og det kunne dukke opp i forbrukerprodukter som før om enn i en mer begrenset kapasitet.

For eksempel, denne teknologien kan brukes i en hybrid grafikk system, hvor størsteparten av spillet er gjengitt ved hjelp av tradisjonelle metoder, men AI er brukt til å lage etterligninger av mennesker eller gjenstander. Forbrukerne kan ta opptakene selv bruker smarttelefoner, og deretter laste disse dataene til skyen der algoritmer ville lære å kopiere det, og sett det inn i spill. Det ville gjøre det lettere å skape avatarer som ser ut akkurat som spillere, for eksempel.

Eksperter er bekymret for AI deepfakes brukes for desinformasjon

Denne typen teknologi reiser noen åpenbare spørsmål, skjønt. I de siste årene eksperter har blitt stadig mer bekymret for bruken av AI-generert deepfakes for desinformasjon og propaganda. Forskere har vist at det er lett å generere falske opptak av politikere og kjendiser som sier eller gjør ting som de ikke gjorde det, et effektivt våpen i feil hender. Ved å skyve frem mulighetene med denne teknologien, og publiserer sin forskning, Nvidia er uten tvil bidra til dette potensielle problemet..

Selskapet, men sier dette er neppe en ny utgave. “Kan [denne teknologien] brukes for å lage innhold som er villedende? Ja. Enhver teknologi for gjengivelse kan brukes til å gjøre det”, sier Catanzaro. Han sier Nvidia er å arbeide med partnerne for å undersøke metoder for å oppdage AI finter, men som til syvende og sist problemet med feilinformasjon er en “stol på problemet.” Og, som mange tillit problemer før det, er det nødt til å bli løst med en rekke metoder, ikke bare teknologisk.

Catanzaro sier tech selskaper som Nvidia kan bare ta så mye ansvar. “Har du holder inne power-selskapet som er ansvarlig fordi de skapte elektrisitet som driver datamaskin som gjør den falske video?” spør han.

Og til slutt, for Nvidia, presser frem med AI-generert grafikk har en åpenbar fordel: det vil bidra til å selge flere av selskapets maskinvare. Siden den dype læring boom tok av i begynnelsen av 2010s, Nvidia ‘ s aksjekurs har strommet som det ble klart at dens datamaskinen sjetonger var ideelt egnet for maskin-læring, forskning og utvikling.

Så ville en AI revolusjon i computer graphics være bra for selskapets inntekt? Det ville absolutt ikke skade, Catanzaro ler. “Noe som øker vår evne til å generere grafikk som er mer realistisk og overbevisende jeg tror er bra for Nvidia nederste linjen.”