Nvidias seneste AI-demo er ret imponerende: et værktøj, der hurtigt forvandler et par dusin 2D-snapshots til en 3D-gengivet scene. I videoen herunder kan du se metoden i aktion, hvor en model klædt som Andy Warhol holder et gammeldags polaroidkamera. (Tænk ikke over Warhol-forbindelsen: det er bare en smule PR-scenedressing.)
Værktøjet hedder Instant NeRF og refererer til “neural radiance fields” – en teknik udviklet af forskere fra UC Berkeley, Google Research og UC San Diego i 2020. Hvis du vil have en detaljeret forklaring af neurale radiance fields, kan du læse en her , men kort fortalt kortlægger metoden farven og lysintensiteten af forskellige 2D-billeder og genererer derefter data for at forbinde disse billeder fra forskellige udsigtspunkter og gengive en færdig 3D-scene. Ud over billeder kræver systemet data om kameraets position.
Forskere har forbedret denne slags 2D-til-3D-modeller i et par år nu, tilføjet flere detaljer til færdige gengivelser og øget gengivelseshastigheden. Nvidia siger, at dens nye Instant NeRF-model er en af de hurtigste endnu udviklede og reducerer gengivelsestiden fra et par minutter til en proces, der afsluttes “næsten øjeblikkeligt.”
Efterhånden som teknikken bliver hurtigere og nemmere at implementere, vil den kunne bruges til alle mulige opgaver, siger Nvidia i et blogindlæg, der beskriver arbejdet.
“Instant NeRF kunne bruges til at skabe avatarer eller scener til virtuelle verdener, til at fange videokonferencedeltagere og deres miljøer i 3D eller til at rekonstruere scener til 3D digitale kort,” skriver Nvidias Isha Salian. “Teknologien kunne bruges til at træne robotter og selvkørende biler til at forstå størrelsen og formen af objekter i den virkelige verden ved at optage 2D-billeder eller videooptagelser af dem. Det kan også bruges i arkitektur og underholdning til hurtigt at generere digitale repræsentationer af virkelige miljøer, som skabere kan ændre og bygge videre på.” (Lyder som om metaverset kalder.)
Desværre delte Nvidia ikke detaljer om sin metode, så vi ved ikke præcist, hvor mange 2D-billeder der kræves, eller hvor lang tid det tager at gengive den færdige 3D-scene (hvilket også vil afhænge af styrken af den computer, der udfører gengivelsen). Alligevel ser det ud til, at teknologien udvikler sig hurtigt og kan begynde at få en virkning i den virkelige verden i de kommende år.