Omniverse Replicator er en simuleringsramme, der producerer fysisk nøjagtige syntetiske data for at accelerere træning af dybe neurale netværk til AI-applikationer. NVIDIA har skabt Omniverse Replicators til DRIVE Sim – til træning af AI-perceptionsnetværk til autonome køretøjer – og til Isaac Sim til træning af robotter.
Nvidia
Mens virksomheder forbereder sig på at bringe mere af deres forretning og operationer til den virtuelle verden, bygger Nvidia Omniverse ud, sin platform til at udvide arbejdsgange til den virtuelle sfære. De seneste opdateringer til platformen, introduceret under GTC 2021, inkluderer Omniverse Avatar, et værktøj til at skabe indbyggede AI'er, samt Omniverse Replicator, en syntetisk datagenereringsmotor.
Nvidia lancerede Omniverse i åben beta i december sidste år – næsten et år før Facebook forpligtede sig til konceptet om et “metavers” ved at omdøbe sig selv til Meta. Omniverse giver 3D-designere en delt virtuel verden, hvorfra de kan samarbejde på tværs af forskellige softwareapplikationer og fra forskellige geografiske placeringer.
Siden lanceringen i december er Omniverse blevet downloadet af mere end 70.000 individuelle skabere. Det bliver også brugt af fagfolk hos over 700 virksomheder, herunder BMW Group, CannonDesign, Epigraph, Ericsson, arkitektfirmaerne HKS og KPF, Lockheed Martin og Sony Pictures Animation.
“Virtuelle verdener er afgørende for den næste æra af innovation,” sagde Richard Kerris, VP for Omniverse for Nvidia, til journalister i sidste uge.
Nvidias version af den virtuelle verden har i høj grad fokuseret på at bygge “digitale tvillinger” – en nøjagtig, digital kopi af fysiske enheder. Her er, hvordan Rev Lebaredian, Nvidias VP for simuleringsteknologi og Omniverse engineering, forklarede konceptet med en digital tvilling:
“For mig er digitale tvillinger i bund og grund en måde at tage ting i den virkelige verden og repræsentere dem i den virtuelle verden, så vi kan give os selv nogle superkræfter. Når først du har en nøjagtig repræsentation… og du kan simulere, hvordan den verden opfører sig, du kan gøre nogle ret fantastiske ting. Du kan teleportere — hvis du har en repræsentation af din fabrik, eller en model af Jorden eller en by, hvor biler kører rundt, kan du hoppe til ethvert punkt i den verden og mærke det og opfatte det, som om du var der. Med simulering har vi også potentialet til tidsrejse — vi kan optage, hvad der er sket i fortiden og spole tilbage for at afspille, hvad der skete på din fabrik, i en situation på vejene. Du har også potentialet til at spole fremad. Ikke kun kan du gå ind i fremtiden, men du kan gå ind i alternative fremtider ved at ændre parametre inde i denne verden. Det giver os mulighed for at planlægge meget lysere fremtider, optimere vores forretninger, skabe en bedre jord og en fremtid for os selv.”
Omniverse Replicator er et værktøj, der i sidste ende skal hjælpe organisationer med at bygge bedre digitale tvillinger – og dermed bedre AI-drevne værktøjer i den virkelige verden. Nvidia introducerer to forskellige applikationer bygget med Replicator, som demonstrerer nogle af dens anvendelsesmuligheder: Den første applikation er Nvidia Drive Sim, en virtuel verden til vært for den digitale tvilling af køretøjer. Dernæst er Nvidia Isaac Sim en virtuel verden for den digitale tvilling af manipulationsrobotter.
Data er en nødvendig forudsætning for at bygge AI-modeller, men “du har aldrig nok data, og aldrig af høj nok kvalitet og mangfoldighed til at gøre dit system så intelligent, som du ønsker,” forklarede Lebaredian. “Men hvis du kan syntetisere dine data, har du faktisk en ubegrænset mængde… af en kvalitet, der er umulig at udtrække fra den virkelige verden.”
Autonome køretøjer og robotter bygget ved hjælp af disse data genereret af Replicator kan mestre færdigheder på tværs af en række virtuelle miljøer, før du anvender dem i den fysiske verden.
Mens dens første to anvendelsessager er inden for robotteknologi og bilindustrien, “er dette generelle problem med at skabe data til AI et, som alle har,” sagde Lebaredian. Omniverse Replicator vil være tilgængelig næste år for udviklere til at bygge domænespecifikke datagenereringsmotorer.
For yderligere at demonstrere værdien af digitale tvillinger fremviste Nvidia to kundehistorier. For det første bruger Ericsson Omniverse til at bygge digitale tvillinger til 5G-netværk. Telekommunikationsudstyrsproducenten bygger digitale tvillinger i byskala for at hjælpe nøjagtigt med at simulere samspillet mellem 5G-celler og miljøet. Dette skulle hjælpe med at optimere 5G-ydelse og dækning.
Lockheed Martin og NVIDIA samarbejder om at bygge et AI og digitalt dobbeltaktiveret laboratorium til at bekæmpe skovbrande. Billedet viser en simulering af skovbrande i en Omniverse digital tvillingverden.
Nvidia
Dernæst arbejder Nvidia sammen med Lockheed Martin, samt US Department of Agriculture Forest Service og Colorado Division of Fire Prevention & Styr, for at køre simuleringer af skovbrande med Omniverse. Holdet vil bruge variabler som vindretning, topografi og hvilken som helst anden information, der er tilgængelig for at skabe en digital tvilling af en naturbrand og forudsige, hvordan det vil udspille sig.
Mens det at bygge digitale tvillinger har en klar virksomhedsværdi, tager Nvidia Omniverse ud over replikeringer af den virkelige verden med den nye Omniverse Avatar-platform. Avatar er en komplet end-to-end platform til at skabe indbyggede AI'er, som mennesker interagerer med. Den forbinder Nvidias teknologier inden for tale-AI, computersyn, naturlig sprogforståelse, anbefalingsmotorer og simuleringsteknologier. Avatarer oprettet på platformen er interaktive figurer med strålesporet 3D-grafik. De kan se og tale om en bred vifte af emner og forstå naturligt talte hensigter.
En stiliseret avatar af NVIDIAs grundlægger og CEO Jensen Huang, en del af Omniverse Avatar's Project Tokkio, en referenceapplikation til interaktive AI-avatarer til kundeservice.
Nvidia
Mens der er en hel del berettiget skepsis over for brugen af avatarer – i betragtning af at indsatser som Second Life ikke lykkedes – argumenterede Nvidias Lebaredian, at “i dag er der mange eksempler på mennesker, der bruger avatarer på daglig basis.” Han pegede på videospil som Fortnite og Roblox.
“Du kan gå til Twitch og se spillere streame spil, hvor de har en virtuel avatar i en spilmotor, der repræsenterer dem selv,” sagde han. “Dette er meget naturligt for denne generation, der er vokset op med videospil og virtuelle verdener, der er ligesom luft.”
Indtil videre har Nvidia lanceret et par initiativer rettet mod Avatar til specifikke brugssager: Project Tokkio udnytter Avatar til at bygge kundesupportagenter, Nvidia Drive Concierge er fokuseret på intelligente tjenester i køretøjer, og Project Maxine vil hjælpe kunder med at bygge avatarer — som evt. ligner måske ikke deres rigtige jeg — til videokonferencer. Virksomheden sagde, at der er set en betydelig interesse i Project Tokkio fra detailsektoren.
De mange Nvidia-teknologier bag Avatar inkluderer Riva, et nyt, stort softwareudviklingssæt til at håndtere avanceret tale-AI. Den genkender tale på tværs af flere sprog og kan generere menneskelignende talesvar ved hjælp af tekst-til-tale-funktioner. Avatar-platformens naturlige sprogforståelse er baseret på Megatron 530B store sprogmodel, der kan genkende, forstå og generere menneskeligt sprog.
Nvidia har også indarbejdet Metropolis til computersyn og perceptionsevner – så avatarer kan se og forstå de mennesker, de interagerer med – og Nvidia Merlin-rammen for anbefalinger. Avatar-animation er drevet af Nvidia Video2Face og Audio2Face, 2D og 3D ansigtsanimation og gengivelsesteknologier. Avatar-applikationer behandles i realtid ved hjælp af Nvidia Unified Compute Framework. Kunder kan bruge Fleet Command til at implementere avatarer i marken.
Ud over Replicator og Avatar annoncerede Nvidia en række andre opdateringer til Omniverse, herunder nye AR-, VR- og multi-GPU-gengivelsesfunktioner. Der er også nye integrationer til infrastruktur og industrielle digitale tvillingapplikationer med software fra Bentley Systems og Esri.
Processorer