Omniverse Replicator er et simuleringsrammeverk som produserer fysisk nøyaktige syntetiske data for å akselerere trening av dype nevrale nettverk for AI-applikasjoner. NVIDIA har laget Omniverse-replikatorer for DRIVE Sim – for opplæring av AI-persepsjonsnettverk for autonome kjøretøy – og for Isaac Sim, for trening av roboter.
Nvidia
Mens bedrifter forbereder seg på å bringe mer av sin virksomhet og drift til den virtuelle verden, bygger Nvidia ut Omniverse, sin plattform for å utvide arbeidsflyten til den virtuelle sfæren. De siste oppdateringene til plattformen, introdusert under GTC 2021, inkluderer Omniverse Avatar, et verktøy for å lage kroppsliggjorte AI-er, samt Omniverse Replicator, en syntetisk datagenereringsmotor.
Nvidia rullet ut Omniverse i åpen beta i desember i fjor — nesten et år før Facebook forpliktet seg til konseptet “metaverse” ved å gi nytt navn til Meta. Omniverse gir 3D-designere en delt virtuell verden hvorfra de kan samarbeide på tvers av forskjellige programvareapplikasjoner og fra forskjellige geografiske steder.
Siden lanseringen i desember har Omniverse blitt lastet ned av mer enn 70 000 individuelle skapere. Den brukes også av fagfolk i over 700 selskaper, inkludert BMW Group, CannonDesign, Epigraph, Ericsson, arkitektfirmaene HKS og KPF, Lockheed Martin og Sony Pictures Animation.
“Virtuelle verdener er avgjørende for den neste æraen. av innovasjon,” sa Richard Kerris, VP for Omniverse for Nvidia, til journalister forrige uke.
Nvidias versjon av den virtuelle verdenen har i stor grad fokusert på å bygge “digitale tvillinger” – en nøyaktig, digital kopi av fysiske enheter. Her er hvordan Rev Lebaredian, Nvidias VP for simuleringsteknologi og Omniverse engineering, forklarte konseptet med en digital tvilling:
“For meg er digitale tvillinger i hovedsak en måte å ta ting i den virkelige verden og representere dem i den virtuelle verden, slik at vi kan gi oss noen superkrefter. Når du har en nøyaktig representasjon… og du kan simulere hvordan den verden oppfører seg, du kan gjøre noen ganske fantastiske ting. Du kan teleportere — hvis du har en representasjon av fabrikken din, eller en modell av jorden, eller en by der biler kjører rundt, kan du hoppe til et hvilket som helst punkt i den verden og føle det og oppfatte det som om du var der. Med simulering har vi også potensialet for tidsreiser — vi kan registrere hva som har skjedd tidligere og spole tilbake for å spille av det som skjedde på fabrikken din, i en situasjon på veiene. . Du har potensialet til å spole fremover også. Ikke bare kan du gå inn i fremtiden, men du kan gå inn i alternative fremtider ved å endre parametere inne i denne verden. Det lar oss planlegge mye lysere fremtider, optimalisere virksomhetene våre, skape en bedre jord og en fremtid for oss selv.”
Omniverse Replicator er et verktøy som til syvende og sist skal hjelpe organisasjoner med å bygge bedre digitale tvillinger – og dermed bedre AI-drevne verktøy i den virkelige verden. Nvidia introduserer to forskjellige applikasjoner bygget med Replicator, som demonstrerer noen av brukstilfellene: Den første applikasjonen er Nvidia Drive Sim, en virtuell verden for å være vert for den digitale tvillingen av kjøretøy. Deretter er Nvidia Isaac Sim en virtuell verden for den digitale tvillingen av manipulasjonsroboter.
Data er en nødvendig forutsetning for å bygge AI-modeller, men “du har aldri nok data, og aldri av høy nok kvalitet og mangfold til å gjøre systemet ditt så intelligent som du vil,” forklarte Lebaredian. “Men hvis du kan syntetisere dataene dine, har du faktisk en ubegrenset mengde… av en kvalitet som er umulig å trekke ut fra den virkelige verden.”
Autonome kjøretøy og roboter bygget ved hjelp av disse dataene generert av Replicator kan mestre ferdigheter på tvers av en rekke virtuelle miljøer før du bruker dem i den fysiske verden.
Mens de to første brukssakene er innen robotikk og bil, “er dette generelle problemet med å lage data for AI et som alle har,” sa Lebaredian. Omniverse Replicator vil være tilgjengelig neste år for utviklere for å bygge domenespesifikke datagenereringsmotorer.
For ytterligere å demonstrere verdien av digitale tvillinger, viste Nvidia frem to kundehistorier. For det første bruker Ericsson Omniverse til å bygge digitale tvillinger for 5G-nettverk. Telekomutstyrsprodusenten bygger digitale tvillinger i byskala for å hjelpe nøyaktig å simulere samspillet mellom 5G-celler og miljøet. Dette bør bidra til å optimalisere 5G-ytelsen og dekningen.
Lockheed Martin og NVIDIA samarbeider om å bygge et AI og digitalt dobbeltaktivert laboratorium for å bekjempe skogbranner. Bildet viser en simulering av skogbranner i en Omniverse digital tvillingverden.
Nvidia
Deretter jobber Nvidia med Lockheed Martin, samt US Department of Agriculture Forest Service og Colorado Division of Fire Prevention & Kontroll, for å kjøre simuleringer av skogbranner med Omniverse. Teamet vil bruke variabler som vindretning, topografi og annen informasjon som er tilgjengelig for å lage en digital tvilling av en skogbrann og forutsi hvordan den vil utspille seg.
Mens det å bygge digitale tvillinger har en klar bedriftsverdi, tar Nvidia Omniverse utover replikasjoner av den virkelige verden med den nye Omniverse Avatar-plattformen. Avatar er en komplett ende-til-ende-plattform for å lage legemliggjorte AI-er som mennesker samhandler med. Den kobler sammen Nvidias teknologier innen tale-AI, datasyn, naturlig språkforståelse, anbefalingsmotorer og simuleringsteknologier. Avatarer laget på plattformen er interaktive karakterer med strålesporet 3D-grafikk. De kan se og snakke om et bredt spekter av emner og forstå naturlig talte hensikter.
En stilisert avatar av NVIDIA-grunnlegger og administrerende direktør Jensen Huang, en del av Omniverse Avatar's Project Tokkio, en referanseapplikasjon for interaktive AI-avatarer for kundeservice.
Nvidia
Selv om det er mye berettiget skepsis til bruken av avatarer – gitt at innsats som Second Life ikke klarte å fange opp – hevdet Nvidias Lebaredian at “i dag er det mange eksempler på mennesker som bruker avatarer på daglig basis.” Han pekte på videospill som Fortnite og Roblox.
“Du kan gå til Twitch og se spillere strømme spill der de har en virtuell avatar i en spillmotor som representerer seg selv,” sa han. “Dette er veldig naturlig for denne generasjonen som har vokst opp med videospill og virtuelle verdener som akkurat som luft.”
Så langt har Nvidia lansert noen få initiativer rettet mot Avatar for spesifikke brukstilfeller: Project Tokkio utnytter Avatar til å bygge kundestøtteagenter, Nvidia Drive Concierge er fokusert på intelligente tjenester i kjøretøy, og Project Maxine vil hjelpe kunder med å bygge avatarer — som kan eller ser kanskje ikke ut som deres virkelige jeg — for videokonferanser. Selskapet sa at det har sett stor interesse for Project Tokkio fra detaljhandelen.
De mange Nvidia-teknologiene bak Avatar inkluderer Riva, et nytt, stort programvareutviklingssett for å håndtere avansert tale-AI. Den gjenkjenner tale på tvers av flere språk og kan generere menneskelignende taleresponser ved å bruke tekst-til-tale-funksjoner. Avatar-plattformens naturlige språkforståelse er basert på Megatron 530B store språkmodell som kan gjenkjenne, forstå og generere menneskelig språk.
Nvidia har også innlemmet Metropolis for datasyn og persepsjonsevner – slik at avatarer kan se og forstå menneskene de samhandler med – og Nvidia Merlin-rammeverket for anbefalinger. Avatar-animasjon er drevet av Nvidia Video2Face og Audio2Face, 2D og 3D ansiktsanimasjon og gjengivelsesteknologier. Avatar-applikasjoner behandles i sanntid ved hjelp av Nvidia Unified Compute Framework. Kunder kan bruke Fleet Command for å distribuere avatarer i felten.
Utover Replicator og Avatar kunngjorde Nvidia en rekke andre oppdateringer til Omniverse, inkludert nye AR-, VR- og multi-GPU-gjengivelsesfunksjoner. Det er også nye integrasjoner for infrastruktur og industrielle digitale tvillingapplikasjoner med programvare fra Bentley Systems og Esri.
Prosessorer