Omniverse Replicator är ett simuleringsramverk som producerar fysiskt exakt syntetisk data för att påskynda träning av djupa neurala nätverk för AI-applikationer. NVIDIA har skapat Omniverse Replicators för DRIVE Sim – för träning av AI-perceptionsnätverk för autonoma fordon – och för Isaac Sim, för träning av robotar.
Nvidia
När företag förbereder sig för att ta ut mer av sin verksamhet och sin verksamhet till den virtuella världen, bygger Nvidia ut Omniverse, sin plattform för att utöka arbetsflöden till den virtuella sfären. De senaste uppdateringarna av plattformen, som introducerades under GTC 2021, inkluderar Omniverse Avatar, ett verktyg för att skapa förkroppsligade AI:er, samt Omniverse Replicator, en motor för syntetisk datagenerering.
Nvidia rullade ut Omniverse i öppen beta i december förra året – nästan ett år innan Facebook engagerade sig i konceptet med en “metavers” genom att döpa om sig själv till Meta. Omniverse ger 3D-designers en delad virtuell värld från vilken de kan samarbeta mellan olika mjukvaruapplikationer och från olika geografiska platser.
Sedan lanseringen i december har Omniverse laddats ner av mer än 70 000 individuella kreatörer. Den används också av proffs på över 700 företag, inklusive BMW Group, CannonDesign, Epigraph, Ericsson, arkitektbyråerna HKS och KPF, Lockheed Martin och Sony Pictures Animation.
“Virtuella världar är avgörande för nästa era av innovation”, sa Richard Kerris, VP för Omniverse för Nvidia, till reportrar förra veckan.
Nvidias version av den virtuella världen har till stor del fokuserat på att bygga “digitala tvillingar” – en korrekt, digital kopia av fysiska enheter. Så här förklarade Rev Lebaredian, Nvidias VP för simuleringsteknik och Omniverse-teknik, konceptet med en digital tvilling:
“För mig är digitala tvillingar i grunden ett sätt att ta saker i den verkliga världen och representera dem i den virtuella världen så att vi kan ge oss själva några superkrafter. När du väl har en korrekt representation… och du kan simulera hur den världen beter sig, du kan göra några ganska fantastiska saker. Du kan teleportera — om du har en representation av din fabrik, eller en modell av jorden, eller en stad där bilar kör runt, kan du hoppa till vilken punkt som helst i den världen och känna det och uppfatta det som om du var där. Med simulering har vi också potentialen för tidsresor — vi kan spela in vad som har hänt tidigare och spola tillbaka för att spela upp vad som hände i din fabrik, i en situation på vägarna. . Du har potentialen att snabbspola framåt också. Du kan inte bara gå in i framtiden, utan du kan gå in i alternativa framtider genom att ändra parametrar i den här världen. Det gör att vi kan planera mycket ljusare framtider, optimera våra verksamheter, skapa en bättre jord och en framtid för oss själva.”
Omniverse Replicator är ett verktyg som i slutändan ska hjälpa organisationer att bygga bättre digitala tvillingar – och därmed bättre AI-drivna verktyg i den verkliga världen. Nvidia introducerar två olika applikationer byggda med Replicator, som visar några av dess användningsfall: Den första applikationen är Nvidia Drive Sim, en virtuell värld för den digitala tvillingen av fordon. Därefter är Nvidia Isaac Sim en virtuell värld för den digitala tvillingen av manipulationsrobotar.
Data är en nödvändig förutsättning för att bygga AI-modeller, men “du har aldrig tillräckligt med data, och aldrig av tillräckligt hög kvalitet och mångfald för att göra ditt system så intelligent som du vill,” förklarade Lebaredian. “Men om du kan syntetisera din data har du faktiskt en obegränsad mängd… av en kvalitet som är omöjlig att extrahera från den verkliga världen.”
Autonoma fordon och robotar som byggs med hjälp av denna data som genereras av Replicator kan behärska färdigheter i en rad virtuella miljöer innan du använder dem i den fysiska världen.
Medan de två första användningsfallen är inom robotik och fordon, “det här generella problemet med att skapa data för AI är ett som alla har”, sa Lebaredian. Omniverse Replicator kommer att vara tillgänglig nästa år för utvecklare för att bygga domänspecifika datagenereringsmotorer.
För att ytterligare demonstrera värdet av digitala tvillingar visade Nvidia upp två kundberättelser. För det första använder Ericsson Omniverse för att bygga digitala tvillingar för 5G-nätverk. Telekomutrustningstillverkaren bygger digitala tvillingar i stadsskala för att hjälpa till att exakt simulera samspelet mellan 5G-celler och miljön. Detta bör hjälpa till att optimera 5G-prestanda och täckning.
Lockheed Martin och NVIDIA samarbetar för att bygga ett AI och digitalt dubbelaktiverat labb för att bekämpa skogsbränder. Bilden visar en simulering av skogsbränder i en Omnivers digital tvillingvärld.
Nvidia
Därefter arbetar Nvidia med Lockheed Martin, såväl som US Department of Agriculture Forest Service och Colorado Division of Fire Prevention & Styr, för att köra simuleringar av skogsbränder med Omniverse. Teamet kommer att använda variabler som vindriktning, topografi och all annan information som är tillgänglig för att skapa en digital tvilling av en löpeld och förutsäga hur det kommer att spela ut.
Samtidigt som att bygga digitala tvillingar har ett tydligt företagsvärde, tar Nvidia Omniverse bortom replikeringar av den verkliga världen med den nya Omniverse Avatar-plattformen. Avatar är en komplett end-to-end-plattform för att skapa förkroppsligade AI:er som människor interagerar med. Den kopplar ihop Nvidias teknologier inom tal-AI, datorseende, naturlig språkförståelse, rekommendationsmotorer och simuleringsteknologier. Avatarer skapade i plattformen är interaktiva karaktärer med strålspårad 3D-grafik. De kan se och tala om ett brett spektrum av ämnen och förstå naturligt talade avsikter.
En stiliserad avatar av NVIDIAs grundare och VD Jensen Huang, en del av Omniverse Avatars projekt Tokkio, en referensapplikation för interaktiva AI-avatarer för kundtjänst.
Nvidia
Även om det finns en hel del berättigad skepsis kring användningen av avatarer – med tanke på att insatser som Second Life inte lyckades fånga in – hävdade Nvidias Lebaredian att “idag finns det många exempel på människor som använder avatarer dagligen.” Han pekade på tv-spel som Fortnite och Roblox.
“Du kan gå till Twitch och se spelare streama spel där de har en virtuell avatar i en spelmotor som representerar dem själva”, sa han. “Detta är väldigt naturligt för den här generationen som har vuxit upp med att videospel och virtuella världar är precis som luft.”
Hittills har Nvidia lanserat några initiativ som riktar sig till Avatar för specifika användningsfall: Project Tokkio utnyttjar Avatar för att bygga kundsupportagenter, Nvidia Drive Concierge är fokuserad på intelligenta tjänster i fordon, och Project Maxine kommer att hjälpa kunder att bygga avatarer — vilket kan eller kanske inte ser ut som deras riktiga jag — för videokonferenser. Företaget sa att det har sett ett stort intresse för Project Tokkio från detaljhandeln.
De många Nvidia-teknikerna bakom Avatar inkluderar Riva, ett nytt, stort mjukvaruutvecklingspaket för att hantera avancerad tal-AI. Den känner igen tal på flera språk och kan generera mänskliga talsvar med hjälp av text-till-tal-funktioner. Avatar-plattformens naturliga språkförståelse är baserad på Megatron 530B stora språkmodell som kan känna igen, förstå och generera mänskligt språk.
Nvidia har också införlivat Metropolis för datorseende och perceptionsförmåga — så att avatarer kan se och förstå människorna de interagerar med — och Nvidia Merlin-ramverket för rekommendationer. Avataranimering drivs av Nvidia Video2Face och Audio2Face, 2D och 3D ansiktsanimering och renderingsteknik. Avatarapplikationer bearbetas i realtid med hjälp av Nvidia Unified Compute Framework. Kunder kan använda Fleet Command för att distribuera avatarer i fält.
Utöver Replicator och Avatar tillkännagav Nvidia en rad andra uppdateringar till Omniverse, inklusive nya AR-, VR- och multi-GPU-renderingsfunktioner. Det finns också nya integrationer för infrastruktur och industriella digitala tvillingapplikationer med programvara från Bentley Systems och Esri.
Processorer