Omniverse Replicator is een simulatieraamwerk dat fysiek nauwkeurige synthetische gegevens produceert om de training van diepe neurale netwerken voor AI-toepassingen te versnellen. NVIDIA heeft Omniverse Replicators gemaakt voor DRIVE Sim – voor het trainen van AI-perceptienetwerken voor autonome voertuigen – en voor Isaac Sim voor het trainen van robots.
Nvidia
Terwijl ondernemingen zich voorbereiden om meer van hun bedrijf en activiteiten naar de virtuele wereld te brengen, bouwt Nvidia Omniverse uit, het platform voor het uitbreiden van workflows naar de virtuele wereld. De nieuwste updates van het platform, geïntroduceerd tijdens GTC 2021, omvatten Omniverse Avatar, een tool voor het maken van belichaamde AI's, evenals Omniverse Replicator, een engine voor het genereren van synthetische gegevens.
Nvidia heeft Omniverse afgelopen december in open bèta uitgerold — bijna een jaar voordat Facebook zich inzette voor het concept van een “metaverse” door zichzelf Meta te noemen. Omniverse geeft 3D-ontwerpers een gedeelde virtuele wereld van waaruit ze kunnen samenwerken in verschillende softwaretoepassingen en vanaf verschillende geografische locaties.
Sinds de lancering in december is Omniverse gedownload door meer dan 70.000 individuele makers. Het wordt ook gebruikt door professionals bij meer dan 700 bedrijven, waaronder BMW Group, CannonDesign, Epigraph, Ericsson, architectenbureaus HKS en KPF, Lockheed Martin en Sony Pictures Animation.
“Virtuele werelden zijn essentieel voor het volgende tijdperk van innovatie”, zei Richard Kerris, VP van Omniverse voor Nvidia, vorige week tegen verslaggevers.
Nvidia's versie van de virtuele wereld was grotendeels gericht op het bouwen van “digitale tweelingen” – een nauwkeurige, digitale replica van fysieke entiteiten. Hier is hoe Rev Lebaredian, Nvidia's VP van simulatietechnologie en Omniverse-engineering, het concept van een digitale tweeling uitlegde:
“Voor mij zijn digitale tweelingen in wezen een manier om dingen in de echte wereld te nemen en ze in de virtuele wereld te vertegenwoordigen, zodat we onszelf wat superkrachten kunnen geven. Als je eenmaal een nauwkeurige weergave hebt… en je kunt simuleren hoe die wereld zich gedraagt, je kunt behoorlijk verbazingwekkende dingen doen. Je kunt teleporteren — als je een afbeelding hebt van je fabriek, of een model van de aarde, of een stad waar auto's rondrijden, kun je naar elk punt in die wereld springen en het voelen en neem het waar alsof u erbij bent. Met simulatie hebben we ook het potentieel van tijdreizen — we kunnen opnemen wat er in het verleden is gebeurd en terugspoelen om af te spelen wat er in uw fabriek is gebeurd, in een situatie op de weg.. U hebt ook het potentieel om snel vooruit te spoelen. U kunt niet alleen de toekomst ingaan, maar u kunt ook alternatieve toekomsten ingaan door de parameters in deze wereld te veranderen. Dat stelt ons in staat om veel betere toekomsten te plannen, onze bedrijven te optimaliseren, te creëren een betere aarde en een toekomst voor onszelf.”
Omniverse Replicator is een tool die organisaties uiteindelijk moet helpen om betere digitale tweelingen te bouwen – en dus betere AI-aangedreven tools in de echte wereld. Nvidia introduceert twee verschillende applicaties gebouwd met Replicator, die enkele van zijn gebruiksscenario's demonstreren: De eerste applicatie is Nvidia Drive Sim, een virtuele wereld voor het hosten van de digitale tweeling van voertuigen. Vervolgens is Nvidia Isaac Sim een virtuele wereld voor de digitale tweeling van manipulatierobots.
Gegevens zijn een noodzakelijke voorwaarde voor het bouwen van AI-modellen, maar “je hebt nooit genoeg gegevens en nooit van voldoende kwaliteit en diversiteit om je systeem zo intelligent te maken als je wilt”, legt Lebaredian uit. “Maar als je je gegevens kunt synthetiseren, heb je in feite een onbeperkte hoeveelheid… van een kwaliteit die onmogelijk uit de echte wereld te halen is.”
Autonome voertuigen en robots die zijn gebouwd met behulp van deze gegevens die door Replicator zijn gegenereerd, kunnen vaardigheden beheersen in een reeks virtuele omgevingen voordat u ze in de fysieke wereld toepast.
Hoewel de eerste twee use-cases in robotica en automotive zijn, “is dit algemene probleem van het creëren van gegevens voor AI er een dat iedereen heeft”, zei Lebaredian. Omniverse Replicator zal volgend jaar beschikbaar zijn voor ontwikkelaars om domeinspecifieke datageneratie-engines te bouwen.
Om de waarde van digitale tweelingen verder aan te tonen, toonde Nvidia twee klantverhalen. Ten eerste gebruikt Ericsson Omniverse om digitale tweelingen voor 5G-netwerken te bouwen. De maker van telecomapparatuur bouwt digitale tweelingen op stadsschaal om het samenspel tussen 5G-cellen en de omgeving nauwkeurig te simuleren. Dit zou moeten helpen de 5G-prestaties en dekking te optimaliseren.
Lockheed Martin en NVIDIA werken samen aan de bouw van een AI- en digitaal dubbel-enabled lab om bosbranden te bestrijden. Afbeelding toont een simulatie van bosbranden in een Omniverse digitale tweelingwereld.
Nvidia
Vervolgens werkt Nvidia samen met Lockheed Martin, het Amerikaanse ministerie van landbouw en bosbeheer en de Colorado-divisie voor brandpreventie & Controle, om simulaties van bosbranden uit te voeren met Omniverse. Het team zal variabelen zoals windrichting, topografie en andere beschikbare informatie gebruiken om een digitale tweeling van een natuurbrand te creëren en te voorspellen hoe het zal uitpakken.
Hoewel het bouwen van digitale tweelingen een duidelijke bedrijfswaarde heeft, brengt Nvidia Omniverse verder dan replica's van de echte wereld met het nieuwe Omniverse Avatar-platform. Avatar is een volledig end-to-end platform voor het maken van belichaamde AI's waarmee mensen communiceren. Het verbindt Nvidia's technologieën op het gebied van spraak-AI, computervisie, begrip van natuurlijke taal, aanbevelingsengines en simulatietechnologieën. Avatars die op het platform zijn gemaakt, zijn interactieve personages met ray-traced 3D-graphics. Ze kunnen een breed scala aan onderwerpen zien en erover spreken en begrijpen natuurlijk gesproken bedoelingen.
Een gestileerde avatar van NVIDIA-oprichter en CEO Jensen Huang, onderdeel van Omniverse Avatar's Project Tokkio, een referentietoepassing voor interactieve AI-avatars voor klantenservice.
Nvidia
Hoewel er veel gerechtvaardigde scepsis bestaat over het gebruik van avatars – aangezien inspanningen zoals Second Life niet aanslaan – betoogde Nvidia's Lebaredian dat “er tegenwoordig veel voorbeelden zijn van mensen die dagelijks avatars gebruiken.” Hij wees op videogames als Fortnite en Roblox.
“Je kunt naar Twitch gaan en gamers zien die games streamen waarbij ze een virtuele avatar in een game-engine hebben die zichzelf voorstelt”, zei hij. “Dit is heel natuurlijk voor deze generatie die is opgegroeid met videogames en virtuele werelden die net lucht zijn.”
Tot dusver heeft Nvidia een aantal initiatieven gelanceerd die Avatar voor specifieke gebruikssituaties targeten: Project Tokkio maakt gebruik van Avatar om klantenondersteuningsagenten te bouwen, Nvidia Drive Concierge is gericht op intelligente services in voertuigen en Project Maxine zal klanten helpen bij het bouwen van avatars – die al dan niet lijken misschien niet op hun echte zelf — voor videoconferenties. Het bedrijf zei dat het geen interesse heeft gezien in Project Tokkio vanuit de detailhandel.
De vele Nvidia-technologieën achter Avatar omvatten Riva, een nieuwe, grote softwareontwikkelingskit voor het omgaan met geavanceerde spraak-AI. Het herkent spraak in meerdere talen en kan menselijke spraakreacties genereren met behulp van tekst-naar-spraak-mogelijkheden. Het natuurlijke taalbegrip van het Avatar-platform is gebaseerd op het Megatron 530B grote taalmodel dat menselijke taal kan herkennen, begrijpen en genereren.
Nvidia heeft ook Metropolis opgenomen voor computervisie en waarnemingsvermogen — zodat avatars kunnen zien en begrijpen met welke mensen ze communiceren — en het Nvidia Merlin-framework voor aanbevelingen. Avatar-animatie wordt mogelijk gemaakt door Nvidia Video2Face en Audio2Face, 2D- en 3D-gezichtsanimatie en renderingtechnologieën. Avatar-applicaties worden in realtime verwerkt met behulp van het Nvidia Unified Compute Framework. Klanten kunnen Fleet Command gebruiken om avatars in het veld in te zetten.
Naast Replicator en Avatar heeft Nvidia een reeks andere updates voor Omniverse aangekondigd, waaronder nieuwe AR-, VR- en multi-GPU-renderingfuncties. Er zijn ook nieuwe integraties voor infrastructuur en industriële digital-twin-applicaties met software van Bentley Systems en Esri.
Processors