Hvorfor se på virkeligheten når du kan redigere det du ser i sanntid?

Adopsjon av utvidet virkelighet skjer sakte men sikkert, og det er lett å se en mulig fremtid for teknologien: maskinvare som lar deg redigere det du ser i sanntid, og erstatte objekter rundt deg med virtuelle overlegg . Kall det blandet virkelighet, for å være mer presis.

Nyere forskning fra AI -teamet på Porsche (ja, bilprodusentene – vi kommer til det om litt) viser hvordan dette kan fungere. Teamet har bygget et AI-system kalt TransforMR som oppdager objekter som biler og mennesker, fjerner dem og erstatter dem med CGI-alternativer i sanntid. Sluttresultatene er knapt feilfrie (redigeringer er tilfeldige og CGI -modellene ser ut som de er lånt fra 3D Movie Maker), men konseptet er slående. Det er ikke vanskelig å forestille seg at applikasjoner som dette blir vanlige i tiårene som kommer.

Det er en grov demo, men konseptet er slående

Teamet bak arbeidet fortalte The Verge at selv om individuelle elementer i arbeidet deres var utført før, er det sammensatte systemet nytt. TansforMR kan kjøres på vanlige smarttelefoner og nettbrett, men krever en 4G -tilkobling for å sende data til nettskyen. Bilder behandles slik at objektene ikke bare dekkes til, som med Snapchat AR -objektiver eller Apples Memoji, men redigeres helt. Objekter blir oppdaget, segmentert og deretter “malt” (erstattet med AI-generert bakgrunn), og en CGI-modell erstattet av originalen.

TransforMR -modellen innebærer mange forskjellige trinn.

Det er åpenbart mange forbedringsområder. Bildefrekvensen er bare 15 bps ved maling av lav kvalitet; forsinkelsen er 50 til 100 millisekunder; og CGI -erstatninger er ikke den beste kvaliteten. Men teamet bak systemet sier at disse aspektene er relativt enkle å forbedre.

“Hovedbegrensningen er at store bilder er svært datakrevende,” sa Mohamed Kari, maskinlæringsforsker ved Porsche, til The Verge. “Så for malingen gjør vi dette med svært små bilder for tiden, og opererer på 512 x 512 bilder. Men båndbredden [bruk] er ubetydelig. Hvis du kan gjøre FaceTime, kan du gjøre TransforMR. ”

Et av de viktigste elementene i systemet, sier Kari, er bruken av posedeteksjon. Dette betyr at når systemet for eksempel oppdager en person, identifiserer det 18 separate ledd i kroppen. Det betyr at CGI -erstatningen kan forankres til målets bevegelse i sanntid. Kari sammenligner dette med andre AR -systemer som ganske enkelt identifiserer geometriske overflater.

Integrering av denne teknologien i AR -briller er umulig akkurat nå

Når man ser på klipp av TransforMR i bruk, er det ikke vanskelig å forestille seg at slik programvare blir integrert i AR -briller. Brukere kan velge et “tema” for dagen, erstatte biler, bygninger og mennesker med sci-fi-alternativer eller gjenstander hentet fra naturen. Men, som Kari påpeker, vil dette innebære en enorm maskinvareutfordring. Nåværende augmented reality-briller kan bare projisere lavoppløselige, semi-ugjennomsiktige overlegg på linsene. Akkurat nå har vi bare ikke teknologien til å “redigere” det brukerne ser med denne typen maskinvare. (Selv om det antagelig kan gjøres ved hjelp av et “passsthrough” VR-system, hvor førstepersons kameraer spiller en live video feed på skjermer som fullstendig lukker brukerens syn.)

“Vi er å gjengi hele bildet på skjermen, slik at vi kan fjerne hva vi vil, men med forstørrelsesglass er det vanskelig å fjerne objekter fordi det gir lysintensitet, sier Kari. “I HoloLens ser du for eksempel gjennom glasset, så det er vanskeligere å fjerne ting. Det spørsmålet er åpent for forskning. ”

Men hvorfor undersøker Porsche denne typen teknologi i utgangspunktet? I følge en av selskapets AI-arkitekter, Tobias Grosse-Puppendahl, handler det om å forbedre opplevelsen for passasjerer og sjåfører. Fremtidige versjoner av TransforMR-programvaren kan brukes til å underholde folk når de sitter fast i trafikken, sier Grosse-Puppendahl til The Verge. “Hovedspørsmålet vårt var, hvordan kan vi endre virkeligheten på en måte som er morsom og underholdende å reagere med? Og det er der ideen vår stammer fra. ”

Andre forskningsprosjekter ved Porsche følger et lignende tema. For eksempel har selskapet også bygget et prototypesystem kalt SoundRide som bruker bilens maskinsyn for å oppdage endringer i naturen og finne passende musikk. “Kanskje du for eksempel kjører gjennom Alpene, kjører gjennom en vakker rute, og plutselig har du en fantastisk utsikt og kanskje endres musikken,” sier Kari. “Vi tenker på hvordan teknologi kan gjøre opplevelsen i bilen enda mer interessant og vakker.” Og det betyr å tukle med det folk ellers ville se og høre.