Perché guardare la realtà quando puoi modificare ciò che vedi in tempo reale?

L'adozione della realtà aumentata sta avvenendo lentamente ma inesorabilmente, ed è facile intravedere un possibile futuro per la tecnologia: hardware che ti consente di modificare ciò che vedi in tempo reale, sostituendo gli oggetti intorno a te con sovrapposizioni virtuali . Chiamatela realtà mista, per essere più precisi.

Una recente ricerca del team di intelligenza artificiale di Porsche (sì, le case automobilistiche, ci arriveremo tra un po') mostra come potrebbe funzionare. Il team ha creato un sistema di intelligenza artificiale soprannominato TransforMR che rileva oggetti come automobili e persone, li rimuove, quindi li sostituisce con alternative CGI in tempo reale. I risultati finali sono difficilmente impeccabili (le modifiche sono casuali e i modelli CGI sembrano essere stati presi in prestito da 3D Movie Maker) ma il concetto è sorprendente. Non è difficile immaginare che applicazioni come questa diventino comuni nei decenni a venire.

È una demo approssimativa, ma il concetto è sorprendente

Il team dietro il lavoro ha detto a The Verge che sebbene i singoli elementi del loro lavoro fossero già stati realizzati in precedenza, il sistema composito è nuovo. TansforMR può essere eseguito su normali smartphone e tablet, ma richiede una connessione 4G per inviare dati al cloud. Le immagini vengono elaborate in modo che gli oggetti non vengano semplicemente coperti, come con gli obiettivi Snapchat AR o Memoji di Apple, ma completamente modificati. Gli oggetti vengono rilevati, segmentati, quindi “dipinti” (sostituiti con uno sfondo generato dall'intelligenza artificiale) e un modello CGI sostituito dall'originale.

Il modello TransforMR prevede molti passaggi distinti.

Ci sono ovviamente molte aree di miglioramento. Il frame-rate è di soli 15 fps con ritocchi di bassa qualità; il ritardo va da 50 a 100 millisecondi; e le sostituzioni CGI non sono della migliore qualità. Ma il team dietro il sistema afferma che questi aspetti sono relativamente facili da migliorare.

“Il limite principale è che le immagini di grandi dimensioni richiedono un'elevata intensità di calcolo”, ha detto a The Verge Mohamed Kari, un ricercatore di machine learning presso Porsche. “Quindi per il repainting lo facciamo attualmente con immagini molto piccole, operando su immagini 512 x 512. Ma la larghezza di banda [utilizzo] è trascurabile. Se sai fare FaceTime puoi fare TransforMR.”

Uno degli elementi chiave del sistema, afferma Kari, è l'uso del rilevamento della posa. Ciò significa che quando il sistema rileva una persona, ad esempio, identifica 18 articolazioni separate del corpo. Ciò significa che la sostituzione CGI può essere ancorata al movimento del bersaglio in tempo reale. Kari lo confronta con altri sistemi AR che identificano semplicemente le superfici geometriche.

L'integrazione di questa tecnologia negli occhiali AR è impossibile in questo momento

Guardando le clip di TransforMR in azione, non è difficile immaginare che tale software sia integrato negli occhiali AR. Gli utenti potevano scegliere un “tema” per la loro giornata, sostituendo auto, edifici e persone con alternative fantascientifiche o oggetti presi dalla natura. Ma, come sottolinea Kari, ciò comporterebbe un'enorme sfida hardware. Gli attuali occhiali per realtà aumentata possono proiettare solo sovrapposizioni a bassa risoluzione e semi-opache sulle loro lenti. In questo momento, semplicemente non abbiamo la tecnologia per “modificare” ciò che gli utenti vedono con questo tipo di hardware. (Anche se presumibilmente potrebbe essere fatto utilizzando un sistema VR “passthrough”, in cui le telecamere in prima persona riproducono un feed video in diretta su schermi che occlude completamente la visione di chi lo indossa.)

“Siamo riproducendo l'intera immagine sullo schermo, in modo da poter rimuovere tutto ciò che vogliamo, ma con gli occhiali per realtà aumentata rimuovere gli oggetti è difficile perché aggiunge intensità luminosa”, afferma Kari. “In HoloLens, ad esempio, guardi attraverso il vetro, quindi rimuovere le cose è più difficile. Questa domanda è aperta alla ricerca.”

Ma perché Porsche sta indagando su questo tipo di tecnologia in primo luogo? Secondo uno degli architetti di intelligenza artificiale dell'azienda, Tobias Grosse-Puppendahl, si tratta di migliorare l'esperienza di passeggeri e conducenti. Le versioni future del software TransforMR potrebbero essere utilizzate per intrattenere le persone quando sono bloccate nel traffico, dice Grosse-Puppendahl a The Verge. “La nostra domanda principale era: come possiamo modificare la realtà in un modo divertente e divertente con cui reagire? Ed è da lì che è nata la nostra idea”.

Altri progetti di ricerca presso Porsche seguono un tema simile. Ad esempio, l'azienda ha anche costruito un prototipo di sistema chiamato SoundRide che utilizza la visione artificiale di un'auto per rilevare i cambiamenti nello scenario e trovare la musica appropriata. “Forse, ad esempio, stai guidando attraverso le Alpi, percorrendo un bellissimo percorso, e all'improvviso hai una vista meravigliosa e forse la musica cambia”, dice Kari. “Stiamo pensando a come la tecnologia possa rendere l'esperienza in macchina ancora più interessante e bella”. E questo significa armeggiare con ciò che le persone altrimenti vedrebbero e ascolterebbero.