Ecco come funziona la cabina sperimentale di telepresenza 3D di Google

In un nuovo documento di ricerca, Google ha dettagliato la tecnologia alla base della sua impressionante demo Project Starline dalla conferenza I/O di quest'anno. Project Starline è essenzialmente una cabina di chat video 3D che mira a sostituire una videoconferenza 2D one-to-one con un'esperienza che ti fa sentire come se fossi effettivamente seduto di fronte a un vero essere umano.

Sembra semplice, ma il documento di ricerca di Google mette in evidenza quante sfide ci siano nell'ingannare il tuo cervello facendogli pensare che ci sia un vero essere umano seduto a pochi passi da te. Ovviamente l'immagine deve essere ad alta risoluzione e priva di artefatti che distraggono, ma deve anche apparire corretta dalla tua posizione relativa nella cabina. L'audio è un'altra sfida, poiché il sistema deve far sembrare che le parole di una persona provengano dalla sua bocca reale. E poi c'è solo la piccola questione del contatto visivo.

Ma, alla fine, la speranza è che Project Starline possa offrire una sensazione di presenza simile a quella della realtà virtuale o aumentata, senza che gli utenti debbano indossare ingombranti visori o tracker.

L'unità di visualizzazione e i suoi vari hardware di tracciamento. Immagine: Google

Il documento descrive esattamente la quantità di hardware necessaria per iniziare a risolvere questi problemi. Il sistema è costruito attorno a un grande pannello 8K da 65 pollici che funziona a 60Hz. Intorno ad esso, gli ingegneri di Google hanno disposto tre “capture pod” che sono in grado di acquisire sia immagini a colori che dati di profondità. Il sistema include anche quattro telecamere di localizzazione aggiuntive, quattro microfoni, due altoparlanti e proiettori a infrarossi. In totale, vengono acquisite immagini a colori da quattro punti di vista, nonché tre mappe di profondità, per un totale di sette flussi video. L'audio viene catturato a 44,1 kHz e codificato a 256 Kbps.

Ovviamente tutto questo hardware genera molti dati che devono essere trasmessi e Google afferma che la larghezza di banda di trasmissione varia da 30 Mbps fino a 100 Mbps, a seconda “del dettaglio della trama nei vestiti dell'utente e della grandezza dei loro gesti”. Quindi è molto più di una normale chiamata Zoom, ma niente che un tipico ufficio in un'area metropolitana non possa gestire. Project Starline è dotato di quattro schede grafiche Nvidia di fascia alta (due schede Quadro RTX 6000 e due Titan RTX) per codificare e decodificare tutti questi dati. Secondo quanto riferito, la latenza end-to-end è in media di 105,8 millisecondi.

Il sistema è composto da un'unità di retroilluminazione e un'unità di visualizzazione. Immagine: Google

Per come lo dice Google, i dipendenti che hanno utilizzato Starline nei tre siti in cui è stato installato pensano che sia meglio della videoconferenza tradizionale quando si tratta di creare una sensazione di presenza, connessione personale e aiutare con attenzione e misurazione della reazione. La società afferma che in nove mesi, 117 partecipanti hanno tenuto un totale di 308 riunioni nelle sue cabine di telepresenza, con un tempo medio di riunione di poco più di 35 minuti.

Sembra tutto molto promettente, ma non c'è ancora alcuna indicazione di quando, e nemmeno se, il sistema potrebbe un giorno essere commercializzato. Ci sono anche pochissime informazioni su quanto costerà in realtà l'ampia gamma di hardware di Starline (sebbene la Tabella 4 nel documento di ricerca descriva l'hardware di monitoraggio e visualizzazione che utilizza, se hai voglia di fare un po' di matematica). Per ora, Google afferma che sta espandendo la disponibilità di Project Starline “in più uffici Google negli Stati Uniti”.