Facebook falsi la sfocatura con ai per rendere VR più reale

0
151

Zero

Facebook, la società che ha portato l’Oculus Rift realtà virtuale auricolare, è il perseguimento di apprendimento automatico per correggere alcuni difetti del mezzo.

In particolare, VR cuffie soffrono di un fenomeno chiamato “convergenza-sistemazione in conflitto”, o VAC, dove ciò che si vede attraverso un display pressato da vicino i tuoi occhi non corrisponde a come il tuo cervello sa che le cose si dovrebbero vedere in lontananza. (Un bel saggio sull’argomento è stato redatto da Adrienne Cacciatore di più su Medium).

Almeno, il che significa un meno realistica esperienza in VR; più seriamente, può indurre effettivo disagio in chi lo indossa di Rift o un altro dispositivo.

Anche: Facebook Oculus ricerca di artigianato strano miscuglio di John Oliver e Stephen Colbert

In un post sul blog, i tecnici di Facebook s Facebook Reality Lab descrivere come sono stati in grado di formare un’unica rete neurale selettivamente sfocatura le parti di una scena 3d per rendere superare il VAC.

La loro invenzione, chiamata DeepFocus, presentato al “Oculus Connect” conferenza di quest’anno. Ora, hanno inviato il codice per DeepFocus online con una licenza open-source.

facebook-adaptive-blur-dec-2018.png

Facebook dice la sua sfocatura selettiva di oggetti nel campo di vista in un caschetto migliora su ciò che si è conseguito da standard sfocatura tecniche in video gioco motori di rendering come Unità.

Facebook

DeepFocus funziona con uno speciale prototipo auricolare che la Realtà team del Laboratorio sono stati in via di sviluppo negli ultimi tre anni, chiamato “Half Dome”, che è un esempio di “varifocal” head-mounted display. A differenza di standard di Rift e altri VR kit, varifocals hanno eye-tracking sistemi di fotocamere, obiettivi che sono posti su di attuatori per muoversi avanti e indietro. Questo permette all’auricolare di regolare la profondità di fuoco” spostando l’immagine come l’utente lo sguardo si muove.

Ma l’hardware da solo non è sufficiente: il dispositivo ha ancora bisogno di software per creare il tipo di sfocatura dello sfondo in modo che il cervello si aspetta, un po ‘ come il modo in cui oggi iPhone X Pixel e telefono di regolare sfondo “bokeh” in foto. La combinazione di hardware e software che ricrea la sensazione di profondità in VR è parte di un nuovo campo di studio, chiamato “Computational Schermi”.

Anche: Facebook vuole essere più coinvolgente per gli esseri umani in ultima IA ricerca

Come descritto in formale carta, presentato al SIGGRAPH conferenze e pubblicato on-line, prima di approcci hanno combinato più proiettori in fisica auricolare con la consolidata tecnica grafica di ray-tracing per generare immagini in molti angoli di come l’utente si muove. Ma questo approccio è computazionalmente pesanti, il che rende scomodo per effetti in tempo reale, che consente di regolare l’utente sposta la loro sguardo.

Inserire DeepFocus, che utilizza un convolutional rete neurale, o la CNN, il cavallo di battaglia di tanti macchina compiti di apprendimento. CNN in genere, coniuga “pooling” strati che aiutano a stabilire il livello superiore scoperta delle caratteristiche di un’immagine. In questo caso, i ricercatori hanno sostituito quelle strati con quello che loro chiamano “interleaving” e “de-interleaving” strati che conserva alcune delle più grossolano, a bassa risoluzione, le informazioni sulle immagini.

Come scrivono, “introduciamo la sovrapposizione di layer, intenzionalmente, il downscaling l’ingresso di immagini ad alta risoluzione prima l’alimentazione in convolutional livelli”.

Questa nuova rete neurale è allenato da esposizione a molte immagini create dalla “scena del generatore software”, con arrangiamenti di oggetti nel layout complessi con occlusione che creano livelli di profondità. Ognuno di 4.900 “pile” contiene quaranta versioni di un’immagine con diverse profondità di campo.

La rete è alimentato le pile di immagini, una “mappa di profondità” e qualcosa chiamato un “cerchio di confusione” che dà la rete un suggerimento per quanto riguarda l’entità della sfocatura dell’immagine. La rete impara a creare una destinazione indistinta di output utilizzando il gradiente di discesa.

Deve leggere

‘IA è molto, molto stupido”, dice Google AI leader (CNET)Baidu crea Kunlun di silicio per AIUnified Google IA divisione di un chiaro segnale di AI del futuro (TechRepublic)

Gli autori scrivono che loro immagini sfocate sono più “fisicamente realistico” nel loro sfocatura che sono sfocate immagini create da ampiamente utilizzato Unità video gioco strumento di sviluppo software.

È interessante notare che gli autori confessano due casi in cui DeepFocus è sconcertati. Nel caso di semi-trasparente superfici di vetro e specchi, che relazione, la rete non è in grado di capire la giusta profondità di messa a fuoco, invece di fare le cose come un oggetto che dovrebbe essere dietro un vetro, e quindi sfocate, non hanno alcuna sfocatura. Come sottolineano, “non c’è nessun singolo correggere i valori di profondità” in tali scene. “Questi casi di fallimento richiedono più ricco di informazioni di ingresso per portatori di una stima accurata e lasciamo questo per il futuro lavoro,” scrivono.

Precedente e relativa copertura:

Che cosa è l’IA? Tutto quello che devi sapere

Un esecutivo a guida di intelligenza artificiale, machine learning e generale AI alle reti neurali.

Cos’è il deep learning? Tutto quello che devi sapere

Il lowdown su deep learning: da come si relaziona con il più ampio campo di machine learning a come iniziare con esso.

Che cosa è macchina di apprendimento? Tutto quello che devi sapere

Questa guida spiega in cosa consiste la macchina di apprendimento, di come esso è legato all’intelligenza artificiale, come funziona e perché è importante.

Che cos’è il cloud computing? Tutto quello che devi sapere su

Un’introduzione al cloud computing destra, dalle nozioni di base fino a IaaS e PaaS, ibrido, public e private cloud.

Argomenti Correlati:

La Realtà Virtuale

La Trasformazione Digitale

CXO

Internet delle Cose

L’innovazione

Enterprise Software

0