Nul
Facebook, det selskab, der bragte dig Oculus Rift virtual reality-headset, er at forfølge machine learning til at løse nogle af de mangler ved mediet.
Især VR headset lider af et fænomen kaldet “vergence-tilbud på overnatning er i konflikt,” eller VAC, hvor det, du kan se gennem en skærm presset op tæt på dine øjne, ikke stemmer overens med, hvordan din hjerne ved, at tingene skal se i det fjerne. (Et godt essay om emnet er blevet udarbejdet af Adrienne Hunter over på Medium.)
I det mindste, at det betyder en mindre realistisk oplevelse i VR, mere alvorligt, kan det fremkalde faktiske fysiske ubehag i bæreren af Rift eller en anden enhed.
Også: Facebook Oculus forskning håndværk mærkelige mashup af John Oliver og Stephen Colbert
I et blog-indlæg, ingeniører hos Facebook ‘ s Facebook Reality Lab beskrive, hvordan de har været i stand til at træne en enkelt neurale netværk til selektivt at sløre dele af en 3-D-scenen for at gøre det løse VAC.
Deres opfindelse, kaldet DeepFocus, blev første gang vist på “Oculus Connect” – konferencen i år. Nu, det, de har sendt koden til DeepFocus online i en open source licens.
Facebook siger sin selektive sløring af objekter i synsfeltet i en VR-headset forbedrer på, hvad der er opnået ved standard blur teknikker i video spil rendering motorer såsom Enhed.
Facebook
DeepFocus arbejder med en særlig prototype headsettet, at den Virkelighed, Lab-team har udviklet over de seneste tre år, kaldet “Half Dome”, som er et eksempel på en “varifocal” head-mounted display. I modsætning til den standard, Rift og andre VR-kits, varifocals har eye-tracking kamera systemer, og linser der er placeret på aktuatorer til at flytte frem og tilbage. Dette lader headset justere “dybden af fokus” ved at flytte billedet som brugerens blik bevæger sig.
Men hardware alene er ikke nok: den enhed, der stadig har brug for software til for at skabe den form for baggrundssløring, at hjernen forventer, lidt ligesom den måde, nutidens iPhone X og Pixel telefon justere baggrund “bokeh” i billeder. Kombinationen af hardware og software, der genskaber følelsen af dybde i VR er en del af et voksende felt af undersøgelse, der kaldes “Computational Viser.”
Også: Facebook har til formål at være mere engagerende at mennesker i seneste AI forskning
Som beskrevet i det formelle papir, præsenteret på SIGGRAPH konference og lagt online, før tilgange har kombineret flere projektorer i den fysiske headset med veletablerede grafik teknik af ray-tracing til at generere billeder på mange vinkler som brugeren bevæger sig. Men denne fremgangsmåde er beregningsmæssigt tunge, hvilket gør det besværligt for real-time effekter til at justere, som brugeren skifter deres blik.
Indtast DeepFocus, som bruger en convolutional neurale netværk, eller CNN, arbejdshest af så mange machine learning opgaver. En CNN typisk kombinerer “pooling” lag, der hjælper til at etablere et højere niveau opdagelsen af funktioner i et billede. I dette tilfælde, forskere, udskiftes disse lag med, hvad de kalder “interleaving” og “de-interleaving” lag for at bevare nogle af de grove, lav opløsning information om billederne.
Som de skriver, “vi indføre interleaving lag til bevidst at nedskalere input billeder i høj opløsning, før fodring dem i convolutional lag.”
Denne nye neurale net er uddannet ved at udsætte det til mange billeder, der er oprettet ved “scene generator software,” med arrangementer af objekter i komplekse layouts med okklusion, der skaber lag af dybde. Hver på 4.900 “stakke” indeholder fyrre versioner af et billede med varierende dybder af feltet.
Netværket er fed billedet stakke, en “dybde kort,” og noget, der hedder en “circle of confusion”, som giver nettet en vink med hensyn til omfanget af sløre billedet bør have. Netværket lærer at skabe et mål sløret udgang med gradient descent.
Skal læse
“AI er meget, meget dum, “siger Google’ s AI-leder (CNET)Baidu skaber Kunlun silicium til AIUnified Google AI division et klart signal om, at AI ‘ s fremtid (TechRepublic)
Forfatterne skriver, at deres slørede billeder er mere “fysisk realistiske” i deres slørethed end er slørede billeder skabt af den udbredte Enighed video spil software udvikling værktøj.
Det er interessant, at forfatterne bekender to tilfælde, hvor DeepFocus er flummoxed. I tilfælde af semi-transparente overflader af glas og spejle, de rapporterer, at netværket er i stand til at finde ud af den korrekte dybde af fokus, i stedet for at gøre ting som en genstand, der formodes at være bag glas, og derfor sløret, har ingen blur på alle. Som de påpeger, at “der er ingen enkelt korrekte dybde værdier” i sådanne scener. “Disse svigt tilfælde kræver rigere input oplysninger for fysisk præcis estimering og vi forlader dette for det fremtidige arbejde,” skriver de.
Tidligere og relaterede dækning:
Hvad er AI? Alt, hvad du behøver at vide
En executive guide til kunstig intelligens, fra machine learning og generelt AI til neurale netværk.
Hvad er dyb læring? Alt, hvad du behøver at vide
Den lowdown på en dyb læring: fra hvordan det relaterer til det bredere felt af machine learning igennem til, hvordan du kommer i gang med det.
Hvad er machine learning? Alt, hvad du behøver at vide
Denne vejledning forklarer, hvad machine learning er, hvordan det er relateret til kunstig intelligens, hvordan det fungerer, og hvorfor det er vigtigt.
Hvad er cloud computing? Alt, hvad du behøver at vide om
En introduktion til cloud computing-lige fra det grundlæggende op til IaaS og PaaS, hybrid, offentlige og private cloud.
Relaterede Emner:
Virtuel Virkelighed
Digital Transformation
CXO
Tingenes Internet
Innovation
Virksomhedens Software
0