Noll
Facebook är det företag som har fört dig Oculus Rift virtual reality-headsetet, driver maskinen lära sig att åtgärda vissa brister i mediet.
I synnerhet VR headset lider av ett fenomen som kallas “samstämmighet-boende konflikt” eller VAC, där vad ser du genom en display trycks upp nära ögonen inte stämmer överens med hur din hjärna vet att saker och ting ska se ut i långt avstånd. (En fin essä om ämnet har utarbetats av Adrienne Hunter över på Medium.)
Åtminstone, som innebär en mindre realistisk upplevelse i VR; mer på allvar, det kan framkalla fysiska obehag i bäraren av Rift eller en annan sådan enhet.
Också: Facebook Oculus forskning hantverk konstigt mashup av John Oliver och Stephen Colbert
I ett blogginlägg, ingenjörer på Facebook är Facebook Reality Lab beskriver hur de har kunnat träna en enda neurala nätverk för att selektivt sudda ut delar av en 3d-scen för att göra det lösa VAC.
Deras uppfinning, som kallas DeepFocus, visades för första gången på “Oculus Connect” – konferensen detta år. Nu har de postat koden för DeepFocus online i en öppen källkod-licens.
Facebook säger selektiv suddiga objekt i synfältet i VR-headsetet förbättrar på vad som går att uppnå av standard oskärpa tekniker i video game rendering motorer, såsom Enhet.
Facebook
DeepFocus fungerar med en speciell prototyp headset som Verkligheten Lab-teamet har utvecklats under de senaste tre åren, som kallas “Half Dome”, vilket är ett exempel på en “justerbart” head-mounted display. Till skillnad från standarden Rift och andra VR-kit, varifocals har eye-tracking-system kamera och objektiv som är placerade på ställdon för att flytta framåt och bakåt. Detta gör att headsetet justerar “skärpedjup” genom att flytta bilden som användarens blick rör sig.
Men hårdvaran i sig är inte tillräckligt: enheten är fortfarande i behov av programvara för att skapa den typ av oskärpa i bakgrunden som hjärnan förväntar sig, ungefär som i dagens iPhone-X och Pixel telefon justera bakgrund “bokeh” i bilder. Den kombination av hårdvara och mjukvara som återskapar den känsla av djup i VR är en del av ett framväxande forskningsområde som kallas för “Computational Visar.”
Också: Facebook syftar till att vara mer engagerande att människor i senaste AI-forskning
Som beskrivs i den formella papper, som presenterades vid SIGGRAPH-konferensen och publiceras på nätet, tidigare metoder har kombinerat flera projektorer i den fysiska headsetet med den väletablerade grafik teknik från ray-tracing för att generera bilder på många vinklar som användaren rör sig. Men detta synsätt är beräkningsmässigt tunga, vilket gör det besvärligt för effekter i realtid för att justera som användaren skiftar blicken.
Ange DeepFocus, som använder en convolutional neurala nätverk, eller CNN, arbetshästen i så många maskininlärning uppgifter. En CNN-vanligtvis kombinerar slå samman lager som hjälper till att fastställa en högre nivå och upptäckten av funktioner av en bild. I detta fall forskare ersatt dessa lager med vad de kallar “mellanläggspapper” och “de-interfoliering” lager att bevara några av de grova, låg upplösning och information om bilderna.
Som de skriver, “vi införa mellanläggspapper lager för att medvetet minska den ingående bilder med hög upplösning före utfodring dem i convolutional lager.”
Denna nya neurala nätet är utbildad genom att utsätta den för många bilder som skapats av “scenen generator programvara”, med arrangemang av objekt i komplexa layouter med ocklusion att skapa lager av djup. Var och en av för 4 900 “stackar” innehåller fyrtio versioner av en bild med varierande djup område.
Nätverket matas bilden högar, en “djup karta,” och något som kallas en “circle of confusion” som ger nätet en antydan om omfattningen av oskärpa i bilden ska ha. Nätverket lär sig att skapa ett mål suddig utgång med lutning härkomst.
Måste läsa
‘AI är mycket, mycket dumt”, säger Googles AI ledare (CNET)Baidu skapar Kunlun kisel för AIUnified Google AI division en tydlig signal om att AI: s framtid (TechRepublic)
Författarna skriver att deras suddiga bilder är mer “fysiskt realistiska” i deras oskärpa än är suddiga bilder som skapats av allmänt används Enhet video game software development funktionen.
Intressant, författare bekänna två fall där DeepFocus är flummoxed. I fall av semi-genomskinliga glasytor och speglar, de rapporterar, nätverket inte kan räkna ut den rätta djupet i fokus, i stället göra saker som ett objekt som ska vara bakom glas, och därför suddiga, har ingen fläck alls. Som de påpekar, “det finns ingen enda rätt djup värden” i sådana scener. “Dessa fall fel att kräva rikare in information för fysiskt korrekta beräkningar och vi lämnar det här för det framtida arbetet,” skriver de.
Tidigare och relaterade täckning:
Vad är AI? Allt du behöver veta
En verkställande guide till artificiell intelligens, från maskininlärning och allmänna AI att neurala nätverk.
Vad är djupt lärande? Allt du behöver veta
Lowdown på djupt lärande: från hur det förhåller sig till de bredare fält av maskinen lärande genom hur man kommer igång med det.
Vad är lärande? Allt du behöver veta
Denna guide förklarar vad lärande är, hur den är relaterad till artificiell intelligens, hur det fungerar och varför det är viktigt.
Vad är cloud computing? Allt du behöver veta om
En introduktion till cloud computing rätt från grunderna upp till IaaS och PaaS, hybrid, offentliga och privata moln.
Relaterade Ämnen:
Virtuell Verklighet
Digital Omvandling
CXO
Sakernas Internet
Innovation
Affärssystem
0