Nul
Sensorer, herunder dybde kamera, i den oprindelige HoloLens.
Billede: Microsoft
Den næste generation af HoloLens sensor er en bedrift af forskning og design, der fylder avanceret signalbehandling og silicium engineering i en lille, pålidelig modul, som Microsoft har til hensigt at sælge til kunder og andre producenter som Projektet Kinect til Azure. Virksomheden vil også bruge den nye sensor i sine egne produkter, herunder de næste HoloLens.
På Bygge dette år, Satya Nadella lovede at det ville være “den mest magtfulde sensor med den mindste mængde af støj”, og med en ultra-bredt synsfelt. Det er lille nok og lave strøm nok til brug i mobile enheder. Men hvad gør sensor gør, og hvordan vil en HoloLens (eller noget andet at bruge det) ” se ” verden, som den blander 3D-hologrammer?
Der er forskellige måder at måle dybden. Nogle forskere har forsøgt at bruge ultralyd, mens den traditionelle geometriske metoder bruge netop strukturerede mønstre af lys, i stereo-med to stråler af lys, som rammer det samme objekt, kan du beregne afstanden fra den vinkel mellem bjælker. Microsoft har anvendt stereoskopisk sensorer i fortiden, men denne gang fandt en anden tilgang, der kaldes ‘gradvis time-of-flight’.
Cyrus Bamji, hardware arkitekt, der førte holdet til at bygge Microsofts første time-of-flight (ToF) kamera ind i Kinect-sensor, der kom med En Xbox, forklarede, at ZDNet, hvordan den nye sensor virker.
Det starter ved at belyse scenen med en række af lasere med omkring 100 milliwatt af magt, der fungerer som en projektør. Det er ensartet overalt, dækker den hele scene på en gang og tændes og slukkes meget hurtigt.
Som lyset fra laseren preller af 3D-objekter som vægge og mennesker, det afspejler tilbage på sensoren. Afstanden er ikke målt direkte af, hvor hurtigt lyset bliver reflekteret tilbage (ligesom en radar pistol), men af, hvor meget den fase af lys kuvert, der kommer tilbage, har flyttet sig fra det oprindelige signal om, at lasere udsender. Undersøg forskellen i fase (fjerne eventuelle harmoniske indført ved mindre ændringer i spændingen eller temperatur til at rydde op signalet undervejs), og du får en meget præcis måling af, hvor langt væk pointen er, at det lys, der reflekteres fra.
Denne dybde oplysninger, der ikke blot er nyttige for skalering hologrammer til at være den rigtige størrelse som du ser omkring i blandet virkelighed; det er også afgørende for at gøre computer vision mere præcist. Tror trick billeder af mennesker, skubbe over det Skæve Tårn i Pizza: med en dybde kamera, kan du straks se, at det er et trick shot.
Microsofts gradvis time-of-flight sensorer er lille og tynd nok til at passe til små mobile enheder, og robust nok til at gå ind i forbruger-gadgets, der kan få slået rundt. Det er fordi, i modsætning til stereo-vision systemer, de er ikke dyre præcision optik, der er nødt til at holdes i en præcis tilpasning: de kan klare et signal gjort mere støjende end sædvanligt ved den spænding elektrisk strøm dyppe lidt eller det udstyr, der varmer op, og de bruger simple beregninger, der kræver mindre regnekraft end de komplekse algoritmer, der kræves for stereo-vision beregninger.
Afhængigt af hvordan du ønsker at bruge det, sensoren giver mulighed for at vælge forskellige dybder, frame rates, og billedopløsning, såvel som at tage en mellemlang eller et stort synsfelt.
Den næste generation af HoloLens sensoren i aktion på Microsoft 2018 Naturvidenskabelige Forskning-Topmødet.
Og bedst af alt, trinvis ToF sensorer er silicium, der kan være masse-produceret i høj-volumen i en flot ved hjælp af standard CMOS-processer til en lav pris. Det er lige hvad du har brug for en forbruger produkt, eller noget billigt nok til at gå ind i store industrielle systemer.
Lille, billig og hurtig
Den nye sensor gør en række tekniske gennembrud: lavere strømforbrug, højere frekvens, højere opløsning (1,024 af 1,024 pixel), og mindre pixel, der bestemmer, dybde, mere præcist fra længere væk. Ofte, forbedringer på ét område betyder, trade-offs i andre-frekvens og afstand, for eksempel. “Det viser sig, at hvis du øger frekvensen, får du en bedre beslutning; jo højere frekvens, jo mindre jitter, men du får også en mindre og mindre rækkevidde,” Bamji forklarer.
En lav frekvens, der dækker en længere afstand fra sensor, men er mindre præcise. Problemet er, at mens en højere frekvens bliver mere præcise resultater, og disse resultater vil være de samme for flere afstande-fordi de aflæsninger, der kommer tilbage og er med en kurve, der gentages igen og igen. Ved en frekvens på 50MHz, lys preller noget 3 m derfra har den samme fase som lys at kaste ud et objekt, 6 m eller 9 m derfra.
Microsoft team brugte en smart matematisk trick (kaldet fase udpakning) for at undgå forvirring, så de kunne øge hyppigheden og arbejder også på længere afstande. Sensoren bruger flere forskellige frekvenser på samme tid og firmware kombinerer resultater. At kunne lave frekvenser, der fortæller dig, omtrent hvor noget er og høje frekvenser for at finde det præcist, eller de høje frekvenser, der har forskellige faser, så de kun line op på en bestemt afstand. På den måde, siger Bamji, “vi var i stand til at holde øge hyppigheden og få bedre og bedre nøjagtighed og stadig bevare den rækkevidde. Vi har fundet en måde at have vores kage og spise det også!”
Fase udpakning gav holdet mulighed for at tage hyppigheden af sensoren op fra blot 20MHz i den tidligste forskning, at 320MHz. Højere frekvenser giver sensoren, så den har mindre pixels, hvilket leverer en bedre dybde opløsning i 3D-billede. Den nye sensor har en høj nok opløsning til at vise rynker i ens tøj, som de går forbi kameraet, eller kurven af en ping-pong bold i flugt — kun 2 cm fra center til kant-fra en meter væk, og alle uden at reducere ydeevne og nøjagtighed af den sensor med den måde mindre pixel ville gøre ved lavere frekvenser.
Den fjerde generation gradvis time-of-flight-sensor kan afhente kurven for en ping-pong bold, mens den flyver gennem luften.
Billede: Microsoft / IEEE
Små pixels har en anden stor fordel: den sensor i sig selv kan være mindre. “Hvis du har små pixels, der bringer ned optisk stakhøjde,” Bamji påpeger. “Vores array er lille, hvilket betyder, at det kan gå ind enheder, der er tynde.”
Den nye sensor er også formår at levere små, præcise pixels ved hjælp af kun en ottendedel af strømforbrug af tidligere versioner (det samlede system power er mellem 225 og 950 milliwatt). Det er et trade-off, der Bamji karakteriserer som svarer til Moore ‘ s Lov. “Hvis du bare sætte strøm nok, kan du få god kvalitet, men til en forbrugsvare, der ikke er godt nok. Du øger frekvensen og som brænder mere magt, men det øger nøjagtigheden og så skal du sænke pixel-størrelse. Som du går gennem cyklus, ender du der, hvor du var, men med mindre pixel.”
Pixels i imaging-array startede på 50 af 50 mikron. Der gik ned til 15, og derefter 10 mikrometer, og nu pixels er kun 3,5 3,5 ĩm hver. Det er større end de pixels i et smartphone-kamera, som er normalt fra 1 til 2 mikrometer-pladsen, mens state of the art for RGB-sensorer, der er omkring 0,8 mikron-pladsen.
På den anden side, pixel i Microsoft sensor har en global shutter. I stedet for en fysisk dækning, der stopper enhver mere lys kommer ind, for at stoppe det, at gribe ind med reflekteret lys, som allerede er blevet fanget af den sensor, en global shutter er en ekstra funktion der er bygget lige ind i den silicium, der fortæller sensor til at slukke og stoppe med at være følsomme over for lys, indtil det er tid til at tage den næste måling. Ved udgangen af 2017, den mindste pixel med globale skodder var omkring 3 mikrometer-pladsen, men at de ikke har time-of-flight-sensor, at det man gør.
En kompleks silicium dans
Dog pixels dette lille, kan løbe ind i kvante mekaniske problemer med at få elektronerne til at gå, hvor du vil have dem til. Sensoren registrerer lys ved at indsamle foto afgifter, at det omdannes til spændinger, og dem, der skal måles præcist.
Bamji sammenligner problem at puste luft i et dæk. Når du fjern pumpen og sæt hætten tilbage på nogle luften kommer altid ud igen. Det samme sker, når du nulstiller en del af sensoren, hvor billedet afgift er gemt: nogle af de gratis kan få suget tilbage i nulstilling sker, hvilket resulterer i, hvad der kaldes kTC støj (som er en forkortelse for den formel, der anvendes til at beregne, hvor meget støj, der kan få tilføjet til signalet). Mængden af ansvar, der bliver suget tilbage i afgift varierer, så du kan ikke automatisk korrigere for det.
kTC støj kun sker, hvor det gratis kan flyde i begge retninger — luft kan komme tilbage ud af et dæk, men sand ikke kan strømme tilbage op i den øverste halvdel af et timeglas. Hvis der er en komplet overførsel af afgift, at du ikke får den støj.
Så Microsoft team får omkring problemet ved at gemme foto afgifter som det, der kaldes mindretal luftfartsselskaber — de mindre fælles ansvar-bærende partikler i halvleder-at bevæge sig mere langsomt. Til at konvertere disse afgifter til en spænding, der kan læse, og de er overført i, hvad der kaldes en flydende diffusion. Sensoren nulstiller den flydende diffusion og måler spænding i det umiddelbart efter reset, og derefter flytter foto ladning i flydende diffusion og foranstaltninger, den nye spænding. At trække den første værdi — taget lige efter reset — omgår problemet med kTC støj.
Den nye sensor er den første time-of-flight-system til at bruge denne teknik, som øger kompleksiteten af silicium nødvendige teknik. “Men vi var nødt til at gøre det, fordi som pixels bliver mindre og mindre, er dette problem bliver mere og mere akut,” Bamji forklarer.
Når du får helt ned til det enkelte (lille) pixel, der består af to sammenbyggede polysilicium ‘photofingers’ per pixel (tidligere generationer af sensoren havde fire eller otte fingre, men der er kun plads til to fingre i den nye, mindre pixel).
Fingrene skiftes til at generere en lav eller høj (3.3 v) elektrisk ladning. Dette er en ‘drift’ – feltet, der gør fotoner bevægelse i retning af den finger, der er at generere høj afgift hurtigere, end de normalt ville udbrede på tværs af materialet. De er nødt til at flytte hurtigt, fordi der på fuld 320MHz den anden finger tager over efter 2 nanosekunder, og de udgifter, der ikke er blevet taget ikke er brugbare mere. På 320MHz, 78 procent af afgifter gøre det hele vejen til den rigtige finger.
Denne finger struktur, der gør, at de sensorer, der er nem at fremstille — selvom par fab har nogen erfaring at gøre denne nye form for silicium enhed-fordi det er meget mindre følsomme end andre typer af time-of-flight-sensorer for at eventuelle fejl i CMOS process. “Vi er ved at opbygge en luns af silicium ud af CMOS, men det er i modsætning til de andre stykker af silicium på den samme chip,” Bamji siger. “Det er en standard CMOS process, men vi er ved at bygge en struktur, der er ulig nogen af de andre transistorer.”
I den virkelige verden
Efter alt det arbejde med at gøre pixels mindre, viser det sig, at mindre pixels er ikke ideelle for hver scene. Så for at gøre sensoren mere fleksibel, kan det falske have større pixels ved gruppering af fire pixels i én og læse værdier fra dem på samme tid (den tekniske betegnelse for det er “arkivering’). Som pixelstørrelse der virker bedst afhænger af, hvor langt væk ting er, og hvor meget af laser lys giver det tilbage til array i sensoren.
“Hvis du har et objekt, der er tæt med masser af lys, kan du råd til at have små pixels. Hvis du ønsker høj opløsning til ansigtsgenkendelse, hvis det sidder 60 cm væk fra dig, og du har masser af lys, du ønsker små pixels,” siger Bamji. “Der henviser til, at hvis du kigger på et objekt, der er meget langt, på bagsiden af rummet, kan du ikke være i stand til at se det præcist med de små pixels og større pixels ville være bedre. Hvis du hungrer efter laser-lys eller laserlys er blevet ødelagt af sollys, du har brug for større pixels.”
Den globale lukker hjælper med her, men hvor meget af et problem, der er sollys eller andre omgivende lys? At sidde i et mødelokale på Microsoft ‘ s Silicon Valley campus i eftermiddag, Bamji skøn belysning er 200-300 lux; lyse sollys, der kommer ind gennem vinduet for at tage det op til 300 eller 400 lux. “Vores spec er op til 3000 lux, og kameraets funktioner op til 25.000 lux. Udendørs på stranden ved middagstid med solen på fuld knald et eller andet sted som i Cancun, det er 100.000 lux.”
Naturligvis, at der er noget, vi vil ikke være i stand til at teste, indtil produkter er tilgængelige, men demoer, vi har set i normal kontor-miljøer synes at bære disse tal ud (og hvis man var på stranden, ville du ikke være i stand til at se en skærm, der enten).
Hvor dyrt er det hurtig, kraftfuld sensor kommer til at være? Det afhænger af fremstillings-mængder, men hvis den er populær nok til at blive fremstillet i stort tal, Bamji forventer, at det at være ‘billig’ — “Affordable, chip-wise, betyder, at en enkelt cifre. Denne indeholder silicium og en laser, og i store mængder, de er også enkelte cifre.”
Hvad er stadig op i luften er det, enheder end HoloLens vi vil se den nye sensor i, at ville sælge nok til at bringe prisen ned gennem stordriftsfordele.
Projektet Kinect til Azure.
Billede: Microsoft
Microsoft synes usædvanlig åben for at sælge sensor til andre hardware-leverandører, men de industrielle partnere er sandsynligt, at være de første købere gennem Projekt Kinect til Azure. Forestil dig en industriel billede anerkendelse kamera, der kan se hele vejen til bagsiden af køleskabet og lager kontrol, med indbygget-i machine learning til at anerkende, hvad der er i køleskabet. Enheder, som der er et ideelt eksempel på den “intelligente kant”, at Microsoft er så glad for at tale om, og hvis denne sensor kan gøres på en skala så billigt som at sige en smartphone kamera, vil vi se masser af udstyr, som drager fordel af præcise 3D-billeddannelse.
DE SENESTE OG RELATERET INDHOLD
Microsoft billethajer HoloLens rentals, business bruger for mixed reality
Microsoft AR/VR pendul ser ud til at svinge tilbage mod at fremhæve den potentielle brug af HoloLens og mixed reality headset.
Microsoft fortsætter sin søgen efter den HoloLens gral
Virksomheden er stadig forud for et væld af konkurrenter med sin augmented reality-headset, som kan begrunde sin regning til forretningskritiske applikationer. Mainstream-erhvervsmæssig brug, men vil kræve mere end bedre, billigere hardware.
Microsoft sender Windows 10. April 2018-Opdatering til HoloLens
Microsoft er begyndt at rulle sin første Windows-10 feature-opdatering til HoloLens, da 2016, og gør previews af to nye første-parts virksomhed apps til rådighed for enheden.
Kunne Microsoft HoloLens revolutionere virksomhed? (TechRepublic)
Microsofts HoloLens kunne omdanne virksomheden. Men hvad er HoloLens, og hvorfor er det unikke?
Microsoft HoloLens: Cheat sheet (TechRepublic)
Er det ikke HoloLens bare Microsofts tage på VR-headset? Overhovedet ikke. Her er, hvad professionelle har brug for at vide om HoloLens.
Relaterede Emner:
Microsoft
CXO
Digital Transformation
Tech-Branchen
Intelligente Byer
Cloud
0