Facebook gir opp hjernetyping som et AR-brillegrensesnitt

Et Facebook-støttet initiativ som har som mål å la folk skrive ved å tenke, er avsluttet med nye funn som ble publisert i dag.

Prosjekt Steno var et flerårig samarbeid mellom Facebook og University of California San Franciscos Chang Lab, med sikte på å lage et system som oversetter hjerneaktivitet til ord. Et nytt forskningspapir, publisert i The New England Journal of Medicine, viser potensialet for å implementere teknologien for mennesker med talehemming.

Men ved siden av forskningen gjorde Facebook det klart at det støtter ideen om en kommersiell hodemontert hjerneleseapparat, og i stedet bygger ut håndleddgrensesnitt. Den nye forskningen har ingen klar anvendbarhet for et massemarkedsteknisk produkt, og i en pressemelding sa Facebook at de “fokuserer” prioriteringene vekk fra hodemonterte hjernedatamaskingrensesnitt.

“Facebook har ingen interesse i utvikle produkter som krever implanterte elektroder ”

“For å være tydelig har Facebook ingen interesse i å utvikle produkter som krever implanterte elektroder,” sa Facebook i en pressemelding. Et annet sted i utgivelsen bemerket det at “mens vi fremdeles tror på det langsiktige potensialet i hodemonterte optiske BCI-teknologier, har vi besluttet å fokusere vår umiddelbare innsats på en annen tilnærming til nevrale grensesnitt som har en nærmere kortsiktig vei til markedet. ”

Chang Labs pågående forskning innebærer bruk av implanterte hjerne-datamaskingrensesnitt (BCI) for å gjenopprette folks taleevner. Den nye avisen fokuserer på en deltaker som mistet evnen til å snakke etter et slag for over 16 år siden. Laboratoriet utstyrte mannen med implanterte elektroder som kunne oppdage hjerneaktivitet. Mannen tilbrakte deretter 22 timer (spredt over mer enn et års økter) med å trene et system for å gjenkjenne spesifikke mønstre. I denne opplæringen ville han prøve å snakke isolerte ord fra et ord på 50 ord. I et annet opplæringskurs prøvde han å produsere hele setninger ved hjelp av disse ordene, som inkluderte grunnleggende verb og pronomen (som “am” og “I”), samt spesifikke nyttige substantiver (som “briller” og “datamaskin”) og kommandoer ( som “ja” og “nei”).

Systemet dekoder hjernemønstre for 50 ord

Denne opplæringen bidro til å lage en språkmodell som kunne svare når mannen tenkte å si bestemte ord, selv om han ikke faktisk kunne snakke dem. Forskere finjusterte modellen for å forutsi hvilke av de 50 ordene han tenkte på, og integrerte et sannsynlighetssystem for engelskspråklige mønstre som ligner på et prediktivt smarttelefontastatur. Forskerne rapporterte at i endelige studier kunne systemet dekode en medianfrekvens på 15,2 ord per minutt, tellefeil, eller 12,5 ord per minutt med bare korrekt dekodede ord.

Chang Lab publiserte tidligere Project Steno-forskning i 2019 og 2020, og viste at elektrodearrays og prediktive modeller kan skape relativt raske og sofistikerte tankesystemer. Mange tidligere skrivealternativer involverte å skyve en markør rundt et tastatur på skjermen ved hjelp av et hjerneimplantat, selv om noen andre forskere har eksperimentert med metoder som å visualisere håndskrift. Der laboratoriets tidligere undersøkelser involverte dekoding av hjerneaktivitet hos mennesker som snakket normalt, viser denne siste artikkelen at den fungerer selv når fag ikke snakker (og ikke kan) høyt.

Facebook Reality Labs-headsettet, som ikke ble brukt i studien.

I en pressemelding sier UCSF-leder for nevrokirurgi Eddie Chang at neste trinn er å forbedre systemet og teste det med flere mennesker. “På maskinvaresiden må vi bygge systemer som har høyere dataoppløsning for å registrere mer informasjon fra hjernen, og raskere. På algoritmesiden må vi ha systemer som kan oversette disse svært komplekse signalene fra hjernen til talte ord, ikke tekst, men faktisk muntlige, hørbare talte ord. ” En hovedprioritet, sier Chang, er å utvide ordforrådet sterkt.

Facebook vil fokusere på håndleddmonterte EMG-bånd

Dagens forskning er verdifull for mennesker som ikke får betjent av tastaturer og andre eksisterende grensesnitt, siden selv et begrenset ordforråd kan hjelpe dem å kommunisere lettere. Men det faller langt fra det ambisiøse målet Facebook satte i 2017: et ikke-invasivt BCI-system som lar folk skrive 100 ord per minutt, sammenlignet med de øvre hastighetene de kan nå på et tradisjonelt tastatur. Den siste UCSF-forskningen involverer implantert teknologi og kommer ikke i nærheten av å treffe det tallet – eller til og med de hastighetene folk flest kan nå på et tastatur på telefonen. Det lover dårlig for de kommersielle utsiktene til en teknologi som et eksternt pannebånd som optisk måler oksygenivået i hjernen, som Facebook Reality Labs (selskapets virtuelle og utvidede virkelighets maskinfløy) avduket i prototypeform.