Facebook ger upp hjärntypning som ett AR-glasögongränssnitt

Ett Facebook-stödt initiativ som syftar till att låta människor skriva genom att tänka har avslutats med nya resultat som publicerades idag.

Project Steno var ett flerårigt samarbete mellan Facebook och University of California San Franciscos Chang Lab, som syftar till att skapa ett system som översätter hjärnaktivitet till ord. Ett nytt forskningsdokument, publicerat i The New England Journal of Medicine, visar potentialen för att implementera tekniken för personer med talsvårigheter.

Men vid sidan av forskningen gjorde Facebook klart att det stöder idén om en kommersiell huvudmonterad hjärnavläsningsenhet och istället bygger ut handledsburna gränssnitt. Den nya forskningen har ingen tydlig tillämpbarhet för en massmarknadsteknisk produkt, och i ett pressmeddelande sa Facebook att de “fokuserar” sina prioriteringar bort från huvudmonterade hjärn-dator-gränssnitt.

“Facebook har inget intresse av utveckla produkter som kräver implanterade elektroder ”

“För att vara tydlig har Facebook inget intresse av att utveckla produkter som kräver implanterade elektroder,” sa Facebook i ett pressmeddelande. Någon annanstans i utgåvan noterade den att ”medan vi fortfarande tror på den långsiktiga potentialen för huvudmonterad optisk BCI-teknik, har vi beslutat att fokusera våra omedelbara ansträngningar på ett annat neuralt gränssnittssätt som har en närmare väg till marknaden. ”

Chang Labs pågående forskning handlar om att använda implanterade hjärn-datorgränssnitt (BCI) för att återställa människors talförmåga. Den nya uppsatsen fokuserar på en deltagare som förlorade sin förmåga att tala efter en stroke för över 16 år sedan. Laboratoriet utrustade mannen med implanterade elektroder som kunde upptäcka hjärnaktivitet. Mannen tillbringade sedan 22 timmar (fördelat på mer än ett års sessioner) med att träna ett system för att känna igen specifika mönster. I den utbildningen skulle han försöka tala isolerade ord från en 50-ords ordförrådssats. I en annan utbildning försökte han producera hela meningar med hjälp av dessa ord, som inkluderade grundläggande verb och pronomen (som “am” och “I”) samt specifika hjälpsamma substantiv (som “glasögon” och “dator”) och kommandon ( som “ja” och “nej”).

Systemet avkodar hjärnmönster för 50 ord

Denna utbildning hjälpte till att skapa en språkmodell som kunde svara när mannen funderade på att säga specifika ord, även om han inte faktiskt kunde tala dem. Forskare finjusterade modellen för att förutsäga vilka av de 50 orden han funderade på och integrerade ett sannolikhetssystem för engelska språkmönster som liknar ett prediktivt smartphone-tangentbord. Forskarna rapporterade att systemet i slutförsök kunde avkoda en medianhastighet på 15,2 ord per minut, räkna fel eller 12,5 ord per minut med endast korrekt avkodade ord.

Chang Lab publicerade tidigare Project Steno-forskning under 2019 och 2020, vilket visar att elektroduppsättningar och förutsägbara modeller kan skapa relativt snabba och sofistikerade tankesystem. Många tidigare skrivalternativ involverade att trycka en markör runt ett tangentbord på skärmen med hjälp av ett hjärnimplantat, även om vissa andra forskare har experimenterat med metoder som att visualisera handskrift. Där laboratoriets tidigare forskning involverade avkodning av hjärnaktivitet hos människor som pratade normalt, visar det här senaste dokumentet att det fungerar även när ämnen inte (och inte kan) talar högt.

Facebook Reality Labs-headsetet, som inte användes i studien.

I ett pressmeddelande säger UCSF: s neurokirurgiordförande Eddie Chang att nästa steg är att förbättra systemet och testa det med fler människor. ”På maskinvarusidan måste vi bygga system som har högre dataupplösning för att registrera mer information från hjärnan och snabbare. På algoritmsidan måste vi ha system som kan översätta dessa mycket komplexa signaler från hjärnan till talade ord, inte text utan egentligen muntliga, hörbara talade ord. ” En viktig prioritering, säger Chang, är att utvidga ordförrådet kraftigt.

Facebook kommer att fokusera på handledsmonterade EMG-band

Dagens forskning är värdefull för människor som inte betjänas av tangentbord och andra befintliga gränssnitt, eftersom även ett begränsat ordförråd kan hjälpa dem att kommunicera lättare. Men det faller långt ifrån det ambitiösa målet som Facebook satte upp 2017: ett icke-invasivt BCI-system som låter människor skriva 100 ord per minut, jämförbart med de högre hastigheterna de kan nå på ett traditionellt tangentbord. Den senaste UCSF-forskningen involverar implanterad teknik och kommer inte nära att slå det numret – eller till och med de hastigheter som de flesta kan nå på ett telefontangentbord. Det lovar illa för de kommersiella utsikterna för en teknik som ett externt huvudband som optiskt mäter syrenivåer i hjärnan, vilket Facebook Reality Labs (företagets virtuella och augmented reality hårdvaruvinge) avslöjade i prototypform. “> Sedan dess förvärvade Facebook elektromyografi (EMG) armbandföretaget CTRL-Labs 2019, vilket gav det ett alternativt kontrollalternativ för AR och VR. ”Vi är fortfarande i ett tidigt skede av att frigöra potentialen för handledsbaserad elektromyografi (EMG), men vi tror att det kommer att vara kärnan för AR-glasögon, och att använda det vi har lärt oss om BCI hjälper oss att komma dit snabbare ”, Säger Facebook Reality Labs forskningsdirektör Sean Keller. Facebook kommer inte att ge upp det huvudmonterade hjärngränssnittssystemet, men planerar att göra programvaran öppen källkod och dela hårdvaruprototyperna med externa forskare, samtidigt som den avvecklar sin egen forskning.