Facebook giver op på hjernetypning som en AR-brillegrænseflade

Et Facebook-støttet initiativ, der sigter mod at lade folk skrive ved at tænke, er afsluttet med nye fund offentliggjort i dag.

Projekt Steno var et flerårigt samarbejde mellem Facebook og University of California San Franciscos Chang Lab, der sigter mod at skabe et system, der oversætter hjerneaktivitet til ord. Et nyt forskningspapir, der blev offentliggjort i The New England Journal of Medicine, viser potentialet for implementering af teknologien til mennesker med talehandicap.

Men ved siden af ​​forskningen gjorde Facebook det klart, at det bakker op om ideen om en kommerciel hovedmonteret hjernelæsningsenhed og i stedet bygger ud håndledsgrænseflader. Den nye forskning har ingen klar anvendelighed for et massemarkedsteknisk produkt, og i en pressemeddelelse sagde Facebook, at de “fokuserer” sine prioriteter væk fra hovedmonterede hjernecomputergrænseflader.

“Facebook har ingen interesse i udvikling af produkter, der kræver implanterede elektroder ”

”For at være klar har Facebook ingen interesse i at udvikle produkter, der kræver implanterede elektroder,” sagde Facebook i en pressemeddelelse. Andetsteds i udgivelsen bemærkede det, at “mens vi stadig tror på det langsigtede potentiale ved hovedmonterede optiske BCI-teknologier, har vi besluttet at fokusere vores øjeblikkelige indsats på en anden neural grænseflades tilgang, der har en kortvarig vej marked. ”

Chang Labs igangværende forskning involverer brug af implanterede hjerne-computer-grænseflader (BCI'er) til at gendanne folks taleevner. Det nye papir fokuserer på en deltager, der mistede sin evne til at tale efter et slagtilfælde for over 16 år siden. Laboratoriet udstyrede manden med implanterede elektroder, der kunne registrere hjerneaktivitet. Manden tilbragte derefter 22 timer (spredt over mere end et års sessioner) med at træne et system til at genkende specifikke mønstre. I denne træning ville han forsøge at tale isolerede ord fra et 50-ords ordforrådssæt. I et andet kursus forsøgte han at producere fulde sætninger ved hjælp af disse ord, der indeholdt grundlæggende verb og pronomen (som “am” og “I”) samt specifikke nyttige substantiver (som “briller” og “computer”) og kommandoer ( som “ja” og “nej”).

Systemet afkoder hjernemønstre for 50 ord

Denne træning hjalp med at skabe en sprogmodel, der kunne reagere, når manden tænkte på at sige bestemte ord, selvom han faktisk ikke kunne tale dem. Forskere finjusterede modellen til at forudsige hvilke af de 50 ord, han tænkte på, og integrerede et sandsynlighedssystem for engelsksprogede mønstre svarende til et forudsigeligt smartphone-tastatur. Forskerne rapporterede, at systemet i de sidste forsøg kunne afkode en medianfrekvens på 15,2 ord pr. Minut, tællefejl eller 12,5 ord pr. Minut med kun korrekt afkodede ord.

Chang Lab offentliggjorde tidligere Project Steno-forskning i 2019 og 2020, der viser, at elektrodearrayer og forudsigelige modeller kan skabe forholdsvis hurtige og sofistikerede tanke-typesystemer. Mange tidligere skrivemuligheder involverede mentalt at skubbe en markør rundt på et skærmtastatur ved hjælp af et hjerneimplantat, selvom nogle andre forskere har eksperimenteret med metoder som at visualisere håndskrift. Hvor laboratoriets tidligere forskning involverede afkodning af hjerneaktivitet hos mennesker, der talte normalt, viser dette seneste papir, at det fungerer, selv når forsøgspersoner ikke (og ikke kan) taler højt.

Facebook Reality Labs headset, som ikke blev brugt i undersøgelsen.

I en pressemeddelelse siger UCSF-formand for neurokirurgi Eddie Chang, at det næste skridt er at forbedre systemet og teste det med flere mennesker. ”På hardwaresiden er vi nødt til at bygge systemer, der har højere dataopløsning for at registrere mere information fra hjernen og hurtigere. På algoritmesiden er vi nødt til at have systemer, der kan oversætte disse meget komplekse signaler fra hjernen til talte ord, ikke tekst, men faktisk mundtlige, hørbare talte ord. ” En vigtig prioritet, siger Chang, er i høj grad at udvide ordforrådet.

Facebook vil fokusere på håndledsmonterede EMG-bånd

Dagens forskning er værdifuld for folk, der ikke betjenes af tastaturer og andre eksisterende grænseflader, da selv et begrænset ordforråd kan hjælpe dem med at kommunikere lettere. Men det falder langt under det ambitiøse mål, Facebook satte i 2017: et ikke-invasivt BCI-system, der ville lade folk skrive 100 ord i minuttet sammenlignet med de øvre hastigheder, de kunne nå på et traditionelt tastatur. Den seneste UCSF-forskning involverer implanteret teknologi og kommer ikke tæt på at ramme dette nummer – eller endda de hastigheder, som de fleste mennesker kan nå på et telefontastatur. Det lover dårligt for de kommercielle udsigter til en teknologi som et eksternt hovedbånd, der optisk måler iltniveauer i hjernen, som Facebook Reality Labs (virksomhedens virtuelle og augmented reality-hardware-fløj) afslørede i prototype-form.