Facebook gibt das Brain-Typing als AR-Brille-Schnittstelle auf

Eine von Facebook unterstützte Initiative, die darauf abzielt, Menschen durch Denken tippen zu lassen, wurde mit heute veröffentlichten neuen Erkenntnissen abgeschlossen.

Projekt Steno war eine mehrjährige Zusammenarbeit zwischen Facebook und das Chang Lab der University of California San Francisco mit dem Ziel, ein System zu entwickeln, das die Gehirnaktivität in Worte übersetzt. Ein neues Forschungspapier, das im New England Journal of Medicine veröffentlicht wurde, zeigt das Potenzial für die Implementierung der Technologie für Menschen mit Sprachbehinderungen.

Aber neben der Forschung machte Facebook deutlich, dass es die Idee eines kommerziellen Kopflesegeräts zurückzieht und stattdessen am Handgelenk getragene Schnittstellen entwickelt. Die neue Studie hat keine klare Anwendbarkeit für ein technisches Produkt für den Massenmarkt, und in einer Pressemitteilung sagte Facebook, dass es seine Prioritäten weg von kopfmontierten Gehirn-Computer-Schnittstellen „neu ausrichtet“.

„Facebook hat kein Interesse an Entwicklung von Produkten, die implantierte Elektroden erfordern”

„Um es klar zu sagen, Facebook hat kein Interesse an der Entwicklung von Produkten, die implantierte Elektroden erfordern“, sagte Facebook in einer Pressemitteilung. An anderer Stelle in der Pressemitteilung heißt es: „Obwohl wir immer noch an das langfristige Potenzial kopfmontierter optischer BCI-Technologien glauben, haben wir beschlossen, unsere unmittelbaren Bemühungen auf einen anderen neuronalen Schnittstellenansatz zu konzentrieren, der einen kurzfristigeren Weg zur Markt.“

Die laufende Forschung des Chang Lab umfasst die Verwendung implantierter Gehirn-Computer-Schnittstellen (BCIs), um die Sprachfähigkeiten von Menschen wiederherzustellen. Die neue Arbeit konzentriert sich auf einen Teilnehmer, der nach einem Schlaganfall vor über 16 Jahren seine Sprachfähigkeit verloren hat. Das Labor stattete den Mann mit implantierten Elektroden aus, die Gehirnaktivität erkennen konnten. Der Mann verbrachte dann 22 Stunden (auf mehr als ein Jahr verteilte Sitzungen) damit, ein System zu trainieren, um bestimmte Muster zu erkennen. In diesem Training versuchte er, einzelne Wörter aus einem 50-Wörter-Vokabular zu sprechen. In einem anderen Kurs versuchte er, mit diesen Wörtern ganze Sätze zu bilden, die sowohl einfache Verben und Pronomen (wie „am“ und „ich“) als auch spezifische hilfreiche Substantive (wie „Brille“ und „Computer“) und Befehle ( wie „ja“ und „nein“).

Das System entschlüsselt Gehirnmuster für 50 Wörter

Dieses Training half dabei, ein Sprachmodell zu entwickeln, das reagieren konnte, wenn der Mann darüber nachdachte, bestimmte Wörter zu sagen, auch wenn er sie nicht wirklich sprechen konnte. Die Forscher verfeinerten das Modell, um vorherzusagen, an welches der 50 Wörter er dachte, und integrierten ein Wahrscheinlichkeitssystem für englische Sprachmuster ähnlich einer prädiktiven Smartphone-Tastatur. Die Forscher berichteten, dass das System in abschließenden Versuchen eine durchschnittliche Rate von 15,2 Wörtern pro Minute entschlüsseln konnte, wobei Fehler gezählt wurden, oder 12,5 Wörter pro Minute mit nur korrekt decodierten Wörtern.

Das Chang Lab veröffentlichte frühere Forschungen zu Project Steno in den Jahren 2019 und 2020, die zeigten, dass Elektrodenarrays und Vorhersagemodelle vergleichsweise schnelle und ausgeklügelte Gedankentypsysteme erstellen können. Viele frühere Eingabemöglichkeiten bestanden darin, einen Cursor mithilfe eines Gehirnimplantats mental über eine Bildschirmtastatur zu bewegen, obwohl einige andere Forscher mit Methoden wie der Visualisierung von Handschrift experimentiert haben. Während die frühere Forschung des Labors die Entschlüsselung der Gehirnaktivität bei normal sprechenden Menschen umfasste, zeigt dieses neueste Papier, dass dies selbst dann funktioniert, wenn Probanden nicht laut sprechen (und nicht können).

Das in der Studie nicht eingesetzte Facebook Reality Labs Headset.

In einer Pressemitteilung sagt Eddie Chang, der Vorsitzende der UCSF für Neurochirurgie, dass der nächste Schritt darin besteht, das System zu verbessern und es mit mehr Menschen zu testen. „Auf der Hardwareseite müssen wir Systeme mit höherer Datenauflösung bauen, um mehr Informationen aus dem Gehirn schneller aufzuzeichnen. Auf der Algorithmusseite brauchen wir Systeme, die diese sehr komplexen Signale aus dem Gehirn in gesprochene Worte übersetzen können, nicht in Text, sondern tatsächlich in mündliche, hörbare gesprochene Worte.“ Eine große Priorität, sagt Chang, ist die große Erweiterung des Wortschatzes.

Facebook konzentriert sich auf am Handgelenk befestigte EMG-Bänder

Die heutige Forschung ist für Menschen wertvoll, die nicht von Tastaturen und anderen vorhandenen Schnittstellen bedient werden, da selbst ein begrenzter Wortschatz ihnen helfen kann, leichter zu kommunizieren. Aber es bleibt weit hinter dem ehrgeizigen Ziel zurück, das sich Facebook im Jahr 2017 gesetzt hatte: ein nicht-invasives BCI-System, mit dem Menschen 100 Wörter pro Minute eingeben können, vergleichbar mit den höheren Geschwindigkeiten, die sie auf einer herkömmlichen Tastatur erreichen könnten. Die neueste UCSF-Forschung bezieht sich auf implantierte Technologie und kommt nicht an diese Zahl heran – oder sogar an die Geschwindigkeiten, die die meisten Menschen auf einer Telefontastatur erreichen können. Das ist ein schlechtes Zeichen für die kommerziellen Aussichten einer Technologie wie eines externen Stirnbands, das den Sauerstoffgehalt des Gehirns optisch misst, das Facebook Reality Labs (der Virtual- und Augmented-Reality-Hardware-Flügel des Unternehmens) in Prototypform vorgestellt hat.

Seitdem hat Facebook im Jahr 2019 das Elektromyographie-(EMG)-Armbandunternehmen CTRL-Labs übernommen und ihm eine alternative Steuerungsoption für AR und VR zur Verfügung gestellt. „Wir stehen noch am Anfang, um das Potenzial der handgelenkbasierten Elektromyographie (EMG) zu erschließen, aber wir glauben, dass dies der Haupteingang für AR-Brillen sein wird, und die Anwendung unserer Erkenntnisse über BCI wird uns dabei helfen, schneller dorthin zu gelangen.“ “, sagt Sean Keller, Forschungsleiter von Facebook Reality Labs. Facebook wird das Head-Mounted Brain Interface-System nicht komplett aufgeben, aber es plant, die Software als Open Source zu veröffentlichen und die Hardware-Prototypen mit externen Forschern zu teilen, während es gleichzeitig seine eigene Forschung abwickelt.