Facebook stopt met hersentypen als interface voor AR-brillen

Een door Facebook ondersteund initiatief om mensen te laten typen door te denken, is afgesloten met nieuwe bevindingen die vandaag zijn gepubliceerd.

Project Steno was een meerjarige samenwerking tussen Facebook en het Chang Lab van de Universiteit van Californië in San Francisco, met als doel een systeem te creëren dat hersenactiviteit in woorden vertaalt. Een nieuw onderzoeksartikel, gepubliceerd in The New England Journal of Medicine, toont mogelijkheden voor het implementeren van de technologie voor mensen met spraakstoornissen.

Maar naast het onderzoek maakte Facebook duidelijk dat het afziet van het idee van een commercieel op het hoofd gemonteerd hersenleesapparaat en in plaats daarvan om de pols gedragen interfaces uitbouwt. Het nieuwe onderzoek heeft geen duidelijke toepasbaarheid voor een technologieproduct voor de massamarkt, en in een persbericht zei Facebook dat het zijn prioriteiten “heroriënteert” weg van op het hoofd gemonteerde hersencomputerinterfaces.

“Facebook heeft geen interesse in producten ontwikkelen waarvoor geïmplanteerde elektroden nodig zijn”

“Voor alle duidelijkheid, Facebook heeft geen interesse in het ontwikkelen van producten waarvoor geïmplanteerde elektroden nodig zijn”, zei Facebook in een persbericht. Elders in de release werd opgemerkt dat “hoewel we nog steeds geloven in het langetermijnpotentieel van op het hoofd gemonteerde optische BCI-technologieën, we hebben besloten onze onmiddellijke inspanningen te concentreren op een andere neurale interface-benadering die op kortere termijn een pad naar markt.”

Het lopende onderzoek van het Chang Lab omvat het gebruik van geïmplanteerde brain-computer interfaces (BCI's) om de spraakcapaciteiten van mensen te herstellen. Het nieuwe artikel richt zich op een deelnemer die meer dan 16 jaar geleden zijn spraakvermogen verloor na een beroerte. Het lab voorzag de man van geïmplanteerde elektroden die hersenactiviteit konden detecteren. De man besteedde vervolgens 22 uur (verspreid over sessies van meer dan een jaar) aan het trainen van een systeem om specifieke patronen te herkennen. In die training probeerde hij geïsoleerde woorden uit een woordenschat van 50 woorden te spreken. In een andere training probeerde hij volledige zinnen te maken met die woorden, die zowel basiswerkwoorden en voornaamwoorden (zoals 'am' en 'I') als specifieke nuttige zelfstandige naamwoorden (zoals 'bril' en 'computer') en commando's ( zoals “ja” en “nee”).

Het systeem decodeert hersenpatronen voor 50 woorden

Deze training hielp bij het creëren van een taalmodel dat kon reageren wanneer de man erover dacht bepaalde woorden te zeggen, zelfs als hij ze niet echt kon uitspreken. Onderzoekers hebben het model verfijnd om te voorspellen aan welke van de 50 woorden hij dacht, door een waarschijnlijkheidssysteem voor Engelse taalpatronen te integreren, vergelijkbaar met een voorspellend smartphonetoetsenbord. De onderzoekers meldden dat het systeem in laatste proeven een mediane snelheid van 15,2 woorden per minuut, telfouten, of 12,5 woorden per minuut kon decoderen met alleen correct gedecodeerde woorden.

Het Chang Lab publiceerde eerder Project Steno-onderzoek in 2019 en 2020, waaruit blijkt dat elektrode-arrays en voorspellende modellen relatief snelle en geavanceerde systemen voor het typen van gedachten kunnen creëren. Veel eerdere typeopties omvatten het mentaal duwen van een cursor over een schermtoetsenbord met behulp van een hersenimplantaat, hoewel sommige andere onderzoekers hebben geëxperimenteerd met methoden zoals het visualiseren van handschrift. Waar het eerdere onderzoek van het lab betrekking had op het decoderen van hersenactiviteit bij mensen die normaal aan het praten waren, laat dit nieuwste artikel zien dat het werkt, zelfs als proefpersonen niet hardop spreken (en niet kunnen).

De headset van Facebook Reality Labs, die niet werd gebruikt in het onderzoek.

In een persbericht zegt Eddie Chang, voorzitter van neurochirurgie van de UCSF, dat de volgende stap is om het systeem te verbeteren en met meer mensen te testen. “Wat de hardware betreft, moeten we systemen bouwen met een hogere gegevensresolutie om meer informatie uit de hersenen op te nemen, en sneller. Aan de kant van het algoritme hebben we systemen nodig die deze zeer complexe signalen van de hersenen kunnen vertalen in gesproken woorden, niet in tekst, maar in orale, hoorbare gesproken woorden.” Een belangrijke prioriteit, zegt Chang, is het enorm uitbreiden van de woordenschat.

Facebook zal zich richten op EMG-bandjes aan de pols

Het huidige onderzoek is waardevol voor mensen die niet bediend worden door toetsenborden en andere bestaande interfaces, aangezien zelfs een beperkte woordenschat hen kan helpen om gemakkelijker te communiceren. Maar het blijft ver achter bij het ambitieuze doel dat Facebook in 2017 had gesteld: een niet-invasief BCI-systeem waarmee mensen 100 woorden per minuut kunnen typen, vergelijkbaar met de hoogste snelheden die ze zouden kunnen bereiken op een traditioneel toetsenbord. Het nieuwste UCSF-onderzoek omvat geïmplanteerde technologie en komt niet in de buurt van dat aantal – of zelfs de snelheden die de meeste mensen kunnen bereiken op een telefoontoetsenbord. Dat belooft weinig goeds voor de commerciële vooruitzichten van een technologie als een externe hoofdband die optisch de zuurstofniveaus in de hersenen meet, die Facebook Reality Labs (de virtual en augmented reality-hardwarevleugel van het bedrijf) in prototypevorm heeft onthuld.