Mit dem haptischen Sci-Fi-Handschuh-Prototyp von Meta können Sie VR-Objekte mithilfe von Lufteinschlüssen fühlen

In Metas neuen Hightech-Virtual-Reality-Handschuhen kann man keinen Hund streicheln. Aber die Forscher kommen näher.

Meta (ehemals Facebook) ist bekannt für seine hochkarätigen Schritte in die virtuelle und erweiterte Realität. Seit sieben Jahren arbeitet er jedoch in aller Stille an einem seiner bisher ambitioniertesten Projekte: einem haptischen Handschuh, der Empfindungen wie das Greifen eines Gegenstands oder das Streichen der Hand über eine Oberfläche reproduziert. Während Meta nicht den Handschuh aus seiner Forschungsabteilung Reality Labs lässt, zeigt das Unternehmen es heute zum ersten Mal und sieht das Gerät – neben anderen tragbaren Technologien – als die Zukunft der VR- und AR-Interaktion.

Auf einer vereinfachten Ebene ist der Haptik-Prototyp von Meta ein Handschuh, der mit etwa 15 geriffelten und aufblasbaren Kunststoffpolstern, den sogenannten Aktuatoren, gefüttert ist. Die Pads sind so angeordnet, dass sie entlang der Handfläche des Trägers, der Unterseite seiner Finger und seiner Fingerspitzen passen. Der Handschuh fungiert auch als VR-Controller. Auf der Rückseite befinden sich kleine weiße Markierungen, mit denen Kameras verfolgen können, wie sich die Finger durch den Raum bewegen, und interne Sensoren, die erfassen, wie sich die Finger des Trägers beugen.

Wenn Sie den Handschuh anziehen und in ein VR- oder AR-Erlebnis einsteigen, passt ein ausgeklügeltes Kontrollsystem die Inflationsstufe an und übt Druck auf verschiedene Teile Ihrer Hand aus. Wenn Sie ein virtuelles Objekt mit Ihren Fingerspitzen berühren, werden Sie spüren, wie sich dieses Objekt in Ihre Haut drückt. Wenn Sie ein virtuelles Objekt greifen, versteifen sich die Langfinger-Aktuatoren und erzeugen ein Widerstandsgefühl. Diese Empfindungen arbeiten mit visuellen und akustischen Hinweisen zusammen, um die Illusion einer körperlichen Berührung zu erzeugen.

Die Technologie greift auf das relativ neue Gebiet der Softrobotik zurück und ersetzt sperrige Motoren durch winzige Luftventile. Meta hat fast seit der Übernahme des Oculus VR-Startups im Jahr 2014 daran gearbeitet. Es entwickelte seinen ersten Prototyp – einen Finger mit einem einzigen Aktor – im Jahr 2015.

Reality Labs arbeitet seit Jahren an diesem Prototyp

Eine der ersten Erfahrungen, an die sich Reality Labs-Chef Michael Abrash erinnert, war der Blick auf eine virtuelle Platte aus dem Inneren eines VR-Headsets – wo ein einzelner Aktuator in Kombination mit dem virtuellen Bild und dem Geräusch des Reibens der rauen Keramik unglaublich überzeugend war. „Ich sah die Platte und ich sah meinen Finger auf der Platte, und ich hörte das Geräusch – diese Art von Kratzen – und ich fühlte die Vibration“, sagt er. „Und ich sage Ihnen, ich fuhr mit dem Finger über eine Keramikplatte.“

Simulierte Berührung ist kein ganz neues Phänomen. Sogar die Kombination von VR mit etwas so Einfachem wie Controller-Vibrationen kann den Menschen das Gefühl geben, etwas zu berühren, und viele Unternehmen haben an Wearables gearbeitet, die entweder die Hände der Benutzer verfolgen oder ein haptisches Gefühl vermitteln. Einige integrieren sogar Temperaturempfindungen, die Reality Labs nicht priorisiert.

Aber Meta ist bereit, haptische Handschuhe in einer Weise auf den Massenmarkt zu bringen, wie es andere Unternehmen nicht können. Die meisten Hersteller von Haptik-Geräten verkaufen Spezialprodukte für militärische, industrielle oder akademische Einrichtungen. Im Gegensatz dazu produziert Meta das dominierende verbraucherorientierte Quest VR-System und investiert Milliarden von Dollar in den Aufbau eines „Metaverses“, das VR und AR integriert. Wenn es ein haptisches Handschuhsystem einführt, kann Meta garantieren, dass das System auf der Quest funktioniert und App-Entwickler ermutigen, es zu verwenden.

Reality Labs stellt sich Handschuhe als eine von mehreren Controller-Methoden für zukünftige Brillen und Headsets vor, neben leichteren Lösungen, die auf Elektromyographie oder EMG basieren – einem System, das Nervensignale an Ihrem Arm liest und in digitale Eingaben umwandelt. Meta erwarb 2019 das EMG-Armbandunternehmen CTRL-Labs, und das EMG-Team arbeitet getrennt vom Haptik-Designteam, obwohl sich die beiden Technologien leicht überschneiden könnten.

„[Doug] Engelbart und Xerox PARC sind das einzige Mal, dass sich die Art und Weise, wie wir mit der digitalen Welt interagieren, grundlegend geändert hat“, sagt Abrash – und bezieht sich auf die Erfindung der Maus und das Alto-Desktop-Computerdesign in den 1970er Jahren, was dazu beigetragen hat die Weichen für das moderne Personal Computing stellen. „AR-Brillen werden das erfordern. Sie werden nicht mit Tastatur und Maus herumlaufen. Sie werden Ihr Telefon nicht herausnehmen, um damit zu interagieren.“ Für einige Aufgaben möchten Sie vielleicht ein einfaches Armband. Andere wünschen sich ein umfassenderes taktiles Gefühl.

Es gibt jedoch noch viele Hindernisse für die Herstellung verbrauchergerechter haptischer Handschuhe.

„Bei Kleidungsstücken im Allgemeinen erwarten wir dass sie waschbar sind”

Auf der einen Seite möchte das Team die Aktuatordichte der Handschuhe drastisch erhöhen und innerhalb weniger Jahre von zehn auf Hunderte oder sogar Tausende erhöhen. Im Moment können die Handschuhe ein Gefühl für die Konturen von Objekten vermitteln, aber keine feinen Unterschiede zwischen Oberflächen – sie verlassen sich stattdessen auf die suggestive Kraft von Audio und Bildern. „Sie könnten einen Hund streicheln, aber Sie würden die Textur nicht spüren“, sagt die Reality-Labs-Ingenieurin Katherine Healy. „Man braucht eine hochdichte Betätigung, um dieses Gefühl wirklich zu bekommen, und das tut dieser Handschuh nicht.“ Meta priorisiert vielleicht nicht so etwas Besonderes wie Pelz, aber es möchte ein breiteres, qualitativ hochwertiges Gefühl erzeugen.

Auf der anderen Seite – oder buchstäblicher dieselbe Hand – müssen die Handschuhe dramatisch verkleinert werden. Metas Prototyp ist eleganter als so etwas wie ein Nintendo Power Glove aus den 90ern, aber das sagt nicht viel aus. Healy sagt, dass das Gerät leicht genug sein muss, damit die Leute das Gefühl haben, dass sie normalerweise sowohl mit der realen als auch mit der virtuellen Welt interagieren können, und es muss vollständig drahtlos sein, anstatt sich wie jetzt auf ein Halteseil zu verlassen.

Um es noch komplizierter zu machen, müssen haptische Handschuhe genau an der Haut des Trägers anliegen. Dazu könnte es erforderlich sein, für jeden Käufer unterschiedlich passende Versionen zu entwerfen, möglicherweise durch einen Prozess wie 3D-Stricken, bei dem ein Kleidungsstück aus einem kundenspezifischen digitalen Design hergestellt werden kann. Dann gibt es praktische Fragen wie die Reinigung eines Hightech-Handschuhs – derzeit wird er vorsichtig mit Alkohol abgewischt. „Bei Kleidungsstücken erwarten wir im Allgemeinen, dass sie waschbar sind“, sagt Healy. „Wir würden gerne einen waschbaren Handschuh herstellen. Wie? Wir wissen es noch nicht. Aber das ist Teil unserer Vision.“

Wenn die Handschuhe kommerzialisiert werden, stehen sie denselben Datenschutz- und Sicherheitsherausforderungen gegenüber wie andere Wearables, die biometrische Informationen sammeln. Abrash vergleicht die Verwendung von Technologien wie EMG-Armbändern mit dem Tippen auf einer Tastatur, was selten als potenzielle Bedrohung beschrieben wird. Aber tragbare Technologie kann die körperliche Bewegung von Menschen auf einer feinen Ebene analysieren, während selbst grundlegende Tippmuster das Auftreten von Krankheiten wie Parkinson vorhersagen können. Meta muss Richtlinien festlegen, die regeln, wie viele dieser Daten die Geräte der Benutzer verlassen und wer sonst darauf Zugriff hat.

“Es gibt eine neue Physik, bei der nichts im großen Stil fest ist”

Im Moment versucht das Team nur herauszufinden, wie real genug für VR-Touch ist. „Eines der interessanten Dinge an haptischen Handschuhen ist, dass wir die Realität offensichtlich nicht genau reproduzieren können, was sich von audiovisuellen Dingen unterscheidet“, sagt Abrash. Ein superdichter Bildschirm könnte fast von einem echten Bild zu unterscheiden sein, und eine Schallwelle könnte das Gefühl einfangen, jemanden sprechen zu hören. Aber Meta kann realistisch keinen Handschuh herstellen, der Ihre Hand daran hindert, durch einen virtuellen Tisch zu gehen. Stattdessen muss es den Punkt finden, an dem Sie den Unglauben aussetzen und akzeptieren, dass der Tisch da ist, auch wenn er sich objektiv eher wie Wackelpudding als nach hartem Holz anfühlt. „Es gibt eine neue Physik, bei der im großen Maßstab nichts fest ist.“

Und was den Hund angeht? „Es scheint mir wahrscheinlich, dass Sie, wenn die haptischen Handschuhe funktionieren, einen Hund streicheln können, aber es wird ein virtueller Hund und es wird eine etwas andere Erfahrung sein“, sagt Abrash. „Aber im Grunde – emotional, erfahrungsgemäß – wird es sich so real anfühlen.“