Facebook hat eine neue API angekündigt, mit der Entwickler Videos von den Sensoren von Quest 2 in ihre Spiele und Anwendungen integrieren können, um ein Mixed-Reality-Erlebnis zu schaffen. Mit der Passthrough-API können Entwickler nicht nur die Schwarzweißbilder von den Sensoren des Headsets in ihre Erfahrungen einmischen, sondern auch das Aussehen des Players anpassen, Effekte anwenden und lassen Sie sogar die reale Welt auf bestimmten Oberflächen erscheinen.
Die Ankündigung von Facebook enthält Beispiele dafür, wie die API die Produktivitätssoftware verbessern könnte, indem sie die Integration von echten Tastaturen und Schreibtischen ermöglicht, und wie Spiele Ihre echten Möbel enthalten könnten, hinter denen sich Feinde verstecken können. Es ist auch leicht, sich andere lustige Erlebnisse vorzustellen, die Ihre reale Umgebung mit einer virtuellen Welt vermischen – wie wäre es mit Portal-artigen Rätseln, die Sie in Ihrem eigenen Haus lösen, oder die Möglichkeit, Ihre Wände mit virtueller Farbe bedeckt zu sehen?
Ein Beispiel für Mixed Reality-Steuerung Gif: Oculus Facebook teilte UploadVR mit, dass die API derzeit nur für den Quest 2 verfügbar sei, als er nach der Kompatibilität mit dem Quest der ersten Generation gefragt wurde. In dem Ankündigungsbeitrag sagt Facebook, dass die Bildverarbeitung für die API auf dem Gerät erfolgt und dass Anwendungen, die sie verwenden, die Bilder von den Sensoren von Quest 2 nicht sehen oder speichern können.
Facebook fügt die experimentelle Version der API zu seinen kommenden Entwicklertools hinzu und wird zuerst Programmierern zur Verfügung stehen, die Unity zum Erstellen ihrer Software verwenden. Facebook verspricht, dass die API in Zukunft auch für andere Entwicklungsplattformen unterstützt wird.
Ein virtuelles Büro in Ihrem echten Büro
Die Headsets Quest, Quest 2 und Rift S verfügen bereits über eine Version der Passthrough-Technologie, die es Benutzern ermöglicht, einen schnellen Blick darauf zu werfen, was in der realen Welt um sie herum passiert. Mit Facebook können Sie auch Passthrough als Ihre virtuelle Umgebung festlegen, wodurch Sie eine Version Ihrer realen Umgebung (wenn auch in Schwarzweiß) erhalten, in der Sie durch die Oculus-Benutzeroberfläche navigieren können. Diese Fähigkeit wurde sogar in einem Video über die Infinite Office-Funktion demonstriert.
Die Möglichkeit, Ihre realen Umgebung in eine virtuelle Welt ist seit langem eines der spannendsten Versprechen von Headsets mit integrierter Kamera. Microsoft beschwor die Idee sogar, als es seine VR-Plattform Windows Mixed Reality nannte (unabhängig davon, wie viel das tatsächlich geliefert wurde).
Die Neuigkeiten über die API von Oculus bedeuten jedoch nicht, dass du heute dein Headset in die Hand nehmen und eine Mixed-Reality-Erfahrung erleben kannst. In seiner Ankündigung sagt Facebook, dass es Entwicklern ermöglichen will, Software mit Passthrough an Spieler „später in diesem Jahr“ zu versenden. Dennoch ist die Verfügbarkeit dieser API für Entwickler aufregend, da sie neue Arten von Erfahrungen auf der Oculus-Plattform ermöglichen sollte.