Facebook heeft een nieuwe API aangekondigd waarmee ontwikkelaars video van de sensoren van de Quest 2 kunnen integreren in hun games en applicaties, waardoor een mixed reality-ervaring ontstaat. Met de Passthrough API kunnen ontwikkelaars niet alleen de zwart-witafbeeldingen van de sensoren van de headset combineren met hun ervaringen, maar ze kunnen ook aanpassen hoe het eruitziet voor de speler, effecten toepassen en laat zelfs de echte wereld op specifieke oppervlakken verschijnen.
De aankondiging van Facebook bevat voorbeelden van hoe de API de productiviteitssoftware zou kunnen verbeteren door integratie van echte toetsenborden en bureaus mogelijk te maken, en hoe games je echte meubels kunnen bevatten waar vijanden zich achter kunnen verschuilen. Het is ook gemakkelijk om je andere leuke ervaringen voor te stellen die je echte omgeving combineren met een virtuele wereld – wat dacht je van Portal-achtige puzzels die je in je eigen huis oplost, of de mogelijkheid om je muren bedekt te zien met virtuele verf?
Facebook vertelde UploadVR dat de API momenteel alleen voor de Quest 2 was toen hem werd gevraagd naar compatibiliteit met de Quest van de eerste generatie. In de aankondigingspost zegt Facebook dat de beeldverwerking voor de API op het apparaat wordt gedaan en dat applicaties die het gebruiken de afbeeldingen van de sensoren van de Quest 2 niet kunnen zien of opslaan. Facebook voegt de experimentele versie van de API toe aan zijn aankomende ontwikkelaarstools, en het zal eerst beschikbaar zijn voor programmeurs die Unity gebruiken om hun software te bouwen. Facebook belooft wel dat de API in de toekomst ondersteuning zal krijgen voor andere ontwikkelplatforms. Een virtueel kantoor in uw echte kantoor De Quest-, Quest 2- en Rift S-headsets hebben al een versie van de Passthrough-technologie, waarmee gebruikers snel kunnen zien wat er in de echte wereld om hen heen gebeurt. Facebook laat je ook Passthrough instellen als je virtuele omgeving, waardoor je een versie van je echte omgeving krijgt (zij het in zwart-wit) waarin je door de Oculus UI kunt navigeren. Het toonde zelfs dat vermogen in een video over zijn Infinite Office-functie. De mogelijkheid om uw echte omgeving in een virtuele wereld is al lang een van de meer opwindende beloften van headsets met geïntegreerde camera's. Microsoft riep zelfs het idee op toen het zijn VR-platform Windows Mixed Reality noemde (ongeacht hoeveel dat daadwerkelijk is geleverd). Het nieuws over de API van Oculus betekent echter niet dat je vandaag je headset kunt pakken en een mixed reality-ervaring kunt beleven. In de aankondiging zegt Facebook dat het ontwikkelaars 'later dit jaar' software wil laten verzenden met Passthrough naar spelers. Toch is de beschikbaarheid van deze API voor ontwikkelaars opwindend, omdat het nieuwe soorten ervaringen op het Oculus-platform mogelijk moet maken.
Een voorbeeld van mixed reality-besturingselementen. Gif: Oculus