Aż dziw bierze, że trwa to tak długo. Możliwości jakie daje technologia passthrough są nie do ocenienia, zwłaszcza biorąc pod uwagę fakt, że sprzętowo Meta jest już na to dawno gotowa. Chyba czas przełamać lody i dać developerom pole do popisu.
A wszystko zaczęło się na wrześniowej imprezie Meta Connect w 2024 roku. Podczas konferencji Meta zaskoczyła wszystkich ogłaszając, że w przyszłym roku (czyli w 2025) umożliwi programistom dostęp do kamer passthrough we wszystkich modelach Quest za pośrednictwem nowego interfejsu API. Czas leci, a zmian dalej nie widać. Meta zaczyna coś tam pobrzękiwać, że chyba w końcu czas wywiązać się ze składanych publicznie zapowiedzi. No dobrze, ale…
O co cały ten szum?
Przecież opcja jest, mając headset na głowie widzimy nasze fizyczne otoczenie. Ba, nawet widzimy powierzchnie i granice. Więc o co chodzi? Podczas gdy headsety takie jak Meta Quest 3 czy Apple Vision Pro wykorzystują kamery, aby umożliwić Ci zobaczenie prawdziwego świata, tylko system i niektóre aplikacje producenta faktycznie uzyskują dostęp do kamer. A w zasadzie do tych bardziej złożonych danych. Deweloperzy zewnętrzni mogą używać widoku z kamery jako tła. Jednak ich aplikacje nie mogą faktycznie użyć tego obrazu jako obiektu przestrzennego. Zamiast tego otrzymują dane wyższego poziomu, takie jak współrzędne szkieletu dłoni i ciała, trójwymiarową siatkę otoczenia z polami ograniczającymi dla mebli i ograniczone możliwości śledzenia obiektów. Oznacza to, że nie mogą uruchamiać własnych modeli 'widzenia komputerowego’. Przykład? System umożliwiający rozpoznawanie otaczających nas przedmiotów. Questy informują nas, że przed nami stoi kanapa. Ale nic z tą informacja nie zrobimy, nie podłączymy do tego modelu rozpoznawania mebli czy jakiejkolwiek analizy obrazu.
W tym kontekście Apple poszło o krok dalej niż Meta. visionOS 2 zapewnia przedsiębiorstwom bezpośredni dostęp do kamer przejściowej Vision Pro. Słowo klucz: przedsiębiorstwom. Aby mieć taki dostęp wymaga to specjalnej licencji od Apple i jest ograniczone wyłącznie do „środowiska biznesowego”.
Meta na swojej stronie supportu umieściła informację, że zaczyna się coś dziać w tym kierunku.
AI wkroczy z przytupem
Headset camera permission allows an app to access the real-time passthrough camera feed from the front of your headset. The real-time camera passthrough feed includes everything you see in passthrough without any virtual objects that may appear to be blocking the real environment. If you choose to share camera data with an app, that app’s policies apply.
Meta support website
Dokładnie opisane jest co nam, developerom zostanie udostępnione i jak będzie można to wykorzystać:
- Rozpoznawanie obiektów – programiści mogą tworzyć aplikacje, które rozpoznają i wykorzystują określone obiekty w rzeczywistym środowisku. Na przykład cyfrowa gra planszowa, która zawiera fizyczne elementy gry lub plansze.
- Rozpoznawanie lokalizacji – programiści mogą tworzyć doświadczenia, które reagują inaczej w zależności od tego, gdzie kamera pokazuje, że się znajdujesz. Na przykład w pomieszczeniu lub na zewnątrz, w znanym miejscu lub w określonym typie pomieszczenia.
- Inne funkcje uczenia maszynowego– programiści mogą uruchamiać niestandardowe modele uczenia maszynowego na danych z kamery w czasie rzeczywistym. Może to być używane do ponownego teksturowania/cieniowania, gier z udziałem uczestników, którzy nie noszą headsetów, wykrywania osób/zwierząt lub dowolnej liczby niestandardowych przypadków użycia przemysłowego/szkoleniowego.
Ciśnie się na usta jedna rzecz, a jej skończoność jest tam, gdzie kończy się wyobraźnia developerów. Czyli bardzo daleko. Mianowicie AI. Użycie wszelkich mechanizmów operujących na sztucznej inteligencji i analizie naszego otoczenia w połączenia z VR i AR może naprawdę nieźle namieszać nam w głowach.