ARKit 3.0 był przełomem w technologii AR. Okluzja to element, nad którym pracuje wiele firm, a metod na rozwiązanie tego problemu jest kilka. Google wchodzi do gry i udostępnia Depth API. ARCore staje się potężnym narzędziem… i konkurencją dla Apple.
Za 2 tygodnie święta Bożego Narodzenia. Nie wiem jak Wy ale ja odnoszę wrażenie, że wysypał się worek z prezentami. Oculus ogłasza wydanie softu dla śledzenia dłoni, a tymczasem Google ogłasza Depth API. Czym tak naprawdę jest. Ja to nazywam świętym Graalem AR. Czyli okluzja.
I to wszystko przy zastosowaniu jedynie kamery telefonu. Bez żadnego wsparcia ze strony urządzeń trzecich. Jak to możliwe?
Interfejs API Depth dokonuje tego wyczynu, przechwytując wiele obrazów pod różnymi kątami i porównując je, gdy urządzenie mobilne porusza się w przestrzeni. Algorytm wykorzystuje następnie przechwycone dane do obliczenia odległości między wspólnymi punktami na obrazach.
Telefon zrozumie otoczenie
Dane te pozwalają na “rozumienie” przestrzeni przez urządzenie mobilne tak jak i elementy wirtualne które są w niej umieszczane. Jeśli nasz telefon wie dokładnie w jakiej odległości znajdują się rzeczywiste elementy może w ten sposób prowadzić interakcje pomiędzy nimi, a wirtualnymi obiektami. Sprowadza się to do wspólnego mianownika czyli możliwości przesłaniania obiektów. Najbardziej wyczekiwana rzecz przez twórców aplikacji rozszerzonej rzeczywistości. Coś co było zarezerwowane jedynie dla urządzeń MR tj. Hololens czy Magic Leap. Oczywiście zastosowana w nich technologia mapowania przestrzennego to zupełnie coś innego. Jednak efekt końcowy będzie zbliżony.
Occlusion helps digital objects feel as if they are actually in your space by blending them with the scene. In addition to enabling occlusion, having a 3D understanding of the world on your device unlocks a myriad of other possibilities. Our team has been exploring some of these, playing with realistic physics, path planning, surface interaction, and more.
Shahram Izadi, dyrektor naukowy Google
Jeśli chcecie szybko przetestować jak działa Depth API możecie zrobić to już teraz. Wystarczy użyć Google Search i jego najnowszą opcję Quick View, która umożliwia oglądanie obiektów 3D w realnej przestrzeni.
Depth API to tylko soft
Najważniejszą informacją jest ta, że Depth API bazuje jedynie na kamerze telefonu. Cała “magia” dzieje się jedynie po stronie oprogramowania. Idzie za tym jeden wniosek. Dla rozwoju tej technologii nie będzie potrzeby wprowadzania nowszych wersji sprzętowych tak jak to ma miejsce w przypadku urządzeń MR.
The Depth API is not dependent on specialized cameras and sensors, and it will only get better as hardware improves. For example, the addition of depth sensors, like time-of-flight (ToF) sensors, to new devices will help create more detailed depth maps to improve existing capabilities like occlusion, and unlock new capabilities such as dynamic occlusion — the ability to occlude behind moving objects.
Shahram Izadi, dyrektor naukowy Google
No nie wiek jak Wy ale ja czekam na pierwsze dema. Rok 2020 zapowiada się naprawdę ekscytująco. Czy można mówić o przełomie? Ja chyba od dzisiaj tak będę to określał.
Google wytoczyło potężne działo na rynek. ARKit wraz z najnowszą odsłoną 3.0 udostępnia ‘Human Occlusion‘ oraz ‘Body tracking‘. Apple skupiło się w tym przypadku na śledzeniu ludzkiej postaci. Zapewne dzięki zastosowaniu technologii ML (Machine Learning). Google poszło o krok dalej, a w zasadzie o milę dalej. Jest to także olbrzymi cios dla firm tj. Niantic, Ubiquity6 czy 6D.ai. One także pracowały nad swoimi wersjami oprogramowania, które umożliwiało okludowanie obiektów. Jednak jeśli taka opcja będzie dostępna na zasadzie “out-of-the-box” wraz z API google wiadome jest, że większość deweloperów z tego skorzysta. Co ciekawe tak Niantic jaki Ubiquity6 jest finansowane przez Google.
Pytanie co zrobi Apple oraz jaka przyszłość czeka technologię MR? Czas pokarze.