Po obejrzeniu tegorocznego Keynote WWDC można było mieć spory niedosyt związany z nowościami dotyczącymi platformy rozszerzonej rzeczywistości ARKit. Ogłaszane przez ostanie lata nowości pokazywały ogromy postęp w rozwoju platformy, a ich „czas antenowy” świadczył o dużym priorytecie projektu. W tym roku o ARKit na scenie … nie powiedziano nic. Dopiero dedykowane sesje z ekspertami pokazały fenomenalne aktualizacje platformy, które wynoszą doświadczenia AR na zupełnie nowy poziom.

Location Anchors

Pierwszy ogromnie istotny element zaprezentowany na jednej z sesji WWDC dotyczącej ARKit 4 dotyczył AR Location Anchors. Jak na dłoni widać, że Apple dołącza do wyścigu w budowie rozwiązania w obszarze AR Cloud. Co więcej ma wszelkie narzędzia do tego, żeby osiągnąć spektakularny sukces. 

Location Anchors łączy dopracowane już możliwości wykrywania i śledzenia tzw. chmur punktów budowanych w oparciu o obraz z kamery z danymi geolokacyjnymi. Nie są to jednak tylko proste informacje z GPS. Apple w swoim rozwiązaniu używa specjalnie zebranych do tego celu danych z map satelitarnych tworzonych w ramach swojej platformy. Uruchomienie projektu mającego na celu budowę własnego silnika map i bezpośrednia rywalizacja na tym polu z Google w 2012 roku była strzałem w 10-tkę. Prezentowane dema pokazują bardzo dużą dokładność i stabilność prezentowania modeli 3D w otoczeniu rzeczywistych budynków. Miejmy nadzieję, że w praktyce silnik będzie działał równie dobrze.

Okluzja ludzi i obiektów 

W zeszłym roku wraz z ARKit 3 Apple zaprezentowało Body Occlusion. Rozwiązanie oparte o segmentację ludzkiego ciała, które pozwala na przysłanianie wirtualnych obiektów przez ludzi znajdujących się przed nimi. Tym samym Apple pokazało rozwiązanie zdecydowanie bardziej złożonego problemu niż Google, które dla Androida udostępniło okluzje statycznych obiektów.

W tym roku Apple uzupełniło mechanizm okluzji o wymienioną wyżej wersję związaną ze statycznymi obiektami. Co więcej osiągnęła zdecydowanie lepsze rezultaty. Kluczem był tutaj zaprezentowany wraz z iPadem czujnik LiDAR. Dema prezentujące okluzję wyglądają wyśmienicie, są bardzo dokładne i responsywne. Kolejny raz holistyczne podejścia firmy z Cupertino uwzględniające zarówno software jak i hardware dało wspaniałe efekty.

Dynamiczne Oświetlenie i fizyka

Dzięki dokładnemu modelowi fizycznej przestrzeni pochodzącemu z LiDAR’u Apple mogło również udostępnić aktualizację dotyczącą dynamicznego oświetlenia oraz fizyki. W poprzednich wersjach silnika cienie mogły być generowane, ale wymagało to przypięcia obiektu do określonej płaszczyzny – teraz nie jest to już konieczne. Cienie rzucane przez model na płaszczyznę pod nim generowane są automatycznie i rzutowane na wykrytą przy użyciu mapy głębi powierzchnię. To samo dotyczy fizyki. Nie musimy już w sztuczny sposób modelować i symulować otaczającej przestrzeni. Trójwymiarowe modele znajdujące się na scenie w naturalny sposób spadają czy odbijają się od rzeczywistych obiektów. 

Tekstury Video

Dotychczas dostępne statyczne tekstury modeli zostały uzupełnione o animowane wersje video. Dzięki temu modele 3D używane w budowanych doświadczeniach AR nabierają życia. Nowy mechanizm możemy zastosować na wiele sposobów. W filmie z WWDC zaprezentowany został model, który za pomocą tekstury wideo uzyskał ciekawe rozbłyski na swojej powierzchni. Możemy sobie też wyobrazić model urządzenia, którego wyświetlacz będzie prezentował zmieniające się treści. Ciekawe może też być zastosowanie dynamicznie generowanego obrazu video. Sam proces mapowania UV przebiega tak samo jak w przypadku statycznych tekstur.

Detekcja i analiza twarzy z kamery RGB

Enigmatyczne rozszerzenie wsparcia dla śledzenia twarzy na wszystkie urządzenia z procesorem A12 i wyżej, też ma zdecydowanie ważniejsze implikacje. Apple nie tylko wprowadza do swoich urządzeń dedykowane sensory takie jak TrueDepth czy LiDAR ale rozwija wewnętrznie algorytmy analizujące dane ze zwykłej kamery. Rozszerzenie wsparcia w praktyce oznacza udostępnienie przez Apple efektu działania swojego algorytmu rekonstrukcji modelu 3D twarzy oraz jej mimiki na podstawie danych z kamery RGB.

Podsumowując

Apple od wielu lat krytykowane jest za stateczny rozwój oraz brak znaczących innowacji. Taktyka stabilnego i spójnego rozwoju platformy sprawdza się jednak w moim odczuciu bardzo dobrze. Kolejne usprawnienia zarówno na poziomie hardware jak i software na przestrzeni lat sprawiają, że otrzymujemy do rąk dobrze zaplanowany, przemyślany i przede wszystkim dopracowany produkt, który po prostu działa. Jakość i użyteczność opisanych powyżej rozwiązań oraz fakt, że informacji o nich zabrakło na scenie Keynote utwierdza mnie w przekonaniu, że w niedługim czasie czekają na nas bardziej ciekawe ogłoszenia ze strony Apple. Do tego czasu zachęcam was do obejrzenia sesji WWDC 2020 poświęconych rozwiązaniom AR:

• Explore ARKit 4
• Advanced Scene Understanding in AR
• Detect Body and Hand Pose with Vision
• Explore Computer Vision APIs
• What’s new in RealityKit
• The artist’s AR toolkit (Dostępne od 25 Czerwca)
• Shop online with AR Quick Look (Dostępne od 26 Czerwca)