Jest niewiele rzeczy, które sprawiają, że czuje się absolutnie zaskoczony. Dzisiejsze możliwości technologiczne naprawdę codziennie przesuwają granicę niesamowitości. Ale to co pokazało Reality Labs sprawiło, że ta granica została przesunięta dosyć daleko.

Reality Lab przy Uniwersytecie Waszyngtona istnieje już dosyć długo. W styczniu zeszłego roku dostała wsparcie od takich gigantów jak Huawei, Facebook oraz Google. Niebagatelne 6 milionów dolarów zainwestowane w centrum rozwoju rozpędziło machinę, która nie dawno odsłoniła rąbka tajemnicy. Projekt robi olbrzymie wrażenie ale wymagał zastosowania wielu niestandardowych podejść.

“Photo Wake-Up: 3D Character Animation from a Single Photo” – tak brzmi cała nazwa projektu. I tak samo jak długa, tak samo jest złożona. W skrócie telegraficznym polega na “ożywianiu” zdjęć 2D w świecie trójwymiarowym. Aby można było tego dokonać, proces podzielony jest na etapy. Na dwuwymiarowym zdjęciu wykrywana jest postać która zostanie zaanimowana. W kolejnym etapie następuje proces morphingu (nakładany jest kształt, który umożliwia animowanie obiektu 3D). Jest to rodzaj sztucznego ciała wykreowanego z prostych kształtów. To on będzie bazą dla reszty procesu. Po dopasowaniu kształtu do kontur zdjęcia tworzona jest siatka 3D, czyli podstawowa geometria obiektu. Teraz już z górki. Dodawany jest tzw rig (innymi słowy szkielet), i nakładana tekstura na bazie zdjęcia. Voilà!!! Jeśli połowa z tego to czarna magia dla Was to obejrzyjcie poniższy film.

 

Na powyższym filmie widać jeszcze glitche. Występują znikające postacie piłkarzy lub zapadające się ciała w murawę. Ale dla mnie i tak majstersztyk. O ile zeskanowany, statyczny obraz obrócony w animację 3D, takiego wrażenia nie robi (absolutnie nie mam tu na myśli, że jest to banalne i proste), o tyle transmisja meczu na kuchennym stole gdzie postacie są cały czas w ruchu, mnie zadziwia.

Poniższy film pokazuje krok po kroku proces tworzenia.

 

Jeszcze jedną ciekawą rzeczą, o której nie wspomniano jest zastosowanie procesu estymacji tła. Za każdym razem kiedy postać 3D z płaskiego obrazu ożywa i zaczyna z niego uciekać, na obrazie nie mamy pustego, wyciętego miejsca. Jest tam obraz złożony z procesu estymacji pikseli otoczenia. Diminished Reality?

Niestety nie wiemy jakie urządzenia dokładnie może wspierać. Całe doświadczenie prezentowane jest na okularach Hololens, ale nigdzie nie ma wzmianki o wykorzystywaniu w tym celu sensorów głębokości. Czyli teoretycznie mogłoby być to możliwe na urządzeniach mobilnych. Kupuje to.