Jeśli zaczynamy mówić o systemach i algorytmach potrafiących śledzić ruchy naszych dłoni, nie robi już to takiego wrażenia jak 2 czy 3 lata temu. Urządzenia tj. Hololens czy Magic Leap mają to w “pakiecie”. Jednak jeśli mówimy o telefonach, tabletach czy smart okularach, robi się ciekawie. Google właśnie pochwalił się systemem potrafiącym wykrywać ruchy dłoni na urządzeniach mobilnych.

Całość projektu Google oparł o framework MediaPipe. Jest to modularny system, który wykorzystuje nauczanie maszynowe (Machine Learning). Jest także wykorzystywany w przypadku wykrywania przedmiotów czy twarzy. Cele jakie postawiła sobie firma były dwa. Pierwszy to skonstruowanie algorytmu, który nie będzie korzystał z rozwiązań chmurowych. Drugi dotyczy sprzętu czyli możliwość zastosowania go w każdym urządzeniu, które jest kompatybilne z silnikiem ARCore. Chodzi o to aby nie było konieczności posiadania kamer głębokości czy innych czujników. I dopięli swego.

Tak naprawdę cały proces składa się z trzech kroków. Pierwszym z nich to sposób wykrywania dłoni. Tutaj inżynierowie z Google porzucili stosowanie algorytmów nauczania maszynowego. Budowa oraz ruchy dłoni są niezwykle złożone i różnorodne. Dlatego postanowili skorzystać z systemu rozpoznawania dłoni na podstawie badania punktów charakterystycznych. I jak się okazało dzięki takiej metodzie uzyskali 96% dokładność.

Kolejnym krokiem to sam sposób śledzenia ruchów. Wykorzystano do tego mechanizm wykrywający 21 punktów charakterystycznych naszej dłoni. Trzeci, ostatni etap to analiza danych. System na podstawie pozy w jaką układają się wszystkie punkty stara się je dopasować do tych, jakie posiada w swojej bazie. Czytając o tym, można odnieść wrażenie, że “szukanie dopasowania” trwa długo. Jednak w tym przypadku system działa naprawdę błyskawicznie, co można zobaczyć poniżej.

 

Klucz do sukcesu

Powyższa metoda może być zaimplementowana do dowolnego urządzenia mobilnego napędzanego systemem iOS lub Android. Dodatkowo źródła będą udostępnione na licencji Open Source co pozwoli na dowolną ich modyfikację. Co jak co ale może być to klucz do sukcesu wszystkich urządzeń mobilnych wspierających technologię AR, zwłaszcza jednego rodzaju. Okulary smart do tej pory bazują albo na panelach dotykowych wbudowanych w zausznik albo na urządzeniu mobilnym, do którego są podłączone. Dzięki zastosowaniu nowości od Google otwierają się zupełnie nowe drzwi w dziedzinie interakcji z informacjami na małych ekranach okularów.

Czy zastosowanie powyższej technologii będzie asem w rękawie firm na zbliżających się targach CES 2020? Coś czuję, że chyba tak.