XR to rodzina technologii zmieniająca otaczającą nas rzeczywistość przy pomocy gogli lub okularów. AR, VR i MR to najpopularniejsze z nich. Ale nie znaczy, że nie ma innych. Kiedy pierwszy raz dowiedziałem się o Diminished Reality, a ogólniej rzecz ujmując, Mediated Reality pomyślałem, że ktoś zaczyna się rozmieniać na drobne. Ale po analizie kilku projektów oraz przejrzeniu publikacji, doszedłem do wniosku, że chyba jednak potrzebujemy nową kategorię.

Mediated Reality

Wyobraźcie sobie, że na środku waszego pokoju stoi sofa. Załóżmy, że jej prawdziwy kolor to niebieski. Zakładając jakiekolwiek okulary do rozszerzonej rzeczywistości, możemy sprawić, że obok sofy pojawi się stolik kawowy. Przy pomocy okularów do MR, możemy sprawić, że na sofie zasiądzie sama królowa Elżbieta (o ile zgodzi się na sesje skanowania 3D). Jeśli nie mamy prawdziwej sofy, przy użyciu gogli VR możemy ją zobaczyć w wirtualnej rzeczywistości, ale w tym przypadku odbiegamy od głównego problemu. Rozszerzona rzeczywistość, jaka sama nam mówi, rozszerza nasze postrzeganie świata dzięki wirtualnym obiektom (dodaje do niej pewne informacje). A co w sytuacji kiedy AR posłuży nam do zmiany koloru tejże sofy? Otaczająca rzeczywistość będzie cały czas tak samo naturalna jak była, jedynie zmienimy kolor sofy. A co jeśli sprawimy, że sofa zniknie? Sytuacja staje się jeszcze bardziej złożona.

 

Czym w takim razie jest Mediated Reality? To rzeczywistość mocno zbliżona do MR (miesza rzeczywistość realną z wirtualną) jednak idącą o krok dalej. Dla lepszego zrozumienia posłużę się źródłem autorstwa Steve Mann’a (aka Mann, Furness et al.). Mann proponuje aby zacząć kategoryzować technologie Reality używając wykresu dwóch współrzędnych. Z jednej strony współrzędna X to kontinuum wirtualnej rzeczywistości. Określa ono jak dużo elementów rzeczywistych i wirtualnych znajduje się w naszym doświadczeniu. Z drugiej strony, współrzędna Y pokazuje jak mocno modyfikujemy rzeczywistość, którą prezentujemy (mediated continuum). Aby lepiej ją rozumieć, posłużono się przykładem eksperymentu Strattona z 1896 roku wykorzystując okulary pokazujące cały świat odwrócony o 180 stopni, prosty sposób przekształcania rzeczywistości, którą widzimy.

W powyższym przypadku nasza znikająca sofa plasuje się w zmodyfikowanej, rzeczywistej rzeczywistości (masło maślane, ale tak mniej więcej można to zobrazować), X=0, Y =~ 0.25. Ponieważ potrafi ona sprawić, że, obiekty znikają często nazywana jest diminished reality.

Diminished Reality

Tutaj sprawa staje się jeszcze bardziej skomplikowana. O ile nie mamy problemów z dodawaniem elementów wirtualnych do świata rzeczywistego, o tyle sprawienie aby coś zniknęło nie jest łatwe. Pierwsza przeszkoda to w jaki sposób zidentyfikować obiekt, który ma zniknąć. Należy odseparować obiekt (całą rodzinę pikseli) na podstawie jakiegoś kryterium. Stosuje się do tego odcienie barw, linie kształtu, rogi czy punkty charakterystyczne. Oczywiście to wszystko wymaga mocy obliczeniowej, a nie zapominajmy, że musimy robić to w czasie rzeczywistym.

Powiedzmy, że udało nam się poprawnie zlokalizować kształt. Teraz należy go usunąć. Niby proste zadanie ale jednak proces dosyć skomplikowany. W miejsce usuniętych “pikseli” należy umieścić obraz, który był przesłaniany. Kojarzy się to trochę z problemem kamuflażu optycznego. Jest także kilka rozwiązań tego problemu. Skan pomieszczenia, dodatkowe kamery uzupełniające nam dane z innych ujęć, albo algorytmy oparte na AI z algorytmem ekstrapolacji.

Na chwilę obecną, próby “wycinania” rzeczywistości odbywają się w zamkniętych instytutach R&D lub w zaciszu domowym programistów. Efekty można już oglądać, jednak jeszcze daleko im do ideału (AR też potrzebowało sporo czasu aby znaleźć się tam gdzie jest dzisiaj).  Czy jednak możemy już mówić o nowej kategorii urządzeń lub oprogramowania? Chyba jeszcze nie. Ale problem jest ciekawy i dosyć złożony, dlatego dla zwykłego odbiorcy nie będzie miało znaczenia, że nazwie się ono Diminished, Mediated czy Augmented. Już dzisiaj można zauważyć podobny proces pomiędzy technologią AR i MR. Granica zaczyna się zacierać, ale jedynie dla twórców i producentów sprzętu. Dla odbiorcy liczy się jedynie uzyskany efekt.