Trzeba to powiedzieć jasno: tradycyjne kontrolery w kontekście systemów VR zaczynają przypominać relikt przeszłości.
Wszystko z prostego powodu – ich budowa zaczyna nas ograniczać. Podczas, gdy większość producentów snuje już marzenia o wdrażaniu technologii haptycznej, hand tracking to naturalny krok w stronę kolejnych innowacji.
Wiedzą to badacze działający w ramach SciFi Lab przy amerykańskim Uniwersytecie Cornella, którzy opublikowali w tym roku wyniki badań nad autorskim systemem FingerTrak.
Ludzka dłoń składa się z 27 kości i 30 mięśni. Razem pozwalają nam one wykonywać na co dzień wiele skomplikowanych ruchów, zapewniając wysoką kontrolę i precyzję w odtwarzaniu impulsów nerwowych. Jego złożoność świetnie ilustruje zresztą aplikacja AR firmy Apptension.
I choć ludzka dłoń stanowi piękny biologiczny mechanizm, to dla badaczy chcących w czasie rzeczywistym przetwarzać go na informacje cyfrowe, stanowi on nie lada wyzwanie.
W środowisku VR, w którym immersja to kluczowy element układanki, takie rozwiązania, jak Leap Motion Controller, czy Oculus Quest tworzą całkiem nowe możliwości interakcji z wirtualną przestrzenią, uwalniając dłonie użytkownika od nienaturalnych pilotów. Wszystko za pomocą kamer analizujących budowę oraz położenie dłoni, zamieniających je w siatkę sterowalnych obiektów.
W obliczu wyzwania, jakim jest rozwój technologii hand trackingu, zespół SciFi Lab postanowił dodać swoje trzy grosze, decydując się na wykorzystanie czterech miniaturowych (9.30 mm) kamer termowizyjnych o niskiej rozdzielczości (32×24), umieszczonych na opasce zakładanej na nadgarstek.
Prototyp tworzy obraz z kamer termowizyjnych i wysyła go do urządzenia z Raspberry-Pi, połączonego z komputerem. Dzięki zastosowaniu sieci neuronowej, system jest w stanie łączyć sczytywane obrazy w jeden i na ich bazie tłumaczyć mapę ciepła na jedno z 20 zaprogramowanych ułożeń dłoni w trzech wymiarach.
Zdaniem jego twórców, FingerTrak pozwala na dokładniejsze śledzenie ruchów dłoni, bez konieczności bezpośredniego obserwowania zmian pozycji palców.
Co więcej, wedle badań Amerykanów, FingerTrak sprawdza się również jako narzędzie do sterowania robotyczną dłonią, która odzwierciedla specyficzne ruchy palców i nadgarstka użytkownika.
Tego typu wykorzystanie prototypowanego urządzenia zespołu SciFi może w przyszłości wspomóc inżynierów w zdalnym serwisowaniu urządzeń lub demonstrowaniu technik pracy, czy wykonywaniu zadań w niebezpiecznych warunkach bez konieczności narażania zdrowia.
Czym w przyszłości zaskoczy nas zespół z Uniwersytetu Cornella? Z pewnością możemy spodziewać się pokonywania ograniczeń, jakie wiążą się z wykorzystywaniem obecnych systemów optycznych.
Zaawansowane śledzenie pozycji dłoni, szybsze reakcje na zmiany i dodatkowy impuls dla rozwoju uczenia maszynowego. To wszystko wciąż przed nami.
Szczegółowy opis badań naukowców SciFi dostępny jest na platformie ACM Digital Library.