Uścisk ręki odległość. Maciej Szymkowski pracuje nad wprowadzeniem dotyku do wirtualnej rzeczywistości

Mimo że od tygodni funkcjonujemy już w miarę normalnie, wciąż jeszcze wiele osób pamięta czas pandemii i lockdownu – zwłaszcza tego pierwszego, gdy tak bardzo utrudniony był kontakt z drugim człowiekiem. Z rozmową radziliśmy sobie, chociażby przez telefon czy komunikatory internetowe, ale wielu z nas brakowało dotyku, przytulenia, uściśnięcia dłoni…
No i właśnie stąd wziął się pomysł na nasz projekt. Badania naukowców z całego świata, szczególnie w dziedzinie psychiatrii i psychologii, pokazały, że – mimo że w pandemii mieliśmy kontakt online – większa łączność z bliskimi była nam bardzo potrzebna. Nasz projekt ma sprawić, byśmy – mimo braku fizycznego kontaktu – mogli poczuć tę drugą osobę. A pandemia rzeczywiście przyspieszyła pracę nad tym zadaniem.

To może wyjaśnijmy – jest pan w międzynarodowym zespole naukowców, którzy pracują nad tym, by można było przekazać dotyk... na odległość. Nie wystarczy wam już, że możemy rozmawiać online, że możemy w trakcie tych rozmów się widzieć? Chcecie, byśmy mogli dotknąć się – nawet jeśli będziemy oddaleni od siebie o tysiące kilometrów? Proszę powiedzieć, w jaki sposób będzie można przytulić przyjaciela za pomocą komputera?
Pomogą nam technologie haptyczne. Oczywiście nie mówimy o tym, że wystarczy do tego tylko laptop. To jeszcze nie ten etap rozwój. Natomiast rzeczywiście, dysponując odpowiednim urządzeniem, które zostanie podłączone do komputera, będziemy mogli poczuć tę osobę…

Co to znaczy technologie haptyczne?
To technologie, które wytwarzają pewnego rodzaju odczucia. Czyli na przykład będzie to odczucie na ręku. Gdybyśmy zorganizowali naszą rozmowę w formie online poprzez platformę Zoom, to dzięki tej technologii moglibyśmy odczuć uścisk dłoni. Moglibyśmy rzeczywiście się przywitać: pani odczułaby mój uścisk dłoni, a ja odczułbym pani.

Ale jak ten uścisk miałby wyglądać? Wkładamy dłonie do specjalnych skrzyneczek, każdy do swojej? Jedną z nich widziałam przed chwilą w pana w gabinecie…
To jest jedno z rozwiązań. Natomiast prowadzimy też badania z wykorzystaniem specjalnych urządzeń, które mają prowadzić do tego, abyśmy dysponowali drobnym urządzeniem, nad którym będziemy trzymać naszą rękę. Wtedy – poprzez odpowiednie ustawienie fal emitowanych w kierunku naszej dłoni – będziemy mogli poczuć na przykład ten uścisk dłoni.
Mówi pan: będziemy mogli… A ja mam wrażenie, że panu podczas badań już udało się ten uścisk poczuć.
Tak… Może to jeszcze nie jest uścisk dłoni, aczkolwiek pierwsze sygnały już za nami. Nawet tak prosta rzecz jak poczucie trójwymiarowości piłki – to już udało się nam uzyskać.

Rzeczywistość wirtualną znamy już od lat, wchodzimy do niej na przykład w grach czy oglądając specjalnie nakręcone filmy. Wystarczy włożyć gogle i już jesteśmy w innym świecie. Czy tę wirtualną rzeczywistość będzie można połączyć z tą technologią dotyku, nad którą pan pracuje?
Myślę, że jak najbardziej. To jest właśnie to, o czym mówi metaverse (internet przyszłości – przyp. red.): przeniesienie pewnej części naszej codzienności do świata wirtualnego. Tyle tylko, że dziś ten wirtualny świat wzbudza ciekawość, jest interesujący, ale nie oddaje całkowicie rzeczywistości. Zawsze mamy świadomość, że jesteśmy w świecie wirtualnym, bo nie możemy mieć tam prawdziwych interakcji. Dlatego więc chcemy do wirtualnej rzeczywistości dołączyć tę sferę opartą na haptyce, na analizie pewnych sygnałów – na przykład rytmu serca. Mam nadzieję, że wtedy – gdy poczujemy dotyk, gdy poczujemy emocje – rzeczywiście ten wirtualny świat będzie symulować prawdziwy.

Fascynujące! Ale i niepokojące zarazem.
No tak. Ograniczamy w ten sposób kontakt międzyludzki. Natomiast nie mamy w tym momencie żadnej pewności, że w najbliższym czasie nie wybuchnie kolejna pandemia, która znów może nas zamknąć w domach. Nie chcemy doprowadzić do sytuacji, w której nasi bliscy znowu nie będą mieli z nami żadnego kontaktu, więc to na pewno będzie pewien sposób na przeniesienie naszych relacji do sieci. Oczywiście, w sytuacji, w której nie ma takiego zagrożenia, to możliwość przeniesienia tak wielu aspektów normalnego życia do świata wirtualnego może być zatrważająca. Natomiast myślę, że ta alternatywa będzie również rozwiązanie dla osób z pewnymi problemami, z pewnymi chorobami, aby miały one możliwość kontaktu z bliskimi im ludźmi.

Czy przy tworzeniu tych możliwości współpracujecie z psychologami, psychiatrami?
Tak, oczywiście. Na razie mieliśmy kilka dyskusji z psychologami i psychiatrami, zarówno ze specjalistami z Uniwersytetu Medycznego w Białymstoku, jak i z Uniwersytetu SWPS. Mamy też kontakt z psychologami z Uniwersytetu Jagiellońskiego. Powiem szczerze – na razie te nasze badania nie są na bardzo zaawansowanym etapie. Natomiast te pierwsze dyskusje zostały przeprowadzone i sygnał jest taki, że ok, to, co robimy, jest w porządku. Natomiast w dalszej części badań, kiedy okaże się, że rzeczywiście możemy symulować tę rzeczywistość, będziemy musieli przeprowadzić bardziej wnikliwe konsultacje z odpowiednimi lekarzami.

Rozmawiamy wciąż o sprawach społecznych, a myślę, że proponowane przez was rozwiązanie przyda się też w biznesie.
Myślę, że tak. Sam miałem okazję uczestniczyć w spotkaniach biznesowych, w których – ze względu na pandemię – mieliśmy rozmowę na Zoomie. Oczywiście, porozmawialiśmy, wymieniliśmy się informacjami, ale to nie była żadna interakcja. Dlatego dążymy do sytuacji, w której będziemy mogli podczas takiego spotkania poczuć obecność drugiego człowieka. Nasi koledzy z University of Glasgov prowadzą badania nad haptycznymi hologramami. To byłoby rozszerzenie tej naszej idei. Ich badania są jeszcze w bardzo początkowej fazie, ale jeśli im się uda, to będzie bardzo interesujące. Proszę sobie wyobrazić, że nie siedzimy teraz tu, przy stole, tylko każdy z nas jest w swoim domu, a rozmówca jest hologramem. Tyle tylko, że moglibyśmy się poczuć, uścisnąć sobie dłonie. Wiem, że dziś to brzmi jak science fiction. Ale aktualny stan technologii jak najbardziej uprawnia nas do takiego myślenia, do przygotowywania takich rozwiązań.

Wiele rzeczy z tego science fiction w codziennym życiu już mamy…
Tak jest.

Ale pytając o biznes myślałam bardziej o wykorzystaniu tego wynalazku na przykład w sklepach internetowych. Kupujemy coś, oglądamy zdjęcia, czytamy parametry i… możemy dotknąć.
Tak, chcemy wytworzyć bibliotekę sygnałów, stworzyć cały system. Celem jest udostępnienie tego większej grupie odbiorców. Nasz projekt będzie więc mógł być wykorzystywany również w sklepach internetowych – będziemy mogli wybrać konkretny towar i nie tylko go obejrzeć, ale i poczuć. Urządzenie do symulacji dotyku byłoby tu jedną częścią, a drugą – wizualizacja towarów, produktów. I nawet bez dotykania ekranu, tylko poprzez nasz wzrok moglibyśmy wybrać interesujący nas produkt, który następnie zostałby wygenerowany i moglibyśmy go poczuć. Tak, to na pewno jest kierunek, w którym również będziemy prowadzili nasze badania.

No właśnie – my. Proszę powiedzieć, kto pracuje przy tym projekcie.
Pomysł pochodzi z University Collage London – to dzieło trójki tamtejszych profesorów. W naszym konsorcjum znajdują się też University of Copenhagen, Universida Publica de Navarra oraz firma Ultraleap, która jest odpowiedzialna za przygotowanie urządzenia, a także firmy SoftServe i Crowdhelix. Ja jestem reprezentantem firmy SoftServe.

Ale na co dzień pracuje pan na Politechnice Białostockiej.
Tak. Uzyskałem zgodę pani rektor na prowadzenie badań w zakresie wykorzystania technologii haptycznych w biometrii. Wykorzystanie tych technik, które miałyby symulować pewne przedmioty, w biometrii zostanie wykorzystane do rozpoznawania człowieka.

Jaką pan ma rolę w tym projekcie?
Jestem odpowiedzialny za przygotowanie części dotyczącej generowania sygnału oraz rozpoznania emocji, która będzie przekazywana drugiemu człowiekowi. Razem ze mną pracuje cały zespół – trzy osoby są w Krakowie, a w Białymstoku jest ze mną pan inżynier Krzysztof Prusiak, student z naszego wydziału. Wspólnie pracujemy nad technologią do transferu emocji, do rozpoznania emocji, a następnie wygenerowania odpowiedniego sygnału, który zostanie przekazany drugiej osobie tak, aby ta osoba odczuła naszą obecność i naszą emocję. To jest nasz cel.

I co pan robi, żeby osiągnąć ten cel?
Tu bardzo jestem wdzięczny Politechnice Białostockiej. Dzięki pomocy uczelni możemy nie tylko zbierać sygnały od różnych osób, ale także otrzymaliśmy wsparcie finansowe na zakup potrzebnych do badań urządzeń, które pozwalają nam na przygotowanie tych sygnałów. A na czym polega nasza praca? Z jednej strony na opracowaniu algorytmu, który dotyczy detekcji emocji. W tym celu analizujemy twarz, emocje, tzw. pozę neutralną, bez której nie jesteśmy w stanie określić, jaka jest rzeczywista emocja danej osoby. Tutaj wykorzystujemy oczywiście dostępne biblioteki do uczenia głębokiego. Natomiast z drugiej strony staramy się przygotować dane, które zostaną wykorzystane przez urządzenie do wygenerowania sygnału zwrotnego. Na razie zaczęliśmy od bardzo prostych rzeczy, jak odczucie na przykład krzyżyka czy kółeczka na ręku, ale także już bardziej poważnych elementów jak sfery. Staramy się dokonać transferu emocji między osobami.

Kiedy będziecie mogli zaprezentować wyniki swojej pracy?
Myślę, że realnie jest to koniec tego roku. Do tego czasu powinien powstać prototyp, który będziemy mogli pokazać publicznie.

I już wtedy będziemy mogli uścisnąć rękę komuś, kto jest daleko?
Dokładnie. A później będziemy pracować nad usprawnieniem tego pierwszego prototypu. Natomiast kiedy uda nam się osiągnąć zadowalające wyniki, będziemy pracowali nad wdrożeniem tego jako powszechnej technologii dla klientów.

Wyobraża pan sobie, że tak jak dziś mamy smartfony czy laptopy, tak będziemy mieli – my albo nasze dzieci – te urządzenia, nad którymi właśnie pracujecie?
Tak, myślę, że to możliwe. Już w tej chwili mamy to urządzenie w formie pudełka czy drobnej platformy. I Zapewne to tylko kwestia czasu, kiedy dojdzie do miniaturyzacji tego rozwiązania.

Czyli będziemy mogli prowadzić rozmowy jak w „Gwiezdnych Wojnach” – na odległość, ale widząc hologram rozmówcy. Tyle tylko, że do tego dojdzie jeszcze dotyk?
Jesteśmy już coraz bliżej tego, więc zapewne tak będzie.

A zapach?
Jeszcze nad tym nie pracujemy. Ale jak najbardziej jest to w kręgu naszych zainteresowań.

Maciej Szymkowski
asystent naukowo-dydaktyczny na Wydziale Informatyki w Katedrze Mediów Cyfrowych i Grafiki Komputerowej Politechniki Białostockiej. Jest jednym z Polaków biorących udział w międzynarodowym projekcie Horyzont 2020, który dotyczący bezkontaktowego transferu emocji (projekt nazywa się Touchless AI).