Sztuczna inteligencja uczy się czytać w Twoich myślach (i jest już w tym całkiem dobra)

Odkrycia ostatniej dekady pokazują, że stosując odpowiednio zaawansowane techniki badawcze można bezinwazyjnie pozyskać informacje o aktywności wybranych rejonów mózgu (np.: kory wzrokowej), a następnie za pomocą algorytmów sztucznej inteligencji zrekonstruować bodźce (np.: wzrokowe), które były źródłem wspomnianej aktywności mózgowej. Może brzmi to nieco skomplikowanie, ale interpretacja jest dosyć prosta: science-fiction stało się rzeczywistością – czytanie w myślach jest możliwe. Do całego procederu niezbędne są dwie rzeczy: aparat do funkcjonalnego obrazowania metodą rezonansu magnetycznego (w skrócie fMRI, z ang. functional magnetic resonance imaging) oraz dobrze wytrenowane algorytmy sztucznej inteligencji (w skrócie AI, z ang. artificial intelligence).

Za pomocą fMRI naukowcy są w stanie tworzyć trójwymiarowe mapy aktywności mózgu i precyzyjnie określać, które rejony mózgu ulegają aktywacji w danym momencie. Jest to możliwe, ponieważ aktywne neurony mają wysokie zapotrzebowanie na tlen, który dostarczany jest z krwi. W efekcie w pobliżu aktywnych neuronów zmienia się poziom natlenowania krwi, co z kolei możemy zobrazować przy pomocy rezonansu magnetycznego, ponieważ utlenowana i nieutlenowana hemoglobina różnią się właściwościami magnetycznymi.

Czego oko nie widzi, to mózg sobie wyobrazi

Jeszcze w 2005 roku grupa naukowców z Bostonu poczyniła bardzo interesujące odkrycie, które stanowiło konceptualną podstawę do dalszych badań związanych z czytaniem w myślach. Przy użyciu fMRI badacze zmierzyli aktywność mózgu ochotników, którzy albo patrzyli na ilustrację przedstawiającą jakiś prosty obiekt albo jedynie go sobie wyobrażali. Zaobserwowano, że w obu przypadkach w mózgach badanych osób aktywacji ulegają te same regiony. Oznacza to, że nasz mózg zachowuje się tak samo, gdy dostarczamy doń bodźce wzrokowe – obserwujemy przedmiot – jak i gdy jedynie kreujemy sobie w głowie wyobrażenie takiego samego przedmiotu.

Kolorowe piksele na powyższym rysunku przedstawiają zmiany w aktywności różnych obszarów mózgu u badanej osoby, która obserwowała obraz (pierwsza kolumna) lub jedynie go sobie wyobrażała (druga kolumna). W trzeciej kolumnie znajduje się różnica pomiędzy aktywnościami dla obserwowanego i wyobrażanego obrazu. Brak kolorowych pikseli w trzeciej kolumnie wskazuje na brak różnic pomiędzy aktywnościami mózgu osoby obserwującej obiekt i wyobrażającej go sobie. Obrazy aktywnościowe mózgu zostały uzyskane metodą fMRI i stanowią cytaty z pracy Brain areas underlying visual mental imagery and visual perception: an fMRI study Giorgio Ganisa i współpracowników (Brain research. Cognitive brain research. 2004).

Czytanie w myślach – kurs podstawowy

Doświadczenie opisane w pierwszej części artykułu pokazuje, że praktycznie nie istnieje różnica pomiędzy obserwowaniem jakieś sceny a wyobrażaniem jej sobie (przynajmniej z punktu widzenia aktywności mózgu). Oczywiście każdy obiekt, który obserwujemy (lub sobie wyobrażamy) będzie dawał inny wzór aktywności mózgu. Wynika z tego, że na podstawie analizy aktywności czynnościowej mózgu można próbować odgadnąć, co dana osoba widzi (lub sobie wyobraża). Naukowcom z kliku niezależnych ośrodków badawczych udało się potwierdzić, że w istocie jest to możliwe. Badacze z Japonii opracowali algorytm głębokiego uczenia, który odtwarza obserwowane przez człowieka obrazy na podstawie aktywności mózgu. Efekty jego działania możecie zobaczyć na poniższym nagraniu:

Po lewej stronie widać proste symbole, który były pokazywane badanym osobom, po prawej zaś widać efekt pracy algorytmu odtwarzającego widziany obraz na podstawie danych z funkcjonalnego rezonansu magnetycznego. Rozdzielczość może nie rzuca na kolana, ale proste kształty rzeczywiście dają się rozpoznać. Algorytm również dosyć dobrze radzi sobie z kolorami.

W przypadku zdjęć pokazujących obiekty ze świata rzeczywistego (zwierzęta, przedmioty codziennego użytku, pojazdy itp.) jakość otrzymanych obrazów w większości nie pozwalała na odgadnięcie obserwowanego obiektu. Należy jednak wyraźnie podkreślić, że zrekonstruowane na podstawie aktywności mózgu obrazy nie są losowe i w wielu przypadkach dość dobrze oddają kształt i kolor oryginalnego obiektu. W kilku przypadkach można nawet odgadnąć, że chodzi np.: o zwierzę (a nie o tort urodzinowy). Oceńcie zresztą sami:

Poza próbami odtworzenia tego, co badana osoba widzi, naukowcy podjęli się również znacznie trudniejszego zadania. W kolejnym eksperymencie, jedynie na podstawie danych z rezonansu, starali się odtworzyć kształt lub przedmiot, który badana osoba jedynie sobie wyobrażała. Jakość zrekonstruowanych obrazów była w tym przypadku jeszcze niższa, ale wystarczająca, żeby pokazać, że odczytywanie doznań wizualnych na podstawie aktywności mózgu jest możliwe. Oto próbka czytania w myślach:

Naukowcy zastanawiają się czy niedokładności w zrekonstruowanych obrazach wynikają jedynie z niedostatecznej rozdzielczości danych źródłowych, czy może są (przynajmniej po części) odzwierciedleniem problemów z interpretacją obrazów przez ludzki mózg. Tak czy owak odpowiednio skonstruowane algorytmy głębokiego uczenia są w stanie interpretować sygnały z rezonansu i przez to odczytywać myśli.

Zapisywanie snów

Kora wzrokowa jest bardzo aktywna w fazie REM (ang. rapid eye movement) snu. W tej fazie właśnie pojawiają się marzenia senne. Skoro mózg jest wtedy aktywny, a jego aktywność możemy mierzyć przy użyciu rezonansu i interpretować przy użyciu odpowiednich algorytmów, to powinniśmy też być w stanie rejestrować sny. Ta sama grupa naukowców z Japonii pokazała, że jest to możliwe przeprowadzając pomysłowy eksperyment. Badacze przyodziali ochotnika w sprzęt do elektroencefalografii (EEG), dzięki któremu byli w stanie śledzić w jakiej fazie snu się znajduje. Następnie zaprosili go na drzemkę do wnętrza rezonansu, gdzie przez cały czas mierzyli aktywność jego mózgu. Kiedy ochotnik wszedł w fazę REM snu badacze budzili go i prosili by opowiedział, co mu się śniło. Przebieg badania przedstawia poniższe nagranie:

Dane z rezonansu zebrane podczas snu przepuszczano przez odpowiednio wytrenowane algorytmy sztucznej inteligencji i rekonstruowano sen. Uzyskany w ten sposób zapis snu nie był precyzyjny pod kątem kształtów czy kolorów, ale dobrze odzwierciedlał kategorie znaczeniowe śnionych obiektów lub scen.

Poniższe nagranie przedstawia rekonstrukcję dwóch snów. W pierwszym przypadku ochotnik bezpośrednio po przebudzeniu opowiadał, że w trakcie snu przyglądał się znakom/literom, śniło mu się powstawanie eseju. Drugi sen dotyczył trzech postaci wewnątrz budynku. Być może był to mężczyzna, kobieta i dziecko. Mogło chodzić również o dziewczynkę, chłopca i ich matkę.

Jakoś rekonstrukcji może pozostawiać wciąż wiele do życzenia. Dla mnie najważniejszym jest samo pokazanie, że odczytywanie snów jest rzeczywiście możliwe.

Ruchome obrazy

Doświadczenia, o których opowiedziałem wam dotychczas udowadniały, że możliwym jest odtworzenie statycznych obrazów (widzianych lub wyobrażanych) na podstawie informacji zebranych za pośrednictwem fMRI. Świat w okół nas jest jednak dynamiczny, zarówno ten widzialny, jak i tworzony w wyobraźni (także we śnie). Nie trzeba było długo czekać na doniesienia dotyczące odczytywania ruchomych wrażeń wzrokowych. Naukowcy z Purdue University w USA skorzystali z uprzejmości trzech ochotniczek, które zgodziły się obejrzeć blisko tysiąc krótkich filmików we wnętrzu rezonansu. Podczas trzygodzinnego seansu badacze cały czas zapisywali aktywność mózgową badanych kobiet. Zebrane dane posłużyły do trenowania algorytmów sztucznej inteligencji. Ostatecznie algorytmy nauczyły się przewidywać, co widzą ochotniczki jedynie w oparciu o odczyty aktywności mózgu. Znowu, zrekonstruowane nagrania wyglądały jak rozmyte poświaty, ale sztuczna inteligencja potrafiła skutecznie odgadnąć jakiego typu obiekty widziały ochotniczki. Krótką prezentację całego doświadczenia możecie zobaczyć na nagraniu poniżej:

Moim skromnym zdaniem nieco lepszą jakość zrekonstruowanych nagrań udało się osiągnąć innej grupie amerykańskich naukowców. Badacze z University of California w Berkeley przygotowali wielogodzinny pokaz filmików z youtube'a, który odbył się wewnątrz aparatu do fMRI. Podobnie jak w poprzednim badaniu sztuczna inteligencja nauczyła się interpretować sygnały aktywnościowe mózgu i interpretować nowe doznania. W efekcie komputer był w stanie zrekonstruować widziany filmik jedynie na podstawie danych z fMRI:

Na deser ciekawostka: dane do ostatnich dwóch eksperymentów uzyskano przy użyciu aparatów fMRI generujących pole magnetyczne o mocy odpowiednio 3 i 4 Tesle (do celów diagnostycznych najczęściej stosuje się nieco słabsze aparaty półtorateslowe). Im większa moc pola tym wyższa dokładność obrazowania. Obecnie w Lublinie znajduje się aparat do fMRI o mocy 7 Tesli (jedyny taki w Polsce i jeden z niewielu takich na świecie). Ciekawe jakie interesujące obserwacje uda się poczynić naszym naukowcom przy użyciu tak potężnego sprzętu...

Podsumowanie

Eksperymenty, które przedstawiłem w niniejszej notce wskazują, że odpowiednie oprogramowanie jest w stanie przekonwertować sygnał z fMRI na materiał wideo. To z kolei prowadzi do niesamowitej konkluzji: możliwe jest przenoszenie myśli wprost na ekran komputera. Fakt – potrzebny jest ważący kilkanaście ton magnes i dobrze wytrenowana sztuczna inteligencja. Niemniej jednak techniczne możliwości istnieją. Wyobraź sobie, Drogi Czytelniku, jakie mogą być potencjalne zastosowanie (i zagrożenia) takiej technologii... Możesz puścić wodze fantazji w komentarzach.

Addendum

Niedawno w moje ręce trafił podręcznik pt. Psychologia Jana Strelau. Natknąłem się w nim na opis dość wstrząsającego doświadczenia naukowego związanego z fMRI, którym to chciałbym się z wami podzielić. Otóż Owen i współpracownicy "badali aktywność mózgu osoby w stanie wegetatywnym. Jest to dziwny stan, w którym pacjent jest przytomny, ale nie wykazuje żadnych oznak świadomości. Badaniu poddano dwudziestosiedmioletnią pacjentkę, która wpadła w stan wegetatywny w pięć miesięcy po wypadku samochodowym. Aby zbadać aktywność jej mózgu, wykonano kilka testów. W jednym z nich pacjentkę proszono, aby wyobraziła sobie grę w tenisa, w innym, że porusza się po swoim domu, przechodząc kolejno przez wszystkie pokoje. Aktywność mózgu w tym stanie porównywano z aktywnością, gdy pacjentka nie wykonywała żadnego zadania. Jeśli do pacjentki ta instrukcja nie dociera, nie jest w stanie jej zrozumieć albo nie może jej wykonać, to aktywność jej mózgu nie powinna się różnić od stanu spoczynkowego. Okazało się jednak, że w obu wypadkach po instrukcji aktywność pewnych obszarów znacząco różniła się od tego stanu. W pierwszym zadaniu (gra w tenisa) pojawiała się aktywność w dodatkowym polu ruchowym, natomiast w wędrówce po domu - w obszarze zakrętu hipokampa, w tylnej części płata ciemieniowego oraz korze przedruchowej. Co więcej, aktywność jej mózgu nie różniła się od aktywności mózgów zdrowych osób z grupy kontrolnej. Autorzy tego doniesienia argumentują, że przynajmniej niektórzy pacjenci w stanie wegetatywnym są w stanie zrozumieć co się do nich mówi, a ich mózgi wykazują aktywność poznawczą taką, jak u normalnych osób, choć nie manifestuje się ona w ich zachowaniu (...). Odkrycie Owena i współpracowników każe z większą ostrożnością podchodzić do problemu eutanazji na życzenie rodzin pacjentów – ich życzenia niekoniecznie muszą pokrywać się z życzeniami samych pacjentów."

Wszystko wskazuje na to, że przy pomocy fMRI można nawiązać kontakt z pacjentami, którzy wydają się być zupełnie odcięci od świata. Gdyby przyjąć, że myślenie o grze w tenisa oznacza "TAK", a myślenie o przemieszczaniu się po własnym domu oznacza "NIE", to można już prowadzić rozmowę w oparciu o pytania, na które da się odpowiedzieć "TAK" lub "NIE". Rzućcie zresztą okiem na filmik.

Wpis ukazał się pierwotnie na blogu ZdrowieMolekularne.pl.

O autorze

Z wykształcenia jestem biotechnologiem. Pracuję jako adiunkt w Zakładzie Biofarmacji Uniwersytetu Medycznego w Lublinie. Naukowo zajmuję się badaniem aktywności i mechanizmów działania nowych potencjalnych leków przeciwnowotworowych. W wolnych chwilach czytam DobreProgramy, pykam w erpegi i skrobię bloga.