Przy pomocy sztucznej inteligencji i EEG naukowcy nauczyli się czytać w ludzkich myślach bez wdzierania się do ich głów skalpelem

Im głębiej w mózg wnikają ultraczułe czujniki naukowców, tym dokładniejsze są sygnały i lepsze dekodowanie myśli. Chciałbym jednak nauczyć się rozpoznawać mowę mentalną bez operacji. Byłoby łatwiej i bezpieczniej. Naukowcy z Australii poszli w tym kierunku, pokazując możliwość w miarę dokładnego rozpoznawania myśli pacjentów bez instalowania czujników wewnątrz mózgu.

Do odczytu aktywności mózgu wykorzystano prostą nasadkę z elektrodami. Zrobiła elektroencefalogram (EEG) – jest to w zasadzie rutynowa procedura służąca ustaleniu wielu diagnoz związanych z funkcjonowaniem mózgu. Ta procedura jest dozwolona nawet w przypadku dzieci i nie stwarza żadnego zagrożenia dla pacjenta. Oczywiście nie można za jego pomocą czytać w myślach. Dlatego na kolejnym etapie naukowcy dodali do EEG model dużego języka (LLM) i otwarty zbiór danych ZuCo, co natychmiast uczyniło rozwój obiecującym.

Pakiet ZuCo zawiera dane dotyczące trajektorii ruchów oczu pacjenta podczas procesu odczytu w połączeniu z odczytami EEG. Jak długo wzrok zatrzymuje się na słowie, gdzie i w jakim tempie ono przeskakuje i tak dalej. W połączeniu ze sztuczną inteligencją (z dużym modelem językowym) i danymi EEG powstają porównania, które są tłumaczone na tekst.

Naukowcy z Politechniki w Sydney (UTS) stworzyli platformę DeWave LLM, którą przetestowali na 29 ochotnikach. Okazało się, że w ramach metody oceny dwujęzycznego tłumaczenia maszynowego BLEU-1 dokładność rozpoznawania wyrażeń wypowiadanych w myślach wynosiła średnio 42,8%. Całkiem nieźle jak na nieinwazyjną technologię czytania w myślach.

Jednocześnie system często stosował synonimy zamiast słów faktycznie wypowiadanych przez pacjenta i lepiej zrozumiałych czasowników, co można wytłumaczyć ograniczonym zbiorem danych. Metodologię można jednak ulepszyć, co dobrze pokazuje doświadczenie. W każdym razie lepsze to niż nic, a dla osób cierpiących na problemy z wymową jest to szansa na powrót do komunikacji na żywo.