Dzięki temu zyskamy nowe możliwości komunikowania się z komputerami. Wprowadzi to tez nową jakość w opiece nad osobami, które tymczasowo lub permanentnie utraciły zdolność mówienia. Mam tu na myśli ludzi po udarach czy ludzi chorych na Stwardnienie Zanikowe Boczne, takich jak Stephen Hawking.
Jak to działa?
Dotychczasowe badania dobitnie pokazywały, że gdy mówimy lub nawet wyobrażamy sobie, że mówimy, pojawiają się w naszym mózgu pewne powtarzalne wzorce sygnałów. To samo dzieje się podczas słuchania lub samego jego wyobrażenia.
Nima Mesgarani, doktor inżynierii elektrycznej z Uniwersytetu Columbia wraz ze swoim asystentem, pochodzącym z Iranu doktorantem Hassanem Akbari, podłączyli tego typu sygnały z mózgu do wokodera. Jest to urządzenie szeroko wykorzystywane przez współczesny przemysł muzyczny do tego by poprawiać i wyrównywać partie wokalne mniej utalentowanych artystów. Niemniej zastosowanie wokodera nie ogranicza się tylko do tego. Jest to urządzenie, które jest w stanie syntetyzować ludzką mowę po wpuszczeniu określonych danych wejściowych. Bardzo podobny układ mają tak zwane inteligentne głośniki, takie jak Amazon Echo czy Google Home. Z tym, że one "uczą się" głosów domowników, zaś wokoder wykorzystywany przez naukowców, jako dane wejściowe przetwarzał bezpośrednio sygnały elektryczne z mózgu.
Żeby tego dokonać, Mesgarani i Akbari połączyli siły z Aszeszem Dineszem Mehtą, neurochirurgiem z instytutu neuronauki w pobliskim Northwell. Dzięki temu zyskali dostęp do pacjentów neurologicznych, których mózgi poddawane są drobiazgowemu badaniu. Ci z kolei mieli za zadanie słuchać zdań wypowiadanych przez różne osoby, by ustalić wspólny wzorzec elektrycznych sygnałów w mózgu odpowiedzialnych za dekodowanie tych, a nie innych słów. Wzorce sygnałów zostały następnie wgrane do wokodera jako dane treningowe. W końcu, pacjentów poproszono o posłuchanie, jak urządzenie liczy od zera do dziewięciu i monitorowano aktywność ich mózgów. I znowu, wzorce sygnałów mózgowych zostały wrzucone do wokodera. Urządzenie w odpowiedzi wydało odpowiednie dźwięki, które zostały później oczyszczone i przeanalizowane przez sztuczne sieci neuronowe. W wyniku tych działań powstało nagranie, gdzie syntetyczny głos "mówi" poszczególne cyfry. Nagranie zostało zsyntetyzowane tylko za pomocą sygnałów elektrycznych z mózgu. Możecie go posłuchać poniżej:
Przetworzone na mowę sygnały elektryczne z mózgu badanych
00:08 Przetworzone na mowę sygnały elektryczne z mózgu badanych Przetworzone na mowę sygnały elektryczne z mózgu badanych
Komputer obsługiwany myślą
To dopiero początek. Dr Mesgarani planuje w ten sam sposób analizować bardziej skomplikowane słowa oraz całe zdania. Cały proces służyć ma zbudowaniu specjalnego implantu wszczepianego do głowy, który przekształcałby myśli użytkownika w słowa produkowane przez skojarzone z implantem urządzenie zewnętrzne.
- To będzie przełom - zapewnia dr Mesgarani - da to szansę pacjentom, którzy utracili zdolność mówienia na skutek urazu lub choroby. Dzięki badaniom, które zaczęliśmy, ci ludzie będą w stanie znów porozumieć się ze światem.
Postępy w szczegółowym obrazowaniu aktywności elektrycznej mózgu pozwalają mieć nadzieję na coraz bardziej precyzyjne urządzenia. Być może doczekamy czasów, gdzie koło łóżek znajda się specjalne skrzynki, które na podstawie aktywności elektrycznej naszych mózgów, będą w stanie rejestrować nasze sny. Zupełnie tak jak pokazane było kiedyś w "Akademii Pana Kleksa". To zaś może w niesamowity sposób zmienić współczesną psychologię, twórczość artystyczną i szereg innych dziedzin o których jeszcze nawet nie mamy pojęcia.
Michał Migała
