Джессі Лю, Девід Мозес і Шон Мецгер.
У Каліфорнійському університеті в Сан-Франциско (University of California, San Francisco) розроблено мовний нейропротез: паралізована людина отримала можливість спілкуватися з оточуючими. Сигнали електродної матриці, розміщеної на поверхні мозку, обробляються і виводяться на екран у вигляді тексту.
Перший автор роботи, звіт про яку опубліковано в New England Journal of Medicine - Едвард Чанг (Edward Chang). Про перші досягнення очолюваного ним колективу ми писали в 2014-му. Зусилля Чанга і його команди винагороджуються новими успіхами.
«Наскільки нам відомо, це перша успішна демонстрація прямої розшифровки повних слів з мозкової активності людини, яка паралізована і не може говорити, - каже професор Чанг. - Ми отримуємо можливість відновити здатність до спілкування, підключившись до природного мовного механізму мозку».
Робота в галузі комунікативного нейропротезування в більшості випадків зосереджена на відновленні можливості спілкування за допомогою послідовного набору літер. Підхід Чанга принципово інший: його команда «розшифровує» сигнали, призначені для керування м'язами голосової системи (для вимови слів), а не сигнали для переміщення руки або пензля (для листа або набору тексту). Чанг зазначає, що цей підхід використовує природні і рухливі аспекти мови і обіцяє більш швидке і органічне спілкування.
"За допомогою мови ми зазвичай передаємо інформацію з дуже високою швидкістю, до 150 або 200 слів на хвилину, - говорить Чанг, зазначаючи, що «орфографічні» підходи, засновані на наборі тексту, листі та управлінні курсором, значно повільніше і більш трудомісткі. як робимо ми, дає великі переваги, тому що це ближче до того, як ми зазвичай спілкуємося ". Сказати швидше, ніж надрукувати.
Протягом останнього десятиліття Чанг працює з пацієнтами Центру епілепсії Каліфорнійського університету. Для того, щоб точно визначити пов'язану з нападами область мозку, проводилися нейрохірургічні операції - на поверхню мозку добровольців встановлювалися електродні матриці. Пацієнти, всі без проблем з промовою, погодилися на аналіз сигналів мозку для пошуку їх зв'язку з мовленнєвою активністю. Успішні експерименти проклали шлях до нового експерименту, вже на людях з паралічем.
Раніше Чанг і його колеги з Інституту нейробіології Каліфорнійського університету (UCSF Weill Institute for Neurosciences) створили карту набоїв кортикальної активності, пов'язаних з рухами голосового тракту при вимові кожного згодного і гласного. Щоб перевести ці результати в повноцінне розпізнавання мови, Девід Мозес (David Moses), один з провідних авторів нового дослідження, розробив нові методи декодування цих паткестів в реальному часі і статистичні мовні моделі для підвищення точності розпізнавання. Едвард Чанг в операційній. Фото: Barbara Ries.
Але успіх у розшифровці промови учасників експериментів, які могли говорити, не гарантував, що технологія буде працювати з людиною, голосовий тракт якої паралізований. «Наші моделі повинні були вивчити зв'язок між складними патернами мозкової активності і передбачуваною промовою, - говорить Мозес. - Це створює серйозну проблему, коли учасник не може говорити».
Чи будуть сигнали мозку, які керують голосовим трактом, все ще досить сильні у людей, які не мали можливості використовувати голосові м'язи протягом багатьох років? «Найкращий спосіб дізнатися - спробувати», - каже Мозес.
Для розробки технології, яка повинна допомогти паралізованим пацієнтам, Чанг спільно з професором неврології Карунешем Гангулі (Karunesh Ganguly) організував проект, названий BRAVO (Brain-Computer Interface Restoration of Arm and Voice). Перший учасник дослідження - чоловік віком близько тридцяти, який понад 15 років тому переніс інсульт, який серйозно пошкодив зв'язок між його мозком і голосовими зв'язками і кінцівками. Після травми у пацієнта збереглася можливість вкрай обмежено рухати головою, і він спілкувався за допомогою указки, прикріпленої до бейсболки - так він міг вибирати букви на сенсорному екрані.
Результатом роботи з анонімним пацієнтом (у публікаціях його називають BRAVO1) став «словник» з 50 слів, які команда Чанга за допомогою своїх алгоритмів може розпізнати, зчитуючи активність мозку. Словниковий запас невеликий, але достатній для створення сотень речень, що виражають поняття, застосовні до повсякденного життя BRAVO1.
Під час дослідження Чанг хірургічним шляхом імплантував масив електродів високої щільності в мовну моторну кору BRAVO1. Потім було записано в цілому 22 години нейронної активності - для цього було проведено 48 сеансів протягом декількох місяців. На кожному сеансі BRAVO1 намагався вимовити кожне з 50 словникових слів багато разів, в той час як електроди записували сигнали мозку від його мовної кори.
Щоб перевести патерни записаної нейронної активності в конкретні слова, два інших провідних автора дослідження, Шон Мецгер і Джессі Лю, використовували штучний інтелект. Коли учасник намагався говорити, навчена на отриманих раніше даних нейромережа розрізняла тонкі патерни мозкової активності, щоб виявити спробу мови і визначити, які слова людина хоче сказати.
Спочатку BRAVO1 по кілька разів повторював задані дослідниками короткі речення, побудовані з 50 словникових слів. Поки він робив це, слова розшифровувалися і виводилися одне за одним на екран.
Потім команда переключилася на діалоги. Задавалися прості питання - «Як ви себе почуваєте?», «Чи не хочете трохи води?». На екран виводилися відповіді.
У існуючому вигляді система здатна декодувати слова з мозкової активності зі швидкістю до 18 слів на хвилину з точністю до 93 відсотків (медіана 75 відсотків). Успіху сприяла мовна модель, яка реалізувала функцію автокорекції, аналогічну тій, що використовується в програмному забезпеченні для розпізнавання текстів і мови.
Дослідники вважають, що розроблена ними технологія перспективна і її наочна демонстрація, нехай поки на одній людині, - «важлива технологічна віха» і перший крок до того, щоб люди, які втратили можливість говорити, знову знайшли голос.