Он молчал, а экран заговорил: как ИИ научился читать тональный язык прямо из мозга

Интерфейсы "мозг-компьютер" (ИМК) уже не фантастика, а реальность, возвращающая возможность общения людям, утратившим речь после инсульта или тяжёлых неврологических заболеваний. Эти системы соединяют нейронные датчики, имплантированные в мозг, с искусственным интеллектом, который декодирует мозговую активность в слова. До недавнего времени подобные разработки касались преимущественно англоязычных пациентов, однако учёные добились прорыва и в области тональных языков — прежде всего китайского.

Преодоление языкового барьера

Мандаринский китайский — тональный язык, где высота и мелодика голоса меняют смысл слова. Например, один и тот же слог может означать совершенно разные вещи в зависимости от интонации. Для интерфейсов "мозг-компьютер" это представляет огромную сложность: необходимо распознавать не только звуки, но и тоны, что требует более точных алгоритмов и большей чувствительности сенсоров.

Разработка ИМК для таких языков заметно отставала, но исследование, опубликованное в журнале Science Advances, показало, что прогресс наконец достигнут. Команда из Университета Фудань и Шанхайской ключевой лаборатории клинических и трансляционных исследований под руководством Цзиньсона У и Чжитао Чжоу разработала первую эффективную систему декодирования речи на мандаринском.

"Открытие делает интерфейсы "мозг-компьютер” доступными для огромного числа потенциальных пациентов", — отметил специалист по нейролингвистике Мэтью Леонард из Калифорнийского университета в Сан-Франциско.

Он подчеркнул, что прорыв был лишь вопросом времени: всё больше данных подтверждает, что мозг обрабатывает тональные и нетональные языки схожим образом, хотя нюансы остаются.

Как ученые обучили ИИ понимать китайские тоны

Работа началась во время операций по удалению опухолей мозга, когда пациентов оставляют в сознании. Это позволило исследователям наблюдать, как речевые центры мозга кодируют слоги разного тона. Полученные данные легли в основу алгоритма, способного отличать тональные колебания в реальном времени.

В новом эксперименте участвовала 43-летняя пациентка с эпилепсией, которой временно имплантировали электроды в участки мозга, отвечающие за речь. На протяжении двух недель женщина произносила набор базовых китайских фонем, а ИИ постепенно обучался расшифровывать паттерны её нейронной активности.

Результат оказался впечатляющим: к декабрю 2024 года система достигла точности около 70%. Пациентка смогла в реальном времени передать на экран компьютера новогодние поздравления, используя только сигналы мозга.

"Было невероятно волнительно видеть, как на мониторе появляются слова прямо во время их произнесения", — признался Цзиньсон У.

Это стало первым подтверждением того, что ИМК способен "понимать" сложные тональные структуры китайской речи, пусть пока и с ограниченной скоростью.

Медленно, но точно

Учёные пока не переходили к декодированию мысленной речи — сигналы от внутреннего проговаривания значительно слабее. В эксперименте испытуемая читала вслух подсказки громко и медленно: примерно 50 иероглифов в минуту, что составляет пятую часть нормальной скорости речи. Тем не менее точность достигла 70%, что для нейротехнологий — выдающийся показатель.

1. Алгоритм декодирует не только звуки, но и интонационные различия, что делает его применимым к тональным языкам.

2. Модель работает в режиме "онлайн" — преобразует сигналы сразу, а не после записи.

3. Применение метода на здоровых людях помогает собрать чистые данные для будущих клинических систем.

4. Потенциал технологии огромен: она может вернуть голос людям, полностью утратившим речь.

"Существует большая разница между экспериментами со здоровыми людьми и созданием реального медицинского ИМК для пациентов, которые не могут говорить", — отметил исследователь интерфейсов Сергей Стависки из Калифорнийского университета в Дэвисе.

Он добавил, что даже при этих ограничениях переход к "живому" декодированию речи является несомненным прогрессом.

Что ждёт технологию дальше

Команда У и Чжоу продолжает работу над улучшением точности и скорости расшифровки. В ближайших испытаниях планируется участие пациентов, утративших способность говорить после инсульта или нейродегенеративных заболеваний. Исследователи также намерены создать беспроводную версию устройства, которая упростит использование интерфейса в реальной жизни.

По мере накопления данных алгоритмы машинного обучения становятся всё точнее. Чем больше мозговых паттернов будет обработано, тем быстрее и естественнее ИМК сможет преобразовывать мысли и речь. В перспективе эти технологии могут не только вернуть способность говорить, но и стать инструментом общения без слов — прямым "переводчиком" языка мозга.

Таблица "Результаты эксперимента с китайским ИМК"

Ошибка → Последствие → Альтернатива

1. Ошибка: ограничение ИМК англоязычными пользователями.
   Последствие: исключение большинства мировых языков, особенно тональных.
   Альтернатива: адаптация интерфейсов для разных языковых структур, включая китайский.

2. Ошибка: игнорирование роли интонации в декодировании речи.
   Последствие: потеря смысловой точности.
   Альтернатива: обучение моделей распознаванию тональных контуров.

3. Ошибка: использование слабых нейросигналов без тренировки пациента.
   Последствие: снижение точности расшифровки.
   Альтернатива: предварительная тренировка с чётким проговариванием звуков.

Таблица "Плюсы и минусы технологии ИМК для тональных языков"

Мифы и правда

1. Миф: интерфейс "мозг-компьютер" может читать мысли.
   Правда: он декодирует только активность, связанную с произнесением слов или звуков.

2. Миф: китайский язык слишком сложен для ИИ.
   Правда: современные алгоритмы уже успешно различают тоны и интонации.

3. Миф: технология полностью готова к массовому применению.
   Правда: пока она проходит стадию клинических испытаний.

Три интересных факта

1. Более 60% населения Земли говорит на тональных языках — теперь ИМК станет доступен и им.

2. В 2024 году впервые удалось преобразовать китайскую речь в текст в режиме реального времени.

3. Разработчики планируют использовать технологию не только для медицины, но и для обучения и перевода.