273 lines
34 KiB
TeX
273 lines
34 KiB
TeX
\chapter{Brain-machine Interface (BMI)}
|
||
\addcontentsline{toc}{chapter}{Brain-Machine Interface (BMI)}
|
||
|
||
Давайте начнем с определения и терминологии.
|
||
Что такое Brain-Machine interface (далее BMI или ИМК (интерфейс машина-компьютер))?
|
||
|
||
|
||
\begin{tabular}{|p{0.9\textwidth}}
|
||
BMI - технология, которая предоставляет \textbf{прямой интерфейс взаимодействия между мозгом и некоторым электронным устройством} (компьютером, протезом, экзоскелетом и далее). Интерфейс построен на считывании нейронной активности мозга, которую он пытается декодировать в некоторые команды, которые человек хочет послать устройству, минуя мышечную активность.
|
||
\end{tabular}
|
||
|
||
\begin{figure}[h!]
|
||
\centering
|
||
\includegraphics[width=0.7\linewidth]{bci-article-l}
|
||
\caption{Иллюстрация работы интерфейса мозг-машина}
|
||
\label{fig:bci_1}
|
||
\end{figure}
|
||
|
||
\section{Основные области применения}
|
||
|
||
Исторически сложилось, что BMI плотно связан с технологиями для улучшения или замены, существующих методов нейрореабилитации, либо как технология для разработки вспомогательных устройств, которые могли бы контролироваться напрямую мозгом.
|
||
|
||
А началось все с Видаля в 1973 году, когда он смог зафиксировать активность мозга при помощи электроэнцефалограммы. С этого времени было найдено огромное количество неинвазивных применений (рис. \ref{fig:bci_2}).
|
||
|
||
\begin{figure}[h!]
|
||
\centering
|
||
\includegraphics[width=0.8\linewidth]{bci-2}
|
||
\caption{Иллюстрация эволюции применения интерфейса мозг-компьютер}
|
||
\label{fig:bci_2}
|
||
\end{figure}
|
||
|
||
\subsection{Клиническая медицина и реабилитация}
|
||
|
||
Это наиболее значимая область, нацеленная на помощь людям с тяжелыми нейромышечными нарушениями, такими как боковой амиотрофический склероз (БАС), травмы спинного мозга и последствия инсульта.
|
||
\begin{enumerate}
|
||
\item \textbf{Ассистивные технологии:} ИМК позволяют восстановить коммуникацию и управление для полностью парализованных пациентов («запертых») через системы печати (spellers) или декодирование рукописного ввода прямо из сигналов мозга. \cite{Edelman2025}
|
||
\item \textbf{Восстановительная реабилитация}: Технология используется для стимуляции нейропластичности и восстановления двигательных функций конечностей после инсульта. \cite{Saha2021}
|
||
\item \textbf{Управление инвалидными колясками}: Разработаны системы для навигации в инвалидном кресле с использованием моторного воображения или зрительных вызванных потенциалов \cite{Edelman2025}
|
||
\end{enumerate}
|
||
|
||
\subsection{Управление внешними устройствами и робототехника}
|
||
|
||
BMI позволяют преобразовывать намерения пользователя в команды для сложных механизмов.
|
||
|
||
\begin{enumerate}
|
||
\item \textbf{Роботизированные манипуляторы}: Одной из самых передовых областей является управление робо-руками для выполнения повседневных задач (дотянуться до объекта и схватить его).
|
||
\item \textbf{Беспилотные аппараты}: Продемонстрирована возможность управления квадрокоптерами в трехмерном пространстве. \cite{Saha2021}
|
||
\item \textbf{Гуманоидные роботы}: ИМК применяются для дистанционного управления человекоподобными роботами, что может быть полезно в опасных средах.
|
||
\end{enumerate}
|
||
|
||
\subsection{Аффективные и когнитивные вычисления}
|
||
|
||
Эта область сфокусирована на мониторинге психических состояний человека.
|
||
\begin{enumerate}
|
||
\item \textbf{Детекция сонливости и усталости}: Пассивные ИМК могут использоваться для предотвращения аварий, отслеживая состояние водителей или операторов.
|
||
\item \textbf{Эмоциональное регулирование}: Ведутся исследования по обнаружению аффективных состояний (депрессия, тревога) и обеспечению биологической обратной связи для их коррекции
|
||
\end{enumerate}
|
||
|
||
\subsection{Развлечения, искусство и повседневное использование}
|
||
|
||
С появлением недорогих неинвазивных систем технология вышла за пределы лабораторий.
|
||
\begin{enumerate}
|
||
\item \textbf{Гейминг}: Создание «мозговых игр», где управление игровым процессом осуществляется силой мысли, что улучшает пользовательский опыт.
|
||
\item \textbf{Виртуальная и дополненная реальность (VR/AR)}: ИМК обеспечивают эффект погружения и новые способы взаимодействия в виртуальных мирах.
|
||
\item \textbf{Искусство}: Существуют системы «рисования мозгом», позволяющие творчески самовыражаться людям с ограниченными физическими возможностями
|
||
\end{enumerate}
|
||
|
||
\subsection{Специализированные области}
|
||
\begin{enumerate}
|
||
\item \textbf{Космические исследования}: Мониторинг работоспособности космонавтов и управление экзоскелетами в условиях отсутствия гравитации.
|
||
\item \textbf{Интерфейсы «мозг-мозг»}: Эксперименты по прямой передаче когнитивной информации от одного человека к другому.
|
||
\end{enumerate}
|
||
В будущем интеграция ИМК с методами нейромодуляции (например, ультразвуковой или электрической стимуляцией) может расширить эти области, позволяя не только считывать намерения, но и корректировать работу мозга в реальном времени
|
||
|
||
\subsection{BCI программные платформы}
|
||
|
||
\begin{enumerate}
|
||
\item \textbf{OpenViBE}\cite{wiki26}: Программная платформа OpenViBE разрабатывается с 2007 года. OpenViBE реализована на языке C++ и может быть скомпилирована в операционных системах Windows и Linux; для Windows предоставляются готовые исполняемые файлы. OpenViBE основана на архитектуре, которая упрощает интеграцию, расширение и настройку модульной функциональности, а графический интерфейс делает OpenViBE удобной в использовании для широкого круга исследователей, включая инженеров, ученых и врачей. Эти два фактора делают OpenViBE хорошо подходящей для поддержки реализации различных подходов к интерфейсам мозг-компьютер.
|
||
\begin{figure}[h!]
|
||
\centering
|
||
\includegraphics[width=0.8\linewidth]{bci2000-datasource}
|
||
\caption{Скриншот гифки с сайта BCI2000 с возможными источниками входных данных}
|
||
\label{fig:bci2000}
|
||
\end{figure}
|
||
\item \textbf{BCI2000} \cite{bci2000}: Программная платформа BCI2000 разрабатывается с 1998 года. BCI2000 реализована на C++ и может быть скомпилирована под Windows и Linux; для Windows предоставляются готовые исполняемые файлы. Ее реализация основана на модели, которая может описывать любую систему интерфейса мозг-компьютер (BCI). (рис \ref{fig:bci2000}) В соответствии с этой моделью BCI2000 имеет четыре модуля, которые взаимодействуют друг с другом: Источник (сбор и хранение данных); Обработка сигналов; Пользовательское приложение; и Операторский интерфейс. Модули взаимодействуют посредством документированного сетевого протокола на основе TCP/IP. Реализация BCI2000 высоко оптимизирована, что позволяет поддерживать даже очень требовательные конфигурации BCI с хорошими временными характеристиками.
|
||
\end{enumerate}
|
||
|
||
\section{Алгоритмы декодирования сигналов мозга}
|
||
Взято из "Non-Invasive Brain-Computer Interfaces: State of the Art and Trends" \cite{Edelman2025}
|
||
|
||
\subsection{Глубокое обучение (Deep Learning)}
|
||
Глубокое обучение позволяет автоматически извлекать признаки из «сырых» данных ЭЭГ, минимизируя необходимость в ручном проектировании признаков.
|
||
\begin{enumerate}
|
||
\item \textbf{Сверточные нейронные сети (CNN)}: Самый популярный метод, эффективно извлекающий спектральные и пространственные признаки. Ключевыми архитектурами являются EEGNet (универсальная и компактная сеть), Shallow ConvNets и Deep ConvNets.
|
||
\item \textbf{Графовые сверточные сети (GCN)}: Рассматривают электроды как узлы графа, что позволяет учитывать физическое распределение датчиков на скальпе и внутренние связи между каналами.
|
||
\item \textbf{Рекуррентные сети (RNN/LSTM)}: Фокусируются на временных зависимостях в последовательных сигналах ЭЭГ. Например, архитектуры на базе LSTM успешно используются для декодирования паттернов походки.
|
||
\item \textbf{Механизмы внимания и трансформеры}: Позволяют модели динамически выделять наиболее важные части ЭЭГ-испытания, что улучшает точность распознавания моторных образов и вызванных потенциалов.
|
||
\item \textbf{Гибридные модели}: Комбинируют различные архитектуры (например, CNN-LSTM) для одновременного анализа пространственных, спектральных и временных характеристик.
|
||
\end{enumerate}
|
||
|
||
\subsection{Обучение с переносом знаний (Transfer Learning)}
|
||
|
||
Этот подход решает проблему высокой вариативности сигналов между разными людьми и сессиями.
|
||
\begin{enumerate}
|
||
\item \textbf{Тонкая настройка (Fine-tuning)}: Модель предварительно обучается на данных большой группы людей, а затем адаптируется под конкретного пользователя.
|
||
\item \textbf{Доменная адаптация (Domain Adaptation)}: Нацелена на выравнивание распределений признаков разных доменов (например, разных испытуемых), чтобы сделать модель инвариантной к индивидуальным особенностям.
|
||
\item \textbf{Малоприметное обучение (Few-shot learning)}: Позволяет создавать бескалибровочные ИМК, способные работать с минимальным количеством размеченных данных от нового пользователя.
|
||
\end{enumerate}
|
||
|
||
\subsection{Классификация на основе многообразий (Manifold-Based Methods)}
|
||
|
||
В отличие от методов в евклидовом пространстве, эти алгоритмы работают с геометрической структурой данных.
|
||
\begin{enumerate}
|
||
\item \textbf{Римановы многообразия}: Используют ковариационные матрицы (\ref{eq:covar_mat}) сигналов ЭЭГ, которые являются симметричными положительно определенными (SPD) матрицами.
|
||
\item \textbf{RMDM (Riemannian Minimum Distance to Means)}: Классифицирует сигнал на основе риманова расстояния до средних геометрических значений классов. Эти методы устойчивы к шуму и обладают хорошей обобщающей способностью. (формулы \ref{eq:rieman_gmean} и \ref{eq:rieman_dist})
|
||
\end{enumerate}
|
||
|
||
Формулы, если вам вдруг интересно, можно посмотреть в дополнительных материалах.
|
||
|
||
\subsection{Адаптивное обучение (Adaptive Learning)}
|
||
|
||
Адаптивные классификаторы способны подстраивать свои параметры в процессе работы, реагируя на изменение ментального состояния пользователя или нестационарность ЭЭГ.
|
||
\begin{enumerate}
|
||
\item \textbf{Контролируемая и неконтролируемая адаптация}: Включает методы переобучения на новых данных сессии.
|
||
\item \textbf{Полуконтролируемое обучение}: Использует такие стратегии, как псевдоразметка (pseudo-labeling) и самообучение, где модель сама размечает входящие данные для уточнения своих параметров.
|
||
\end{enumerate}
|
||
|
||
\subsection{Анализ источников ЭЭГ (EEG Source Analysis)}
|
||
|
||
Этот метод отходит от анализа сигналов непосредственно на скальпе и переходит к оценке активности нейронных источников в коре головного мозга.
|
||
\begin{enumerate}
|
||
\item \textbf{Обратная задача ЭЭГ}: С помощью математических преобразований (например, LORETA или MNE) сигналы со скальпа преобразуются в оценки активности коры.
|
||
\item \textbf{Преимущества}: Подход обеспечивает более детальную пространственную информацию, что критически важно для декодирования сложных движений конечностей и управления робототехникой в реальном времени.
|
||
\end{enumerate}
|
||
|
||
Основными целями развития этих алгоритмов авторы называют повышение точности классификации, создание систем, не требующих длительной калибровки, и обеспечение надежности ИМК при долговременном использовании.
|
||
|
||
\section{Что останавливает перед массовым внедрением интерфейсов мозг-компьютер}
|
||
|
||
\subsection{Психофизиологические вызовы}
|
||
|
||
\begin{enumerate}
|
||
\item \textbf{Высокая вариативность сигналов}: Мозговая динамика крайне нелинейна и изменчива как у одного и того же человека в разное время (интраиндивидуальная), так и между разными людьми (интериндивидуальная). На сигналы влияют возраст, пол, уровень внимания, усталость и даже эмоциональное состояние пользователя.
|
||
\item \textbf{Проблема «ИМК-неграмотности» (BCI illiteracy)}: Около 15–30\% людей не способны генерировать достаточно стабильные и сильные сигналы мозга для управления системой. Несмотря на новые подходы в декодировании, эта проблема остается нерешенной для значительной части потенциальных пользователей.
|
||
\end{enumerate}
|
||
|
||
\subsection{Технологические и алгоритмические ограничения}
|
||
|
||
\begin{enumerate}
|
||
\item \textbf{Низкое соотношение сигнал/шум (SNR)}: В неинвазивных системах (особенно ЭЭГ) электрические потенциалы сильно ослабляются и искажаются при прохождении через ткани мозга и череп. Это приводит к низкой скорости передачи информации (ITR).
|
||
\item \textbf{Трудоемкая калибровка}: Большинство систем требуют длительных и утомительных сессий обучения для каждого нового пользователя, чтобы настроить алгоритмы под его индивидуальные особенности. Одной из главных целей исследователей сейчас является создание систем, работающих «из коробки» (calibration-free).
|
||
\item \textbf{Артефакты}: Сигналы ИМК легко загрязняются биологическими помехами, такими как моргание глаз или движения мышц, а также внешними электрическими шумами, что затрудняет их точную интерпретацию в реальном времени.
|
||
\end{enumerate}
|
||
|
||
\subsection{Практические и клинические вызовы}
|
||
|
||
\begin{enumerate}
|
||
\item \textbf{Переход из лаборатории в реальную жизнь}: Большинство достижений ИМК продемонстрированы в строго контролируемых лабораторных условиях. Создание надежного беспроводного оборудования для использования в естественной среде остается сложной задачей.
|
||
\item \textbf{Удобство датчиков}: Существующие высокоточные электроды часто требуют использования токопроводящего геля, что неудобно для повседневного ношения. Разработка «сухих» датчиков, которые обеспечивали бы лабораторное качество сигнала без дискомфорта, — одно из приоритетных направлений.
|
||
\item \textbf{Гетерогенность пациентов}: В медицине клиническая эффективность ИМК сильно варьируется из-за различий в характере травм или особенностях протекания болезней (например, после инсульта), что затрудняет создание универсальных реабилитационных решений.
|
||
\end{enumerate}
|
||
|
||
\subsection{Этические и правовые аспекты}
|
||
|
||
\begin{enumerate}
|
||
\item \textbf{Приватность и безопасность данных}: Существует риск несанкционированного доступа к нейронным данным, которые могут содержать конфиденциальную информацию о психическом состоянии или даже намерениях человека.
|
||
\item \textbf{Влияние на личность и психику}: Использование ИМК и систем нейромодуляции поднимает вопросы об изменении самоидентификации пользователя, его эмоциональной стабильности и возможных долгосрочных последствиях для здоровья
|
||
\end{enumerate}
|
||
|
||
\section{Ситуация с Brain-Computer Interface в мире}
|
||
Здесь все уже стандартно для 2025 года. Лидер - Китай по количеству публикаций и патентов. Северная Америка в топе по количеству стартапов (более 87).
|
||
|
||
Попросил нейронку нагенерировать инфографику, чтобы стильно модно молодежно было результат смотрите сами (рис \ref{fig:market})
|
||
|
||
\begin{figure}[h!]
|
||
\centering
|
||
\includegraphics[width=0.8\linewidth]{market}
|
||
\caption{Сгенерировано нейронной сетью (NotebookLM)}
|
||
\label{fig:market}
|
||
\end{figure}
|
||
|
||
Сейчас основной фокус идет в направлении инвазивных технологий для медицины.
|
||
|
||
\begin{enumerate}
|
||
\item \textbf{Neuralink}
|
||
\subitem К июню 2025 года пять пациентов с тяжелым параличом уже использовали имплантат «Telepathy» для управления цифровыми устройствами силой мысли. \cite{sphericalins}
|
||
\item \textbf{Synchron} - разработала систему Stentrode, которая вводится через кровеносные сосуды (без трепанации черепа), позволяет парализованным людям управлять устройствами. \cite{stentrode}
|
||
\subitem В 2025 году компания начала интеграцию своих решений в экосистемы Apple и NVIDIA, подтвердив безопасность устройства в ходе 12-месячных испытаний
|
||
\item \textbf{Blackrock Neurotech}\cite{Blackroc20} - лидер по количеству установленных имплантатов (более 30 пациентов)
|
||
\subitem Их технологии позволяют парализованным людям печатать со скоростью 90 символов в минуту и управлять роботизированными манипуляторами для повседневных задач (прием пищи, отправка email)
|
||
|
||
\end{enumerate}
|
||
|
||
\begin{figure}[h!]
|
||
\centering
|
||
\includegraphics[width=0.6\linewidth]{blackrock}
|
||
\caption{Пример устройства blackrock}
|
||
\label{fig:blackrock}
|
||
\end{figure}
|
||
|
||
Если говорить о неинвазивных методах, то здесь все крутится вокруг портативных ЭЭГ устройств. Это уже больше потребительский сектор, можно измерять свой уровень стресса, возраст мозга, мониторить концентрацию и психическое здоровье.
|
||
|
||
Выделить стоит троих:
|
||
\begin{enumerate}
|
||
\item \textbf{Emotiv} - лидер по производству портативных ЭЭГ устройств \cite{BrainDat14}
|
||
\item \textbf{Neurable}\cite{Neurable92} - интегрирует ИМК в повседневные наушники для мониторинга концентрации
|
||
\item \textbf{Kernel}\cite{Kernel70} - использует оптическую технологию (fNIRS) для оценки психического здоровья и когнитивных функций.
|
||
\end{enumerate}
|
||
|
||
\subsection{Прорывные технологии из отсчета за 2023-2024}
|
||
|
||
Информация на основе отсчета \cite{bciChen}.
|
||
|
||
\begin{enumerate}
|
||
\item \textbf{Восстановление речи}: Достигнута \textbf{скорость декодирования речи в 62–78 слов в минуту}, что приближается к темпу естественного разговора
|
||
\item \textbf{Моторная реабилитация}: Создан «цифровой мост» между мозгом и спинным мозгом, позволивший пациенту с параличом нижних конечностей ходить самостоятельно
|
||
\item \textbf{Зрение}: Начались работы над проектами Blindsight (Neuralink) и ICVP (Иллинойсский технологический институт) для возвращения зрения через прямую стимуляцию зрительной коры
|
||
\end{enumerate}
|
||
|
||
Насчет Blindsight - по состоянию на 2026 год, судя по всему, получил одобрение как прорывная разработка от управления по санитарному надзору за качеством пищевых продуктов и медикаментов США (по данным РИА новости \cite{Neuralin90}).
|
||
|
||
\section{Российские организации, которые занимаются ИМК}
|
||
|
||
Крутится вокруг программы Нейронет 2035\cite{nti2035} - как говорится на сайте, это рынок коммуникаций, основанных на передовых разработках в нейротехнологиях и повышающих продуктивность человеко-машинных систем.
|
||
В рамках этой национальной технологической инициативы есть много различных компаний, из репорта, который переслали по почте, выделил следующие.
|
||
|
||
\subsection{Компании и стартапы}
|
||
|
||
\begin{enumerate}
|
||
\item \textbf{ГК "Нейроботикс"} - компания является одним из ведущих поставщиков нейрофизиологического оборудования и неинвазивных решений в России.
|
||
\subitem \textbf{Ключевые продукты:} Беспроводные ЭЭГ-системы на сухих электродах серии NeuroPlay (6-канальные гарнитуры и 8-канальные шлемы), программная среда "Когниграф" для создания нейроинтерфейсов и комплекс "Шелтер" для оценки когнитивных функций
|
||
\item \textbf{Компания "Моторика"} - лидер в области киберпротезирования \cite{naukaprotez}
|
||
\subitem \textbf{Сенсорная обратная связь}: Совместно со Сколтехом и ДВФУ компания успешно испытала систему «очувствления» протезов, позволяющую пациентам чувствовать текстуру и силу сжатия, а также избавляться от фантомных болей.
|
||
\subitem \textbf{Инновации}: В 2024 году было объявлено о создании Центра кибернетической медицины и нейропротезирования для масштабирования этих технологий
|
||
\item \textbf{Исследовательский центр Neurotrend (Нейротренд)} - крупнейшая российская нейромаркетинговая компания \cite{neurotrend}
|
||
\subitem Использование собственных алгоритмов обработки данных для оценки когнитивной нагрузки и вовлеченности аудитории
|
||
\item \textbf{Проект «Нейрочат»} \cite{neurochat}
|
||
\subitem Позволяет пациентам с тяжелыми нарушениями речи и моторики (после инсультов, травм) набирать текст на экране силой мысли
|
||
\item \textbf{Neiry}
|
||
\subitem занимаются разработкой потребительских устройств для мониторинга ЭЭГ, нейроотклика и когнитивных способностей - для обучения и wellness применения.
|
||
\item \textbf{BrainBit}
|
||
\subitem носимые ЭЭГ устройства
|
||
\item \textbf{NeuroAssist Tech}
|
||
\subitem Нейро-реабилитационные системы на основе нейронных сетей и экзоскелеты.
|
||
\item \textbf{NTINeuroNet Consortsium}
|
||
\subitem объединение университетов, НИИ, стартапов и медицинских центров для разработки нейроинтерфейсов, нейропротезирования и когнитивных ИИ систем.
|
||
\end{enumerate}
|
||
|
||
\subsection{НИИ}
|
||
|
||
\begin{enumerate}
|
||
\item \textbf{Институт Курчатова }
|
||
\subitem Участвует в исследованиях в области декодирования сигналов мозга и нейро-модуляции, а также гибридных систем, совмещающих ЭЭГ и fNIRS.
|
||
\item \textbf{Институт высшей неврологической активности и нейрофизиологии.}
|
||
\subitem Фокусируется на фундаментальной науке и моделях коммуникации мозг-компьютер.
|
||
\item \textbf{Российский Квантовый Центр}
|
||
\subitem Исследует применение квантовых технологий в области обработки нейронных сигналов
|
||
\item \textbf{Skolkovo Foundation NeuroTech Cluster}
|
||
\subitem Центр нейробиологии и нейрореабилитации им. В. Зельмана выступает научным координатором проектов по созданию двунаправленных нейропротезов. Также Сколково в целом поддерживает стартапы в этом направлении
|
||
\end{enumerate}
|
||
|
||
\subsection{Университеты}
|
||
|
||
\begin{enumerate}
|
||
\item \textbf{ДВФУ (Дальневосточный федеральный университет)}
|
||
\subitem Единственное место в России, где проводятся уникальные операции по вживлению электродов в периферические нервы и спинной мозг для «очувствления» конечностей \cite{naukaprotez}
|
||
\item \textbf{МФТИ} - активно занимаются машинным обучением в BCI и обработке нейронных сигналов
|
||
\item \textbf{ИТМО} - есть некоторые программы, посвященные HMI(human-machine interaction) и нейроинформатике.
|
||
\item \textbf{МИФИ} - занимаются разработками систем мониторинга ЭЭГ и приложениями в области нейро-безопасности.
|
||
\item \textbf{МГУ} - также есть некоторое количество программ в области нейрофизиологии и когнитивной нейронауки.
|
||
\end{enumerate}
|
||
|