bmi-report/chapters/01_bmi.tex
2026-02-04 14:06:13 +03:00

288 lines
37 KiB
TeX
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

\chapter{Brain-machine Interface (BMI)}
Давайте начнем с определения и терминологии.
Что такое Brain-Machine interface (далее BMI или ИМК (интерфейс машина-компьютер))?
\begin{tabular}{|p{0.9\textwidth}}
BMI - технология, которая предоставляет \textbf{прямой интерфейс взаимодействия между мозгом и некоторым электронным устройством} (компьютером, протезом, экзоскелетом и далее). Интерфейс построен на считывании нейронной активности мозга, которую он пытается декодировать в некоторые команды, которые человек хочет послать устройству, минуя мышечную активность.
\end{tabular}
\begin{figure}[h!]
\centering
\includegraphics[width=0.7\linewidth]{bci-article-l}
\caption{Иллюстрация работы интерфейса мозг-машина}
\label{fig:bci_1}
\end{figure}
\section{Основные области применения}
Исторически сложилось, что BMI плотно связан с технологиями для улучшения или замены, существующих методов нейрореабилитации, либо как технология для разработки вспомогательных устройств, которые могли бы контролироваться напрямую мозгом.
А началось все с Видаля в 1973 году, когда он смог зафиксировать активность мозга при помощи электроэнцефалограммы. С этого времени было найдено огромное количество неинвазивных применений (рис. \ref{fig:bci_2}).
\begin{figure}[h!]
\centering
\includegraphics[width=0.8\linewidth]{bci-2}
\caption{Иллюстрация эволюции применения интерфейса мозг-компьютер}
\label{fig:bci_2}
\end{figure}
\subsection{Клиническая медицина и реабилитация}
Это наиболее значимая область, нацеленная на помощь людям с тяжелыми нейромышечными нарушениями, такими как боковой амиотрофический склероз (БАС), травмы спинного мозга и последствия инсульта.
\begin{enumerate}
\item \textbf{Ассистивные технологии:} ИМК позволяют восстановить коммуникацию и управление для полностью парализованных пациентов («запертых») через системы печати (spellers) или декодирование рукописного ввода прямо из сигналов мозга. \cite{Edelman2025}
\item \textbf{Восстановительная реабилитация}: Технология используется для стимуляции нейропластичности и восстановления двигательных функций конечностей после инсульта. \cite{Saha2021}
\item \textbf{Управление инвалидными колясками}: Разработаны системы для навигации в инвалидном кресле с использованием моторного воображения или зрительных вызванных потенциалов \cite{Edelman2025}
\end{enumerate}
\subsection{Управление внешними устройствами и робототехника}
\label{sec:bmi-robot}
BMI позволяют преобразовывать намерения пользователя в команды для сложных механизмов.
\begin{enumerate}
\item \textbf{Роботизированные манипуляторы}: Одной из самых передовых областей является управление робо-руками для выполнения повседневных задач (дотянуться до объекта и схватить его).
\item \textbf{Беспилотные аппараты}: Продемонстрирована возможность управления квадрокоптерами в трехмерном пространстве. \cite{Saha2021}
\item \textbf{Гуманоидные роботы}: ИМК применяются для дистанционного управления человекоподобными роботами, что может быть полезно в опасных средах.
\end{enumerate}
\subsection{Аффективные и когнитивные вычисления}
\label{sec:bmi-cog}
Эта область сфокусирована на мониторинге психических состояний человека.
\begin{enumerate}
\item \textbf{Детекция сонливости и усталости}: Пассивные ИМК могут использоваться для предотвращения аварий, отслеживая состояние водителей или операторов.
\item \textbf{Эмоциональное регулирование}: Ведутся исследования по обнаружению аффективных состояний (депрессия, тревога) и обеспечению биологической обратной связи для их коррекции
\end{enumerate}
\subsection{Развлечения, искусство и повседневное использование}
\label{sec:bmi-user}
С появлением недорогих неинвазивных систем технология вышла за пределы лабораторий.
\begin{enumerate}
\item \textbf{Гейминг}: Создание «мозговых игр», где управление игровым процессом осуществляется силой мысли, что улучшает пользовательский опыт.
\item \textbf{Виртуальная и дополненная реальность (VR/AR)}: ИМК обеспечивают эффект погружения и новые способы взаимодействия в виртуальных мирах.
\item \textbf{Искусство}: Существуют системы «рисования мозгом», позволяющие творчески самовыражаться людям с ограниченными физическими возможностями
\end{enumerate}
\subsection{Специализированные области}
\begin{enumerate}
\item \textbf{Космические исследования}: Мониторинг работоспособности космонавтов и управление экзоскелетами в условиях отсутствия гравитации.
\item \textbf{Интерфейсы «мозг-мозг»}: Эксперименты по прямой передаче когнитивной информации от одного человека к другому.
\end{enumerate}
В будущем интеграция ИМК с методами нейромодуляции (например, ультразвуковой или электрической стимуляцией) может расширить эти области, позволяя не только считывать намерения, но и корректировать работу мозга в реальном времени
\subsection{BCI программные платформы}
\begin{enumerate}
\item \textbf{OpenViBE}\cite{wiki26}: Программная платформа OpenViBE разрабатывается с 2007 года. OpenViBE реализована на языке C++ и может быть скомпилирована в операционных системах Windows и Linux; для Windows предоставляются готовые исполняемые файлы. OpenViBE основана на архитектуре, которая упрощает интеграцию, расширение и настройку модульной функциональности, а графический интерфейс делает OpenViBE удобной в использовании для широкого круга исследователей, включая инженеров, ученых и врачей. Эти два фактора делают OpenViBE хорошо подходящей для поддержки реализации различных подходов к интерфейсам мозг-компьютер.
\begin{figure}[h!]
\centering
\includegraphics[width=0.8\linewidth]{bci2000-datasource}
\caption{Скриншот гифки с сайта BCI2000 с возможными источниками входных данных}
\label{fig:bci2000}
\end{figure}
\item \textbf{BCI2000} \cite{bci2000}: Программная платформа BCI2000 разрабатывается с 1998 года. BCI2000 реализована на C++ и может быть скомпилирована под Windows и Linux; для Windows предоставляются готовые исполняемые файлы. Ее реализация основана на модели, которая может описывать любую систему интерфейса мозг-компьютер (BCI). (рис \ref{fig:bci2000}) В соответствии с этой моделью BCI2000 имеет четыре модуля, которые взаимодействуют друг с другом: Источник (сбор и хранение данных); Обработка сигналов; Пользовательское приложение; и Операторский интерфейс. Модули взаимодействуют посредством документированного сетевого протокола на основе TCP/IP. Реализация BCI2000 высоко оптимизирована, что позволяет поддерживать даже очень требовательные конфигурации BCI с хорошими временными характеристиками.
\item \textbf{MNE-Python} \cite{MNE}: Это библиотека на языке Python с открытым исходным кодом, предназначенная для визуализации и анализа данных электроэнцефалографии (ЭЭГ), магнитоэнцефалографии (МЭГ) и других нейрофизиологических сигналов. В отличие от платформ, ориентированных на реальное время, MNE-Python предоставляет мощный инструментарий для сложной автономной обработки данных: фильтрацию, устранение артефактов (например, с помощью ICA/SSP), статистический анализ и локализацию источников в трехмерном пространстве.
\item \textbf{LORETA (Low Resolution Brain Electromagnetic Tomography)} \cite{Loreta}: Представляет собой метод и соответствующее программное обеспечение для решения обратной задачи ЭЭГ — определения трехмерного распределения электрической активности нейронов в коре головного мозга. В отличие от стандартных методов, LORETA не предполагает наличия ограниченного числа точечных источников (диполей), а вычисляет «мягкое» распределение тока во всем объеме мозга.
\end{enumerate}
\section{Алгоритмы декодирования сигналов мозга}
Взято из "Non-Invasive Brain-Computer Interfaces: State of the Art and Trends" \cite{Edelman2025}
\subsection{Глубокое обучение (Deep Learning)}
Глубокое обучение позволяет автоматически извлекать признаки из «сырых» данных ЭЭГ, минимизируя необходимость в ручном проектировании признаков.
\begin{enumerate}
\item \textbf{Сверточные нейронные сети (CNN)}: Самый популярный метод, эффективно извлекающий спектральные и пространственные признаки. Ключевыми архитектурами являются EEGNet (универсальная и компактная сеть), Shallow ConvNets и Deep ConvNets.
\item \textbf{Графовые сверточные сети (GCN)}: Рассматривают электроды как узлы графа, что позволяет учитывать физическое распределение датчиков на скальпе и внутренние связи между каналами.
\item \textbf{Рекуррентные сети (RNN/LSTM)}: Фокусируются на временных зависимостях в последовательных сигналах ЭЭГ. Например, архитектуры на базе LSTM успешно используются для декодирования паттернов походки.
\item \textbf{Механизмы внимания и трансформеры}: Позволяют модели динамически выделять наиболее важные части ЭЭГ-испытания, что улучшает точность распознавания моторных образов и вызванных потенциалов.
\item \textbf{Гибридные модели}: Комбинируют различные архитектуры (например, CNN-LSTM) для одновременного анализа пространственных, спектральных и временных характеристик.
\end{enumerate}
\subsection{Обучение с переносом знаний (Transfer Learning)}
Этот подход решает проблему высокой вариативности сигналов между разными людьми и сессиями.
\begin{enumerate}
\item \textbf{Тонкая настройка (Fine-tuning)}: Модель предварительно обучается на данных большой группы людей, а затем адаптируется под конкретного пользователя.
\item \textbf{Доменная адаптация (Domain Adaptation)}: Нацелена на выравнивание распределений признаков разных доменов (например, разных испытуемых), чтобы сделать модель инвариантной к индивидуальным особенностям.
\item \textbf{Малоприметное обучение (Few-shot learning)}: Позволяет создавать бескалибровочные ИМК, способные работать с минимальным количеством размеченных данных от нового пользователя.
\end{enumerate}
\subsection{Классификация на основе многообразий (Manifold-Based Methods)}
В отличие от методов в евклидовом пространстве, эти алгоритмы работают с геометрической структурой данных.
\begin{enumerate}
\item \textbf{Римановы многообразия}: Используют ковариационные матрицы (\ref{eq:covar_mat}) сигналов ЭЭГ, которые являются симметричными положительно определенными (SPD) матрицами.
\item \textbf{RMDM (Riemannian Minimum Distance to Means)}: Классифицирует сигнал на основе риманова расстояния до средних геометрических значений классов. Эти методы устойчивы к шуму и обладают хорошей обобщающей способностью. (формулы \ref{eq:rieman_gmean} и \ref{eq:rieman_dist})
\end{enumerate}
Формулы, если вам вдруг интересно, можно посмотреть в дополнительных материалах.
\subsection{Адаптивное обучение (Adaptive Learning)}
Адаптивные классификаторы способны подстраивать свои параметры в процессе работы, реагируя на изменение ментального состояния пользователя или нестационарность ЭЭГ.
\begin{enumerate}
\item \textbf{Контролируемая и неконтролируемая адаптация}: Включает методы переобучения на новых данных сессии.
\item \textbf{Полуконтролируемое обучение}: Использует такие стратегии, как псевдоразметка (pseudo-labeling) и самообучение, где модель сама размечает входящие данные для уточнения своих параметров.
\end{enumerate}
\subsection{Анализ источников ЭЭГ (EEG Source Analysis)}
Этот метод отходит от анализа сигналов непосредственно на скальпе и переходит к оценке активности нейронных источников в коре головного мозга.
\begin{enumerate}
\item \textbf{Обратная задача ЭЭГ}: С помощью математических преобразований (например, LORETA\cite{Loreta} или MNE\cite{MNE}) сигналы со скальпа преобразуются в оценки активности коры.
\item \textbf{Преимущества}: Подход обеспечивает более детальную пространственную информацию, что критически важно для декодирования сложных движений конечностей и управления робототехникой в реальном времени.
\end{enumerate}
Основными целями развития этих алгоритмов авторы называют повышение точности классификации, создание систем, не требующих длительной калибровки, и обеспечение надежности ИМК при долговременном использовании.
\section{Что останавливает перед массовым внедрением интерфейсов мозг-компьютер}
\subsection{Психофизиологические вызовы}
\begin{enumerate}
\item \textbf{Высокая вариативность сигналов}: Мозговая динамика крайне нелинейна и изменчива как у одного и того же человека в разное время (интраиндивидуальная), так и между разными людьми (интериндивидуальная). На сигналы влияют возраст, пол, уровень внимания, усталость и даже эмоциональное состояние пользователя.
\item \textbf{Проблема «ИМК-неграмотности» (BCI illiteracy)}: Около 1530\% людей не способны генерировать достаточно стабильные и сильные сигналы мозга для управления системой. Несмотря на новые подходы в декодировании, эта проблема остается нерешенной для значительной части потенциальных пользователей.
\end{enumerate}
\subsection{Технологические и алгоритмические ограничения}
\begin{enumerate}
\item \textbf{Низкое соотношение сигнал/шум (SNR)}: В неинвазивных системах (особенно ЭЭГ) электрические потенциалы сильно ослабляются и искажаются при прохождении через ткани мозга и череп. Это приводит к низкой скорости передачи информации (ITR).
\item \textbf{Трудоемкая калибровка}: Большинство систем требуют длительных и утомительных сессий обучения для каждого нового пользователя, чтобы настроить алгоритмы под его индивидуальные особенности. Одной из главных целей исследователей сейчас является создание систем, работающих «из коробки» (calibration-free).
\item \textbf{Артефакты}: Сигналы ИМК легко загрязняются биологическими помехами, такими как моргание глаз или движения мышц, а также внешними электрическими шумами, что затрудняет их точную интерпретацию в реальном времени.
\end{enumerate}
\subsection{Практические и клинические вызовы}
\begin{enumerate}
\item \textbf{Переход из лаборатории в реальную жизнь}: Большинство достижений ИМК продемонстрированы в строго контролируемых лабораторных условиях. Создание надежного беспроводного оборудования для использования в естественной среде остается сложной задачей.
\item \textbf{Удобство датчиков}: Существующие высокоточные электроды часто требуют использования токопроводящего геля, что неудобно для повседневного ношения. Разработка «сухих» датчиков, которые обеспечивали бы лабораторное качество сигнала без дискомфорта, — одно из приоритетных направлений.
\item \textbf{Гетерогенность пациентов}: В медицине клиническая эффективность ИМК сильно варьируется из-за различий в характере травм или особенностях протекания болезней (например, после инсульта), что затрудняет создание универсальных реабилитационных решений.
\end{enumerate}
\subsection{Этические и правовые аспекты}
\begin{enumerate}
\item \textbf{Приватность и безопасность данных}: Существует риск несанкционированного доступа к нейронным данным, которые могут содержать конфиденциальную информацию о психическом состоянии или даже намерениях человека.
\item \textbf{Влияние на личность и психику}: Использование ИМК и систем нейромодуляции поднимает вопросы об изменении самоидентификации пользователя, его эмоциональной стабильности и возможных долгосрочных последствиях для здоровья
\end{enumerate}
\section{Ситуация с Brain-Computer Interface в мире}
Здесь все уже стандартно для 2025 года. Лидер - Китай по количеству публикаций и патентов. Северная Америка в топе по количеству стартапов (более 87).
Попросил нейронку нагенерировать инфографику, чтобы было стильно модно молодежно, результат смотрите сами (рис \ref{fig:market})
\begin{figure}[h!]
\centering
\includegraphics[width=0.8\linewidth]{market}
\caption{Сгенерировано нейронной сетью (NotebookLM)}
\label{fig:market}
\end{figure}
Сейчас на западе основной фокус идет в направлении инвазивных технологий для медицины.
\begin{enumerate}
\item \textbf{Neuralink}
\subitem К июню 2025 года пять пациентов с тяжелым параличом уже использовали имплантат «Telepathy» для управления цифровыми устройствами силой мысли. \cite{sphericalins}
\item \textbf{Synchron} - разработала систему Stentrode, которая вводится через кровеносные сосуды (без трепанации черепа), позволяет парализованным людям управлять устройствами. \cite{stentrode}
\subitem В 2025 году компания начала интеграцию своих решений в экосистемы Apple и NVIDIA, подтвердив безопасность устройства в ходе 12-месячных испытаний
\item \textbf{Blackrock Neurotech}\cite{Blackroc20} - лидер по количеству установленных имплантатов (более 30 пациентов)
\subitem Их технологии позволяют парализованным людям печатать со скоростью 90 символов в минуту и управлять роботизированными манипуляторами для повседневных задач (прием пищи, отправка email)
\end{enumerate}
\begin{figure}[h!]
\centering
\includegraphics[width=0.6\linewidth]{blackrock}
\caption{Пример устройства blackrock}
\label{fig:blackrock}
\end{figure}
Если говорить о неинвазивных методах, то здесь все крутится вокруг портативных ЭЭГ устройств. Это уже больше потребительский сектор, можно измерять свой уровень стресса, возраст мозга, мониторить концентрацию и психическое здоровье.
Выделить стоит троих:
\begin{enumerate}
\item \textbf{Emotiv} - лидер по производству портативных ЭЭГ устройств \cite{BrainDat14}
\item \textbf{Neurable}\cite{Neurable92} - интегрирует ИМК в повседневные наушники для мониторинга концентрации
\item \textbf{Kernel}\cite{Kernel70} - использует оптическую технологию (fNIRS) для оценки психического здоровья и когнитивных функций.
\end{enumerate}
\subsection{Прорывные технологии из отсчета за 2023-2024}
Информация на основе отсчета \cite{bciChen}.
\begin{enumerate}
\item \textbf{Восстановление речи}: Достигнута \textbf{скорость декодирования речи в 6278 слов в минуту}, что приближается к темпу естественного разговора
\item \textbf{Моторная реабилитация}: Создан «цифровой мост» между мозгом и спинным мозгом, позволивший пациенту с параличом нижних конечностей ходить самостоятельно
\item \textbf{Зрение}: Начались работы над проектами Blindsight (Neuralink) и ICVP (Иллинойсский технологический институт) для возвращения зрения через прямую стимуляцию зрительной коры
\end{enumerate}
Насчет Blindsight - по состоянию на 2026 год, судя по всему, получил одобрение как прорывная разработка от управления по санитарному надзору за качеством пищевых продуктов и медикаментов США (по данным РИА новости \cite{Neuralin90}).
\section{Российские организации, которые занимаются ИМК}
\label{sec:rus-bmi}
Крутится вокруг программы \textbf{Нейронет 2035}\cite{nti2035} - как говорится на сайте, это рынок коммуникаций, основанных на передовых разработках в нейротехнологиях и повышающих продуктивность человеко-машинных систем.
В рамках этой национальной технологической инициативы есть много различных компаний, из репорта, который переслали по почте, выделил следующие.
\subsection{Компании и стартапы}
\begin{enumerate}
\item \textbf{ГК "Нейроботикс"}\cite{neurobotics} - компания является одним из ведущих поставщиков нейрофизиологического оборудования и неинвазивных решений в России.
\subitem \textbf{Ключевые продукты:} Беспроводные ЭЭГ-системы на сухих электродах серии NeuroPlay (6-канальные гарнитуры и 8-канальные шлемы), программная среда "Когниграф" для создания нейроинтерфейсов и комплекс "Шелтер" для оценки когнитивных функций
\item \textbf{Компания "Моторика"} - лидер в области киберпротезирования \cite{naukaprotez}
\subitem \textbf{Сенсорная обратная связь}: Совместно со Сколтехом и ДВФУ компания успешно испытала систему «очувствления» протезов, позволяющую пациентам чувствовать текстуру и силу сжатия, а также избавляться от фантомных болей.
\subitem \textbf{Инновации}: В 2024 году было объявлено о создании Центра кибернетической медицины и нейропротезирования для масштабирования этих технологий
\item \textbf{Исследовательский центр Neurotrend (Нейротренд)} - крупнейшая российская нейромаркетинговая компания \cite{neurotrend}
\subitem Использование собственных алгоритмов обработки данных для оценки когнитивной нагрузки и вовлеченности аудитории
\item \textbf{Проект «Нейрочат»} \cite{neurochat}
\subitem Позволяет пациентам с тяжелыми нарушениями речи и моторики (после инсультов, травм) набирать текст на экране силой мысли
\item \textbf{Neiry}
\subitem Занимаются разработкой потребительских устройств для мониторинга ЭЭГ, нейроотклика и когнитивных способностей - для обучения и wellness применения.
\item \textbf{BrainBit}
\subitem Носимые ЭЭГ устройства
\item \textbf{NeuroAssist Tech}
\subitem Нейро-реабилитационные системы на основе нейронных сетей и экзоскелеты.
\item \textbf{NTINeuroNet Consortsium}
\subitem Объединение университетов, НИИ, стартапов и медицинских центров для разработки нейроинтерфейсов, нейропротезирования и когнитивных ИИ систем.
\end{enumerate}
\subsection{НИИ}
\begin{enumerate}
\item \textbf{Институт Курчатова }
\subitem Участвует в исследованиях в области декодирования сигналов мозга и нейро-модуляции, а также гибридных систем, совмещающих ЭЭГ и fNIRS.
\item \textbf{Институт высшей неврологической активности и нейрофизиологии.}
\subitem Фокусируется на фундаментальной науке и моделях коммуникации мозг-компьютер.
\item \textbf{Российский Квантовый Центр}
\subitem Исследует применение квантовых технологий в области обработки нейронных сигналов
\item \textbf{Skolkovo Foundation NeuroTech Cluster}
\subitem Центр нейробиологии и нейрореабилитации им. В. Зельмана выступает научным координатором проектов по созданию двунаправленных нейропротезов. Также Сколково в целом поддерживает стартапы в этом направлении
\end{enumerate}
\subsection{Университеты}
\begin{enumerate}
\item \textbf{ДВФУ (Дальневосточный федеральный университет)}
\subitem Единственное место в России, где проводятся операции по вживлению электродов в периферические нервы и спинной мозг для "очувствления" конечностей \cite{naukaprotez}
\item \textbf{МФТИ} - активно занимаются машинным обучением в BCI и обработке нейронных сигналов
\item \textbf{ИТМО} - есть некоторые программы, посвященные HMI(human-machine interaction) и нейроинформатике.
\item \textbf{МИФИ} - занимаются разработками систем мониторинга ЭЭГ и приложениями в области нейро-безопасности.
\item \textbf{МГУ} - также есть некоторое количество программ в области нейрофизиологии и когнитивной нейронауки.
\end{enumerate}
\section{Выводы о применимости в рамках лаборатории}
Здесь можно выделить следующие направления применимости:
\begin{enumerate}
\item \textbf{Управление робототехникой и платформой CLOi} \\
Использование неинвазивных ИМК для управления сервисными роботами LG?
\item \textbf{Аффективные вычисления для WebOS и медиа-сервисов} \\
Технологии детекции эмоционального состояния и уровня концентрации (интегрировать разработки \textbf{Neurable} и \textbf{Neiry} в WebOS) могут стать основой для Web 4.0.
\item \textbf{Сотрудничество с локальной экосистемой (Нейронет 2035)} \\
Использование российских ЭЭГ-платформ для сбора данных и последующей тренировки собственных моделей глубокого обучения (EEGNet, трансформеры) для специфических задач LG.
\end{enumerate}