v1
This commit is contained in:
parent
57cfe5cc0e
commit
4d801b82bb
@ -1,3 +1,23 @@
|
||||
\chapter*{Введение}
|
||||
\addcontentsline{toc}{chapter}{Введение}
|
||||
|
||||
Данный отчет необходим для базового изучения области устройств, реализующих интерфейс мозг-человек и его применимости в рамках LG.
|
||||
|
||||
\begin{tabular}{|p{0.9\textwidth}}
|
||||
\textbf{LG} - прежде всего продуктовая компания. Основные интересы которой лежат на 2026 год в следующих областях: упор на QCD (Quality Cost Delivery), решения для автомобилей, кондиционеров, обогревателей, вентиляционных блоков, программные решения (такие как WebOS, сервисы, подписки), онлайн бизнесы, которые могут привести напрямую к покупателю, а также роботы и платформа CLOi\cite{cloi}.
|
||||
\end{tabular}
|
||||
|
||||
\begin{figure}[h!]
|
||||
\centering
|
||||
\includegraphics[width=0.7\linewidth]{airai}
|
||||
\caption{Система кондиционирования воздуха со встроенным искусственным интеллектом (Cold-Free)}
|
||||
\label{fig:airai}
|
||||
\end{figure}
|
||||
|
||||
Если посмотреть на это великолепное разнообразие интересов, несложно заметить, что медицинских решений в данном перечне нет, а B2B ограничивается автомобилями (куда поставляют медиа-системы) и устройствами для различных манипуляций с воздухом (рис \ref{fig:airai}).
|
||||
|
||||
Направление интерфейса мозг-машина является одним из интересных, потому что у многих сейчас на слуху, международные правительства составляют дорожную научную карту, включая данное направление, как одно из наиболее приоритетных в будущем, которые позволят открыть Web 4.0 и тому подобное. \cite{nti2035}
|
||||
|
||||
Разумеется, учитывая подвешенное состояние лаборатории и неопределенность общего вектора специализации, возможность присоединиться к этому Web 4.0 и продвигать его в продуктовых решениях LG - не такая уж и плохая идея.
|
||||
|
||||
Однако, чтобы понять насколько она реализуема в реальности, необходимо изучить данную технологическую область и выделить потенциальные интересные направления развития, такие как изучение отклика пользователей на контент, с целью продвижения LG из поставщиков медиа-устройств в поставщика медиа-сервисов, подстраивающихся под каждого пользователя, или носимые устройства для создания системы умного дома, которые по отклику с сенсоров регулировали бы работу системы кондиционирования помещений.
|
||||
@ -1,5 +1,4 @@
|
||||
\chapter{Brain-machine Interface (BMI)}
|
||||
\addcontentsline{toc}{chapter}{Brain-Machine Interface (BMI)}
|
||||
|
||||
Давайте начнем с определения и терминологии.
|
||||
Что такое Brain-Machine interface (далее BMI или ИМК (интерфейс машина-компьютер))?
|
||||
@ -39,6 +38,7 @@ BMI - технология, которая предоставляет \textbf{п
|
||||
\end{enumerate}
|
||||
|
||||
\subsection{Управление внешними устройствами и робототехника}
|
||||
\label{sec:bmi-robot}
|
||||
|
||||
BMI позволяют преобразовывать намерения пользователя в команды для сложных механизмов.
|
||||
|
||||
@ -49,7 +49,7 @@ BMI позволяют преобразовывать намерения пол
|
||||
\end{enumerate}
|
||||
|
||||
\subsection{Аффективные и когнитивные вычисления}
|
||||
|
||||
\label{sec:bmi-cog}
|
||||
Эта область сфокусирована на мониторинге психических состояний человека.
|
||||
\begin{enumerate}
|
||||
\item \textbf{Детекция сонливости и усталости}: Пассивные ИМК могут использоваться для предотвращения аварий, отслеживая состояние водителей или операторов.
|
||||
@ -57,7 +57,7 @@ BMI позволяют преобразовывать намерения пол
|
||||
\end{enumerate}
|
||||
|
||||
\subsection{Развлечения, искусство и повседневное использование}
|
||||
|
||||
\label{sec:bmi-user}
|
||||
С появлением недорогих неинвазивных систем технология вышла за пределы лабораторий.
|
||||
\begin{enumerate}
|
||||
\item \textbf{Гейминг}: Создание «мозговых игр», где управление игровым процессом осуществляется силой мысли, что улучшает пользовательский опыт.
|
||||
@ -83,6 +83,8 @@ BMI позволяют преобразовывать намерения пол
|
||||
\label{fig:bci2000}
|
||||
\end{figure}
|
||||
\item \textbf{BCI2000} \cite{bci2000}: Программная платформа BCI2000 разрабатывается с 1998 года. BCI2000 реализована на C++ и может быть скомпилирована под Windows и Linux; для Windows предоставляются готовые исполняемые файлы. Ее реализация основана на модели, которая может описывать любую систему интерфейса мозг-компьютер (BCI). (рис \ref{fig:bci2000}) В соответствии с этой моделью BCI2000 имеет четыре модуля, которые взаимодействуют друг с другом: Источник (сбор и хранение данных); Обработка сигналов; Пользовательское приложение; и Операторский интерфейс. Модули взаимодействуют посредством документированного сетевого протокола на основе TCP/IP. Реализация BCI2000 высоко оптимизирована, что позволяет поддерживать даже очень требовательные конфигурации BCI с хорошими временными характеристиками.
|
||||
\item \textbf{MNE-Python} \cite{MNE}: Это библиотека на языке Python с открытым исходным кодом, предназначенная для визуализации и анализа данных электроэнцефалографии (ЭЭГ), магнитоэнцефалографии (МЭГ) и других нейрофизиологических сигналов. В отличие от платформ, ориентированных на реальное время, MNE-Python предоставляет мощный инструментарий для сложной автономной обработки данных: фильтрацию, устранение артефактов (например, с помощью ICA/SSP), статистический анализ и локализацию источников в трехмерном пространстве.
|
||||
\item \textbf{LORETA (Low Resolution Brain Electromagnetic Tomography)} \cite{Loreta}: Представляет собой метод и соответствующее программное обеспечение для решения обратной задачи ЭЭГ — определения трехмерного распределения электрической активности нейронов в коре головного мозга. В отличие от стандартных методов, LORETA не предполагает наличия ограниченного числа точечных источников (диполей), а вычисляет «мягкое» распределение тока во всем объеме мозга.
|
||||
\end{enumerate}
|
||||
|
||||
\section{Алгоритмы декодирования сигналов мозга}
|
||||
@ -129,7 +131,7 @@ BMI позволяют преобразовывать намерения пол
|
||||
|
||||
Этот метод отходит от анализа сигналов непосредственно на скальпе и переходит к оценке активности нейронных источников в коре головного мозга.
|
||||
\begin{enumerate}
|
||||
\item \textbf{Обратная задача ЭЭГ}: С помощью математических преобразований (например, LORETA или MNE) сигналы со скальпа преобразуются в оценки активности коры.
|
||||
\item \textbf{Обратная задача ЭЭГ}: С помощью математических преобразований (например, LORETA\cite{Loreta} или MNE\cite{MNE}) сигналы со скальпа преобразуются в оценки активности коры.
|
||||
\item \textbf{Преимущества}: Подход обеспечивает более детальную пространственную информацию, что критически важно для декодирования сложных движений конечностей и управления робототехникой в реальном времени.
|
||||
\end{enumerate}
|
||||
|
||||
@ -170,7 +172,7 @@ BMI позволяют преобразовывать намерения пол
|
||||
\section{Ситуация с Brain-Computer Interface в мире}
|
||||
Здесь все уже стандартно для 2025 года. Лидер - Китай по количеству публикаций и патентов. Северная Америка в топе по количеству стартапов (более 87).
|
||||
|
||||
Попросил нейронку нагенерировать инфографику, чтобы стильно модно молодежно было результат смотрите сами (рис \ref{fig:market})
|
||||
Попросил нейронку нагенерировать инфографику, чтобы было стильно модно молодежно, результат смотрите сами (рис \ref{fig:market})
|
||||
|
||||
\begin{figure}[h!]
|
||||
\centering
|
||||
@ -179,7 +181,7 @@ BMI позволяют преобразовывать намерения пол
|
||||
\label{fig:market}
|
||||
\end{figure}
|
||||
|
||||
Сейчас основной фокус идет в направлении инвазивных технологий для медицины.
|
||||
Сейчас на западе основной фокус идет в направлении инвазивных технологий для медицины.
|
||||
|
||||
\begin{enumerate}
|
||||
\item \textbf{Neuralink}
|
||||
@ -220,14 +222,14 @@ BMI позволяют преобразовывать намерения пол
|
||||
Насчет Blindsight - по состоянию на 2026 год, судя по всему, получил одобрение как прорывная разработка от управления по санитарному надзору за качеством пищевых продуктов и медикаментов США (по данным РИА новости \cite{Neuralin90}).
|
||||
|
||||
\section{Российские организации, которые занимаются ИМК}
|
||||
|
||||
Крутится вокруг программы Нейронет 2035\cite{nti2035} - как говорится на сайте, это рынок коммуникаций, основанных на передовых разработках в нейротехнологиях и повышающих продуктивность человеко-машинных систем.
|
||||
\label{sec:rus-bmi}
|
||||
Крутится вокруг программы \textbf{Нейронет 2035}\cite{nti2035} - как говорится на сайте, это рынок коммуникаций, основанных на передовых разработках в нейротехнологиях и повышающих продуктивность человеко-машинных систем.
|
||||
В рамках этой национальной технологической инициативы есть много различных компаний, из репорта, который переслали по почте, выделил следующие.
|
||||
|
||||
\subsection{Компании и стартапы}
|
||||
|
||||
\begin{enumerate}
|
||||
\item \textbf{ГК "Нейроботикс"} - компания является одним из ведущих поставщиков нейрофизиологического оборудования и неинвазивных решений в России.
|
||||
\item \textbf{ГК "Нейроботикс"}\cite{neurobotics} - компания является одним из ведущих поставщиков нейрофизиологического оборудования и неинвазивных решений в России.
|
||||
\subitem \textbf{Ключевые продукты:} Беспроводные ЭЭГ-системы на сухих электродах серии NeuroPlay (6-канальные гарнитуры и 8-канальные шлемы), программная среда "Когниграф" для создания нейроинтерфейсов и комплекс "Шелтер" для оценки когнитивных функций
|
||||
\item \textbf{Компания "Моторика"} - лидер в области киберпротезирования \cite{naukaprotez}
|
||||
\subitem \textbf{Сенсорная обратная связь}: Совместно со Сколтехом и ДВФУ компания успешно испытала систему «очувствления» протезов, позволяющую пациентам чувствовать текстуру и силу сжатия, а также избавляться от фантомных болей.
|
||||
@ -270,3 +272,16 @@ BMI позволяют преобразовывать намерения пол
|
||||
\item \textbf{МГУ} - также есть некоторое количество программ в области нейрофизиологии и когнитивной нейронауки.
|
||||
\end{enumerate}
|
||||
|
||||
\section{Выводы о применимости в рамках лаборатории}
|
||||
|
||||
Здесь можно выделить следующие направления применимости:
|
||||
|
||||
\begin{enumerate}
|
||||
\item \textbf{Управление робототехникой и платформой CLOi} \\
|
||||
Использование неинвазивных ИМК для управления сервисными роботами LG?
|
||||
\item \textbf{Аффективные вычисления для WebOS и медиа-сервисов} \\
|
||||
Технологии детекции эмоционального состояния и уровня концентрации (интегрировать разработки \textbf{Neurable} и \textbf{Neiry} в WebOS) могут стать основой для Web 4.0.
|
||||
\item \textbf{Сотрудничество с локальной экосистемой (Нейронет 2035)} \\
|
||||
Использование российских ЭЭГ-платформ для сбора данных и последующей тренировки собственных моделей глубокого обучения (EEGNet, трансформеры) для специфических задач LG.
|
||||
\end{enumerate}
|
||||
|
||||
|
||||
130
chapters/02_sr.tex
Normal file
130
chapters/02_sr.tex
Normal file
@ -0,0 +1,130 @@
|
||||
\chapter{Интерфейсы на основе сопротивления кожи и микродвижений мышц}
|
||||
|
||||
На основе предоставленных материалов можно выделить два основных направления использования электрических характеристик кожи и подкожных тканей в интерфейсах: электродермальная активность (EDA/GSR) \cite{Navarro2022} для оценки психофизиологического состояния и измерение электрического импеданса мышц (EIM/FMEIS) \cite{Li2025} для управления устройствами.
|
||||
|
||||
\section{Электродермальная активность (EDA/GSR)}
|
||||
Этот метод основывается на измерении изменений электрической проводимости кожи, возникающих из-за активности эккриновых потовых желез.
|
||||
|
||||
\begin{enumerate}
|
||||
\item \textbf{Физический принцип}: На кожу подается неощутимое напряжение, и система фиксирует скорость его прохождения. Сильные эмоциональные реакции вызывают потоотделение, что повышает проводимость и, соответственно, снижает сопротивление кожи.
|
||||
\item \textbf{Компоненты сигнала}:
|
||||
\begin{itemize}
|
||||
\item \textbf{Тонический (SCL)}: Отражает медленные, постепенные изменения базового уровня проводимости.
|
||||
\item \textbf{Фазический (SCR)}: Фиксирует быстрые и резкие всплески сигнала в ответ на конкретные стимулы.
|
||||
\end{itemize}
|
||||
\item \textbf{Применение}: EDA считается эффективным инструментом для измерения уровня возбуждения (arousal) и эмоциональных реакций.
|
||||
\end{enumerate}
|
||||
|
||||
\section{Поверхностная электромиография (пЭМГ)}
|
||||
Современные интерфейсы на основе поверхностной электромиографии (пЭМГ) и носимых браслетов представляют собой неинвазивную технологию, которая считывает электрические сигналы мышц для управления цифровыми устройствами (рис. \ref{fig:asic}). \cite{Kaifosh2025}
|
||||
|
||||
\begin{figure}[h!]
|
||||
\centering
|
||||
\includegraphics[width=0.8\linewidth]{asic}
|
||||
\caption{Система управления протезом \cite{wu2018human}}
|
||||
\label{fig:asic}
|
||||
\end{figure}
|
||||
|
||||
\subsection{Области применения}
|
||||
\begin{enumerate}
|
||||
\item \textbf{Непрерывная навигация}: Пользователи могут управлять курсором на экране, используя микронаклон запястья (скорость захвата целей - 0,66 в секунду).
|
||||
\item \textbf{Дискретные жесты}: Распознавание щипков пальцами и взмахов большим пальцем позволяет управлять интерфейсами без прямого контакта с экраном (0,88 жеста в секунду).
|
||||
\item \textbf{"Воздушный" почерк}: Декодирование движений кисти, имитирующих письмо, позволяет набирать текст со скоростью 20,9 слов в минуту.
|
||||
\item \textbf{Протезирование и реабилитация}: ЭМГ-интерфейсы являются базой для управления современными бионическими протезами рук. В России компания «Моторика» внедряет двунаправленные интерфейсы, где микродвижения мышц управляют протезом, а пациент получает тактильную обратную связь через электростимуляцию нервов.
|
||||
\item \textbf{Мультисенсорные системы}: Для повышения точности некоторые браслеты интегрируют данные ЭМГ с инерциальными измерительными модулями (IMU), которые отслеживают положение руки в пространстве.
|
||||
\end{enumerate}
|
||||
|
||||
\section{Гибкие датчики мышечного импеданса (FMEIS)}
|
||||
Более продвинутая технология использует многоканальное измерение импеданса для прямого управления интерфейсами «человек-машина» (HMI).
|
||||
|
||||
\begin{enumerate}
|
||||
\item \textbf{Принцип работы}: Через ткани пропускается высокочастотный ток (например, 50 кГц), а электроды фиксируют изменения электрического поля, вызванные деформацией мышц при сокращении.
|
||||
\item \textbf{Преимущества перед ЭМГ}: В отличие от традиционной электромиографии (ЭМГ), которая видит только активные сокращения, датчики импеданса могут фиксировать и пассивное растяжение мышц, что дает более полную информацию о силе и положении конечности.
|
||||
\item \textbf{Конструкция}: Современные устройства, такие как FMEIS, представляют собой ультратонкие (~220 мкм) и гибкие пластыри с гидрогелевыми электродами, которые плотно прилегают к коже и минимизируют помехи от движения.
|
||||
\item \textbf{Алгоритмы декодирования}: Данные многоканального импеданса обрабатываются с помощью машинного обучения для классификации жестов и предсказания мышечной силы.
|
||||
\end{enumerate}
|
||||
|
||||
\begin{figure}[h!]
|
||||
\centering
|
||||
\includegraphics[width=0.8\linewidth]{fmeis}
|
||||
\caption{Система управления протезом на основе FMEIS\cite{Li2025}}
|
||||
\label{fig:fmeis}
|
||||
\end{figure}
|
||||
|
||||
\subsection {Ключевые области применения систем на основе импеданса}
|
||||
Материалы описывают несколько высокотехнологичных сценариев использования таких интерфейсов:
|
||||
|
||||
\begin{enumerate}
|
||||
\item \textbf{Человеко-роботизированное взаимодействие}: Управление роботизированными руками и манипуляторами для выполнения сложных задач, таких как сборка деталей или закручивание винтов.
|
||||
\item \textbf{Управление экзоскелетами}: Прогнозирование усилий пользователя для активации пневматических приводов, что помогает снизить мышечную усталость.
|
||||
\item \textbf{Виртуальная хирургия}: Передача точных данных о силе нажатия скальпеля в VR-среду, что позволяет проводить обучение хирургов с высокой степенью реализма.
|
||||
\item \textbf{Нейромаркетинг и полиграфы}: Российские компании, такие как Neurotrend\cite{neurotrend}, используют биосенсоры кожной проводимости в составе полиграфов для оценки эмоциональной значимости рекламных стимулов.
|
||||
\end{enumerate}
|
||||
|
||||
\section{Состояние сектора в России}
|
||||
|
||||
О многих игроках мы уже говорили в секции \ref{sec:rus-bmi}. Здесь немного продублируем эту информацию, может раскроется с чутка другой стороны.
|
||||
|
||||
\subsection{Коммерческие компании и продукты}
|
||||
\begin{enumerate}
|
||||
\item \textbf{BiTronics Lab} \\
|
||||
Пионер в области образовательных нейротехнологий и биосигнальных интерфейсов. \cite{bitronics} Скажу так, для стартовой точки - может и пойдет, продают учебные наборы.
|
||||
\item \textbf{Моторика} \cite{naukaprotez} \\
|
||||
Крупнейший разработчик и производитель функциональных протезов рук.
|
||||
\begin{itemize}
|
||||
\item \textbf{Продукт:} Бионические протезы линейки \textbf{Manifesto} и \textbf{Indy} с управлением через ЭМГ-датчики.
|
||||
\item \textbf{Применение:} Протезирование верхних конечностей для детей и взрослых; развитие систем очувствления протезов (передача сигналов от искусственных пальцев в нервную систему пользователя) и облачной платформы мониторинга активности.
|
||||
\end{itemize}
|
||||
\item \textbf{ГК Нейроботикс} \\
|
||||
Крупнейший центр разработки нейро- и миоинтерфейсов в Зеленограде.
|
||||
\begin{itemize}
|
||||
\item \textbf{Продукт:} Нейрогарнитуры \textbf{NeuroPlay} и активные ортезы с биологической обратной связью.
|
||||
\item \textbf{Применение:} Медицинская реабилитация после инсультов, управление экзоскелетами через миосигналы и создание нейроколясок.
|
||||
\end{itemize}
|
||||
|
||||
\item \textbf{SensoMed} \cite{sensomed}\\
|
||||
Резидент «Сколково», специализирующийся на высокотехнологичной реабилитации моторики.
|
||||
\begin{itemize}
|
||||
\item \textbf{Продукт:} Сенсорный комплекс \textbf{SensoRehab} («умная перчатка»).
|
||||
\item \textbf{Применение:} Тренировка мелкой моторики кисти с использованием ИИ-анализа микронапряжений мышц для пациентов с ДЦП и рассеянным склерозом.
|
||||
\end{itemize}
|
||||
\end{enumerate}
|
||||
|
||||
\subsection{Научно-исследовательские группы}
|
||||
\begin{enumerate}
|
||||
\item \textbf{НИИ нейрокибернетики им. А.Б. Когана (ЮФУ)} \cite{sfedu} \\
|
||||
Научно-технологический центр нейротехнологий в Ростове-на-Дону.
|
||||
\begin{itemize}
|
||||
\item \textbf{Направление:} Разработка интеллектуальных алгоритмов классификации многоканальных ЭМГ-сигналов для естественного управления многозвенными манипуляторами.
|
||||
\end{itemize}
|
||||
|
||||
\item \textbf{Лаборатория нейрофизиологии и НКИ (МГУ им. М.В. Ломоносова)} \cite{msu-bmi}\\
|
||||
Ведущий центр под руководством проф. А.Я. Каплана.
|
||||
\begin{itemize}
|
||||
\item \textbf{Направление:} Создание гибридных интерфейсов, сочетающих ЭЭГ и ЭМГ (микродвижения лица) для обеспечения коммуникации пациентов в терминальных состояниях.
|
||||
\end{itemize}
|
||||
|
||||
\item \textbf{Центр нейроэкономики и когнитивных исследований (НИУ ВШЭ)} \cite{hse-neuro}\\
|
||||
Междисциплинарная группа, работающая на стыке биологии и экономики.
|
||||
\begin{itemize}
|
||||
\item \textbf{Направление:} Использование интерфейсов на основе кожно-гальванической реакции (КГР) для изучения процессов принятия финансовых решений и оценки когнитивной нагрузки.
|
||||
\end{itemize}
|
||||
|
||||
\item \textbf{Лаборатория интеллектуальной космической робототехники (Сколтех)} \cite{skoltech-n}\\
|
||||
Исследовательская группа в области перспективных интерфейсов управления.
|
||||
\begin{itemize}
|
||||
\item \textbf{Направление:} Разработка систем управления космическими роботами-манипуляторами с помощью жестовых интерфейсов и носимых миосенсоров в условиях скафандра.
|
||||
\end{itemize}
|
||||
\end{enumerate}
|
||||
|
||||
\section{Выводы о применимости в рамках лаборатории}
|
||||
|
||||
Здесь можно выделить следующие направления применимости:
|
||||
\begin{enumerate}
|
||||
\item Адаптивный микроклимат на основе EDA/GSR
|
||||
\item Бесконтактное жестовое управление для WebOS и робототехники (пЭМГ/FMEIS)
|
||||
\item \textbf{Интерфейсы для автомобильных медиа-систем} \\
|
||||
В рамках B2B-направления для автомобилей технологии миоинтерфейсов могут стать безопасной альтернативой тачскринам. (декодирование воздушных жестов)
|
||||
\item \textbf{Нейромаркетинг и персонализация медиа-сервисов} \\
|
||||
Переход LG к модели поставщика контента и подписок требует инструментов оценки вовлеченности аудитории.
|
||||
\end{enumerate}
|
||||
133
chapters/03_eye.tex
Normal file
133
chapters/03_eye.tex
Normal file
@ -0,0 +1,133 @@
|
||||
\chapter{Интерфейсы взаимодействия человек-машина на основе слежения глаз}
|
||||
|
||||
Интерфейсы «мозг-машина» на основе слежения за глазами (айтрекинга) представляют собой высокоскоростной канал передачи информации, который переводит визуальное внимание и когнитивное состояние человека в команды управления в режиме реального времени.
|
||||
|
||||
\begin{figure}[h!]
|
||||
\centering
|
||||
\includegraphics[width=0.8\linewidth]{eye-tracking}
|
||||
\caption{Области применения технологии слежения за глазом \cite{Chhimpa2025}}
|
||||
\label{fig:eyeappl}
|
||||
\end{figure}
|
||||
|
||||
\section{Ключевые области применения}
|
||||
|
||||
Технология вышла за рамки лабораторий и активно внедряется в критически важные сектора (рис \ref{fig:eyeappl}):
|
||||
\begin{enumerate}
|
||||
\item \textbf{Автомобильная безопасность}: Согласно протоколам Euro NCAP \cite{DriverMo12} 2026 (см таблицу \ref{tab:euroncap-2026}), системы мониторинга водителя (DMS) становятся обязательными для получения пятизвездочного рейтинга безопасности. Прямое отслеживание глаз позволяет выявлять не только сонливость, но и алкогольное или наркотическое опьянение по специфическим микродвижениям век и зрачка.
|
||||
\item \textbf{Ассистивные технологии}: Для пациентов с синдромом «запертого человека» \cite{Gomathy2024} интерфейсы на основе взгляда являются единственным способом коммуникации. Современные системы включают предиктивный ввод текста и коррекцию ошибок, значительно ускоряя процесс общения.
|
||||
\item \textbf{Робототехника}: Интеграция айтрекинга с робо-руками позволяет выполнять динамическое планирование пути за 2,97 миллисекунды, \cite{Xie2025} обеспечивая интуитивный захват предметов силой взгляда.
|
||||
\item \textbf{Клиническая диагностика}: Характеристики саккад\footnote{быстрые, строго согласованные движения глаз, происходящие одновременно и в одном направлении} и стабильность фиксации используются как биомаркеры для мониторинга прогрессирования болезни Паркинсона с чувствительностью до 80,4\%.
|
||||
\item \textbf{XR и пространственные вычисления}: Динамический фовеальный рендеринг снижает вычислительную нагрузку на графический процессор, отрисовывая в высоком разрешении только ту зону, куда направлен взгляд. \cite{Eyetrack44}
|
||||
\end{enumerate}
|
||||
|
||||
\begin{table}[h!]
|
||||
\centering
|
||||
\caption{Метрики Euro NCAP 2026 по мониторингу состояния водителя}
|
||||
\label{tab:euroncap-2026}
|
||||
\begin{tabular}{|l|p{4cm}|p{5cm}|}
|
||||
\hline
|
||||
\textbf{Метрика Euro NCAP 2026} & \textbf{Детали требований} & \textbf{Стратегия реализации} \\ \hline
|
||||
Продолжительность взгляда\footnotemark & Отслеживание взглядов $<2с$ и $>2с$ & Датчики прямого отслеживания взгляда и головы \\ \hline
|
||||
Размещение телефона & Обнаружение на коленях или в поле зрения\footnotemark & Широкоугольные камеры мониторинга салона \\ \hline
|
||||
Окно оценки состояния & Анализ в течение первых 10 минут & Непрерывный анализ биометрических данных \\ \hline
|
||||
Доступность системы & Включена по умолчанию при каждой поездке & Интегрированная логика запуска системы автомобиля \\ \hline
|
||||
\end{tabular}
|
||||
\end{table}
|
||||
|
||||
|
||||
\footnotetext{Согласно новым протоколам, критическим считается отвлечение более чем на 2 секунды (Long Glance).}
|
||||
\footnotetext{Включает детекцию рук водителя и визуальное распознавание корпуса смартфона.}
|
||||
|
||||
\section{Технологические прорывы в области}
|
||||
|
||||
Развитие глубокого обучения позволило переводить физиологические движения в осознанные намерения с высокой точностью:
|
||||
\begin{enumerate}
|
||||
\item \textbf{Классификация движений (GMM-HMM)}\cite{Xie2025}: Использование гауссовых смесей и скрытых марковских моделей позволяет разделять типы движений на фиксации, саккады и плавное преследование с точностью 94,39\%.
|
||||
\item \textbf{Оптимизированное детектирование (YOLOv11)}: Улучшенные модели на базе YOLOv11 повысили точность распознавания радужной оболочки на 9,9\%, что критично для определения направления взгляда в сложных условиях.
|
||||
\item \textbf{Обучение без учителя (Representational Learning)}: Фреймворки вроде DMAGaze обучаются отделять признаки взгляда от индивидуальных особенностей лица или освещения, что повышает надежность систем в неконтролируемой среде.
|
||||
\end{enumerate}
|
||||
|
||||
\section{Основные технологии слежения глаза}
|
||||
|
||||
\begin{table}[h!]
|
||||
\centering
|
||||
\caption{Сравнение модальностей систем отслеживания взгляда}
|
||||
\label{tab:eye-tracking-modalities}
|
||||
\begin{tabular}{|p{2cm}|p{3cm}|l|p{2cm}|p{3.5cm}|}
|
||||
\hline
|
||||
\textbf{Тип модальности\footnotemark} & \textbf{Механизм считывания} & \textbf{Частота} & \textbf{Энергия} & \textbf{Ключевое преимущество} \\ \hline
|
||||
VOG & NIR-камера / блики (glint) & 90--120 Гц & Высокое & Высокая пространственная точность при стабильном свете \\ \hline
|
||||
EOG & Электрический потенциал & Непрерывно & Низкое & Независимость от освещения; высокая амплитуда \\ \hline
|
||||
Событий-ные & Асинхронный DVS-сенсор & $\approx$1 кГц & Ультраниз-кое & Без размытия движения; фиксация микросаккад \\ \hline
|
||||
Радар & Волны 60--120 ГГц & 300 Гц & Среднее & Работает без прямой видимости глаза \\ \hline
|
||||
\end{tabular}
|
||||
\end{table}
|
||||
|
||||
\footnotetext{В контексте человеко-компьютерных интерфейсов (HCI) и нейротехнологий термин «модальность» означает конкретный канал связи или тип физического сигнала, который используется для передачи информации от человека к машине.}
|
||||
|
||||
Эффективность систем слежения за глазом зависит от точности сбора данных, который реализуется через три основные технологические семьи
|
||||
|
||||
\begin{enumerate}
|
||||
\item \textbf{Видеоокулография (VOG)}: Современный коммерческий стандарт, используемый в гарнитурах Apple Vision Pro и VIVE Focus Vision. Система использует инфракрасные светодиоды для создания бликов на поверхности глаза, которые фиксируются камерами для вычисления вектора взгляда. Для качественной работы (например, для фовеального рендеринга) требуются частоты дискретизации выше 100 Гц.
|
||||
\item \textbf{Электроокулография (EOG)}: Измеряет электрический потенциал между роговицей и сетчаткой. Преимущество EOG заключается в том, что амплитуда сигнала (более 1 мВ) значительно выше типичных сигналов ЭЭГ, что упрощает обработку. Метод независим от освещения, косметики или наличия контактных линз, что делает его идеальным для клинического мониторинга пациентов с тяжелыми нарушениями моторики.
|
||||
\item \textbf{Нейроморфные событийные сенсоры (DVS)}: Самое революционное направление, где сенсоры фиксируют не целые изображения, а изменения интенсивности света в каждом пикселе асинхронно. Это позволяет достичь временного разрешения на уровне микросекунд, необходимого для фиксации микросаккад и ускорений глаза до 24 000°/с². Система E-Gaze на базе DVS достигает точности 0,46° при частоте обновления 950 Гц. \cite{egaze}
|
||||
\end{enumerate}
|
||||
|
||||
\section{Состояние сектора в России}
|
||||
|
||||
О многих игроках мы уже говорили в секции \ref{sec:rus-bmi}. Здесь немного продублируем эту информацию, может раскроется с чутка другой стороны.
|
||||
|
||||
\subsection{Коммерческие компании и продукты}
|
||||
\begin{enumerate}
|
||||
\item \textbf{ГК Нейроботикс}\cite{neurobotics} \\
|
||||
Ведущий разработчик нейротехнологического оборудования.
|
||||
\begin{itemize}
|
||||
\item \textbf{Продукт:} Линейка стационарных и мобильных айтрекеров \textbf{Eye-track}.
|
||||
\item \textbf{Применение:} Создание ассистивных интерфейсов для управления инвалидными колясками и программными комплексами «виртуальной печатной машинки» через фиксацию взгляда.
|
||||
\end{itemize}
|
||||
|
||||
\item \textbf{Нейрочат (NeuroChat)}\cite{neurochat} \\
|
||||
Социально значимый проект, специализирующийся на сетевой коммуникации.
|
||||
\begin{itemize}
|
||||
\item \textbf{Продукт:} Мультимодально-интерфейсная система связи.
|
||||
\item \textbf{Применение:} Реабилитация пациентов с тяжелыми нарушениями речи и моторики. Система интегрирует технологию отслеживания глаз для быстрого выбора объектов на экране в дополнение к ЭЭГ-каналам.
|
||||
\end{itemize}
|
||||
|
||||
\item \textbf{ГК «Исток-Аудио»} \cite{istok}\\
|
||||
Разработчик комплексных ИТ-решений для инклюзивного образования. Помимо этого, основной вид деятельность - перепродажа существующих инклюзивных решений в России.
|
||||
\begin{itemize}
|
||||
\item \textbf{Продукт:} Специализированное ПО \textbf{EyeTracking.care}.
|
||||
\item \textbf{Применение:} Адаптация компьютерных рабочих мест для людей с ОВЗ, использование взгляда как основного манипулятора в образовательном процессе.
|
||||
\end{itemize}
|
||||
\end{enumerate}
|
||||
|
||||
\subsection{Научно-исследовательские группы}
|
||||
\begin{enumerate}
|
||||
\item \textbf{Лаборатория нейрофизиологии и нейрокомпьютерных интерфейсов (МГУ им. М.В. Ломоносова)} \\
|
||||
Под руководством проф. А.Я. Каплана.
|
||||
\begin{itemize}
|
||||
\item \textbf{Направление:} Исследование гибридных ИМК (интерфейсов мозг-компьютер), где айтрекинг используется для определения пространственного внимания, а ЭЭГ — для подтверждения намерения совершить действие.
|
||||
\end{itemize}
|
||||
|
||||
\item \textbf{Центр когнитивных нейронаук (НИУ ВШЭ)} \\
|
||||
Академическая группа, сфокусированная на когнитивной психологии и HCI.
|
||||
\begin{itemize}
|
||||
\item \textbf{Направление:} Изучение паттернов движения глаз для оценки когнитивной нагрузки и проектирования интуитивно понятных интерфейсов «человек-машина».
|
||||
\end{itemize}
|
||||
|
||||
\item \textbf{Институт системного программирования (ИСП РАН)} \\
|
||||
Группы, занимающиеся машинным зрением.
|
||||
\begin{itemize}
|
||||
\item \textbf{Направление:} Разработка алгоритмов компьютерного зрения для бесконтактного окулографического анализа (Gaze Estimation) без использования дорогостоящих ИК-датчиков.
|
||||
\end{itemize}
|
||||
\end{enumerate}
|
||||
|
||||
\section{Выводы о применимости в рамках лаборатории}
|
||||
|
||||
Основная проблема в технологиях отслеживания взгляда - взгляд Мидаса\cite{Liao2022}. То есть ложные срабатывания из-за непроизвольных или непреднамеренных (без желания совершить действие) движениях глаза. Решение этой проблемы является важным направлением работы, существует три основных метода для решения данной проблемы: повышение задержки, жесты глазами и совмещение с данными ЭЭГ.
|
||||
|
||||
Если говорить о применимости в рамках лаборатории и потенциальных направлениях работы, то можно выделить следующее:
|
||||
\begin{enumerate}
|
||||
\item Создание устройств для мониторинга состояния водителя по стандарту Euro NCAP 2026
|
||||
\item Управление взглядом телевизором или устройствами LG. Заход сюда может идти через решение существующих проблем.
|
||||
\end{enumerate}
|
||||
@ -1,5 +1,4 @@
|
||||
\chapter{Дополнительные материалы}
|
||||
\addcontentsline{toc}{chapter}{Дополнительные материалы}
|
||||
|
||||
\section{Формулы}
|
||||
Ковариационная матрица (Covariance Matrix)
|
||||
|
||||
BIN
images/airai.jpg
Normal file
BIN
images/airai.jpg
Normal file
Binary file not shown.
|
After Width: | Height: | Size: 64 KiB |
BIN
images/asic.png
Normal file
BIN
images/asic.png
Normal file
Binary file not shown.
|
After Width: | Height: | Size: 166 KiB |
BIN
images/eye-tracking.png
Normal file
BIN
images/eye-tracking.png
Normal file
Binary file not shown.
|
After Width: | Height: | Size: 128 KiB |
BIN
images/fmeis.png
Normal file
BIN
images/fmeis.png
Normal file
Binary file not shown.
|
After Width: | Height: | Size: 343 KiB |
2
main.tex
2
main.tex
@ -24,6 +24,8 @@
|
||||
% --- ПОДКЛЮЧЕНИЕ ГЛАВ ИЗ ПАПКИ chapters ---
|
||||
\input{chapters/00_introduction.tex}
|
||||
\input{chapters/01_bmi.tex}
|
||||
\input{chapters/02_sr.tex}
|
||||
\input{chapters/03_eye.tex}
|
||||
\input{chapters/0x_extra.tex}
|
||||
% --- СПИСОК ЛИТЕРАТУРЫ ---
|
||||
\printbibliography[title={Список использованных источников}]
|
||||
|
||||
168
references.bib
168
references.bib
@ -29,8 +29,7 @@ author = {РИА Новости},
|
||||
title = {Neuralink впервые вживит человеку зрительный имплант, заявил Маск - РИА Новости, 31.03.2025},
|
||||
url = "https://ria.ru/20250331/neuralink-2008320527.html",
|
||||
month = {},
|
||||
year = {},
|
||||
note = "[Online; accessed 2026-01-29]"
|
||||
year = {}
|
||||
}
|
||||
@article{bciChen,
|
||||
author = {Chen, Shugeng and Chen, Mingyi and Wang, Xu and Liu, Xiuyun and Liu, Bing and Ming, Dong},
|
||||
@ -49,6 +48,77 @@ author = {},
|
||||
month = {},
|
||||
year = {}
|
||||
}
|
||||
@article{Gomathy2024,
|
||||
author = {A Gomathy and P Shriguhan and A P Sibi and Ranjith Kumar and E K Rakesh},
|
||||
issn = {1741-8992},
|
||||
issue = {S7},
|
||||
pages = {1598-1606},
|
||||
title = {An Advanced Human-Machine Interface Utilizing Eye Tracking For Enhanced Written Communication Among Locked-In Syndrome Patients By Using Haar Cascade Algorithm},
|
||||
volume = {21},
|
||||
url = {www.migrationletters.com},
|
||||
year = {2024}
|
||||
}
|
||||
@article{Liao2022,
|
||||
author = {Hua Liao and Changbo Zhang and Wendi Zhao and Weihua Dong},
|
||||
doi = {10.3390/ijgi11020127},
|
||||
issn = {22209964},
|
||||
issue = {2},
|
||||
journal = {ISPRS International Journal of Geo-Information},
|
||||
keywords = {Buffer size,Dwell time,Eye tracking,Gaze-based map interaction,Human–computer interaction,Select operation},
|
||||
month = {2},
|
||||
publisher = {MDPI},
|
||||
title = {Toward Gaze-Based Map Interactions: Determining the Dwell Time and Buffer Size for the Gaze-Based Selection of Map Features},
|
||||
volume = {11},
|
||||
year = {2022}
|
||||
}
|
||||
@misc{Eyetrack44,
|
||||
author = {},
|
||||
title = {Eye tracking — a catalyst for innovation in AR, VR, and MR - Tobii},
|
||||
url = "https://www.tobii.com/products/integration/xr-headsets",
|
||||
month = {},
|
||||
year = {}
|
||||
}
|
||||
@article{egaze,
|
||||
author = {Li, Nealson and Chang, Muya and Raychowdhury, Arijit},
|
||||
year = {2024},
|
||||
month = {01},
|
||||
pages = {},
|
||||
title = {E-Gaze: Gaze Estimation with Event Camera},
|
||||
volume = {PP},
|
||||
journal = {IEEE transactions on pattern analysis and machine intelligence},
|
||||
doi = {10.1109/TPAMI.2024.3359606}
|
||||
}
|
||||
@article{Xie2025,
|
||||
author = {Jiacheng Xie and Rongfeng Chen and Ziming Liu and Jiahao Zhou and Juan Hou and Zengxiang Zhou},
|
||||
doi = {10.3390/jemr18040028},
|
||||
issue = {4},
|
||||
journal = {Journal of Eye Movement Research},
|
||||
month = {7},
|
||||
pages = {28},
|
||||
publisher = {MDPI AG},
|
||||
title = {GMM-HMM-Based Eye Movement Classification for Efficient and Intuitive Dynamic Human–Computer Interaction Systems},
|
||||
volume = {18},
|
||||
year = {2025}
|
||||
}
|
||||
@misc{Chhimpa2025,
|
||||
doi = {10.3390/jemr18050047},
|
||||
issn = {19958692},
|
||||
issue = {5},
|
||||
journal = {Journal of Eye Movement Research},
|
||||
keywords = {electroencephalography,electrooculography,eye tracking,eye tracking performance parameters,eye-tracking tools,human–computer interaction,scleral coil,video oculography},
|
||||
month = {10},
|
||||
publisher = {International Group for Eye Movement Research},
|
||||
title = {A Comprehensive Framework for Eye Tracking: Methods, Tools, Applications, and Cross-Platform Evaluation},
|
||||
volume = {18},
|
||||
year = {2025}
|
||||
}
|
||||
@misc{DriverMo12,
|
||||
author = {Fanny Lyrheden},
|
||||
title = {Driver Monitoring 2.0: How Euro NCAP is Raising the Bar in 2026 - Smart Eye},
|
||||
url = "https://www.smarteye.se/blog/driver-monitoring-euro-ncap-2026/",
|
||||
month = {4},
|
||||
year = {2025}
|
||||
}
|
||||
@misc{Neurable92,
|
||||
author = {},
|
||||
title = {Neurable | The Mind. Unlocked. | Work Smarter, Not Longer},
|
||||
@ -63,6 +133,13 @@ author = {},
|
||||
month = {},
|
||||
year = {}
|
||||
}
|
||||
@misc{MNE,
|
||||
author = {},
|
||||
title = {MNE — MNE 1.11.0 documentation},
|
||||
url = "https://mne.tools/stable/index.html",
|
||||
month = {1},
|
||||
year = {2026}
|
||||
}
|
||||
@misc{Blackroc20,
|
||||
author = {},
|
||||
title = {Blackrock Neurotech | Empowered by Thought},
|
||||
@ -70,6 +147,20 @@ author = {},
|
||||
month = {},
|
||||
year = {}
|
||||
}
|
||||
@misc{Loreta,
|
||||
author = {},
|
||||
title = {LORETA; documentation link},
|
||||
url = "https://www.mitsar-eeg.ru/download/manuals/Loreta_UM_RUS.pdf",
|
||||
month = {},
|
||||
year = {}
|
||||
}
|
||||
@misc{cloi,
|
||||
author = {},
|
||||
title = {LG CLOI SERVEBOT (новость с официального сайта)},
|
||||
url = "https://www.lg.com/kz/about-lg/press-and-media/lg-predstavlyaet-servisnogo-robota-cloi-servebot/",
|
||||
month = {},
|
||||
year = {}
|
||||
}
|
||||
@misc{stentrode,
|
||||
author = {},
|
||||
title = {The Technology | Synchron},
|
||||
@ -89,12 +180,78 @@ year = {}
|
||||
url = {https://neurotrend.ru/},
|
||||
abstract = {Нейротренд - научно обоснованный бизнес, открывающий для своих клиентов новые возможности применения нейротехнологий в маркетинге.}
|
||||
}
|
||||
@misc{skoltech-n,
|
||||
author = {},
|
||||
title = {Центр инженерных систем и наук |},
|
||||
url = "https://www.skoltech.ru/center/engineering",
|
||||
month = {},
|
||||
year = {}
|
||||
}
|
||||
@misc{hse-neuro,
|
||||
author = {},
|
||||
title = {О нас — Центр нейроэкономики и когнитивных исследований — Национальный исследовательский университет «Высшая школа экономики»},
|
||||
url = "https://www.hse.ru/cdm-centre/about",
|
||||
month = {},
|
||||
year = {}
|
||||
}
|
||||
@misc{sfedu,
|
||||
author = {},
|
||||
title = {Научно-исследовательский технологический Центр нейротехнологий},
|
||||
url = "https://sfedu.ru/www/stat_pages22.show?p=ELS/inf/D\&x=ELS/10484",
|
||||
month = {},
|
||||
year = {}
|
||||
}
|
||||
@misc{msu-bmi,
|
||||
author = {},
|
||||
title = {Лаборатория нейрокомпьютерных интерфейсов},
|
||||
url = "https://human.bio.msu.ru/lab_neurophysiology.html",
|
||||
month = {},
|
||||
year = {}
|
||||
}
|
||||
@misc{sensomed,
|
||||
author = {},
|
||||
title = {Резидент «Сколково» зарегистрировал «умную перчатку» для},
|
||||
url = "https://sk.ru/news/rezident-skolkovo-zaregistriroval-umnuyu-perchatku-dlya-reabilitacii-posle-insulta/",
|
||||
month = {},
|
||||
year = {}
|
||||
}
|
||||
@misc{bitronics,
|
||||
author = {},
|
||||
title = {Набор-конструктор «Юный нейромоделист» BiTronics Lab},
|
||||
url = "https://bitronicslab.com/neuromodelist",
|
||||
month = {},
|
||||
year = {}
|
||||
}
|
||||
@misc{istok,
|
||||
author = {},
|
||||
title = {Слуховые системы костной проводимости | ГК «Исток-Аудио»},
|
||||
url = "https://www.istok-audio.com/implantiruemye-slukhovye-sistemy/",
|
||||
month = {},
|
||||
year = {}
|
||||
}
|
||||
@misc{neurobotics,
|
||||
author = {},
|
||||
title = {Нейроботикс - Главная},
|
||||
url = "https://neurobotics.ru/",
|
||||
month = {},
|
||||
year = {}
|
||||
}
|
||||
@misc{nti2035,
|
||||
author = {},
|
||||
title = {Нейронет --- nti2035.ru},
|
||||
howpublished = {\url{https://nti2035.ru/markets/mneuronet}},
|
||||
year = {}
|
||||
}
|
||||
@article{wu2018human,
|
||||
title={A human--machine interface using electrical impedance tomography for hand prosthesis control},
|
||||
author={Wu, Yu and Jiang, Dai and Liu, Xiao and Bayford, Richard and Demosthenous, Andreas},
|
||||
journal={IEEE transactions on biomedical circuits and systems},
|
||||
volume={12},
|
||||
number={6},
|
||||
pages={1322--1333},
|
||||
year={2018},
|
||||
publisher={IEEE}
|
||||
}
|
||||
@article{Edelman2025,
|
||||
abstract = {Brain-computer interface (BCI) is a rapidly evolving technology that has the potential to widely influence research, clinical and recreational use. Non-invasive BCI approaches are particularly common as they can impact a large number of participants safely and at a relatively low cost. Where traditional non-invasive BCIs were used for simple computer cursor tasks, it is now increasingly common for these systems to control robotic devices for complex tasks that may be useful in daily life. In this review, we provide an overview of the general BCI framework as well as the various methods that can be used to record neural activity, extract signals of interest, and decode brain states. In this context, we summarize the current state-of-the-art of non-invasive BCI research, focusing on trends in both the application of BCIs for controlling external devices and algorithm development to optimize their use. We also discuss various open-source BCI toolboxes and software, and describe their impact on the field at large.},
|
||||
author = {Bradley J. Edelman and Shuailei Zhang and Gerwin Schalk and Peter Brunner and Gernot Müller-Putz and Cuntai Guan and Bin He},
|
||||
@ -131,8 +288,7 @@ year = {}
|
||||
}
|
||||
@misc{wiki26,
|
||||
author = {},
|
||||
title = {{O}pen{V}ibe - {W}ikipedia --- en.wikipedia.org},
|
||||
howpublished = {\url{https://en.wikipedia.org/wiki/{O}pen{V}ibe}},
|
||||
title = {OpenVibe - Wikipedia},
|
||||
year = {}
|
||||
}
|
||||
@misc{bci2000,
|
||||
@ -183,8 +339,8 @@ year = {}
|
||||
year = {2024}
|
||||
}
|
||||
@article{Kaifosh2025,
|
||||
abstract = {Since the advent of computing, humans have sought computer input technologies that are expressive, intuitive and universal. While diverse modalities have been developed, including keyboards, mice and touchscreens, they require interaction with a device that can be limiting, especially in on-the-go scenarios. Gesture-based systems use cameras or inertial sensors to avoid an intermediary device, but tend to perform well only for unobscured movements. By contrast, brain–computer or neuromotor interfaces that directly interface with the body’s electrical signalling have been imagined to solve the interface problem1, but high-bandwidth communication has been demonstrated only using invasive interfaces with bespoke decoders designed for single individuals2, 3–4. Here, we describe the development of a generic non-invasive neuromotor interface that enables computer input decoded from surface electromyography (sEMG). We developed a highly sensitive, easily donned sEMG wristband and a scalable infrastructure for collecting training data from thousands of consenting participants. Together, these data enabled us to develop generic sEMG decoding models that generalize across people. Test users demonstrate a closed-loop median performance of gesture decoding of 0.66 target acquisitions per second in a continuous navigation task, 0.88 gesture detections per second in a discrete-gesture task and handwriting at 20.9 words per minute. We demonstrate that the decoding performance of handwriting models can be further improved by 16% by personalizing sEMG decoding models. To our knowledge, this is the first high-bandwidth neuromotor interface with performant out-of-the-box generalization across people.},
|
||||
author = {Patrick Kaifosh and Thomas R. Reardon and Danny Zlobinsky and Lei Zhou and Joseph Zhong and Kevin Zheng and Jiesi Zhao and Mingrui Zhang and Michael Zawadzki and Shuibenyang Yuan and Akshay Yembarwar and Chris Ye and Yuguan Xing and Steve Williams and Christopher Wiebe and Ezri White and Daniel Z. Wetmore and Ron J. Weiss and Claire L. Warriner and Richard Warren and Christy Warden and Zhuo Wang and Renxiong Wang and Megan Wang and Peter Walkington and Kyle Urquhart and Migmar Tsering and Julia Trabulsi and Blizelle Tormis and Calvin Tong and Anoushka Tiwari and Aman Tiwari and Tiberiu Tesileanu and Tugce Tasci and Aliqyan Tapia and Jesslyn Tannady and Vikram Tank and Ziyi Tang and David Sussillo and Ananya Suri and Swetha Suresh and Emanuel Strauss and Connor Stout and Fabio Stefanini and Adrian Spurr and Morgan Springer and Ivy Jiyoung Song and Seyyid Emre Sofuoglu and Jeff Smith and Viswanath Sivakumar and Gagandip Singh and Jeremy Simpson and Noor Siddiqi and Yasmin Siahpoosh and Olivia Shiah and Kevin Shi and Stephie Shen and Vandita Sharma and Philip Shamash and Anish Shah and Ami Shah and Nurettin Dorukhan Sergin and Mike Seltzer and Jeffrey Seely and David Schwab and Collin Schlager and Aichatou Savane and Roxanna Salim and Amir Sadoughi and James Sacra and Abby Russo and Sam Russell and Alexander Rudnicki and Ran Rubin and Likhon Roy and Ian Roth and Andrew Rosenkranz and Sebi Rolotti and Lain Warawao Nemo Mora y. Rivera and Jason Reisman and Jonathan Reid and Devin Reardon and Tanvi Ranjan and Julian Ramos Rojas and Jose Ramirez Fuentes and Sunaina Rajani and Shanil Puri and Brandon Pool and Eftychios Pnevmatikakis and Natalie Plotkin and Stephen M. Plaza and Adrien Piérard and Zavion Perez and Matias Perez and Diogo Peixoto and Sean Parker and Julia Paredes and Tejaswy Pailla and Adam M. Packer and Emmanuella Owolabi and Timothy M. Otchy and Chris Osborn and Garrick Orchard and Shay Ohayon and Luke O’Connor and Keven Nguyen and Jimson Ngeo and Romario Nelson and Ajay Nathan and Norris Nakagaki and Krunal Naik and Conner Muth and Suman Mulumudi and Anthony Moschella and Dano Morrison and Brock Morrell and Yonathan Morin and Sean Moore and Ricardo Pio Monti and Ilya Milyavskiy and David Miller and Josh Merel and Jorge Aurelio Menendez and Ashley McHugh and Stephen McAnearney and Nicolas Yvan Masse and Mirek Martincik and Najja Marshall and Jesse Marshall and Michael Mandel and Niru Maheswaranathan and Attila Maczak and Francisco Luongo and Roddy Louie and Kati London and Saar Lively and Yuxuan Liu and Yingru Liu and Jonathan Liao and Tiffanie Li and Juheui Amy Lee and Jin Hyung Lee and Jennifer Lee and Claire Lee and Andrzej Lawn and Christina Shabu Koshy and T. W. Koh and Steven Kober and Ta Chu Kao and Ajay Kamdar and Nishant Kakar and Nirag Kadakia and Na Young Jun and James Jaeyoon Jun and Brooke Juarez and Xiaodong Jiang and Connie Jiang and Vinay Jayaram and Shaker Islam and Hazel Hulet and Yue Hui and Rongqing Huang and Vivian Hsiung and Alex Hsieh and Stepan Hruda and Helen Hou and Lillian Hong and Kirak Hong and Daniel N. Hill and Carl Hewitt and Stav Hertz and Carlos Xavier Hernández and Katarina Hadjer and Austin Ha and Sinem Guven Kaya and Chetan Gupta and Ning Guo and Bryn Gunther and Lauren Grosberg and Alexandre Gramfort and Greg Gimler and Danny Giebisch and Vickram Gidwani and Sayan Ghosh and Minha Ghani and Nathalie Therese Helene Gayraud and Jonateal Garcia and Sida Gao and Jonathan Gamutan and Rupesh Gajurel and Jean Christophe Gagnon-Audet and Jianing Fu and Dustin Freeman and Emanuele Formento and Jake Fine and Randy Feliz and Ali Farshchian and Nariman Farsad and Mina Fahmi and Phina Enemuo and Zaina Edelson and Alan Du and Scott Draves and Bob DiMaiolo and Bruno De Araujo and Thomas J. Davidson and Nathan Danielson and William F. Cusack and Raven Cunningham and Mark Cramer and Jota Costa and James Connors and Jeremiah Chung and Won Chun and John Choi and Rohan Chitnis and Rudi Chiarito and Joshua Chester and Daniel Chenet and Chia Jung Chang and Adam J. Calhoun and Matt Butler and Joe Bravate and Maclyn Brandwein and Mario Bräcklein and Matthew Bracaglia and Don Bosley and Anu Bolarinwa and Luke Boegner and Sean Bittner and Joe Bienkowski and Rohin Bhasin and Adam Berenzweig and Wilman Pimentel Beltran and Philip Bard and Alexandre Barachant and Nicholas Baker and Christopher Baker and Francisco Ayerbe and Lana Awad and Mridu Atray and Rahul Arora and Sacha Arnoud and Chris Anderson and Brian D. Allen},
|
||||
abstract = {Since the advent of computing, humans have sought computer input technologies that are expressive, intuitive and universal. While diverse modalities have been developed, including keyboards, mice and touchscreens, they require interaction with a device that can be limiting, especially in on-the-go scenarios. Gesture-based systems use cameras or inertial sensors to avoid an intermediary device, but tend to perform well only for unobscured movements. By contrast, brain–computer or neuromotor interfaces that directly interface with the body’s electrical signalling have been imagined to solve the interface problem1, but high-bandwidth communication has been demonstrated only using invasive interfaces with bespoke decoders designed for single individuals2, 3–4. Here, we describe the development of a generic non-invasive neuromotor interface that enables computer input decoded from surface electromyography (sEMG). We developed a highly sensitive, easily donned sEMG wristband and a scalable infrastructure for collecting training data from thousands of consenting participants. Together, these data enabled us to develop generic sEMG decoding models that generalize across people. Test users demonstrate a closed-loop median performance of gesture decoding of 0.66 target acquisitions per second in a continuous navigation task, 0.88 gesture detections per second in a discrete-gesture task and handwriting at 20.9 words per minute. We demonstrate that the decoding performance of handwriting models can be further improved by 16\% by personalizing sEMG decoding models. To our knowledge, this is the first high-bandwidth neuromotor interface with performant out-of-the-box generalization across people.},
|
||||
author = {Patrick Kaifosh and Thomas R. Reardon and Danny Zlobinsky and Lei Zhou},
|
||||
doi = {10.1038/s41586-025-09255-w},
|
||||
issn = {14764687},
|
||||
issue = {8081},
|
||||
|
||||
Loading…
x
Reference in New Issue
Block a user