Ученые СПбГУ работают над созданием инвалидного кресла, управляемого «силой мысли»

Сотрудники научной группы доктора технических наук, профессора СПбГУ Александра Львовича Фрадкова создают уникальные алгоритмы, которые помогут компьютеру распознать намерение человека совершить движение. Эта разработка позволит управлять инвалидным креслом без помощи рук.

Отправной точкой в создании разработки стал поиск темы для курсовой работы студентки СПбГУ Александры Рыбалко, которую интересовали исследования на стыке математики и биологии. Александр Львович предложил создать адаптивный алгоритм оценки параметров математической модели нейронной активности Фитц Хью—Нагумо. Первые результаты показали, что поиски ведутся в правильном направлении — универсанты нашли эффективный и простой рабочий инструмент для перевода сигналов нейронной активности в компьютерный код.

© СПбГУ, 2024

— Александр Львович, как давно в сферу Ваших научных интересов попали нейронауки?

Александр Фрадков: Нейронауками я стал интересоваться после знакомства с профессором Экехардом Шёллем из Берлинского Технического университета. Благодаря этой встрече и нашему дальнейшему сотрудничеству в моей научной группе появилась тема нейронаук и моделей поведения. Впервые мы встретились в 2010 году на конференции в рамках программы G-RISC. Тогда профессор Шёлль представил важные задачи по исследованию биологических нейронных сетей, которые меня заинтересовали. Он изучал свойства нервной системы и заболевания головного мозга, такие как эпилепсию и болезнь Паркинсона, переводя нейронные сигналы на язык моделирования. Начиная с 2011 года, в рамках программы обмена, я отправил к нему студентов и аспирантов своей научной группы. Сначала в Берлин отправился Антон Селиванов, а после — Сергей Плотников, который привез оттуда тему своей кандидатской диссертации. Это была первая в СПбГУ математическая диссертация по нейронаукам.

— Расскажите, пожалуйста, чем занимается Ваша научная группа?

Александр Фрадков: Исследованиями, связывающими между собой естественный интеллект (человеческий мозг), искусственный интеллект (компьютер) и робототехнику. В декабре 2023 года в СПбГУ завершился большой грант «Исследование моделей нейронной активности и биомаркеров состояний мозга человека с помощью методов искусственного интеллекта». Мы проводили исследования по трем направлениям. Распознавание намерений человека совершить движение по сигналу электроэнцефалографа (ЭЭГ) — с биологами СПбГУ (кафедра высшей нервной деятельности и психофизиологии). Второе — раннее выявление шизофрении у человека, совместно с Институтом мозга человека им. Н. П. Бехтеревой РАН. И разработка моделей для описания сигналов мозга и создание алгоритмов для управления оборудованием с помощью ЭЭГ совместно с Институтом проблем машиноведения РАН (ИПМаш РАН).

— Для управления каким оборудованием создаются алгоритмы и как они работают?

Александр Фрадков: Например, для управления медицинским оборудованием с помощью «силы мысли». Представьте себе: человек, неподвижно сидя в инвалидной коляске, думает о том, что хочет повернуть налево или направо, и коляска поворачивает в соответствующую сторону. Однако, чтобы совершать такое управление «силой мысли» в первую очередь нужно, чтобы мысль преобразовалась в сигнал и стала понятна компьютеру, координирующему движения инвалидной коляски. В качестве такого сигнала мы используем показания с электроэнцефалографического (ЭЭГ) шлема, а обрабатываем его с помощью моделей и алгоритмов, которые позволяют как обнаружить намерение совершить поворот, так и определить в какую сторону.

— Получается, мы надеваем шлем ЭЭГ на человека, он считывает мысль и в компьютер посылается «внешний образ» сигнала?

Александр Фрадков: Компьютер как раз должен разгадать то, как выглядит этот сигнал, а далее он должен научиться по этим сигналам понять, что человек хочет. Это очень сложно. Вместе с биологами наша научная группа делает только первые шаги: они дают нам признаки намерения человека совершить движение, так называемые «вызванные потенциалы», а мы переводим их на язык алгоритмов. Основная сложность в том, что электрический сигнал, поступающий с человеческого мозга, очень зашумлен. Моргания, движения руками, ногами, мыслительные процессы — все это отражается в электроэнцефалограмме и может влиять на показатели, поэтому вызванные потенциалы обнаружить трудно. В нашей научной группе это делают с помощью методов машинного обучения, но также мы пробуем использовать адаптивные математические модели нейронов. Об этом лучше расскажет Александра.

© СПбГУ, 2024

— Александра, что представляет созданный вами алгоритм и в чем уникальность решения?

Александра Рыбалко: Наш алгоритм описывается дифференциальными уравнениями, задающими закон настройки параметров математической модели нейронной активности ФитцХью—Нагумо. Дело в том, что хотя модель ФитцХью—Нагумо и является одной из самых используемых моделей нейрона, но совсем не очевидно, как она соотносится с конкретными состояниями мозга конкретного человека. Для этого требуется её идентификация, настройка ее параметров, которую и осуществляет наше решение, используя, например, сигналы ЭЭГ, соответствующие мыслям человека о движении. Алгоритм получен с помощью метода скоростного градиента, разработанного Александром Львовичем еще в 1979 году, и применения системы фильтров к входному сигналу. Таким образом, уникальность нашего подхода заключается в том, что мы пытаемся связать математику с реальными экспериментальными данными благодаря методам кибернетики.

— Александра, Вы также занимаетесь практической частью данного исследования. Расскажите, пожалуйста, как проходят эксперименты по управлению «силой мысли»?

Александра Рыбалко: На голову испытуемого надевается шлем ЭЭГ. У него есть 32 отведения-электрода, каждый из которых записывает напряжение с участка коры головного мозга. Полученные сигналы обрабатываются и классифицируются. В зависимости от результата кресло либо совершает поворот, либо нет. На данном этапе исследования испытуемый представляет себе движение правой или левой рукой, которое соответствует движению коляски вправо или влево, но в дальнейшем программа будет подстраиваться под особенности нейронной активности каждого конкретного испытуемого. В идеале должна появиться некоторая свобода — человек сможет сам чувствовать, как лучше ему думать для того, чтобы управлять креслом.

© СПбГУ, 2024

— Александр Львович, какова перспектива данной разработки? Могут ли новые технологии войти в обиход?

Александр Фрадков: Создать управляемое мыслью инвалидное кресло — это первый шаг, относительно простая задача. Пока мы в процессе, но уже видно, что такие кресла могут быть поставлены на производственный поток. Сейчас наша разработка находится на самой начальной стадии — кресло двигается только вправо и влево. Далее мы попробуем использовать более сложную модель для создания алгоритма — модель Хиндмарш-Роуза, над которой работает Александр Ковальчуков, студент второго курса магистратуры. А дальше потолка нет — мозг бесконечно сложная штука, он же думает. И мы даже представить себе не можем, как он думает. Модель того, как человек думает, я вам пока не представлю...

Идея создания алгоритмов для управления роботами, реализующих функции человеческого мозга появилась в середине 20-го века, одновременно с возникновением и развитием кибернетики. Первую машину, имитирующую восприятие и классификацию информации мозгом построил в середине 1950-х годов молодой психофизиолог и инженер из Корнелльского университета (США) Фрэнк Розенблатт, назвавший ее «персептроном», от слова perception — восприятие. Идеи, заложенные в персептрон, развивались и в СССР. Первым отечественным ученым, который использовал словосочетания «машинное обучение» и «обучающиеся машины» в своих работах, стал известный математик, профессор ЛГУ (СПбГУ) Владимир Андреевич Якубович. Он доказал ряд теорем про «разумность роботов», тем самым закрепив термин «робот» в мировой научной литературе («Теория адаптивных систем» // Доклады Академии наук СССР. 1968. Т. 182), а результаты решений математических задач, лежащих в основе алгоритма, обучающего компьютер распознавать образы («Машины, обучающиеся распознаванию образов», 1963), были успешно применены в криминалистике. С тех пор появилось большое количество алгоритмов, которые создавали математики, физики и биологи, но мало кто шел дальше чертежей, вычислений и теоретических доказательств. Продолжатель школы Якубовича Александр Фрадков и его студентка Александра Рыбалко стали одними из первых, кто смог перевести математическую модель в практическую плоскость.

На VIII Всероссийском молодежном форуме «Наука будущего — наука молодых» Александра Рыбалко (обучающаяся 1-го курса магистратуры СПбГУ по образовательной программе «Математическая робототехника и искусственный интеллект») заняла 1-е место в конкурсе научно-исследовательских проектов студентов и аспирантов в секции «Информационные технологии и математика». Подробнее см.: Студентка СПбГУ — победитель конкурса «Наука будущего»

О разработках ученых подробнее можно прочитать в научных статьях:

• Адаптивная идентификация параметров для класса моделей нейронных ансамблей с применением к эргатическим системам 
• Идентификация двух моделей нейронов ФитцХью—Нагумо на основе метода скоростного градиента и фильтрации
• Синхронизация математических моделей нейронной активности Моррис-Лекара
• Speed-Gradient approach to Hindmarsh-Rose model identification based on membrane potential measurements