Max Home IndustryБеркли. Представьте, что вы печатаете на компьютере без клавиатуры, играете в видеоигру без контроллера или ведете машину без колеса.
Это одна из целей нового устройства, разработанного инженерами Калифорнийского университета в Беркли, которое может распознавать жесты рук на основе электрических сигналов, обнаруженных в предплечье. Система, сочетающая носимые биосенсоры с искусственным интеллектом (ИИ), однажды может быть использована для управления протезированием или для взаимодействия практически с любыми электронными устройствами.
«Протезирование — одно из важных применений этой технологии, но, помимо этого, оно также предлагает очень интуитивно понятный способ общения с компьютерами». сказал Али Мойн, который участвовал в разработке устройства в качестве докторанта факультета электротехники и компьютерных наук Калифорнийского университета в Беркли. «Чтение жестов рук — один из способов улучшить взаимодействие человека с компьютером. И хотя есть и другие способы сделать это, например, с помощью камер и компьютерного зрения, это хорошее решение, которое также обеспечивает конфиденциальность человека». < / p>
Мойн является соавтором новой статьи с описанием устройства, которая была опубликована 21 декабря в журнале Nature Electronics .
Чтобы создать систему распознавания жестов рук, команда совместно с Аной Ариас, профессором электротехники Калифорнийского университета в Беркли, разработала гибкую повязку, которая может считывать электрические сигналы в 64 различных точках предплечья. Затем электрические сигналы подаются на электрический чип, который запрограммирован с помощью алгоритма AI, способного связывать эти шаблоны сигналов в предплечье с определенными жестами рук.
Команде удалось научить алгоритм распознавать 21 отдельный жест руки, в том числе большой палец вверх, кулак, плоскую руку, поднятие отдельных пальцев и счет чисел.
«Когда вы хотите, чтобы мышцы рук сокращались, ваш мозг посылает электрические сигналы через нейроны шеи и плеч к мышечным волокнам рук и кистей», — сказал Мойн. «По сути, электроды в манжете воспринимают это электрическое поле. Это не так точно, в том смысле, что мы не можем точно определить, какие именно волокна были задействованы, но с высокой плотностью электродов он все еще может научиться распознавать определенные закономерности. «
Как и другие программы искусственного интеллекта, алгоритм должен сначала «изучить», как электрические сигналы в руке соотносятся с отдельными жестами руки. Для этого каждый пользователь должен надевать манжету, делая жесты рукой один за другим.
Однако новое устройство использует разновидность продвинутого ИИ, называемого алгоритмом гиперпространственных вычислений, который способен обновлять себя новой информацией.
Например, если электрические сигналы, связанные с определенным жестом руки, изменяются из-за того, что рука пользователя вспотела или он поднимает руку над головой, алгоритм может включить эту новую информацию в свою модель.
«При распознавании жестов ваши сигналы будут меняться со временем, и это может повлиять на производительность вашей модели», — сказал Мойн. «Мы смогли значительно повысить точность классификации, обновив модель на устройстве».
Еще одним преимуществом нового устройства является то, что все вычисления выполняются локально на чипе: никакие личные данные не передаются на ближайший компьютер или устройство. Это не только ускоряет время вычислений, но также обеспечивает конфиденциальность личных биологических данных.
«Когда Amazon или Apple создают свои алгоритмы, они запускают набор программного обеспечения в облаке, которое создает модель, а затем модель загружается на ваше устройство», — сказал Ян Рабай, заслуженный профессор электротехники Дональда О. Педерсена. Разработка в Калифорнийском университете в Беркли и старший автор статьи. «Проблема в том, что в таком случае вы застряли на этой конкретной модели. В нашем подходе мы реализовали процесс, в котором обучение осуществляется на самом устройстве. И это очень быстро: вам нужно сделать это только один раз, и он начинает выполнять свою работу. Но если вы сделаете это больше раз, она может стать лучше. Итак, она постоянно учится, как это делают люди «.
Хотя устройство еще не готово к тому, чтобы стать коммерческим продуктом, Рабай сказал, что, вероятно, его можно будет получить с помощью нескольких настроек.
«Большинство этих технологий уже существуют где-то еще, но уникальность этого устройства заключается в том, что оно объединяет биосенсор, обработку и интерпретацию сигналов, а также искусственный интеллект в одну систему, которая является относительно небольшой и гибкой и имеет небольшой бюджет мощности», — сказал Рабай.