Биоинженеры UCLA (Калифорнийский университет, Лос-Анджелес) разработали умную перчатку. Устройство с помощью смартфона в режиме реального времени переводит американский жестовый язык (амслен) в устную речь.
Система состоит из двух перчаток с тонкими и растягивающимися датчиками, для вязания которых использовались электропроводящие нити. Управление сенсорами происходит за счет длины каждого из пяти пальцев. Датчики фиксируют движения рук и положения пальцев, которые обозначают отдельные буквы, цифры, слова и фразы. Система изготовлена из легких, эластичных, недорогих и долговечных полимеров.
Устройство конвертирует движения пальцев в электрические сигналы, которые отправляются на миниатюрную печатную плату, крепящуюся на запястье. Плата передает сигналы по беспроводной связи на смартфон, а приложение озвучивает слова со скоростью примерно одно слово в секунду.
Устройство поможет понимать немых людей тем, кто не владеет языком жестов.
Четыре добровольца с нарушениями слуха, знающие амслен, повторяли каждый жест 15 раз. Пользовательский алгоритм машинного обучения конвертировал жесты в буквы, цифры и слова. Система распознала 660 знаков, в том числе каждую букву алфавита и цифры от 0 до 9.
Ученые дополнительно интегрировали в систему адгезивные датчики, фиксируемые на лице участников тестирования – между бровями и на одной стороне рта. Это необходимо, чтобы распознавать выражения лица как часть американского языка жестов.
Предыдущие поколения устройств с аналогичным функционалом были громоздкими и неудобными. Коллектив UCLA подал заявку на патент технологии. Коммерческая модель на основе этой технологии, потребует дополнительного словарного запаса и более высокой скорости перевода.
Материалы исследования опубликованы в журнале Nature Electronics.
