Технологии распознавания речи, используемые, например, в Siri или Alexa, позволяют узнать прогноз погоды, включить нужную песню и т.д. Однако использовать такие сервисы людям с нарушениями работы голосового аппарата и здоровым пользователям (в библиотеке, в театре и т.д.) совсем неудобно.
Ученые из Корнеллского колледжа вычислительной техники и информатики им. Энн С. Бауэрс разработали устройство Speechin распознавания беззвучной речи (silent-speech recognition, SSR). Оно представлено в форме ожереья и крепится на шее и с помощью инфракрасной камеры анализирует изображения деформация кожи области (в том числе – нижней части подбородка владельца), которая отвечает за речь.
Девайс Speechin оснащен микропроцессором, батареей и Bluetooth-модулем. Он удерживается с помощью «крыльев», обеспечивающих стабильность по-горизонтали и монеты, которая служит грузом. Для обеспечения конфиденциальности камера не снимает лицо пользователя.
Алгоритмы машинного обучения анализируя движения подбородка способны определить, какие команды произносит человек. После распознания они транслируются на сопряженный смартфон.
В эксперименте по 10 добровольцев произносили, не издавая звуков, слова на английском и китайском языках, а также набор из 50 самых используемых слов. Устройство показало точность распознавания примерно в 91%. Во время ходьбы показатели были ниже, ведь в этом процессе участвует голова.
Технология подробно описана в научной статье.
