Ученые из Наньянского технологического университета Сингапуре (Nanyang Technological University, NTU Singapore) разработали систему искусственного интеллекта (AI), которая распознает жесты рук с помощью компьютерного зрения и электронной кожи.
AI-системы распознавания жестов улучшили за счет интеграции входных данных от носимых датчиков. Такой метод получил название «слияние данных» (data fusion). Носимые датчики воссоздают сенсорную способность кожи, в частности – соматосенсорную.
Однако точности распознавания жестов по-прежнему препятствует низкое качество данных от носимых датчиков (громоздкость, плозой контакт с кожей, плохого освещения и т.д.). Дополнительные проблемы возникают при интеграции отдельно обрабатываемых визуальных и сенсорных данных.
Для решения этих проблем ученые NTU создали биоинспирированную систему слияния данных, в которой используются гибкие датчики, сконструированные из однослойных углеродных нанотрубок.
В дополнение к «коже» ученые разработали биоинспирированную AI-систему, объединив три нейросетевых подхода:
- сверточную нейронную сеть для ранней обработки изображений;
- многослойную нейронную сеть (multilayer neural network) для ранней обработки соматосенсорной информации ;
- sparse neural network для «слияния» визуальной и соматосенсорной информации.
Чтобы получить надежные сенсорные данные от жестов, разработчики изготовили прозрачный тензометрический датчик, фиксируемый на коже, но невидимый на изображениях с камеры. Ученые протестировали свою систему с помощью робота, который управлялся жестами рук и перемещался в лабиринте.
Результаты показали: биоинспирированная система распознавания жестов рук оказалась способна провести робота по лабиринту без ошибок по сравнению с системой распознавания на основе визуального контроля, которая допустила с шесть ошибок при распознавании.
Высокая точность также была сохранена при тестировании новой AI-системы в плохих условиях, включая шум и неблагоприятное освещение. Решение эффективно работало в темноте, достигнув точности распознавания более 96,7%.
Сейчас исследовательская группа NTU разрабатывает возможности создания VR и AR-решений на основе разработанной AI-системы для применения в сферах, где требуется высокоточное распознавание и управление, например развлекательные технологии и реабилитация в домашних условиях.
Подробные материалы исследования опубликованы в журнале Nature Electronics.