Ученые NTU разработали AI-систему для высокоточного распознавания жестов

Ученые из Наньянского технологического университета Сингапуре (Nanyang Technological University, NTU Singapore) разработали систему искусственного интеллекта (AI), которая распознает жесты рук с помощью компьютерного зрения и электронной кожи.

Фото: NTU Singapore

AI-системы распознавания жестов улучшили за счет интеграции входных данных от носимых датчиков. Такой метод получил название «слияние данных» (data fusion). Носимые датчики воссоздают сенсорную способность кожи, в частности – соматосенсорную.

Однако точности распознавания жестов по-прежнему препятствует низкое качество данных от носимых датчиков (громоздкость, плозой контакт с кожей, плохого освещения и т.д.). Дополнительные проблемы возникают при интеграции отдельно обрабатываемых визуальных и сенсорных данных.

Для решения этих проблем ученые NTU создали биоинспирированную систему слияния данных, в которой используются гибкие датчики, сконструированные из однослойных углеродных нанотрубок.

В дополнение к «коже» ученые разработали биоинспирированную AI-систему, объединив три нейросетевых подхода: 

  • сверточную нейронную сеть для ранней обработки изображений;
  • многослойную нейронную сеть (multilayer neural network) для ранней обработки соматосенсорной информации ;
  • sparse neural network для «слияния» визуальной и соматосенсорной информации.

Чтобы получить надежные сенсорные данные от жестов, разработчики изготовили прозрачный тензометрический датчик, фиксируемый на коже, но невидимый на изображениях с камеры. Ученые протестировали свою систему с помощью робота, который управлялся жестами рук и перемещался в лабиринте.  

Результаты показали: биоинспирированная система распознавания жестов рук оказалась способна провести робота по лабиринту без ошибок по сравнению с системой распознавания на основе визуального контроля, которая допустила с шесть ошибок при распознавании.

Высокая точность также была сохранена при тестировании новой AI-системы в плохих условиях, включая шум и неблагоприятное освещение. Решение эффективно работало в темноте, достигнув точности распознавания более 96,7%.

Сейчас исследовательская группа NTU разрабатывает возможности создания VR и AR-решений на основе разработанной AI-системы для применения в сферах, где требуется высокоточное распознавание и управление, например развлекательные технологии и реабилитация в домашних условиях.

Подробные материалы исследования опубликованы в журнале Nature Electronics.