3D браслет станет переводчиком языка жестов

Ученые из Корнелльского университета и Университета Висконсина в Мэдисоне (США) разработали браслет FingerTrak. Устройство отслеживает движение руки в трехмерном пространстве. 

Браслет распознает движения руки, учитывая также 20 положений суставов пальцев, а затем с помощью четырех тепловизионных мини-камер с низким разрешением трансформирует жесты в трехмерные изображения. Камеры считывают контуры на запястье. 

В процессе используются технологии машинного обучения для виртуальной реконструкции руки. Камеры фиксируют несколько «силуэтных» изображений, образуя контур руки. Потом нейронная сеть соединяет эти силуэты и воссоздает виртуальный образ руки в трехмерном пространстве.

Фото: Youtube/Cheng Zhang

FingerTrak отличается от предшествующих разработок компактностью, легкостью, свободой движения, распознанием множества жестов. Устройство подойдет для перевода с языка жестов, в технологиях виртуальной реальности, для здравоохранения (восстановления мелкой моторики,выявлять болезни Паркинсона и Альцгеймера), взаимодействия человека и робота и т.д.