Ученые из Корнельского университета разработали систему наушников C-Face. Она может отслеживать выражение лица пользователя, при этом не помешает даже ношение маски. C-Face отображает контуры щек и преобразовывает выражение лица пользователя в эмодзи. На практике решение может стать инструментом выражения эмоций во время групповых видеочатов без подключенной камеры.
В наушниках используются две RGB-камеры под каждым ухом. При движении лицевых мышц устройства записывают изменения контуров щек. Далее сгенерированные изображения реконструируются при помощи системы компьютерного зрения и модели глубокого обучения. Сверточная нейронная сеть анализирует 2D-изображения. Программное обеспечение трансформирует их в 42 точки на лице. Точки отображают положение и форму рта, глаз и бровей пользователя.
C-Face может преобразовать эти выражения в восемь эмодзи, а также управлять воспроизведением треков в музыкальном приложении. Другие возможные сценарии — создание в играх или других виртуальных средах аватаров, которые отражают эмоции. Учителям технология понадобится для оценки вовлеченности школьников в образовательный процесс.
Однако из-за опасности COVID-19 ученые смогли привлечь к тестированию C-Face только девять человек. С вероятностью более 88% устройство верно передавало эмодзи 88%, а мимику — более 85%. Разработчики обнаружили, что емкость аккумулятора наушников ограничивает работу системы — они планируют разработать менее энергоемкие сенсорные технологии.
«Большинство представленных инструментов требует крепления датчиков к лицу. И то такие решения распознают ограниченный набор дискретных выражений лица», — отметили авторы исследования.