Захват движения, то есть процесс записи перемещения людей, – это элемент для создания современных фильмов, игр и даже приложений. Он требует специализированного оборудования: камер и программного обеспечения.
Существующие системы оценки поз человека не могут создать плавную анимацию. Они формируют трехмерные модели с неправильным балансом, неточным наклоном тела и другими недостатками. Ученые из Института Макса Планка (Max Planck Institute) и Facebook Reality Labs рассказали о разработке алгоритма машинного обучения PhysCap. Технология правильно фиксирует позы анатомически с учетом соответствующих физических ограничений.
PhysCap может работать с любой стандартной цифровой зеркальной камерой со скоростью 25 кадров в секунду. Разработка – это первый физически правдоподобное решение 3D-захвата движения в режиме реального времени. Учитывается расположение окружающей обстановки, например, пола. PhysCap обеспечивает высочайшую точность существующих бенчмарков и качественно улучшает стабильность во время обучения.
На первом этапе PhysCap оценивает трехмерные позы тела чисто кинематическим способом с помощью сверточной нейронной сети (CNN). Сеть извлекает комбинированные 2D и 3D положения суставов из видео.
На втором этапе, вторая сверточная сеть предсказывает состояние контакта стопы с поверхностью и движения для каждого кадра. Она определяет положение пятки и передней части стопы на земле и классифицирует наблюдаемые позы на «стационарные» или «нестационарные» категории.
На заключительном этапе воспроизводятся кинематические оценки позы из первого этапа (как в 2D, так и в 3D) с учетом таких параметров как сила притяжения, столкновения и положение стопы.
В ходе испытаний ученые протестировали PhysCap на камере Sony DSC-RX0 и ПК с 32 ГБ ОЗУ, видеокартой GeForce RTX 2070 и восьмиядерным процессором Ryzen7. С помощью этого оборудования они отсняли и обработали шесть последовательностей движения в постановочных ситуациях с участием двух исполнителей.
В ряде случаев алгоритм неверно предсказывал контакты стопы и, следовательно, скорость перемещения. Ученые планируют изучить моделирование взаимодействия рук и контактов между ногами и телом в позах сидя и лежа. Так они доработают технологию.
Материалы с подробным описанием решения опубликуют в журнале ACM Transactions on Graphics в ноябре 2020 года.