Для создания трехмерных изображений требуется несколько фотографий с разных ракурсов. Ученые из Питтсбургского университета Карнеги-Меллона разрабатывают систему, которая преобразует одно видео со смартфона в 3D.
Технологии используют для съемки 15-20 секундного видео человека. Оператор перемещает камеру вокруг головы и создает ролик в режиме замедленной съемки.
Методика SLAM (одновременная локализация и построение карты) используется для определения базовой геометрии лица. Для расчета формы используется триангуляция точек на поверхности лица и положение камеры смартфона относительно головы.
Алгоритмы глубинного обучения определяют профиль лица, в том числе – относительно расположения ориентиров: глаз, ушей и носа. Процесс, даже с использованием вычислительных возможностей смартфона, занимает от 30 до 40 минут. В результате создаются реалистичные и детальные 3D-модели.
Система может найти применение в создании игровых аватаров, биометрической идентификации или в медицине.
