Новое исследование ETH Zurich и Disney Research Studios позволило создать инструмент нейронной подмены лица. Разработка станет легальным и высококачественным средством для голливудских студий, использующих визуальные эффекты.
Главная проблема при создании технологий замены лица – малые датасеты (наборы) изображений высокого качества и тысячи вариаций мимики человека. Некоторые видеофайлы 4K из-за удаленности лиц в кадре также зачастую не годятся для использования в качестве источников датасетов.
Поэтому исследователи из ETH Zurich и Disney Research Studios учили нейронные сети на снятых для проекта видеозаписях высокого разрешения.
Новый алгоритм изменяет источник или целое видео для упрощения замены лица в кадре на альтернативное. Движение в отснятом материале источника слегка стабилизируется и сглаживается для устранения проблем (дрожащая губа или бровь). Ученым удалось даже микшировать исходное лицо с заменяемым. Алгоритм успешно генерирует промежуточные кадры для получения плавных результатов.
Смена лица упростит создание фильмов. Ведь зачастую дублеры актеров смотрят в камеру, что для замены лица требует кропотливой пост-обработки. Часто приходится тратить дополнительные время и деньги на съемку или сочетание умной компьютерной графики и композитинга.
Алгоритм решит эти проблемы самостоятельно. Однако новая технология в руках злоумышленников рискует стать инструментом для создания высококачественных фейковых видео.
источник: gizmodo
