Ученые создали AI, который создает «контролируемые» видео

Зрители и спортивные комментаторы могут анализировать и предугадывать ход игры. Нечто подобное сможет делать и искусственный интеллект (AI), уверены ученые университета Тренто, Политехнического института Парижа и инженеры Snap. Они пытаются создать AI-систему, с развитыми навыками рассуждения и анализа.

Системе «поручили» изучить набор действий из реальных видеороликов, а пользователям предоставили возможность генерировать новые видео. Пользователи ставят «метку действия (action label)» на каждом временном отрезке игры и могут наблюдать на то, как метка влияет на сгенерированное видео.

Фото: pixabay.com

Созданная в рамках эксперимента структура Clustering for Action Decomposition and DiscoverY (CADDY) распознает набор действий после просмотра нескольких видео и генерирует «воспроизводимые» видео с различными настройками. CADDY использует метки действий для кодирования семантики конкретного действия.

CADDY создает «высококачественные» видеоролики, предлагая пользователям возможность управлять действиями внутри них. Такая разработка поможет моделировать реальную среду и обеспечить развитие игрового процесса, заключили ученые.

Новый метод ученые планируют реализовать в многоагентных средах.

CADDY может устранить необходимость в повторной видеосъемке, например, для корпоративных рекламных видео или видео для обучения персонала.