Сбер выпустил семейство генеративных моделей Kandinsky WM 1.0, обученных генерировать видео, точнее соответствующее законам физики, для тренировки систем Physical AI — беспилотных автомобилей и промышленных роботов. В основе — нейросеть Kandinsky 5.0 Video Lite, дополнительно обученная на видео с камер роботов, беспилотных автомобилей и записях промышленных процессов. Код и веса моделей опубликованы под лицензией MIT и доступны бесплатно.
Для физического ИИ, в отличие от языковых моделей, не хватает открытых данных в достаточном масштабе: автомобиль с камерами и датчиками собирает около 5 тыс. часов записей в год, тогда как современным моделям требуются миллионы часов, а редкие и опасные сценарии — ДТП, экстремальную погоду, отказы оборудования — вообще нельзя воспроизвести вживую. Модели Kandinsky WM генерируют около 5-секундные видео с отдельными действиями — манипуляциями с предметами, дорожными ситуациями, этапами производственных процессов, — которые становятся основой для обучения автономных систем.
При создании этого текста могли использоваться технологии искусственного интеллекта