AI помогает в перерисовке и переводе аниме

По оценкам Association of Japanese Animations, объем глобальных продаж японских аниме-продуктов в 2018 году достиг $20,3 млрд. Это наибольший показатель за последние шесть лет. Чтобы ускорить экспансию на международные рынки, локальные стартапы создают для отрасли решения на базе искусственного интеллекта (AI) и машинного обучения, пишет Nikkei.

Дайсуке Урушихара (Daisuke Urushihara), генеральный директор токийского стартапа RADIUS5, предложил ПО на основе ИИ для преобразования набросков в видео высокой четкости. Раньше на создание видео уходило в среднем три дня, привлекался большой штат аниматоров. Технологии ускорили процесс и позволили аналогичные мультфильмы создавать меньшим коллективом. 

Софт RADIUS5 преобразует карандашные наброски и раскадровку мангаки (аниматоров, рисующих мангу) в детализированный 8K-продукт. Для трансформации применяются технологии машинного обучения. 

Mantra, еще один токийский стартап, использует специальный алгоритм для чтения. 

Немногие манги локализованы. Дело в том, что рендеринг текста в речевых пузырях затруднен из-за собственного языка манги. Диалоги наполнены необычными типографскими символами и шрифтами, новейшим уличным сленгом и т.д. Контекст также важен при переводе манги. Все это делает такую анимацию сложной для перевода даже продвинутыми системами искусственного интеллекта.

В Mantra создали базу данных часто используемых шрифтов и символов для повышения точности обучения. Алгоритм основан на лингвистических данных порядка 200 манг. Это позволяет ему оперативно генерировать естественные переводы. Решение комплексное. 

Сначала алгоритм идентифицирует текст в диалоговых «облаках», передает данные другой программе, которая подбирает контекст из кадров. Получившийся продукт также дублируется на английском языке. Процесс в значительной степени опирается на машинное обучение на базе существующих переводов манги. Это помогает понимать характерные лингвистические особенности жанра. На финальных стадиях переводчики корректируют текст, добиваясь максимального качества.

источник фото: DepositPhotos