Ученые из Университета Ватерлоо во главе с Ольгой Вечтомовой (специализируется на инженерных науках) разработали LyricJam — принципиально новую систему для написания текстов. Команда исследователей создали программу на базе искусственного интеллекта. Решение подбирает текст и создает песни для творческих коллективов, слушая живую инструментальную музыку.
Во время сольного или группового инструментального исполнения система непрерывно получает необработанные аудиодорожки. Нейронная сеть обрабатывает их для создания новых строк текста. Решение распознает лирические темы, слова и стилистические приемы. Эти аспекты взаимосвязаны с различными аспектами композиции. Разработчики заметили: тексты, генерируемые для эмбиента, сильно отличаются от текстов для более оптимистичных направлений.
Ученые провели пользовательское тестирование, предложив музыкантам сыграть вживую время использования системы, а затем использовать сгенерированный текст для написания своих собственных песен.
Новая технология продуцирует тексты, отражающие эмоции и стиль воспроизводимой музыки. Система получает аудиоклип музыканта и подбирает для него текст. Впоследствии текст можно использовать для создания песни.
Руководители проекта не преследовали цель сделать программу для написания песен. Основной задачей стала помощь творческим людям в написании текстов, в подборе метафор и речевых оборотов.
С момента запуска LyricJam в июне этого года инструмент опробовали более 1,5 тыс. пользователей по всему миру.