Sony создала искусственный интеллект для генерации басовых линий — виртуальный басист работает в любом стиле — SAMESOUND

Над проектом работали инженеры Марко Пасини, Стефан Латтнер и Маартен Грахтен, создавшие диффузионную модель Latent Diffusion для генерации «реалистичного басового аккомпанемента в любом музыкальном жанре». По словам авторов, модель умеет создавать низкочастотный аккомпанемент в миксах с одним или множеством источников звука (текст исследования представлен здесь ).
«[Лаборатория] Sony CSL стремится помогать музыкантам и продюсерам через разработку инструментов на основе ИИ», — рассказал Стефан Латтнер. — «Однако мы заметили, что распространённый подход к использованию ИИ в музыке через инструменты генерации законченных музыкальных произведений с нуля на основе текстовых запросов, не очень интересен исполнителям».
Латтнер отметил, что генерация всего произведения лишает людей творческого процесса, а музыканты начинают думать, что таким образом они перестают быть музыкантами, так как не участвуют написании музыки. Поэтому команда CSL создала инструмент, который не пишет композиции целиком, а лишь «помогает и подсказывает в определённых аспектах».
Исполнителям нужны инструменты, которые можно адаптировать к собственному уникальному стилю и использовать на любом этапе процесса написания музыки, считают инженеры Sony. Понимая это, авторы проекта создали генеративный музыкальный инструмент, «адаптирующийся и учитывающий любое промежуточное состояние композиции» в момент предложения новых идей.
Отмечается, что длительность басовой партии не ограничена по времени — модель генерирует линии любой длительности. Пользователи могут управлять тембром звучания, корректировать направлении партии (например, «попросив» модель играть в более низком регистре), а также обучать модель на референсах. Последнее позволяет системе генерировать партии в стиле других музыкантов или композиций.
По словам инженеров, во время внутренних тестов виртуальный басист справился с созданием партий в самых разнообразных миксах. Так, например, модель одинаково успешно показала себя как в композициях с одним или двумя (гитара и/или вокал), так и с большим количеством инструментов. При этом, при наличии партии ударных, модель старалась поддерживать ритмический рисунок, задаваемый барабанами.