Stability AI, разработчик популярной нейросети Stable Diffusion, представила музыкальную ИИ-модель Stable Audio Open Small, которая генерирует аудио в стереозвучании и способна работать на смартфонах без подключения к интернету. Модель создана совместно с производителем чипов Arm, чьи процессоры используются в большинстве мобильных устройств, и способна быстро генерировать аудио в высоком качестве даже на устройствах с ограниченными вычислительными ресурсами.

Источник изображения: AI

В отличие от конкурентов, таких как Suno и Udio, которым требуется облачная обработка, Stable Audio Open Small работает локально. При этом, как отмечает TechCrunch, обучение модели проводилось только на данных из бесплатных аудиобиблиотек Free Music Archive и Freesound, что снижает риски нарушения авторских прав и выгодно отличает её от некоторых других ИИ-сервисов, использующих защищённый контент.

Модель содержит 341 миллион параметров и оптимизирована для процессоров Arm. Она предназначена для быстрого создания коротких аудиосэмплов и звуковых эффектов, например, ударных или инструментальных партий. По заявлению Stability AI, на смартфоне ИИ может сгенерировать 11-секундное аудио менее чем за восемь секунд.

Одновременно у Stable Audio Open Small есть некоторые ограничения. Например, она понимает текстовые запросы только на английском языке, не умеет создавать реалистичный вокал или сложные музыкальные композиции. Кроме того, компания признаёт, что из-за того, что модель обучалась на западно-ориентированных данных, она лучше справляется со стилями, присущими западной музыке.

Ещё одна сложность заключается в условиях использования. Для исследователей, любителей и малого бизнеса ИИ-модель доступна бесплатно, но если годовой доход компании превышает $1 млн, потребуется покупка коммерческой лицензии. И хотя для инди-разработчиков такие условия выгодны, для крупных проектов это может стать определённой сложностью.

Напомним, Stability AI, известная по своей модели глубокого обучения Stable Diffusion, генерирующей изображения по текстовым описаниям, в последние месяцы пытается восстановить репутацию после финансовых проблем при бывшем генеральном директоре Эмаде Мостаке (Emad Mostaque). Компания привлекла инвестиции, назначила нового главу и добавила в совет директоров режиссёра Джеймса Кэмерона (James Cameron). Параллельно она продолжает выпускать новые генеративные модели, включая новые инструменты для создания изображений.

Более 200 известных музыкантов и владельцев авторских прав подписали открытое письмо, которое было опубликовано правозащитной группой Artist Rights Alliance. В нём они выразили серьёзную обеспокоенность неправомерным использованием искусственного интеллекта в музыке, призывая к немедленному регулированию этой области с целью предотвращения потенциального ущерба их творчеству и культурному наследию.

Источник изображения: artistrightsnow.medium.com

В числе подписавшихся — звёзды мировой музыки и наследники прав на творения легендарных исполнителей: Стиви Уандер (Stevie Wonder), Смоки Робинсон (Smokey Robinson), Билли Айлиш (Billie Eilish), Джон Бон Джови (Jon Bon Jovi), Кэти Перри (Katy Perry), группы REM и Pearl Jam, а также представители наследия Боба Марли (Bob Marley) и Фрэнка Синатры (Frank Sinatra). Такое многообразие жанров и поколений иллюстрирует общую обеспокоенность влиянием ИИ на музыкальное искусство.

Открытое письмо поднимает вопрос о двойственной природе ИИ: с одной стороны, его потенциал для расширения границ творчества в музыкальной индустрии неоспорим, с другой — существует риск его неправомерного использования, когда технологии подрывают уникальность и ценность авторского труда. Проблема касается инструментов, разработанных технологическими гигантами. Эти инновации вызывают волну споров о нарушении авторских прав и риски судебных разбирательств.

Письмо акцентирует внимание на том, что неконтролируемое применение ИИ ставит под угрозу не только авторское право, но и личную идентичность артистов, их творческую уникальность и финансовую независимость. Авторы призывают к ответственному использованию технологий, подчёркивая безразличие крупных компаний к их правам.

Губернатор штата Теннесси Билл Ли (Bill Lee) выступил в поддержку музыкантов, приняв законопроект, направленный на защиту авторов от неправомерного использования их творчества компаниями, занимающимися разработкой ИИ. Закон, получивший название «Закон Элвиса» (Elvis Act), призван защитить уникальность и интеллектуальную собственность артистов.

Особое внимание уделяется инструментам, способным генерировать тексты песен, имитируя стили различных авторов. Примером служит реакция австралийского исполнителя Ника Кейва (Nick Cave) на сборник его собственных текстов, созданных с помощью ChatGPT, который назвал «гротескной карикатурой на человечность».

Не все воспринимают подобные инновации негативно. Люсиан Грейндж (Lucian Grainge), глава Universal Music Group, высказал мнение о необходимости поиска компромиссов, совместной работы ИИ и музыкантов над созданием будущего, где технологии и творчество будут дополнять друг друга.

Adobe представила инновационный инструмент, знаменующий новую эру в музыкальном искусстве. На мероприятии Hot Pod Summit, проходившем в Бруклине, был анонсирован Project Music GenAI Control — платформа, способная не только генерировать аудиоконтент по текстовому запросу пользователя (например, «весёлая танцевальная музыка» или «грустный джаз»), но и глубоко его кастомизировать.

Источник изображения: Adobe

Разработка, осуществлённая при участии исследователей из Университета Калифорнии (UC) и Карнеги-Меллона (UMC), пока что находится на стадии исследования и лишена пользовательского интерфейса. Однако, как подчеркнул Гаутам Майсор (Gautham Mysore), руководитель отдела исследований ИИ в области аудио и видео компании Adobe, данный проект позволит даже тем, кто не является композитором, воплотить свои идеи в жизнь, находясь в роли дирижёра виртуального оркестра.

Project Music GenAI Control предоставит пользователям инструменты для регулирования темпа, интенсивности, повторения паттернов и структуры музыкальных треков. Это открывает двери к экспериментам с созданием бесконечных музыкальных фрагментов или ремиксов, расширяя горизонты творческой свободы человека.

Однако внедрение ИИ в музыкальное творчество несёт не только технологические, но и этические вызовы. Всплеск интереса к трекам, созданным с помощью ИИ, поднимает вопросы о нарушении авторских прав и подлинности музыкальных произведений. Недавнее решение федерального суда США о том, что искусство, созданное ИИ, не может быть защищено авторским правом, ещё больше усиливает необходимость в разработке чётких юридических рамок для использования подобных технологий.

Adobe стремится решить эти проблемы, разрабатывая свои инструменты на основе лицензированных или находящихся в общественном достоянии данных, чтобы избежать нарушений интеллектуальной собственности. Компания также работает над технологией водяных знаков, которая позволит однозначно идентифицировать музыку, созданную с помощью Project Music GenAI Control.