ElevenLabs запустила ИИ-генератор звуковых эффектов по текстовому описанию

ElevenLabs представила AI Sound Effects, инструмент на базе генеративного ИИ, способный по текстовому запросу генерировать различные звуковые эффекты. По словам ElevenLabs, при обучении ИИ-модели и создании библиотек она сотрудничала с медиаплатформой Shutterstock. Последняя предоставила лицензии на использование материалов из библиотеки контента многим компаниям ИИ-индустрии, включая OpenAI, Meta✴ и Google.

ElevenLabs уже предлагает пользователям созданные с помощью ИИ версии человеческих голосов для озвучивания текстов и исполнения музыки. А новый инструмент поможет создавать звуковые эффекты для подкастов, фильмов или игр, включая взрывы, плеск воды и т.д. Сообщается, что AI Sound Effects может генерировать звуковые эффекты продолжительностью до 22 секунд на основе подсказок пользователя. Их можно комбинировать с голосовой и музыкальной платформой компании. Сервис предоставляет пользователям как минимум четыре варианта загружаемых аудиоклипов.

Sound Effects предоставляется бесплатно и на коммерческой основе. При бесплатном доступе пользователю устанавливается лимит в 10 000 символов, и он должен ссылаться при публикации клипа на ElevenLabs, добавив в заголовок elevenlabs.io. При платном доступе клиенты смогут использовать сгенерированные аудиоклипы как угодно, получив коммерческую лицензию.

В случае создания звуковых эффектов пользователю будет взиматься 40 символов за секунду аудио, если он сам установит продолжительность аудиоклипа. При продолжительности звукового эффекта по умолчанию за каждый запрос будет взиматься плата в размере 200 символов.

На рынке уже есть библиотеки с клипами со звуковыми эффектами для нужд авторов, режиссёров и разработчиков видеоигр. Но их тарифы зачастую очень высоки, и нередко возникают проблемы с подбором нужного типа звука. ElevenLabs сообщила в блоге, что разработала Sound Effects «для быстрого, доступного и масштабного создания насыщенных и захватывающих звуковых ландшафтов».

Похожие решения уже предлагают другие ИИ-разработчики. В прошлом году Stability AI выпустила Stable Audio для создания аудиоклипов с музыкальными треками и звуковыми эффектами, а ИИ-модели Meta✴ AudioCraft генерируют естественный звук, например, фоновый шум, такой как ветер или движение транспорта.