Сегодня 21 ноября 2024
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Meta✴ представила AudioCraft — генератор музыки и шума на основе искусственного интеллекта

Meta представила ИИ-генератор музыки AudioCraft с открытым исходным кодом, который создаёт аудио, полностью основываясь на текстовом запросе пользователя. AudioCraft объединяет три отдельные модели ИИ: MusicGen предназначена для создания музыки и обучена на «20 000 часов музыки, принадлежащей Meta или лицензированной специально для этой цели», AudioGen генерирует звуки и эффекты окружающей среды, а EnCodec обеспечивает качественную обработку звука.

 Источник изображения: Pixabay

Источник изображения: Pixabay

Музыканты давно экспериментируют с электронным звуком, но компьютерные программы создают музыку на основе существующих звуковых сэмплов. Аудио от AudioCraft генерируется лишь из текстовой подсказки. Meta предоставила журналистам образцы аудио, сгенерированного при помощи AudioCraft. Шумовые эффекты, такие как свист, ветер, вой сирен и автомобильные сигналы звучали весьма достоверно. А вот гитарные партии показались слушателям неестественными.

Сейчас музыка, сгенерированная AudioCraft, больше всего напоминает muzak (слегка пренебрежительный термин, применяемый для большинства форм фоновой музыки, независимо от источника, «музыка для лифта») или непритязательный атмосферный эмбиент, и не претендует на роль следующего большого поп-хита. Тем не менее, Meta считает, что AudioCraft может открыть новую волну музыкальной моды, как это когда-то сделали первые синтезаторы.

Meta признала сложность создания моделей ИИ для генерации музыки, по утверждению представителя компании эта задача на несколько порядков труднее, чем генерация текста при помощи ИИ, подобного Llama 2. Компания полагает, что открытый исходный код AudioCraft поможет разнообразить данные, используемые для его обучения.

«Мы понимаем, что наборы данных, используемые для обучения наших моделей, не отличаются разнообразием: большая часть музыки в западном стиле, пары аудио-текст с текстом и метаданными написаны на английском языке, — пояснил представитель Мета. — Поделившись кодом для AudioCraft, мы надеемся, что другим исследователям будет легче тестировать новые подходы к ограничению или устранению потенциальной предвзятости и неправильного использования генеративных моделей».

Meta — далеко не пионер в области генерации аудио при помощи ИИ. Большая языковая модель MusicLM от Google вполне успешно генерирует аудио, правда доступна она только исследователям. Сгенерированная ИИ песня с голосовым сходством Drake и The Weeknd мгновенно стала вирусной. Недавно Граймс (Grimes) разрешила использовать имитацию своего голоса в треках ИИ. В свою очередь, звукозаписывающие лейблы и артисты уже забили тревогу, поскольку многие модели ИИ могут использовать для обучения материалы, защищённые авторским правом.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
В программу сохранения классических игр от GOG вошли S.T.A.L.K.E.R. Shadow of Chernobyl и Call of Pripyat, а Clear Sky — на подходе 3 мин.
Star Wars Outlaws вышла в Steam с крупным обновлением и дополнением про Лэндо Калриссиана 2 ч.
Миллионер с зарплатой сантехника: выяснилось, сколько зарабатывает глава OpenAI 3 ч.
Рекордная скидка и PvP-режим Versus обернулись для Warhammer: Vermintide 2 полумиллионом новых игроков за неделю 3 ч.
Роскомнадзор с декабря начнёт блокировать сайты за публикацию научной информации о VPN для обхода блокировок 4 ч.
Новый трейлер раскрыл дату выхода Mandragora — метроидвании с элементами Dark Souls и нелинейной историей от соавтора Vampire: The Masquerade — Bloodlines 4 ч.
В Японии порекомендовали добавить в завещания свои логины и пароли 6 ч.
Обновления Windows 11 больше не будут перезагружать ПК, но обычных пользователей это не касается 6 ч.
VK похвасталась успехами «VK Видео» на фоне замедления YouTube 8 ч.
GTA наоборот: полицейская песочница The Precinct с «дозой нуара 80-х» не выйдет в 2024 году 10 ч.
Redmi показала флагманский смартфон K80 Pro и объявила дату его премьеры 2 ч.
SpaceX рассказала, почему затопила ракету Super Heavy во время последнего запуска Starship 3 ч.
Астрономы впервые сфотографировали умирающую звезду за пределами нашей галактики — она выглядит не так, как ожидалось 5 ч.
Японская Hokkaido Electric Power намерена перезапустить ядерный реактор для удовлетворения потребности ЦОД в энергии 5 ч.
Meta планирует построить за $5 млрд кампус ЦОД в Луизиане 6 ч.
Arm задаёт новый стандарт для ПК, чтобы навязать конкуренцию x86 6 ч.
HPE готова ответить на любые вопросы Минюста США по расследованию покупки Juniper за $14 млрд 7 ч.
Thermaltake представила компактный, но вместительный корпус The Tower 250 для игровых систем на Mini-ITX 8 ч.
Флагманы Oppo Find X8 и X8 Pro на Dimensity 9400 стали доступны не только в Китае — старший оценили в €1149 8 ч.
«ВКонтакте» выросла до 88,1 млн пользователей — выручка VK взлетела на 21,4 % на рекламе 9 ч.