Сегодня 25 июня 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → fugatto

Nvidia представила ИИ-модель Fugatto, которая «понимает и генерирует звук, как это делают люди»

Nvidia представила новую экспериментальную генеративную модель ИИ, которую компания описывает как «швейцарский армейский нож для звука». Модель Fugatto (Foundational Generative Audio Transformer Opus 1) использует текстовые подсказки для генерации новых или изменения существующих музыкальных, голосовых и звуковых файлов. В создании модели принимали участие разработчики со всего мира, что усилило «многоакцентные и многоязычные возможности модели».

 Источник изображения: Nvidia

Источник изображения: Nvidia

«Мы хотели создать модель, которая понимает и генерирует звук, как это делают люди», — рассказал участник проекта и менеджер по прикладным исследованиям звука в Nvidia Рафаэль Валле (Rafael Valle). Компания предложила несколько сценариев, в которых модель Fugatto может оказаться востребованной:

  • Музыкальные продюсеры могут быстрого создать прототип песни, которую легко редактировать, пробуя разные стили, голоса и инструменты.
  • Fugatto может использоваться при создании инструментов для изучения языка с выбором наиболее подходящего голоса.
  • Разработчики видеоигр могут использовать её для создания вариаций предварительно записанных ресурсов, чтобы соответствовать изменениям в игре на основе выбора и действий игроков.

Исследователи утверждают, что модель при некоторой дополнительной тонкой настройке также может выполнять задачи, не входившие в её предварительное обучение. Модель может объединять отдельные инструкции, например, генерировать речь с определёнными интонациями и акцентом или звук пения птиц во время грозы. Модель также умеет генерировать изменяющиеся со временем звуки, например, шум приближающегося ливня или удаляющегося поезда.

Fugatto не является первой технологией генеративного ИИ, которая может создавать звуки из текстовых подсказок. Ранее Meta выпустила аналогичную модель ИИ с открытым исходным кодом. Google предлагает ИИ-инструмент собственной разработки для преобразования текста в музыку MusicLM, доступ к которому можно получить через сайт компании AI Test Kitchen.

Nvidia пока не предоставила публичный доступ к Fugatto и воздержалась от комментариев на этот счёт.


window-new
Soft
Hard
Тренды 🔥
Бизнес раскритиковал идею введения платного доступа к госсервисам для юрлиц 2 ч.
Объявлена дата выхода Little Nightmares 3 — новый трейлер, 11 минут геймплея и предзаказ с приятным сюрпризом 2 ч.
«Если я говорю, что напишу, то сделаю это, в отличие от Джорджа Мартина»: Анджей Сапковский пообещал фанатам «Ведьмака» новые книги 2 ч.
Российская гиперконвергентная платформа vStack HCP получила крупное обновление 4 ч.
Продажи Rematch от создателей Sifu превысили миллион копий — раскрыта статистика игроков 5 ч.
Для Warhammer 40,000: Rogue Trader вышло сюжетное дополнение Lex Imperialis и большой патч 1.4, а в работе ещё более крупное обновление 5 ч.
Anthropic выиграла суд у издателей: обучать ИИ на купленных книгах законно, на пиратских — нет 5 ч.
Госдума РФ приняла закон об обязательной установке Rustore на iPhone и вообще все смартфоны 6 ч.
Xbox скоро настигнет новая волна массовых увольнений — Microsoft проводит реорганизацию 7 ч.
Путин подписал закон о создании национального мессенджера 7 ч.
Новая статья: Разрубить EUV-узел 33 мин.
MSI представила компактную GeForce RTX 5050 Shadow 2X OC с разгоном 2 ч.
Бизнес США единодушно предупредил Трампа: пошлины на чипы в 25 % обернутся хаосом 2 ч.
Смарт-очки будущего не обожгут голову: xMEMS разработала для них сверхтонкий кулер без вентиляторов и шума 4 ч.
Google представила ИИ для роботов, который сможет работать без интернета и завязывать шнурки 4 ч.
Meta выпустила VR-гарнитуру Quest 3S Xbox Edition с особым дизайном и расширенной комплектацией за $400 6 ч.
Tecno выпустила бюджетный смартфон Spark Go 2 с современным дизайном за $80 7 ч.
Выяснилась причина крушения частного японского лунного модуля Resilience — подвёл лазерный дальномер 7 ч.
Нью-Йорк построит гигаваттную АЭС для ИИ ЦОД и других отраслей — крупнейший в стране проект за 15 лет 8 ч.
Xiaomi представила 33-Вт зарядку со встроенным пауэрбанком на 5000 мА·ч дешевле $30 9 ч.