Сегодня 04 июня 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Nvidia представила ИИ-модель Fugatto, которая «понимает и генерирует звук, как это делают люди»

Nvidia представила новую экспериментальную генеративную модель ИИ, которую компания описывает как «швейцарский армейский нож для звука». Модель Fugatto (Foundational Generative Audio Transformer Opus 1) использует текстовые подсказки для генерации новых или изменения существующих музыкальных, голосовых и звуковых файлов. В создании модели принимали участие разработчики со всего мира, что усилило «многоакцентные и многоязычные возможности модели».

 Источник изображения: Nvidia

Источник изображения: Nvidia

«Мы хотели создать модель, которая понимает и генерирует звук, как это делают люди», — рассказал участник проекта и менеджер по прикладным исследованиям звука в Nvidia Рафаэль Валле (Rafael Valle). Компания предложила несколько сценариев, в которых модель Fugatto может оказаться востребованной:

  • Музыкальные продюсеры могут быстрого создать прототип песни, которую легко редактировать, пробуя разные стили, голоса и инструменты.
  • Fugatto может использоваться при создании инструментов для изучения языка с выбором наиболее подходящего голоса.
  • Разработчики видеоигр могут использовать её для создания вариаций предварительно записанных ресурсов, чтобы соответствовать изменениям в игре на основе выбора и действий игроков.

Исследователи утверждают, что модель при некоторой дополнительной тонкой настройке также может выполнять задачи, не входившие в её предварительное обучение. Модель может объединять отдельные инструкции, например, генерировать речь с определёнными интонациями и акцентом или звук пения птиц во время грозы. Модель также умеет генерировать изменяющиеся со временем звуки, например, шум приближающегося ливня или удаляющегося поезда.

Fugatto не является первой технологией генеративного ИИ, которая может создавать звуки из текстовых подсказок. Ранее Meta выпустила аналогичную модель ИИ с открытым исходным кодом. Google предлагает ИИ-инструмент собственной разработки для преобразования текста в музыку MusicLM, доступ к которому можно получить через сайт компании AI Test Kitchen.

Nvidia пока не предоставила публичный доступ к Fugatto и воздержалась от комментариев на этот счёт.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Дождались, но не «бету»: российский MMO-шутер Pioner скоро получит мультиплеерную демоверсию 6 ч.
«Металюди» пойдут в народ: Epic упростила создание гиперреалистичных персонажей в Unreal Engine 6 ч.
Sony анонсировала большой июньский выпуск State of Play — он посвящён играм для PS5, которые нельзя пропускать 10 ч.
Nvidia App получило светлую тему и оптимальные настройки для 12 новых игр 11 ч.
CD Projekt Red показала технодемо The Witcher 4 — с трассировкой лучей, при 60 FPS и на базовой PS5 11 ч.
Universal, Warner и Sony предложили ИИ-разработчикам лицензировать музыку для обучения нейросетей 12 ч.
Суд признал деятельность создателей «Мира танков» экстремистской и передал активы государству — в «Леста Игры» с решением «в корне не согласны» 13 ч.
Скорость распространения Windows 11 замедлилась 14 ч.
На МКС заработает российский ИИ — осенью там запустят GigaChat «Сбера» 16 ч.
Разработчик-одиночка анонсировал «Знамя победы» — гибрид стратегии и экшена на полях сражений Второй мировой войны 16 ч.
Nvidia утверждает, что консоль Switch 2 использует ИИ для улучшения игрового процесса 21 мин.
Razer представила геймерский коврик HyperFlux V2, который будет заряжать мышь во время использования 4 ч.
Samsung намекнула на выпуск ультратонкого смартфона-книжки Galaxy Z Fold 7 Ultra 4 ч.
Россия намерена запустить более 880 интернет-спутников до 2030 года 5 ч.
Broadcom представила самые быстрые в мире Ethernet-коммутаторы Tomahawk 6: 102,4 Тбит/с на чип и 1,6 Тбит/с на порт 5 ч.
Новая статья: Обзор Midea VCR S20 Plus: робот-пылесос — друг человека! 6 ч.
Шанс столкновения Млечного Пути с Андромедой упал до 50 % — но только на ближайшие 10 млрд лет 7 ч.
Представлена Arctis Nova 3 — самая доступная беспроводная гарнитура SteelSeries 9 ч.
Госкорпорация «Роскосмос» будет развивать космический туризм на базе Российской орбитальной станции 10 ч.
Мировые продажи памяти DRAM упали на 5,5 % в первом квартале — сильнее всех просела Samsung 11 ч.