Сегодня 14 ноября 2024
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

«Сбер» научил GigaChat создавать уникальную музыку по текстовому описанию

«Сбер» научил своего ИИ-чат-бота GigaChat генерировать музыкальные композиции по текстовым запросам пользователей. Новостью поделился вице-президент по цифровым поверхностям «Салют» Сбербанка Денис Филиппов в рамках международной конференции по искусственному интеллекту AI Jorney 2023. Возможности сервиса были расширены путём интеграции нейросетей CLaMP и SymFormer.

Для создания музыки человек может просто сформулировать задачу. К примеру задать следующее описание: «Сочини весёлую музыку в стиле кантри» или «Напиши композицию для лаундж-зоны бизнес-центра». В результате GigaChat создаст аудиофайл с уникальной музыкальной дорожкой, а также нотную партитуру в формате MIDI, совместимую с любой DAW (Digital Audio Workstation). После этого пользователь сможет скачать и прослушать получившуюся музыку, а MIDI-файл — использовать в своих творческих проектах: редактировать гармонии, менять аранжировку и получать разнообразные варианты звучания композиции.

Генерация музыки стала возможна в GigaChat благодаря интеграции нейросетей CLaMP и SymFormer. Для обучения SymFormer применили платформу ML Space на базе суперкомпьютера Christofari и датасет из более чем 200 тысяч композиций разных музыкальных стилей: от классики до современной электронной и тяжёлой музыки. В основе модели генерации композиций лежит принцип рассмотрения музыки в качестве нотного текста — в этом помогла адаптация подхода text-2-image к нотному домену.

Отмечается, что создание музыкальных треков происходит в несколько этапов:

  1. Текстовый запрос пользователя с помощью модели CLaMP конвертируется в понятный для генератора мелодий язык.
  2. Данные от CLaMP, включая информацию о стиле, поступают на вход SysFormer, которая выполняет генерацию нескольких вариантов мультидорожечной композиции, из которых нейросеть выбирает наиболее удачные варианты по стилю.
  3. На последнем этапе генерации механизм рендеринга формирует аудиофайл и отправляет результат пользователю.

«Новые возможности GigaChat будут полезны не только музыкальным энтузиастам и представителям творческих профессий. Одним из сегментов целевой аудитории сервиса мы видим представителей малого и среднего бизнеса. Благодаря GigaChat они смогут быстро, качественно и, что важно, абсолютно легально решать задачи бизнеса: создавать фоновое музыкальное сопровождение для кафе, залов ожидания и салонов красоты, создавать мелодии для рекламных видеороликов и соцсетей», — поясняет Денис Филиппов.

Напомним, что ранее этой осенью в рамках культурной программы Восточного экономического форума (ВЭФ) во Владивостоке состоялся первый в мире симфонический концерт с импровизациями, созданными искусственным интеллектом. Нейросеть SymFormer выступила на этом концерте вместе с оркестром Мариинского театра Приморской сцены. В первой части симфонии «Космос», написанной композитором Петром Дранга, SymFormer управляла экспрессивностью исполнения. В третьей и четвёртой частях симфонии нейросеть импровизировала в режиме реального времени на основе информации, полученной от партитуры музыканта.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Capcom раскрыла дату выхода ремейка Resident Evil 2 на iPhone 16 и iPhone 15 Pro 2 ч.
OpenAI призывает создать ИИ-альянс, который объединит США и союзников, включая страны Ближнего Востока 3 ч.
Google в рамках эксперимента удалит новости издателей ЕС из поисковых результатов 4 ч.
YouTube тестирует новый формат просмотра длинных видео как на Shorts 6 ч.
YouTube на Quest запускает функцию совместного просмотра — до 7 друзей в одном VR-кинозале 7 ч.
FTC потребовала от Meta продать Instagram и WhatsApp 11 ч.
Поработайте за нас: AWS предоставит учёным кластеры из 40 тыс. ИИ-ускорителей Trainium 13 ч.
Комедийный детектив Loco Motive в духе квестов 90-х выйдет на два года позже обещанного — дата релиза и новый трейлер 14 ч.
Warhammer 40,000, Armored Core и даже Concord: анимационный сериал Secret Level от авторов «Любовь, смерть и роботы» получил насыщенный трейлер 15 ч.
«RuStore на гаджетах Apple быть!» — Госдума приняла в I чтении законопроект об обязательной установке RuStore 16 ч.
На TSMC подали в суд за дискриминацию: на фабрику чипов в США тайванцу устроиться проще, чем американцу 45 мин.
XPeng показала сухопутный авианосец Land Aircraft Carrier — его пассажирский дрон выполнил первый полёт на публике 59 мин.
ЦОД Iron Mountain запитают от подводных «воздушных змеев» SeaQurrent 2 ч.
SoftBank построит в Японии первый в мире ИИ-суперкомпьютер на базе NVIDIA DGX B200 3 ч.
Xiaomi выпустила свой 100-тысячный электромобиль всего лишь через 230 дней с момента запуска производства 5 ч.
Представлен электроскутер на солнечных панелях Lightfoot — плюс 5 км пути за час на солнце 7 ч.
Новая статья: Обзор смартфона Infinix ZERO 40 4G: фотографируй как старший брат 10 ч.
Изменение климата не победить: выбросы растут, а Китай впереди всех по зелёной энергетике 11 ч.
Новая статья: Обзор игрового UWQHD-монитора MSI MPG 341CQPX QD-OLED: ожидаемое обновление 12 ч.
Биткоин снова обновил максимум: сколько это будет продолжаться и причём тут Трамп 12 ч.