Сегодня 22 сентября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

«Сбер» научил GigaChat создавать уникальную музыку по текстовому описанию

«Сбер» научил своего ИИ-чат-бота GigaChat генерировать музыкальные композиции по текстовым запросам пользователей. Новостью поделился вице-президент по цифровым поверхностям «Салют» Сбербанка Денис Филиппов в рамках международной конференции по искусственному интеллекту AI Jorney 2023. Возможности сервиса были расширены путём интеграции нейросетей CLaMP и SymFormer.

Для создания музыки человек может просто сформулировать задачу. К примеру задать следующее описание: «Сочини весёлую музыку в стиле кантри» или «Напиши композицию для лаундж-зоны бизнес-центра». В результате GigaChat создаст аудиофайл с уникальной музыкальной дорожкой, а также нотную партитуру в формате MIDI, совместимую с любой DAW (Digital Audio Workstation). После этого пользователь сможет скачать и прослушать получившуюся музыку, а MIDI-файл — использовать в своих творческих проектах: редактировать гармонии, менять аранжировку и получать разнообразные варианты звучания композиции.

Генерация музыки стала возможна в GigaChat благодаря интеграции нейросетей CLaMP и SymFormer. Для обучения SymFormer применили платформу ML Space на базе суперкомпьютера Christofari и датасет из более чем 200 тысяч композиций разных музыкальных стилей: от классики до современной электронной и тяжёлой музыки. В основе модели генерации композиций лежит принцип рассмотрения музыки в качестве нотного текста — в этом помогла адаптация подхода text-2-image к нотному домену.

Отмечается, что создание музыкальных треков происходит в несколько этапов:

  1. Текстовый запрос пользователя с помощью модели CLaMP конвертируется в понятный для генератора мелодий язык.
  2. Данные от CLaMP, включая информацию о стиле, поступают на вход SysFormer, которая выполняет генерацию нескольких вариантов мультидорожечной композиции, из которых нейросеть выбирает наиболее удачные варианты по стилю.
  3. На последнем этапе генерации механизм рендеринга формирует аудиофайл и отправляет результат пользователю.

«Новые возможности GigaChat будут полезны не только музыкальным энтузиастам и представителям творческих профессий. Одним из сегментов целевой аудитории сервиса мы видим представителей малого и среднего бизнеса. Благодаря GigaChat они смогут быстро, качественно и, что важно, абсолютно легально решать задачи бизнеса: создавать фоновое музыкальное сопровождение для кафе, залов ожидания и салонов красоты, создавать мелодии для рекламных видеороликов и соцсетей», — поясняет Денис Филиппов.

Напомним, что ранее этой осенью в рамках культурной программы Восточного экономического форума (ВЭФ) во Владивостоке состоялся первый в мире симфонический концерт с импровизациями, созданными искусственным интеллектом. Нейросеть SymFormer выступила на этом концерте вместе с оркестром Мариинского театра Приморской сцены. В первой части симфонии «Космос», написанной композитором Петром Дранга, SymFormer управляла экспрессивностью исполнения. В третьей и четвёртой частях симфонии нейросеть импровизировала в режиме реального времени на основе информации, полученной от партитуры музыканта.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
«Таким я его и видел, когда играл в первый раз»: художник впечатлил фанатов Oblivion переосмыслением города Чейдинхол в реалистичном масштабе 53 мин.
Боевик «Земский собор» от создателей «Смуты» получил демоверсию на ПК и выйдет в срок, если только «небо на землю не упадёт» 3 ч.
Американских бигтехов лишат доступа к финансовым данным европейцев 4 ч.
В сделку по TikTok вовлечены руководители Fox Corp, Dell и Oracle 6 ч.
Китайцы утратят контроль над американским TikTok после сделки с США — лишь 1 из 7 мест в совете директоров достанется ByteDance 23 ч.
Новая статья: Hell is Us — прекрасная диковинка. Рецензия 21-09 00:03
Jaguar Land Rover уже три недели не может запустить информационные системы после хакерского взлома 20-09 15:02
Microsoft представила радужный отчёт о Windows Arm, но основную проблему «замела под ковёр» 20-09 14:28
Microsoft «тестирует» ещё одну кнопку Copilot в Windows 11 20-09 14:26
Xiaomi раскрыла перечень, из которого ясно, какие устройства перейдут на HyperOS 3 и когда 20-09 11:13
Официально: смартфоны Xiaomi 17 на процессоре Snapdragon 8 Elite Gen 5 выйдут 25 сентября 10 мин.
«Байкал Электроникс» представила универсальный микроконтроллер Baikal-U (BE-U1000) 60 мин.
Память HBM3E от Samsung наконец пробилась в ИИ-ускорители Nvidia — акций первой взлетели до годового максимума 2 ч.
JLL: среднегодовой темп роста выручки неооблаков за пять лет составил 82 % 2 ч.
IIIF150 Action 15Pro — смартфон с защитой IP68 и IP69K, вторым дисплеем и толщиной 6,88 мм 2 ч.
Новая статья: Обзор игрового ноутбука ASUS TUF Gaming A18 FA808UM (2025): любить вопреки 11 ч.
Хакеры нарушили работу европейских аэропортов, взломав софт для регистрации пассажиров 14 ч.
iFixit показала внутреннее устройство сверхтонкого iPhone Air и высоко оценила его ремонтопригодность 15 ч.
Schneider Electric готовит стойки NVIDIA GB300 NVL72 мощностью 142 кВт 22 ч.
В Германии запущена квантово-классическая система с суперчипами NVIDIA GH200 22 ч.