Новости Software

Учёные MIT научили ИИ различать музыкальные инструменты на видео

Исследователям Массачусетского технологического института удалось построить нейросеть, способную различать звуки отдельных музыкальных инструментов на видео. Искусственный интеллект под названием PixelPlayer даже может сделать отдельные источники звука громче или тише.

«Мы рассчитывали, что в лучшем случае сможем указать, какие звуки производит отдельный инструмент. Удивительно, что мы смогли обнаружить инструменты в пространстве на уровне пикселей. Эта способность открывает множество возможностей, например, редактирование аудиодорожки с помощью клика по видео», — заявил один из авторов ИИ.

В основе PixelPlayer лежит нейронная сеть, освоившая 714 видеороликов YouTube, входящих в набор данных под названием «Многомодальные источники комбинаций инструментов» (Multimodal Sources of Instrument Combinations, “MUSIC”). Первые пятьсот видеороликов длиной в 60 часов нейросеть обучалась, остальное время учёные использовали для проверки результатов.

PixelPlayer работает самостоятельно, программа может разделить звуки более чем двадцати инструментов, и пользователю не нужно готовить какие-либо заметки. Учёные уверены, что получив больше данных, ИИ научится различать и больше наименований, но пока что им трудно настроить неочевидные различия между классами музыкальных инструментов.

«Мы рассчитываем, что работа поможет раскрыть новые области исследования проблемы разделения источника звука с помощью визуальных и аудиосигналов», — отметили исследователи.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме
Прежде чем оставить комментарий, пожалуйста, ознакомьтесь с правилами комментирования. Оставляя комментарий, вы подтверждаете ваше согласие с данными правилами и осознаете возможную ответственность за их нарушение.
Все комментарии премодерируются.
Комментарии загружаются...
window-new
Soft
Hard
Тренды 🔥
Tesla повторно выпустила обновление FSD Beta 10.3 для системы автономного вождения после исправления проблем 6 ч.
Apple выпустила iOS 15.1 с SharePlay и возможностью добавлять сертификаты вакцинации в Wallet 7 ч.
Huawei расскажет о планах по развитию собственной экосистемы 27 октября в рамках Huawei Developer Day 8 ч.
Российский суд отказал Facebook в отсрочке выплаты штрафов 8 ч.
Скорому релизу Age of Empires IV посвятили трейлер с живыми актёрами и вовлечёнными в бой фигурками 9 ч.
Британские чарты: ужастик House of Ashes уступил на старте предыдущей части, а Resident Evil Village вернулась в топ-15 10 ч.
СМИ массово опубликовали расследования на основе слитых документов Facebook — компания не хочет решать накопившиеся проблемы 10 ч.
«ВКонтакте» запустила автоматический перевод публикаций на английский при помощи нейросети 10 ч.
Создатели олдскульного квеста Unusual Findings рассказали о важности выбора на примере нового трейлера 11 ч.
Австралийское издательство обвинило Facebook в несоблюдении закона, обязывающего платить СМИ за новости 11 ч.
Sony представила Xperia PRO-I — первый в мире смартфон с 1-дюймовым датчиком камеры 20 мин.
SK hynix в третьем квартале удалось утроить операционную прибыль 2 ч.
Новая статья: Обзор Ультрабука HUAWEI MateBook 14s: компактный, быстрый, тихий и удобный 7 ч.
Флагман Xiaomi 12 получит дисплей с ещё более узкими рамками и крошечным отверстием для камеры 7 ч.
HTC представила беспроводные наушники TWS Plus с активным шумоподавлением и 86 часами автономной работы 7 ч.
Samsung обновила фирменные ноутбуки Galaxy Book процессорами Intel Tiger Lake 7 ч.
MasterCard позволит банкам-партнёрам предоставлять криптовалютные услуги через свой платёжный сервис 8 ч.
Blue Origin построит частную орбитальную станцию до конца этого десятилетия — её смогут использовать все желающие 9 ч.
Xiaomi скоро представит Redmi Smart Band Pro — смарт-браслет с большим дисплеем 9 ч.
AMD представит 8 ноября новые серверные процессоры EPYC и ускорители вычислений Instinct 11 ч.