Исследовательский проект Google под названием Magenta, который с помощью ИИ помогает людям проявлять своё творческое начало, представил экспериментальный музыкальный инструмент с открытым исходным кодом NSynth Super. Он использует нейронную сеть NSynth, способную генерировать различные звуки.

NSynth Super — устройство, которое раскрывает потенциал нейронной сети. Как говорит научный сотрудник Google Brain Дуглас Эк (Douglas Eck), NSynth создаёт не ноты, а непосредственно звуки инструмента. Алгоритм изучает ключевые качества того, из чего состоит отдельный звук, и может комбинировать эти звуки, создавая тем самым нечто совершенно новое.

Устройство, на котором Google предлагает экспериментировать с алгоритмом, имеет площадку управления, каждый сектор которой можно привязать к определённому инструменту. Звуки этих инструментов можно комбинировать, водя пальцем по площадке. Но NSynth Super не просто накладывает друг на друга существующие звуки — система синтезирует совершенно новые, основываясь на акустических качествах отдельных инструментов.

NSynth Super может работать с любым источником MIDI-звука, будь то цифровая звуковая рабочая станция, секвенсор или клавишный синтезатор. Устройство позволяет настраивать некоторые параметры звука — например, атаку, спад, поддержку и затухание.

Google не даёт возможности купить NSynth Super, но предлагает инструкцию по созданию собственного устройства на базе Raspberry Pi. Есть даже информация о том, как сделать печатную плату и корпус.

Последний проект машинного обучения Google создал своё первое произведение искусства — 90-секундную фортепианную мелодию, написанную с помощью «натренированной» нейронной сети на базе всего лишь четырёх предоставленных нот. Оркестровка и барабаны были добавлены уже позже для выразительности.

Это первый полноценный продукт программы Magenta, предназначенной для создания произведений искусства и музыки с помощью систем машинного обучения. Программа была представлена на недавнем фестивале Moogfest.

Google рассказала о целях проекта Magenta. Так, в долгосрочной перспективе компания хочет развить создаваемое машинами искусство и построить вокруг него сообщество художников и музыкантов. Однако в краткосрочной перспективе это означает создание генеративных систем, которые можно сочетать с уже используемыми людьми инструментами. «Мы начнём с поддержки аудио и видео, инструментов для работы с форматами вроде MIDI, а также с платформ, помогающих художникам взаимодействовать с моделями машинного обучения», — написала команда разработчиков Magenta.

Программа Google создана на базе системы с открытым исходным кодом TensorFlow. Исходный код Magenta в будущем также планируют опубликовать на GitHub. «Мы верим, что эта сфера находится в периоде своего становления, и ждём её быстрого развития», — пишут разработчики.

Google уже не в первый раз экспериментирует с созданием произведений искусств посредством систем машинного обучения. Так, алгоритм DeepDream, изначально разработанный для визуализации действий нейронных сетей, стал популярным инструментом для создания картинок — на его основе даже была проведена выставка.