Исследовательский проект Google под названием Magenta, который с помощью ИИ помогает людям проявлять своё творческое начало, представил экспериментальный музыкальный инструмент с открытым исходным кодом NSynth Super. Он использует нейронную сеть NSynth, способную генерировать различные звуки.

NSynth Super — устройство, которое раскрывает потенциал нейронной сети. Как говорит научный сотрудник Google Brain Дуглас Эк (Douglas Eck), NSynth создаёт не ноты, а непосредственно звуки инструмента. Алгоритм изучает ключевые качества того, из чего состоит отдельный звук, и может комбинировать эти звуки, создавая тем самым нечто совершенно новое.

Устройство, на котором Google предлагает экспериментировать с алгоритмом, имеет площадку управления, каждый сектор которой можно привязать к определённому инструменту. Звуки этих инструментов можно комбинировать, водя пальцем по площадке. Но NSynth Super не просто накладывает друг на друга существующие звуки — система синтезирует совершенно новые, основываясь на акустических качествах отдельных инструментов.

NSynth Super может работать с любым источником MIDI-звука, будь то цифровая звуковая рабочая станция, секвенсор или клавишный синтезатор. Устройство позволяет настраивать некоторые параметры звука — например, атаку, спад, поддержку и затухание.

Google не даёт возможности купить NSynth Super, но предлагает инструкцию по созданию собственного устройства на базе Raspberry Pi. Есть даже информация о том, как сделать печатную плату и корпус.

Исследователи Google разработали технологию на основе искусственного интеллекта, способную создавать звуки, которые человек никогда не слышал. Создатели системы — Джесси Энгель (Jessie Engel), Синьон Резник (Cinjon Resnick) и другие члены команды Google Brain. Технология называется NSynth, или Нейронный синтезатор, и описывается как «новый подход к синтезу музыки, призванный поспособствовать творческому процессу».

Может показаться, что с помощью NSynth исследователи просто одновременно играют на двух инструментах или накладывают звуки один на другой, но на самом деле это не так. Программное обеспечение создаёт совершенно уникальные звуки, используя «математические характеристики нот», которые производят разные инструменты. NSynth поддерживает около тысячи инструментов — от скрипки до диджериду.

«В отличие от традиционного синтезатора, который создаёт звук из созданных вручную компонентов вроде осцилляторов и волновых таблиц, NSynth использует глубокие нейронные сети для создания звуков на уровне отдельных образцов, — написала команда. — NSynth учится непосредственно на данных, даёт исполнителям интуитивный контроль над тембром и динамикой и возможность находить новые звуки, которые было бы сложно или невозможно воспроизвести с помощью настроенного вручную синтезатора».

Музыкальный критик Марк Вайденбаум (Marc Weidenbaum) рассказал, что идея не нова, но гораздо более искусна, чем когда-либо прежде. «В смешивании инструментов нет ничего нового, — заявил он. — В художественном плане это может позволить создать ряд интересных вещей, и, поскольку это Google, они будут интересны людям».

«Мы хотели разработать творческий инструмент для музыкантов и дать новую задачу сообществу машинного обучения, чтобы простимулировать исследования в сфере генеративных моделей музыки», — говорят разработчики NSynth.

Google Brain покажет технологию на фестивале Moogfest, который пройдёт с 18 по 21 мая в Дареме, что в Северной Каролине.

Исследователи проекта по глубокому обучению Google Brain уже научили искусственный интеллект создавать произведения искусства, однако теперь они переходят к чему-то куда более зловещему: генерируемым искусственным интеллектом и независимым от человека системам шифрования. Исследователи Мартин Абади (Martin Abadi) и Девид Андерсен (David Andersen) дали возможность трём тестовым субъектам — нейронным сетям под именами Алиса, Боб и Ева — передать друг другу сообщения, используя метод шифрования, созданный ими самими.

Как сообщает New Scientist, Абади и Андерсен дали каждой нейронной сети свои задачи: Алиса должна была отправить тайное сообщение, которое мог бы прочесть только Боб, в то время как Ева должна была попытаться самостоятельно расшифровать это сообщение и узнать его содержание. Эксперимент начался с простого текстового сообщения, которое Алиса конвертировала в нечитаемую бессмыслицу и которое Боб мог расшифровать с помощью специального ключа. Сначала Алисе и Бобу плохо удавалось скрывать свои секреты, однако после 15 тысяч попыток Алиса выработала свою собственную стратегию шифрования, а одновременно с этим Боб разработал свою стратегию расшифровки. Длина сообщения составила всего 16 бит (каждый бит был либо единицей, либо нулём), поэтому тот факт, что Еве удалось разгадать лишь половину сообщения, означает, что она либо бросала монетку, либо просто угадывала.

Конечно, олицетворение этих трёх нейронных сетей всё немного упрощает. Из-за специфики ИИ даже исследователи не знают, какой метод шифрования использовала Алиса, поэтому эксперимент пока несёт в себе не очень много практической пользы. Однако это всё ещё очень интересное упражнение, которое можно было бы развить, например, с помощью недавно вышедшей второй версии фреймворка глубокого обучения Cognitive Toolkit от Microsoft.