Теги → deepmind
Быстрый переход

Blizzard добавит искусственный интеллект AlphaStar в рейтинговый режим StarCraft II

Компания Blizzard добавит экспериментальную версию искусственного интеллекта AlphaStar от компании DeepMind в рейтинговый режим StarCraft II. Согласно заявлению на сайте студии, он будет добавлен на ограниченное количество матчей. Тестирование пройдёт на европейском сервере.

AlphaStar анонимно сыграет ряд матчей с игроками. Пользователи не будут знать, что они сражаются с искусственным интеллектом. На ИИ будут наложены определённые ограничения, которые были введены после общения с профессиональными игроками. Никаких уникальных наград за победу над нейросетью не будет — в зависимости от победы или поражения рейтинг изменится так, как и в обычном матче.

Разработчики рассказали, что решили запустить ИИ анонимно в целях объективности эксперимента. На платформе StarCraft II будет протестировано несколько версий AlphaStar, чтобы всесторонне оценить работу нейросети. После окончания эксперимента компания опубликует записи матчей.

В январе 2019 года DeepMind и Blizzard провели серию шоу-матчей между ИИ AlphaStar и профессиональными игроками в StarCraft II. Сначала нейросеть одержала победу со счётом 10:0, но на используемую версию бота не действовал туман войны, что позволяло ему наблюдать за действиями киберспортсменов. Версия без этой функции уступила Гжегожу MaNa Коминчу со счётом 0:1.

ИИ DeepMind освоил командную игру и превзошёл человека в Quake III

Захват флага — достаточно простой соревновательный режим, реализованный во многих популярных шутерах. У каждой команды есть некий маркер, расположенный на её базе, и цель состоит в том, чтобы захватить маркер соперников и успешно доставить его к себе. Однако то, что легко понимают люди, не так легко даётся машинам. Для захвата флага неигровые персонажи (боты) традиционно программируются с помощью эвристики и несложных алгоритмов, предоставляющих ограниченную свободу выбора и значительно уступающие людям. Но искусственный интеллект и машинное обучение обещают полностью перевернуть эту ситуацию.

В статье, опубликованной на этой неделе в журнале Science примерно через год после препринта, а также в своём блоге, исследователи из DeepMind, лондонской дочерней компании Alphabet, описывают систему, способную не только научиться играть в захват флага на картах Quake III Arena от id Software, но и разрабатывать совершенно новые командные стратегии, ни в чём не уступая человеку.

Игроки, обучающие ИИ игре на ранних этапах исследования

Игроки обучают ИИ на ранних этапах исследования. Первоначально для обучения использовались карты Quake III с упрощённым дизайном уровней

«Никто не рассказал ИИ, как играть в эту игру, у него был только результат — победил ИИ своего противника или нет. Прелесть использования подобного подхода в том, что вы никогда не знаете, какое поведение возникнет при обучении агентов», — рассказывает Макс Джадерберг (Max Jaderberg), научный сотрудник DeepMind, который ранее работал над системой машинного обучения AlphaStar (недавно она превзошла человеческую команду профессионалов в StarCraft II). Далее он объяснил, что ключевой метод их новой работы — это, во-первых, усиленное обучение, которое использует своеобразную систему наград для подталкивания программных агентов к выполнению поставленных целей, причём система наград работала независимо от того, выиграла команда ИИ или нет, а во-вторых, обучение агентов производилось в группах, что принуждало ИИ осваивать командное взаимодействие с самого начала.

«С исследовательской точки зрения это новинка для алгоритмического подхода, которая действительно впечатляет, — добавил Макс. — Способ, которым мы обучали наш ИИ, хорошо показывает, как масштабировать и реализовать некоторые классические эволюционные идеи».

Схема агентской архитектуры For The Win (FTW). Агент объединяет повторяющиеся нейронные сети (RNN) в быстрых и медленных временных масштабах, включает в себя модуль общей памяти и изучает преобразование игровых очков во внутреннее вознаграждение.

Схематичное изображение архитектуры агентов FTW. Агент объединяет две  рекуррентные нейронные сети (RNNs) для быстрых решений и медленного анализа, включает в себя модуль общей памяти и изучает преобразование игровых очков во внутреннее вознаграждение

Агенты DeepMind, получившие вызывающее название — For The Win (FTW), учатся непосредственно на экранных пикселях, используя свёрточную нейронную сеть, набор математических функций (нейронов), расположенных в слоях, смоделированных по аналогии со зрительной корой мозга человека. Полученные данные передаются в две сети с многократной кратковременной памятью (англ. long short-term memory — LSTM), способные распознавать долгосрочные зависимости. Одна из них управляет оперативными данными с быстрой скоростью реакции, а другая работает медленно для анализа и формирования стратегий. Обе связаны с вариационной памятью, которую они совместно используют для прогнозирования изменений игрового мира и выполнения действий через эмулируемый игровой контроллер.

Посмотрите, как наши агенты представляют игровой мир. На приведенном выше графике паттерны нейронной активации в данный момент времени показаны в зависимости от того, насколько они похожи друг на друга: чем ближе две точки находятся в пространстве, тем больше сходны паттерны их активации. Затем они раскрашиваются в соответствии с игровой ситуацией в то время - тот же цвет, та же ситуация. Мы видим, что эти паттерны нейронной активации организованы и образуют цветные кластеры, что указывает на то, что агенты представляют значимые аспекты игрового процесса в стереотипной, организованной форме. Обученные агенты даже демонстрируют некоторые искусственные нейроны, которые кодируют непосредственно для конкретных ситуаций.

Как ИИ видит игровой мир? Паттерны нейронной активации показаны в зависимости от того, насколько они похожи друг на друга: чем ближе две точки находятся в пространстве, тем вероятнее применение одного и того же паттерна. Паттерны организованы и образуют цветные кластеры, что указывает на то, что агенты представляют значимые аспекты игрового процесса в стереотипной, организованной форме. Обученные агенты даже демонстрируют некоторые искусственные нейроны, которые кодируют конкретные игровые ситуации

В общей сложности DeepMind обучила 30 агентов, учёные дали им ряд товарищей по команде и противников, с которыми можно было играть, а игровые карты выбирались случайным образом, чтобы ИИ не запоминал их. Каждый агент имел свой собственный сигнал вознаграждения, позволяющий ему создавать свои внутренние цели, например, захват флага. Каждый ИИ по отдельности сыграл около 450 тыс. игр на захват флага, что эквивалентно примерно четырём годам игрового опыта.

Полностью обученные агенты FTW научились применять стратегии, общие для любой карты, списка команд и их размеров. Они обучились человеческому поведению, такому как следование за товарищами по команде, размещение в лагере на базе противника и защита своей базы от нападающих, а также они постепенно утратили менее выгодные модели, например, слишком внимательное наблюдение за союзником.

Прогресс навыков ИИ в процессе обучения. Примерно после 225 тыс. игр агенты сравнялись в навыках и рейтинге Эло с профессиональными игроками

Так каких же удалось добиться результатов? В турнире с участием 40 человек, в котором люди и агенты случайным образом играли как вместе, так и друг против друга, агенты FTW значительно превзошли коэффициент побед у игроков-людей. Рейтинг Эло, который соответствует вероятности выигрыша, у ИИ составил 1600, по сравнению с 1300 у «сильных» игроков-людей и 1050 у «среднего» игрока-человека.

Создание искусственной задержки в скорости реакции не дало людям преимущества перед ИИ

Создание искусственной задержки в скорости реакции не дало людям преимущества перед ИИ

Это не удивительно, так как скорость реакции ИИ значительно выше, чем у человека, что давало первому значимое преимущество в первоначальных экспериментах. Но даже когда точность агентов была уменьшена, а время реакции увеличено благодаря встроенной задержке в 257 миллисекунд, ИИ всё равно превзошёл людей. Продвинутые и обычные игроки выиграли только 21 % и 12 % игр от общего числа соответственно.

Навыки ИИ оказались применимы и к полноценным картам Quake III, а не только к упрощённым, которые использовались для обучения

Более того, после публикации исследования учёные решили испытать агентов на полноценных картах Quake III Arena со сложной архитектурой уровней и дополнительным объектами, таких как Future Crossings и Ironwood, где ИИ начал успешно оспаривать первенство людей в тестовых матчах. Когда исследователи изучили схемы активации нейронных сетей у агентов, то есть функции нейронов, ответственных за определение выходных данных на основе входящей информации, они обнаружили кластеры, представляющие собой комнаты, состояние флагов, видимость товарищей по команде и противников, присутствие или отсутствие агентов на базе противника или на базе команды, и другие значимые аспекты игрового процесса. Обученные агенты даже содержали нейроны, которые кодировали непосредственно конкретные ситуации, например, когда флаг взят агентом или когда его держит союзник.

«Я думаю, что одна из вещей, на которые стоит обратить внимание, заключается в том, что эти многоагентные команды являются исключительно мощными, и наше исследование демонстрирует это, — говорит Джадерберг. — Это то, что мы учимся делать лучше и лучше за последние несколько лет — как решить проблему обучения с подкреплением. И обучение с подкреплением действительно показало себя блестяще».

Тор Грэпел (Thore Graepel), профессор компьютерных наук в Университетском колледже Лондона и ученый из DeepMind, уверен, что их работа подчёркивает потенциал многоагентного обучения для развития ИИ в будущем. Также она может послужить основой для исследований взаимодействия человека с машиной и систем, которые дополняют друг друга или работают вместе.

«Наши результаты показывают, что многоагентное обучение с подкреплением может успешно освоить сложную игру до такой степени, что игроки-люди даже приходят к мнению, что компьютерные игроки — лучшие товарищи по команде. Исследование также предоставляет крайне интересный углубленный анализ того, как обученные агенты ведут себя и работают вместе рассказывает Грэпел. — Что делает эти результаты такими захватывающими, так это то, что эти агенты воспринимают своё окружение от первого лица, [то есть] так же, как человек-игрок. Чтобы научиться играть тактически и сотрудничать со своими товарищами по команде, эти агенты должны были полагаться на обратную связь с результатами игры, без какого-либо учителя или тренера, показывающего им, что нужно делать».

Машины атакуют: ИИ от DeepMind превзошёл профессиональных игроков в StarCraft II

StarCraft II ещё с ноября 2016 года стала площадкой для экспериментов сотрудников DeepMind (подразделение Alphabet) в области искусственного интеллекта. В августе 2017 года DeepMind вместе с Blizzard позволили исследовать ИИ с помощью StarCraft II всем желающим в открытом окружении, выпустив ряд новых инструментов. В ноябре того же года в Сеуле, в Университете технологии и науки Южной Кореи был проведён турнир между профессионалами и ИИ в этой RTS. Тогда люди всё ещё оказались лучше машин, но прогресс не стоит на месте, так что теперь даже самым изощрённым корейским игрокам есть о чём переживать при игре против компьютера.

Люди склонны считать, что весьма искусны в играх, которые создают, но компьютеры снова и снова доказывают, что человеческий разум и его реакция попросту недостаточно быстры, чтобы совладать с вычислительной мощью компьютерных алгоритмов. Машины одержали победу над лучшими из людей в области шахмат, телевикторины Jeopardy! или даже го (одной из самых сложных настольных игр в мире). Принадлежащая Google команда DeepMind, по сути, взяла верх в ещё одной дисциплине — стратегии в реальном времени StarCraft II. Всего через 18 месяцев после начала тренировок и работы над созданием подходящего алгоритма DeepMind удалось представить искусственный интеллект, который убедительно превосходит лучших в мире игроков в StarCraft II.

DeepMind назвала своего цифрового чемпиона по го именем AlphaGo, так что бот, превосходно играющий в StarCraft II, получил аналогичное прозвище — AlphaStar. За плечами этого алгоритма — более 200 лет практики. Ещё на последней конференции Blizzcon в ноябре команда DeepMind сказала, что её платформа машинного обучения смогла примерно вдвое превзойти сложность «Безумно» у компьютерных соперников, доступных игрокам в StarCraft II. С тех пор она стала ещё опаснее.

AlphaStar — это свёрточная нейронная сеть. Команда начала с повторов профессиональных матчей, дав AlphaStar отправную точку для начала игры. Благодаря интенсивным тренировкам с конкурирующими моделями, DeepMind смогла научить AlphaStar играть в игру так же, как и лучшие игроки из числа людей. Со временем она сократила набор ИИ до пяти лучших «агентов», и именно в таком виде бросила его против самых опытных в мире игроков StarCraft II.

Матчи состоялись в декабре, а на недавней интернет-трансляции в основном демонстрировались записи. Вначале AlphaStar сражался с игроком, известным под псевдонимом TLO, который в основном играет за зергов в StarCraft II. Тем не менее, ему пришлось выбрать протоссов, поскольку AlphaStar пока натренирован только против этой расы. Это было больше похоже на избиение: несмотря на все усилия TLO, AlphaStar победил человека пять раз подряд. Затем другой агент AlphaStar выступил против опытного игрока-протосса под ником MaNa. В некоторых матчах человек был близок к победе, но AlphaStar всё же снова выиграл пять игр подряд. Также MaNa боролся с новым агентом AlphaStar в прямом эфире, и на этот раз ему удалось одержать победу над машиной.

AlphaStar продемонстрировал впечатляющий уровень микроуправления войсками на протяжении всех матчей. Он быстро отодвигал повреждённые отряды в тыл, выдвигая более сильных на передовую линию. AlphaStar также контролировал темп битвы, продвигая отряд вперёд и отступая в нужное время, чтобы нанести урон, получая при этом меньше повреждений. Причём речь шла не о превосходстве в количестве прямых действий в минуту (APM) — показатель APM у AlphaStar существенно ниже, чем у игроков-людей: алгоритм просто совершал более разумные действия.

ИИ также использовал некоторые любопытные стратегические приёмы. Алгоритм часто отправлял отряды на возвышенности — это опасно в StarCraft II, поскольку из-за «тумана войны» игрок не видит, что его там ждёт, пока не поднимется. Тем не менее, это как-то сработало. AlphaStar также отказался от проверенной тактики блокировки входа на базу стеной зданий. Это основная тактика в StarCraft II, но ИИ не беспокоился об этом и всё же сумел защитить свои базы.

Только в финальном матче в прямом эфире человек смог обнаружить изъян в одном из агентов. Эта версия AlphaStar решила перебросить почти всю свою армию как единое целое, чтобы смести базу MaNa. Тем не менее, последний смог несколько раз переместить нескольких своих бойцов в тыл базы AlphaStar. Каждый раз в таком случае AlphaStar поворачивал всю свою армию, чтобы справиться с угрозой. Это дало MaNa достаточно времени, чтобы усилиться и дать достойный отпор ИИ.

В итоге AlphaStar выиграл 10 матчей против профессиональных игроков и проиграл только один. Если алгоритм сможет обучиться на основе последнего матча, в следующий раз он может оказаться вовсе непобедимым.

ИИ-система DeepMind способна диагностировать более 50 глазных болезней

Последние два года DeepMind, ИИ-компания во владении Alphabet, пыталась разработать новый способ обнаружения заболеваний глаз, способных лишить человека зрения. Теперь исследователи, наконец, поделились достигнутыми результатами — их система умеет диагностировать более 50 болезней не хуже, чем профессиональные доктора.

DeepMind создала из двух нейронных сетей систему, которая может анализировать результаты оптической когерентной томографии (ОКТ). Они представляют собой трёхмерные изображения глаза, которые специалисты осматривают на наличие признаков заболеваний.

Сначала сегментационная нейронная сеть анализирует результат ОКТ и ищет различные типы болезней глаз и их симптомы. Затем ещё одна сеть, классификационная, определяет диагноз и рекомендует лечение.

Система создана таким образом, что врачи могут просматривать сгенерированные карты и узнавать вероятность выдачи тех или иных рекомендаций по лечению. Так становится понятно, почему и как программа сделала то или иное заключение.

DeepMind завершила первый этап исследовательского партнёрства со специализированной английской больницей Moorfields Eye Hospital. Если технология пройдёт клинические испытания, то будет введена в 30 здравоохранительных учреждениях, которые обслуживают около 300 тысяч пациентов в год.

В компании отметили, что её технология может быть использована и с другими сканерами глаз. Поэтому число заболеваний, которые система способна обнаружить, может сильно увеличиться.

DeepMind, Илон Маск и другие пообещали не создавать автономное оружие

Во время Объединённой конференции по искусственному интеллекту (Joint Conference on Artificial Intelligence) некоммерческая организация Future of Life Institute сообщила, что более 2,4 тысяч человек и 160 компаний из 90 стран подписали документ, в котором пообещали «не участвовать и не поддерживать разработку, производство, торговлю или использование смертельного автономного оружия».

Участники также призвали ввести запрет на такое оружие. Среди подписавших документ — DeepMind и её сооснователи Демис Хассабис (Demis Hassabis), Шейн Легг (Shane Legg) и Мустафа Сулейман (Mustafa Suleyman), а также Xprize Foundation и Илон Маск (Elon Musk).

То, ради чего некоторые компании предоставляют свои технологии правоохранительным органам, напрямую связано с обещанием не создавать автономное оружие. Google ранее раскритиковали из-за помощи Пентагону в создании технологий для военных дронов. Amazon поделилась с правительством системой распознавания лиц, что тоже не осталось незамеченным. А Microsoft обвинили в обслуживании Иммиграционной и таможенной полиции США.

В документе говорится, что «смертельное автономное оружие может стать мощным инструментом насилия и угнетения, особенно если связано с системами наблюдения и данных» и что «решение забрать человеческую жизнь никогда не должна принимать машина».

«Я рад видеть, что лидеры в области ИИ переходят от слов к действиям и реализуют систему правил, которую так и не смогли воплотить в жизнь политики, — заявил президент Future of Life Institute Макс Тегмарк (Max Tegmark). — ИИ сможет сильно помочь миру, если мы предотвратим злоупотребление им. ИИ-оружие, которое автономно решает убить человека, настолько же отвратительно и обескураживающе, как биологическое оружие, и разбираться с ним следует точно так же».

Новая статья: Самые интересные AI-решения и проекты 2017 года

Данные берутся из публикации Самые интересные AI-решения и проекты 2017 года

DeepMind и Blizzard позволили исследовать ИИ с помощью StarCraft II

Сотрудники DeepMind использовали StarCraft II в своих исследованиях и раньше. В ноябре британская компания, находящаяся во владении Alphabet, взяла стратегию от Blizzard на вооружение и собралась создать открытое окружение для исследования искусственного интеллекта. Так она намеревалась разработать виртуального полководца, который смог бы обыграть лучших игроков в StarCraft II. Теперь DeepMind и Blizzard открыли доступ к окружению всем желающим. Также они выпустили новые инструменты, включая API машинного обучения, большой набор данных с игровыми повторами и набор инструментов DeepMind с открытым исходным кодом.

Blizzard выпустила сборку API игры для Linux, которая может работать в облаке, а также добавила поддержку Windows и macOS. Интерфейс программирования приложений теперь поддерживает офлайн-матчи ИИ против ИИ. А обучать виртуальных агентов разработчики могут с помощью анонимных записей игр реальных пользователей. На момент запуска база повторов включала 65 тысяч матчей, но в ближайшие недели это число вырастет до 500 тысяч.

StarCraft II полезна для исследований в сфере искусственного интеллекта из-за тактической вариативности матчей. Игрокам приходится совершать множество действий в одно и то же время — управлять базой, отслеживать ресурсы, командовать бойцами и так далее. Кроме того, игроки владеют информацией не о всей карте, поэтому им приходится делать предположения и прогнозировать действия противников.

Эти задачи могут быть настолько сложными для ИИ, что DeepMind и Blizzard включили в релиз своеобразные мини-игры. Они разбили различные подзадачи на «управляемые кусочки» — так, агенты по отдельности совершенствуют навыки создания конкретных юнитов, сбора ресурсов и перемещения по карте. Компании надеются, что это позволит им сравнить методы обучения ИИ из разных исследований и отобрать лучшие, прежде чем совместить их и создать сложного агента.

DeepMind открыла первую международную лабораторию в Канаде

Компанию DeepMind, которая занимается исследованиями в сфере искусственного интеллекта, в 2014 году купила Google. Несмотря на это, она была верна своим британским корням: открывала в Великобритании новые офисы, постоянно работала с организациями вроде Национальной службы здравоохранения Англии и даже преподавала в университетах. Теперь компания открыла первый международный офис в канадском городе Эдмонтоне.

Для DeepMind этот выбор естественен. Компания тесно связана с сообществом исследователей Альбертского университета, расположенного в Эдмонтоне. По словам DeepMind, к её рядам присоединилось около десятка выпускников учебного заведения. К тому же фирма несколько лет спонсировала лабораторию машинного обучения университета.

Профессор информатики в Альбертском университете Ричард Саттон (Richard Sutton) был первым внешним консультантом DeepMind. Он возглавит новый офис компании вместе с коллегами Майклом Боулингом (Michael Bowling) и Патриком Пиларски (Patrick Pilarski). К ним присоединятся ещё семь исследователей.

Слева направо: Саттон, Боулинг и Пиларски

Слева направо: Саттон, Боулинг и Пиларски

Саттон — фигура в сообществе искусственного интеллекта значимая. Он известен своей новаторской работой в сфере обучения с подкреплением. Благодаря этой технологии компьютерный агент может самообучаться методом проб и ошибок. А исследователь создаёт для него виртуальную награду. DeepMind использовала вариацию этого метода, известную как глубокое обучение с подкреплением, в самых успешных проектах. Среди них — ИИ, который учится играть в видеоигры.

В пресс-релизе Саттон описал Альбертский университет как «мирового академического лидера в сфере обучения с подкреплением». Он пообещал, что новая лаборатория «значительно ускорит развитие исследовательской экосистемы» и «осуществит целый ряд новых научных прорывов прямо здесь, в Канаде».

Искусственный интеллект Google выиграл первую из трёх игр у сильнейшего игрока в го

Компьютерная программа AlphaGo, созданная разработчиками Google DeepMind холдинга Alphabet (материнская компания Google), победила сильнейшего игрока планеты в го Кэ Цзе (Ke Jie) в первой из трёх намеченных игр в рамках фестиваля Future of Go Summit, проходящего сейчас в Вужене (провинция Чжэцзян, Китай). На игре присутствовал председатель совета директоров холдинга Alphabet Эрик Шмидт (Eric Schmidt) и представители китайских властей.

REUTERS/Stringer

REUTERS/Stringer

Победа над сильнейшим игроком в го, которую, как многие думали, придётся ждать десятилетия, говорит о более широких, чем у человека, возможностях искусственного интеллекта для решения сложнейших задач.

Игра транслировалась в прямом эфире на видеосервисе YouTube, в то время как руководители подразделения DeepMind публиковали обновления по ходу игры в Twitter. Следует отметить, что оба сервиса заблокированы Китаем так же, как и поисковик Google.

REUTERS/Stringer

REUTERS/Stringer

Google прекратила работу поисковика в стране семь лет назад после отказа выполнить требование властей производить цензуру поисковых запросов из Китая. С тех пор он недоступен для жителей Китай из-за ограничений «Великого китайского файрвола».

REUTERS/Stringer

REUTERS/Stringer

Подобные матчи между искусственным интеллектом Google и китайскими мастерами игры го представляют собой попытку компании восстановить сотрудничество с китайскими властями. Google объявила о планах вернуть в Китай некоторые из своих сервисов, включая интернет-магазин Google Play.

Искусственный интеллект AlphaGo снова сразится с лучшим игроком в го

DeepMind анонсировала пятидневный фестиваль Future of Go Summit, в рамках которого лучшие китайские игроки в го объединят силы с программой компании AlphaGo. Мероприятие пройдёт с 23 по 27 мая в городе Вужень, расположенном в провинции Китая Чжэцзян.

Future of Go Summit — совместный проект китайского правительства, ассоциации вэйци, экспертов в сфере искусственного интеллекта Google и Китая и лучших игроков в го. В рамках мероприятия пройдут игры в нескольких форматах. Фестиваль «создан специально для изучения тайн совместной игры», сказал генеральный директор и сооснователь DeepMind Демис Хассабис (Demis Hassabis).

Среди форматов, в которых будут вестись игры на мероприятии — «Парное го». В этом формате сразятся две команды, каждая из которых состоит из профессионального игрока и искусственного интеллекта. В другой дисциплине, «Командное го», AlphaGo будет состязаться с пятью лучшими китайскими игроками. Также в рамках фестиваля пройдут матчи между программой DeepMind и лучшим в мире игроком в го Кэ Цзе (Ke Jie).

«Вместо того, чтобы уничтожить игру, как боялись некоторые, искусственный интеллект на самом деле сделал живых игроков сильнее и креативнее, — заявил Хассабис. — Большое счастье видеть, что профессионалы и любители, которые уделяют внимание каждой детали инновационного игрового процесса AlphaGo, получили новые знания и выучили новые стратегии в, возможно, самой изученной и глубокой игре в истории».

Древняя настольная игра, которая появилась в Китае более двух тысяч лет назад, в прошлом году привлекла внимание мировой общественности, когда AlphaGo одержал победу над профессиональным южнокорейским игроком Ли Седолем (Lee Sedol). Позже искусственный интеллект в онлайн-режиме разгромил и некоторых других лучших игроков.

DeepMind научила ИИ «запоминать» и использовать прошлый опыт

Несмотря на то, что искусственный интеллект всё больше и больше становится похож на интеллект человеческий, есть одна область, в которой он сильно отстаёт: память. Нейронные сети обычно приходится обучать всему, что они должны делать — они не могут использовать имеющийся опыт. Тем не менее, команда исследователей компании DeepMind, принадлежащей Google, надеется это исправить.

Сотрудники DeepMind разработали алгоритм, позволяющий нейронным сетям «запоминать» полученные знания и обучаться благодаря их наличию более эффективно. Похожим образом работает человеческий мозг — исследование даже может помочь получить более полное представление о функционировании нашего разума.

Почти как и в случаях конъюгации хромосом, сохраняющих связи между нейронами, если они были полезны в прошлом, алгоритм под названием Elastic Weight Consideration определяет, насколько большое значение имеет данное соединение для ассоциирующейся с ним задачи. Если дать нейронной сети новый запрос на обучение, то алгоритм сохранит наиболее важные соединения и при необходимости свяжет их с новыми задачами.

В тесте на базе десяти классических игр Atari ИИ не пришлось учиться играть в каждую из них по отдельности. Обучение происходило последовательно — нейронная сеть использовала знания, полученные в одной игре, и применяла их к другой.

Стоит отметить, что технология пока очень «сырая». Нейронная сеть показывает себя лучше, когда натренирована для одной-единственной игры, рассказал исследователь DeepMind Джеймс Киркпатрик (James Kirkpatrick) сайту Wired. Также ИИ пока не может адаптировать к различным ситуациям мгновенно. Тем не менее, исследование показывает, что искусственный интеллект похожими на память функциями наделить вполне реально.

DeepMind проверила ИИ на агрессивность и способность к взаимодействию

По мере развития технологий искусственного интеллекта встаёт вопрос о том, как машины могут вести себя в различных ситуациях. DeepMind, подразделение Google, занимающееся вопросами ИИ, решило выяснить, что произойдёт, если перед двумя или более машинами, оснащёнными искусственным интеллектом, будут поставлены похожие или противоречащие друг другу цели.

Команда разработчиков решила устроить тест, аналогичный ситуации из игры Prisoner's Dilemma, в которой двое подозреваемых оказываются в сложной ситуации. Игроку даётся выбор: дать показания против другого человека и получить заветную свободу, но отправить противника на три года в тюрьму. Тем не менее, если оба обвинят друг друга, то и первый, и второй персонаж получают два года заключения.

Чтобы проверить искусственный интеллект, DeepMind разработала две игры — Gathering и Wolfpack. В первой перед двумя цветными квадратами поставлена цель собрать яблоки (зелёные квадраты) в центре экрана, причём каждый из игроков может использовать лазер, при точном попадании уничтожающий противника. Сперва оба персонажа собирали яблоки довольно мирно и размеренно, но по мере уменьшения количества красных квадратов они становились всё агрессивнее и всё чаще стреляли друг в друга.

Как и в Prisoner's Dilemma, в Gathering компьютер должен был решить, атаковать ли противника. Любопытно, что персонажи становились враждебнее по мере того, как возрастала их вычислительная мощность. Причина этого кроется в том, что прицеливание — это сложный процесс, включающий в себя расчёт времени и слежение за движениями противника. Игнорирование и простой сбор фруктов проще, но потенциально замедляет путь к успеху. В результате ИИ с более низкими когнитивными способностями прибегал именно к этой базовой стратегии.

В Wolfpack два компьютерных персонажа должны были совместными силами поймать третьего, постоянно убегающего. Перед партнёрами возникают препятствия в виде блоков, поэтому им приходится решать, когда и как подходить к оппоненту. В данном случае более высокие когнитивные способности приводили к нормальному кооперированию. Следовательно, поведение искусственного интеллекта зависит от его цели и того, что требуется для её достижения.

ИИ Google теперь читает по губам лучше, чем человек

Исследователи из Google DeepMind и Оксфордского университета использовали искусственный интеллект для создания наиболее точного на сегодняшний день программного обеспечения для чтения по губам. Для тренировки нейронной сети учёные использовали тысячи часов записей с BBC, благодаря чему система научилась с вероятностью в 46,8 % определять то, что говорят люди на экране. Результаты могут показаться не такими уж и впечатляющими, особенно если учесть точность транскрибирования искусственным интеллектом аудиозаписей, однако профессионал в чтении по губам смог правильно определить слова в тех же видеороликах лишь в 12,4 % случаев.

Другая группа исследователей из Оксфордского университета ранее в этом месяце отчиталась о похожем проекте. Используя аналогичные технологии, они сумели создать программу LipNet, которая в тестах показала точность в 93,4 %, в то время как точность определения слов человеком составила 52,3 %. Однако программа эта тестировалась только на специально записанном для неё видео, в котором волонтёры зачитывали шаблонные фразы. В свою очередь, программное обеспечение DeepMind, называемое Watch, Listen, Attend, and Spell, транскрибировало естественные, неподготовленные диалоги из политических передач с канала BBC.

Для тренировки нейронной сети использовалось более пяти тысяч часов записей из таких телевизионных шоу, как Newsnight, Question Time и World Today. Ролики включали в себя 118 тысяч различных предложений и около 17,5 тысяч уникальных слов, в то время как в базе видеороликов для тестирования LipNet присутствовало всего 51 уникальное слово.

Исследователи из DeepMind считают, что их новая программа может быть полезна в целом ряде случаев — например, в помощи людям со слабым слухом в понимании диалогов. Она также могла бы быть использована для аннотирования немых фильмов или управления голосовыми помощниками посредством проговаривания слов на камеру.

DeepMind и Blizzard работают над версией StarCraft 2 для обучения ИИ

На BlizzCon 2016 о совместном сотрудничестве объявили две компании — DeepMind, в 2014 году приобретённая Google, и Blizzard Entertainment. В рамках этого партнёрства они будут работать над версией StarCraft 2, направленной на развитие искусственного интеллекта и машинного обучения. Однако проект создаётся не просто для того, чтобы научить ИИ играть в одну из самых известных стратегий в реальном времени. Идея в том, чтобы создать в игре «комфортное» для искусственного интеллекта окружение: что-то, что позволит искусственному интеллекту с помощью ряда функций понимать эту сложную во многих планах игру.

Например, человек уже знает, для чего нужна панель здоровья и как отличать человеческих пехотинцев от зондов протоссов. Однако ИИ пришлось бы изучать всё это методом проб и ошибок. Намного быстрее обучение происходило бы, если бы в игре присутствовали какие-то намёки на то, как вычленять врагов среди юнитов, как развивать своих юнитов и так далее.

В видеоролике ниже показана ранняя версия проекта, в которой продемонстрированы различные варианты того, как ИИ распознаёт действия на экране. Такая «шпаргалка» поможет компьютеру концентрироваться на более важных вещах: расчёте необходимого количества рабочих, определении нужного момента для приостановки добычи газа и так далее.

По мере игры и просмотра повторов ИИ будет собирать знания о стратегии, тактике и макроконтроле, а также учиться максимально эффективно использовать свои сверхспособности в быстрых схватках. Как и человеку, ИИ придётся научиться правильно перемещаться по сложному внутриигровому пространству и постоянно применять навыки планирования и долговременной памяти. Также машина должна будет координировать щелчки мышью и перемещение камеры и правильно распределять доступные ресурсы для таких простых действий, как расширение базы.

Более того, DeepMind и Blizzard работают над учебными сценариями, в которых ИИ будет сталкиваться со всё более сложными задачами. Это позволит исследователям в любой момент проверять работоспособность различных алгоритмов и улучшений. Также исследователи смогут создавать свои задачи для ИИ с помощью существующего инструментария StarCraft 2.

Google добилась прорыва в области синтеза речи с помощью ИИ

В настоящее время довольно просто понять, говорит ли реальный человек, или же речь идёт об искусственном преобразовании текста в речь. Но может пройти не так много времени, когда робот может заставить поверить в то, что разговор ведётся с настоящим человеком — всё благодаря новому искусственному интеллекту WaveNet, разработанному командой Google DeepMind.

DeepMind ранее уже не раз отличилась в создании успешных алгоритмов нейронных сетей — например, команда создала искусственный интеллект AlphaGo, который оказался весьма хорош при игре в го и обошёл одного из лучших игроков в эту настольную игру.

PASIEKA/Science Photo Library

PASIEKA/Science Photo Library

В настоящее время разработчики используют два основных метода для создания программ генерации человеческой речи. Один подразумевает использование огромной коллекции слов и фрагментов речи, произнесённых одним человеком, из-за чего сложно манипулировать со звуками и интонациями голоса. Другой формирует слова электронно, в зависимости от того, как они должны звучать — интонации здесь задавать проще, но результат звучит гораздо менее естественно.

Чтобы создать синтезатор, звучащий близко к человеческой речи, команда в качестве входящих данных передала нейронной сети аудиозаписи реальных людей. WaveNet обучается соответствию текста определённым формам колебаний волны и затем на основании этой базы знаний формирует из текстовых отрывков отдельные звуковые волны.

Участвовавшие в тестировании люди оценивали новый метод в сравнении с другими алгоритмами на слух. Предпочтение было отдано WaveNet — этот ИИ звучал наиболее «по-человечески» из всех представленных. DeepMind заявляет, что их метод сокращает дистанцию между самыми лучшими синтезаторами и настоящей человеческой речью более чем вдвое. В эксперименте участвовали тексты на английском и китайском. Команда, впрочем, отмечает, что пока WaveNet не может применяться в приложениях, зато можно ознакомиться с образцами синтезированной речи на сайте DeepMind.

window-new
Soft
Hard
Тренды 🔥