Сегодня 23 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Microsoft представила ИИ-агента Magma для управления приложениями и реальными роботами

Разработчики из Microsoft Research представили мультимодальную языковую ИИ-модель Magma, которая способна обрабатывать визуальные и текстовые данные для управления программными интерфейсами и роботизированными системами. Если алгоритм после тестирования выйдет за пределы Microsoft, то это может стать важным шагом на пути к созданию универсального мультимодального ИИ, способного работать как в цифровом, так и в реальном пространстве.

 Деомнтсрация того, как Magma управляет роботизированной рукой / Источник изображения: Microsoft Research

Демонстрация того, как Magma управляет роботизированной рукой / Источник изображения: Microsoft Research

Microsoft утверждает, что Magma является первой ИИ-моделью, которая способна не только обрабатывать мультимодальные данные (например, текст, изображения, видео), но и умеет выполнять действия на их основе, будь то навигация по пользовательскому интерфейсу или манипулирование физическими объектами. Разработка алгоритма Magma велась совместными усилиями разработчиков из Microsoft, KAIST, Университета Мэриленда, Висконсинского университета в Мэдисоне и Университета Вашингтона.

Ранее уже были реализованы проекты в сфере робототехники, основой которых становились большие языковые модели (LLM). К таким работам можно отнести проекты PALM-E и RT-2 от Google или ChatGPT for Robotics от Microsoft, где ИИ-системы были задействованы для управления программными интерфейсами.

 Комбинированный график, демонстрирующий возможности Magma / Источник изображения: Microsoft Research

Комбинированная схема, демонстрирующая возможности Magma / Источник изображения: Microsoft Research

В отличие от многих уже созданных мультимодальных алгоритмов, требующих использования отдельных моделей для восприятия и управления, в Magma эти способности объединены внутри единой базовой ИИ-модели. Microsoft позиционирует Magma, как существенный шаг на пути создания единого ИИ-агента, т.е. системы, способной автономно разрабатывать планы действий и выполнять многоэтапные задачи от имени человека, а не просто отвечать вопросы о том, что она видит.

«Учитывая описанную цель, Magma способна формулировать планы и выполнять действия для их достижения. Эффективно передавая знания, извлекаемые из свободно доступных визуальных и языковых данных, Magma объединяет вербальный, пространственный и временной алгоритмы для навигации по сложным задачам и обстановке», — говорится в сообщении исследователей из Microsoft.

 Источник изображения:  Microsoft Research

Источник изображения: Microsoft Research

ИИ-модель Magma включает в себя два технических компонента: Set-of-Mark (идентифицирует объекты, которыми можно манипулировать в среде, присваивая цифровые метки интерактивным элементам, таким как нажимаемые кнопки в пользовательском интерфейсе или захватываемые объекты в рабочем пространстве роботов) и Trace-of-Mark (позволяет алгоритму выполнять такие задачи, как навигация по пользовательским интерфейсам или управление роботизированными руками для захвата и перемещения объектов).

Один из участников проекта рассказал, что название алгоритма Magma расшифровывается как M(ultimodal) Ag(entic) M(odel) at Microsoft (Rese)A(rch). В описании алгоритма Microsoft утверждает, что Magma-8B демонстрирует конкурентоспособные результаты в бенчмарках, показывая высокие результаты в задачах навигации по пользовательскому интерфейсу и манипулировании роботами.

Так в бенчмарке VQAv2 алгоритм Magma получил 80,0 баллов за визуальные ответы на вопросы, что выше результата GPT-4V (77,2 балла), но ниже показателя LLaVA-Next (81,8 балла). Показатель алгоритма POPE в 87,4 балла в настоящее время является абсолютно лучшим среди ИИ-моделей, участвовавших в сравнении. Отмечается, что в сфере манипулирования роботами Magma превосходит OpenVLA.

 Источник изображения: Microsoft Research

Источник изображения: Microsoft Research

По заявлениям разработчиков, Magma отличается от аналогов вроде GPT-4V тем, что выходит за рамки так называемого «вербального интеллекта» и включает в себя «пространственный интеллект», т.е. возможность планирования и выполнения действий. Обучаясь на смеси изображений, видео, робототехнических данных и взаимодействий с пользовательским интерфейсом, Magma, по сути, является полноценным мультимодальным ИИ-агентом, а не просто перцептивной моделью.

Как и все ИИ-модели, Magma не совершенна. Документация Microsoft указывает на то, что алгоритм по-прежнему сталкивается с техническими ограничениями при принятии сложных пошаговых решений, требующих многократного выполнения действий в течение определённого времени. Microsoft продолжает работать над улучшением алгоритма. Софтверный гигант намерен выложить исходный код Magma и другую документацию на GitHub, чтобы сторонние исследователи могли использовать эти наработки для реализации собственных проектов.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
«Google Фото» научилось оживлять фото и стилизовать изображения с помощью ИИ 2 мин.
Трамп представил план тотального внедрения ИИ во все сферы жизни американцев 45 мин.
YouTube добавил ИИ-инструменты для создания роликов Shorts из фото или текста 47 мин.
«Каждый заслуживает постоянный доступ к играм, за которые заплатил»: Owlcat Games поддержала движение Stop Killing Games 2 ч.
В Firefox 141 исправили 18 уязвимостей и добавили сортировку вкладок силами ИИ 2 ч.
Проверенный инсайдер подтвердил дату выхода и цену Battlefield 6 на ПК и консолях, а Electronic Arts показала тизер сюжетной кампании 2 ч.
Блокировка Windows и буфер обмена станут доступны прямо из Android — Microsoft улучшит приложение «Связь с телефоном» 3 ч.
ИИ способны тайно научить друг друга быть злыми и вредными, показало новое исследование 4 ч.
AWS ограничила доступ к среде разработки Kiro с ИИ из-за её чрезмерной популярности 4 ч.
Microsoft тоже посчитала стоимость The Outer Worlds 2 слишком высокой — игра будет продаваться за $70, а не за $80 4 ч.
Ловкость рук и никакого мошенничества: Meta показала прототип браслета, который позволит управлять ПК с помощью жестов 2 ч.
Apple запустила страховку AppleCare One для трёх устройств за $20 в месяц 3 ч.
iPhone и «основные Android-смартфоны» получат поддержку беспроводной зарядки Qi2 25W, представленной сегодня 3 ч.
Том Конрад, отмывающий репутацию Sonos, стал постоянным генеральным директором компании 4 ч.
Спрос на ленточные накопители продолжает расти: поставки LTO в 2024 году приблизились к 180 Эбайт 5 ч.
AMD запустила продажи мощнейших ПК-процессоров — 96-ядерный Ryzen Threadripper Pro 9995WX стоит $11 699 5 ч.
Китай введёт системы автономного вождения в ПДД и запретит привирать в их рекламе 5 ч.
Micron выпустила первую в мире флеш-память SLC NAND для космических ЦОД — она не боится радиации, вакуума и мороза 6 ч.
50 Гбайт за 1,5 секунды: в Китае протестировали сотовую сеть 6G 6 ч.
Дешёвой DDR5 пока не будет: китайская CXMT отложила запуск массового производства чипов DDR5 6 ч.