Сегодня 25 ноября 2024
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → mllm

Microsoft представила Kosmos-1 — ИИ, который понимает текст с картинками и решает головоломки

Microsoft представила мультимодальную ИИ-модель Kosmos-1, способную анализировать содержание изображений, решать графические головоломки, распознавать текст, проходить визуальные тесты на IQ и понимать команды на естественном языке. Учёные считают, что создание мультимодального ИИ, способного работать в текстовом, аудио- и графическом режимах (включая видео), — ключевой шаг на пути формирования «общего искусственного интеллекта» (AGI), готового справляться с многопрофильными задачами не хуже людей.

 Источник изображения: 0fjd125gk87/pixabay.com

Источник изображения: 0fjd125gk87 / pixabay.com

По мнению исследователей, мультимодальное восприятие является необходимым элементом для создания AGI в контексте получения знаний и связи с реальным миром. Подробности концепции изложены в работе Language Is Not All You Need: Aligning Perception with Language Models, посвящённой структуре нового искусственного интеллекта. В работе рассказывается о том, как Kosmos-1 анализирует изображения и отвечает на вопросы о них, читает текст с изображения, пишет подписи к иллюстрациям и проходит визуальный тест на IQ.

 Источник изображения: Microsoft

Источник изображения: Microsoft

Считается, что создание «общего искусственного интеллекта» позволит полностью заменить людей при выполнении любых интеллектуальных задач — именно это является конечной целью OpenAI, ключевого партнёра Microsoft в сфере ИИ. Впрочем, Kosmos-1, похоже, является проектом исключительно Microsoft. Исследователи называют свою работу «мультимодальной большой языковой моделью» (MLLM). Для понимания изображения по аналогии с ChatGPT новая система преобразует иллюстрацию в серию преимущественно текстовых «токенов», которые анализируются вычислительной машиной. В дальнейшем текст и другие элементы обрабатываются специальным декодером.

 Источник изображения: Microsoft

Источник изображения: Microsoft

Известно, что Microsoft тренировала Kosmos-1, используя информацию из глобальной сети. После обучения возможности системы были проверены с помощью серии тестов, включающих оценку понимания языка, генерации текстов, классификации текстов без оптического распознавания символов. Проверялась возможность описания изображений, ответов на «визуальные» вопросы и выполнения других задач. Сообщается, что во многих тестах Kosmos-1 превосходит лучшие из существующих ИИ-моделей.

 Источник изображения: Microsoft

Источник изображения: Microsoft

Наибольший интерес представляет способность модели пройти тест британского психолога Джона К. Рейвена (John C. Raven), позволяющего измерить IQ, демонстрируя испытуемому последовательность форм с предложением продолжить её. Правда, пока Kosmos-1 может пройти тест Рейвена с точностью только 22‒26 %.

 Источник изображения: Microsoft

Источник изображения: Microsoft

В настоящий момент модель делает только первые шаги в сфере мультимодальной обработки данных, но нетрудно предположить, что дальнейшие улучшения позволят добиться намного более впечатляющих результатов, позволяя ИИ взаимодействовать с любыми формами информации, что невероятно расширит возможности цифровых ассистентов. В будущем учёные обещают масштабировать модель и добавить ей возможность вести беседы.

В Microsoft сообщили, что планируют сделать Kosmos-1 доступным сторонним разработчикам.


window-new
Soft
Hard
Тренды 🔥
«Крупнейшая Call of Duty в истории»: Activision похвасталась успехами Black Ops 6 за первый месяц с релиза 47 мин.
Игры ещё нет, а Трой Бейкер уже есть: звезда The Last of Us и Uncharted 4 подтвердил участие в новой игре Naughty Dog 2 ч.
Второй трейлер «Соника 3 в кино» привёл зрителей в восторг 4 ч.
Telegram снова оштрафован в России за неудаление запрещённого контента — теперь на ₽7 млн 4 ч.
Nvidia представила ИИ-модель Fugatto, которая «понимает и генерирует звук, как это делают люди» 5 ч.
Замедление YouTube вызвало резкий рост интернет-трафика в России 5 ч.
Ирландская газета рассекретила, сколько Larian заработала благодаря Baldur’s Gate 3 в 2023 году 6 ч.
Хакеры нашли способ отключать антивирус Avast с помощью его же драйвера 6 ч.
В России задумались ввести прокатные удостоверения для видеоигр, но это чревато серьёзными последствиями 9 ч.
Всё серьёзно: Александр Невский подтвердил работу над фильмом Serious Nevsky по мотивам Serious Sam 10 ч.