Компания OpenAI представила CriticGPT — новую модель искусственного интеллекта, предназначенную для выявления ошибок в коде, сгенерированном непосредственно ChatGPT. CriticGPT будет использоваться в качестве алгоритмического помощника для тестировщиков, которые проверяют программный код, выданный ChatGPT.

Компьютер месяца, спецвыпуск: эпоха отката, или Как дефицит чипов памяти влияет на выбор железа для игрового ПК

Ryzen и 16 Гбайт DDR5: как сэкономить на памяти так, чтобы не лишиться 15 % производительности

Обзор ноутбука HONOR MagicBook X16 2026: как раньше, только лучше

Обзор Samsung Galaxy Z TriFold: тройной складной смартфон по цене квартиры в Воркуте

Обзор Ryzen 7 9850X3D: три процента за двадцать баксов

Источник изображения: Copilot

Согласно новому исследованию «LLM Critics Help Catch LLM Bugs», опубликованному OpenAI, новая модель CriticGPT создана как ИИ-ассистент для экспертов-тестировщиков, проверяющих программный код, сгенерированный ChatGPT. CriticGPT, основанный на семействе большой языковой модели (LLM) GPT-4, анализирует код и указывает на потенциальные ошибки, облегчая специалистам обнаружение недочётов, которые в противном случае могли бы остаться незамеченными из-за человеческого фактора. Исследователи обучили CriticGPT на наборе данных с образцами кода, содержащими намеренно внесённые ошибки, научив его распознавать и отмечать различные погрешности.

Учёные обнаружили, что в 63-% случаев, связанных с естественно возникающими ошибками LLM, аннотаторы предпочитали критику CriticGPT человеческой. Кроме того, команды, использующие CriticGPT, писали более полные отзывы, чем люди, не использующие этого ИИ-помощника, при этом снижался уровень конфабуляций (ложных фактов и галлюцинаций).

Разработка автоматизированного «критика» включала обучение модели на большом количестве входных данных с намеренно внесёнными ошибками. Экспертов просили модифицировать код, написанный ChatGPT, внося ошибки, а затем предоставлять результат с якобы обнаруженными багами. Этот процесс позволил модели научиться выявлять и критиковать различные типы ошибок в коде.

В экспериментах CriticGPT продемонстрировал способность улавливать как внесённые баги, так и естественно возникающие ошибки в результатах ответов ChatGPT. Исследователи также создали новый метод «Force Sampling Beam Search» (FSBS), который помогает CriticGPT писать более детальные обзоры кода, позволяя регулировать тщательность поиска проблем и одновременно контролируя частоту ложных срабатываний.

Интересно, что возможности CriticGPT выходят за рамки простой проверки кода. В экспериментах модель применили к множеству тренировочных данных ChatGPT, ранее оцененных людьми как безупречные. Удивительно, но CriticGPT выявил ошибки в 24-% случаев, которые впоследствии были подтверждены экспертами. OpenAI считает, что это демонстрирует потенциал модели не только для работы с техническими задачами, но и подчёркивает её способность улавливать тонкие ошибки, которые могут ускользнуть даже от тщательной проверки человеком.

Несмотря на многообещающие результаты, CriticGPT, как и все ИИ-модели, имеет ограничения. Модель обучалась на относительно коротких ответах ChatGPT, что может не полностью подготовить её к оценке более длинных и сложных задач, с которыми могут столкнуться будущие ИИ-системы. Команда исследователей признаёт, что модель наиболее эффективна в обнаружении ошибок, которые могут быть определены в одном конкретном, узком месте кода. Однако реальные ошибки в выводе AI могут часто быть разбросаны по нескольким частям ответа, что представляет собой вызов для будущих итераций модели.

Кроме того, хотя CriticGPT снижает уровень конфабуляций, он не устраняет их полностью, и люди-эксперты по-прежнему могут совершать ошибки на основе этих ложных данных.

Илья Суцкевер, один из основателей и бывший главный научный советник компании OpenAI, занимающейся разработкой искусственного интеллекта, объявил о создании своего стартапа под названием Safe Superintelligence (SSI). Главной целью новой компании является разработка безопасного и одновременно мощного искусственного интеллекта, сообщает The Verge.

Обзор Ryzen 7 9850X3D: три процента за двадцать баксов

Ryzen и 16 Гбайт DDR5: как сэкономить на памяти так, чтобы не лишиться 15 % производительности

Компьютер месяца, спецвыпуск: эпоха отката, или Как дефицит чипов памяти влияет на выбор железа для игрового ПК

Обзор ноутбука HONOR MagicBook X16 2026: как раньше, только лучше

Обзор Samsung Galaxy Z TriFold: тройной складной смартфон по цене квартиры в Воркуте

Источник изображения: Gerd Altmann/Pixabay

В своём заявлении Суцкевер подчеркнул, что в SSI безопасность и возможности ИИ будут развиваться в тандеме. Это позволит компании быстро продвигать свои разработки, но при этом основной упор будет сделан на обеспечение безопасности системы. В отличие от таких IT-гигантов как Google, Microsoft и собственно OpenAI, в SSI не будет коммерческого давления и необходимости выпускать продукт за продуктом. Это даст возможность сосредоточиться на поэтапном масштабировании технологий при сохранении высочайших стандартов безопасности.

Помимо самого Суцкевера, сооснователями SSI выступили Даниэль Гросс (Daniel Gross), бывший руководитель подразделения ИИ в Apple, и Даниэль Левай (Daniel Levy) из технического штата OpenAI. Интересно, что в прошлом году Суцкевер активно выступал за увольнение гендиректора OpenAI Сэма Альтмана (Sam Altman), а после своего ухода в мае намекал на запуск нового проекта. Вскоре за ним последовали и другие ведущие сотрудники OpenAI, ссылаясь на проблемы с приоритетностью вопросов этики и ответственности ИИ.

SSI пока не планирует никаких партнёрских отношений. Суцкевер чётко обозначил, что единственным продуктом его компании станет безопасный суперинтеллект, и до его создания SSI не будет заниматься ничем другим. Таким образом, стартап фактически бросает вызов таким гигантам отрасли как OpenAI, ставя во главу угла этичность и безопасность технологий. Как отмечают эксперты, успех этой инициативы может полностью изменить подходы к разработке ИИ в отрасли.

Ранее в этом году исследователи установили, что нейросеть GPT-4 от компании OpenAI способна создавать эксплойты для уязвимостей, изучая информацию о них в интернете. Теперь же им удалось взломать более половины тестовых веб-сайтов с помощью автономных групп ботов на базе GPT-4, которые самостоятельно координировали свою работу и создавали новых ботов при необходимости.

Компьютер месяца, спецвыпуск: эпоха отката, или Как дефицит чипов памяти влияет на выбор железа для игрового ПК

Ryzen и 16 Гбайт DDR5: как сэкономить на памяти так, чтобы не лишиться 15 % производительности

Обзор Ryzen 7 9850X3D: три процента за двадцать баксов

Обзор ноутбука HONOR MagicBook X16 2026: как раньше, только лучше

Обзор Samsung Galaxy Z TriFold: тройной складной смартфон по цене квартиры в Воркуте

Источник изображения: newatlas.com

Отмечается, что боты в своей работе создавали эксплойты для уязвимостей нулевого дня, о которых не было известно ранее. В своей предыдущей работе исследователи задействовали GPT-4 для эксплуатации уже известных уязвимостей (CVE), исправления для которых ещё не были выпущены. В итоге они установили, что нейросеть смогла создать эксплойты для 87 % критических уязвимостей CVE, представляющих высокую опасность. Те же самые исследователи из Иллинойского университета в Урбане-Шампейне опубликовали результаты новой работы, в которой боты на основе нейросети пытались взломать тестовые сайты путём эксплуатации уязвимостей нулевого дня.

Вместо того, чтобы задействовать одного бота и нагружать его большим количеством сложных задач, исследователи использовали группу автономных, самораспространяющихся агентов на основе большой языковой модели (LLM). В своей работе агенты задействовали метод иерархического планирования, предполагающий выделение разных агентов под конкретные задачи. Одним из главных элементов стал «агента планирования», который контролировал весь процесс работы и запускал несколько «субагентов» для выполнения конкретных задач. Подобно взаимодействию между начальником и подчинёнными, «агент планирования» координирует свои действия с «управляющим агентом», который делегирует выполнение задач на «экспертных субагентов», тем самым равномерно распределяя нагрузку.

Исследователи сравнили эффективность такого подхода при взаимодействии группы ботов с 15 реальными уязвимостями. Оказалось, что метод иерархического планирования на 550 % более эффективен по сравнению с тем, как с аналогичными уязвимостями работает один бот на базе нейросети. Группа ботов сумела задействовать 8 из 15 уязвимостей, тогда как одиночный бот создал эксплойт только для трёх уязвимостей.

OpenAI объявила о начале обучение новой флагманской ИИ-модели, которая придёт на смену GPT-4, пишет The New York Times. Компания сообщила в своём блоге, что новая модель получит «следующий уровень возможностей» на пути к созданию сильного искусственного интеллекта (AGI), способного обладать возможностями человеческого мозга. Новая модель расширит возможности чат-ботов, цифровых помощников, поисковых систем, генераторов изображений и других приложений на базе ИИ.

Обзор Ryzen 7 9850X3D: три процента за двадцать баксов

Компьютер месяца, спецвыпуск: эпоха отката, или Как дефицит чипов памяти влияет на выбор железа для игрового ПК

Ryzen и 16 Гбайт DDR5: как сэкономить на памяти так, чтобы не лишиться 15 % производительности

Обзор ноутбука HONOR MagicBook X16 2026: как раньше, только лучше

Обзор Samsung Galaxy Z TriFold: тройной складной смартфон по цене квартиры в Воркуте

Источник изображения: Growtika/unsplash.com

Вышедшая в марте 2023 года ИИ-модель GPT-4 позволяет чат-ботам и другим приложениям отвечать на вопросы, анализировать данные, а также способна работать не только с текстом, но и с изображениями. В этом месяце OpenAI представила её обновлённую версию GPT-4o, которая гораздо умнее предыдущих и к тому же является мультимодальной. ИИ-модели, подобные GPT-4o, обучаются навыкам, анализируя огромные объёмы цифровых данных, включая звуки, фотографии, видео, статьи в «Википедии», книги и новости. В декабре прошлого года газета The New York Times подала в суд на OpenAI и Microsoft, обвинив их в нарушении авторских прав на новостной контент, выразившемся в несанкционированном использовании её материалов для обучения ИИ-моделей.

Обучение ИИ-модели может занять месяцы или даже годы. После завершения процесса обучения компании обычно тратят ещё несколько месяцев на тестирование ИИ-модели и её настройку для публичного использования.

OpenAI также объявила о создании комитета по контролю безопасности ИИ для изучения рисков, связанных с созданием ИИ-технологий. «Хотя мы гордимся тем, что создаём и выпускаем модели, которые являются ведущими в отрасли как по возможностям, так и по безопасности, мы приветствуем активную дискуссию в этот важный момент», — заявила компания. По словам OpenAI, пока она будет обучать свою новую модель, комитет будет работать над совершенствованием политики и вопросов защиты ИИ-технологий.

Компания GitHub расширяет возможности интеллектуального помощника для программистов Copilot, представив концепцию Copilot Workspace. Теперь ИИ может выступать как полноценный партнер на всех этапах разработки.

Обзор ноутбука HONOR MagicBook X16 2026: как раньше, только лучше

Ryzen и 16 Гбайт DDR5: как сэкономить на памяти так, чтобы не лишиться 15 % производительности

Обзор Samsung Galaxy Z TriFold: тройной складной смартфон по цене квартиры в Воркуте

Обзор Ryzen 7 9850X3D: три процента за двадцать баксов

Компьютер месяца, спецвыпуск: эпоха отката, или Как дефицит чипов памяти влияет на выбор железа для игрового ПК

Источник изображения: GitHub

В преддверии ежегодной конференции GitHub Universe в Сан-Франциско, GitHub анонсировал Copilot Workspace, среду разработки, которая использует то, что GitHub называет «агентами на базе Copilot», сообщает издание Techcrunch. Это среда разработки программного обеспечения, которая использует искусственный интеллект для помощи разработчикам на всех этапах — от генерации идей до тестирования и запуска кода.

Copilot Workspace основан на помощнике по программированию GitHub с открытым исходным кодом — Copilot. Но если Copilot фокусируется только на генерации кода по запросу разработчика, то Workspace расширяет функциональность, помогая на более высоком уровне. То есть, Copilot в связке с помощником, основанном на искусственном интеллекте, превращается в более универсальный инструмент.

Как объясняет Джонатан Картер (Jonathan Carter), руководитель GitHub Next, исследования показали, что главным препятствием для разработчиков часто является начало работы и определение подхода к решению задачи. Copilot Workspace призван устранить эту трудный момент и сотрудничать с разработчиками на протяжении всего процесса внесения изменений в код. Он выступает как интеллектуальный помощник, который встречается с разработчиком в самом начале задачи и помогает уменьшить «энергию активации», необходимую для старта, а затем сотрудничает при внесении изменений в код. Помощник может предлагать идеи и подходы на естественном языке, помогать выбирать файлы и методы для реализации.

Уже сейчас Copilot активно используется разработчиками — более 1,8 млн пользователей и 50 000 компаний. Но Картер видит потенциал для ещё большего роста благодаря расширению функциональности в Workspace и смежных продуктах, таких как Copilot Chat для диалога с ИИ о коде.

По его мнению, искусственный интеллект может кардинально изменить рабочий процесс, став по сути партнёром, а Copilot Workspace просто является ещё одним шагом в этом направлении, дополняющим существующие инструменты разработки. В перспективе полноценная ИИ-среда способна решать целый класс задач, с которыми сейчас разработчики справляются не так эффективно. Учитывая, что Workspace основан на одной из самых мощных на сегодня нейросетей GPT-4 Turbo, можно ожидать серьёзный потенциал новой среды разработки.

Тем не менее, в настоящий момент GitHub Copilot приносит компании чистый убыток около 20 долларов в месяц на каждого пользователя. При этом некоторые клиенты вообще обходятся в 80 долларов убытка. Это следует из внутреннего отчёта GitHub, о котором сообщает The Wall Street Journal. Казалось бы, подобная экономика должна заставить компанию свернуть проект. Однако GitHub не собирается этого делать и анонсировал новый продукт Copilot Workspace.

Конечно, есть риски. Исследования показали, что инструменты вроде Copilot могут генерировать небезопасный и неоптимальный код. Поэтому ключевой опцией в Workspace заявлен человеческий контроль, то есть разработчики должны самостоятельно направлять ИИ и проверять сгенерированные решения.

GitHub пока не определился с бизнес-моделью Workspace и планирует собирать отзывы по предварительной версии. Однако очевидно, что компания нацелена превратить технологию в высокодоходный массовый продукт, несмотря на текущие финансовые потери от Copilot.

Современные технологии искусственного интеллекта могут помочь хакерам автоматизировать эксплуатацию общедоступных уязвимостей за считанные минуты. Это значит, что в ближайшем будущем оперативное обновление ПО станет как минимум насущной необходимостью.

Ryzen и 16 Гбайт DDR5: как сэкономить на памяти так, чтобы не лишиться 15 % производительности

Обзор ноутбука HONOR MagicBook X16 2026: как раньше, только лучше

Компьютер месяца, спецвыпуск: эпоха отката, или Как дефицит чипов памяти влияет на выбор железа для игрового ПК

Обзор Samsung Galaxy Z TriFold: тройной складной смартфон по цене квартиры в Воркуте

Обзор Ryzen 7 9850X3D: три процента за двадцать баксов

Источник изображения: Tung Nguyen / pixabay.com

Системы ИИ на базе нейросети OpenAI GPT-4 способны создавать эксплойты для большинства уязвимостей на основе простого изучения информации о них в интернете, гласят результаты нового исследования (PDF) учёных Иллинойского университета в Урбане-Шампейне (США). До настоящего момента злоумышленники применяли большие языковые модели для написания фишинговых писем и вредоносных программ с базовыми возможностями. Теперь же, располагая доступом к GPT-4 и открытым фреймворкам для упаковки программных решений, они могут автоматизировать написание эксплойтов к уязвимостям, как только информация об этих уязвимостях попадает в открытый доступ.

Для проверки гипотезы учёные подготовили набор инструментов из следующих компонентов: базовой нейросети, средства создания запросов к ней, фреймворка (в данном случае это был инструмент ReAct фреймворка LangChain), а также терминала и интерпретатора кода. Укомплектованный таким образом агент был протестирован на 15 известных уязвимостях ПО с открытым исходным кодом. Среди них были ошибки, застрагивающие веб-сайты, контейнеры и пакеты Python. Восемь из них имели «высокий» или «критический» рейтинг CVE. Одиннадцать были раскрыты уже после момента обучения GPT-4, то есть ИИ познакомился с ними впервые. Системе было поручено поочерёдно разработать эксплойты для каждой уязвимости, изучив их описания. Результаты эксперимента оказались неутешительными.

Источник изображения: D koi / unsplash.com

Всего были оценены десять ИИ-моделей, включая OpenAI GPT-3.5, Meta✴✴ Llama 2, и девять из них не смогли взломать ни один из уязвимых продуктов. А вот нейросеть GPT-4 предложила 13 эффективных эксплойтов или 87 % от общего числа известных уязвимостей. Две неудачи, которые потерпела GPT-4, имеют простые объяснения. Уязвимость CVE-2024-25640 (рейтинг 4,6 из 10) относится к платформе реагирования на инциденты Iris, и модель просто не смогла разобраться с навигацией в приложении. Неудача с эксплуатацией уязвимости CVE-2023-51653 («критический» рейтинг 9,8 из 10) в инструменте мониторинга Hertzbeat возникла из-за того, что описание этой уязвимости было приведено на китайском языке.

В свете результатов своего исследования учёные сделали вывод, что вопросы кибербезопасности сегодня становятся актуальными как никогда: администраторам в компаниях скоро нельзя будет ожидать выхода исправляющих уязвимости патчей, а использовать для защиты систем те же технологии ИИ, что и вероятный противник. Впрочем, в этом ИИ пока недостаточно хорош, выяснили эксперты компании Endor Labs — они провели эксперимент, поручив нескольким моделям ИИ изучить ряд проектов с открытым исходным кодом на предмет того, являются ли соответствующие продукты вредоносными или безопасными. GPT-4 снова оказалась лучше прочих: она преимущественно верно объяснила принципы работы кода, но, как и её «коллеги», дала несколько ложноположительных и ложноотрицательных срабатываний в оценке его безопасности. В частности, она назвала добросовестно оптимизированный код намеренно обфусцированным, то есть запутанным.

Большая языковая модель искусственного интеллекта OpenAI GPT-4 достигла тех же результатов, что и врачи-специалисты, в оценке глазных заболеваний и выработке методов их лечения — или превзошла их, пишет Financial Times со ссылкой на материалы исследования. Сильнее ИИ оказались лишь лучшие специалисты.

Обзор ноутбука HONOR MagicBook X16 2026: как раньше, только лучше

Ryzen и 16 Гбайт DDR5: как сэкономить на памяти так, чтобы не лишиться 15 % производительности

Обзор Ryzen 7 9850X3D: три процента за двадцать баксов

Компьютер месяца, спецвыпуск: эпоха отката, или Как дефицит чипов памяти влияет на выбор железа для игрового ПК

Обзор Samsung Galaxy Z TriFold: тройной складной смартфон по цене квартиры в Воркуте

Источник изображения: u_9p7tw4noz0 / pixabay.com

Офтальмология оказалась центральным направлением проекта по внедрению ИИ в клиническую практику, а также по устранению препятствий к этому, например, галлюцинаций — склонности моделей выдавать явно не соответствующую действительности информацию. В рамках исследования рассматривались 87 сценариев лечения пациентов, чего хватило, чтобы оценить эффективность GPT-4 по сравнению с непрофильными врачами, стажёрами и опытными офтальмологами. Модель превзошла молодых врачей и добилась результатов на уровне опытных специалистов.

Исследование примечательно тем, что в нём сравнивались способности нейросети с возможностями практикующих врачей, а не результатами обследований. Кроме того, здесь применялись широкие возможности генеративного ИИ, а не узкая специализация, которая рассматривалась в предыдущих проектах, таких как оценка рисков онкологии на основе материалов сканирования пациентов. Модель одинаково хорошо справилась с вопросами как на простое наличие знаний, так и на способность рассуждать: интерполировать, интерпретировать и обрабатывать информацию.

GPT-4 можно усовершенствовать, проведя дополнительное обучение на расширенном наборе данных, включая алгоритмы управления, записи о реальных пациентах (без личной информации) и учебники, пояснил автор исследования в школе клинической медицины при Кембриджском университете Арун Тирунавукарасу (Arun Thirunavukarasu). Для этого требуется соблюсти баланс между увеличением количества и характера источников и высоким качеством данных. На практике такие модели помогут определять приоритет пациентов, когда доступ к специалистам ограничен.

Но и излишне доверяться ИИ тоже преждевременно, предупредил профессор Университетского колледжа Лондона Пирс Кин (Pearse Keane), работающий также в лондонской офтальмологической больнице «Мурфилдс» (Moorfields Eye Hospital). В прошлом году он задал большой языковой модели вопрос о дегенерации жёлтого пятна в глазах и получил не соответствующий действительности ответ.

Microsoft расширила функциональность своего ИИ-помощника Copilot для бизнес-подписчиков Microsoft 365, предоставив им доступ к инновационной модели GPT-4 Turbo и улучшенным возможностям генерации изображений. Это обновление не только снимает ограничение на количество ежедневных сессий общения с ИИ, но и значительно расширяет креативные и аналитические возможности сотрудников компаний в рамках единой подписки.

Обзор Samsung Galaxy Z TriFold: тройной складной смартфон по цене квартиры в Воркуте

Ryzen и 16 Гбайт DDR5: как сэкономить на памяти так, чтобы не лишиться 15 % производительности

Обзор ноутбука HONOR MagicBook X16 2026: как раньше, только лучше

Обзор Ryzen 7 9850X3D: три процента за двадцать баксов

Компьютер месяца, спецвыпуск: эпоха отката, или Как дефицит чипов памяти влияет на выбор железа для игрового ПК

Источник изображения: Microsoft

За фиксированную стоимость в размере $30 на одного пользователя в месяц подписчики теперь способны вести неограниченное количество диалогов с ИИ-помощником Copilot и получать от него мгновенные ответы на сложные запросы, обрабатывая данные из широкого спектра источников, включая документы, электронные письма и планировщики встреч — всё это благодаря интеграции сервиса с GPT-4 Turbo.

GPT-4 Turbo, отличающийся способностью анализировать до 300 страниц текста за один запрос, предоставляет бизнес-пользователям максимальную точность в обработке информации. Это существенно повышает эффективность принятия решений и ускоряет выполнение рабочих задач.

Кроме того, для пользователей Copilot Microsoft значительно расширила возможности генерации изображений в пакете Designer, увеличив дневной лимит до 100 изображений.

Подобный шаг отражает стремление Microsoft форсировать применение ИИ в бизнес-процессах своих клиентов, предоставляя подписчикам инструменты для повышения продуктивности и креативности. Благодаря обновлениям, компании теперь могут эффективнее использовать ИИ для анализа данных, создания контента и управления информацией в корпоративной среде.

Большая языковая модель (LLM) Claude 3 Opus от Anthropic впервые превзошла GPT-4 (модель в основе ChatGPT) от OpenAI на Chatbot Arena — популярной площадке, где пользователи оценивают качество работы чат-ботов. «Король мёртв», — написал в социальной сети X разработчик ПО Ник Добос [Nick Dobos].

Компьютер месяца, спецвыпуск: эпоха отката, или Как дефицит чипов памяти влияет на выбор железа для игрового ПК

Обзор Samsung Galaxy Z TriFold: тройной складной смартфон по цене квартиры в Воркуте

Обзор ноутбука HONOR MagicBook X16 2026: как раньше, только лучше

Ryzen и 16 Гбайт DDR5: как сэкономить на памяти так, чтобы не лишиться 15 % производительности

Обзор Ryzen 7 9850X3D: три процента за двадцать баксов

Источник изображения: Anthropic

Зашедшим на сайт пользователям Chatbot Arena предлагается ввести запрос, после чего демонстрируются два результата от неуказанных языковых моделей — человек должен выбрать, какой результат нравится больше. Проведя тысячи сравнений, Chatbot Arena заполняет обновляемую рейтинговую таблицу. Сайт управляется исследовательской организацией Large Model Systems Organization (LMSYS ORG), занимающейся открытыми ИИ-моделями.

«Впервые на вершине рейтинга ИИ-модели не от OpenAI: Opus для сложных задач, Haiku — для вариантов, когда нужно дёшево и быстро. Это обнадёживает — от конкуренции разработчиков все только выиграют. Тем не менее, GPT-4 уже больше года, и конкуренты догнали её только сейчас», — прокомментировал событие независимый исследователь ИИ Саймон Уиллисон (Simon Willison).

Сейчас в рейтинге Chatbot Arena представлены четыре версии GPT-4, поскольку с каждым обновлением вывод модели менялся, и некоторые пользователи предпочитают конкретные версии или же пользуются ими всеми для большей стабильности результатов. GPT-4 появилась в Chatbot Arena 10 мая 2023 года, через неделю после запуска рейтинга, и с тех пор различные версии GPT-4 неизменно занимали верхние строчки.

Chatbot Arena ценится исследователями ИИ за возможность более-менее объективно оценить эффективность чат-ботов, что весьма непросто, и ключевым фактором здесь становится множество оценок, складывающихся в общую картину. Субъективные оценки играют немалую роль в сфере ИИ, где разработчик модели может выбрать конкретные показатели в рекламных целях. «Не так давно я долго программировал с использованием ИИ-модели Claude 3 Opus, и она полностью разгромила GPT-4», — написал в X разработчик ПО для ИИ Антон Бакай (Anton Bacaj).

Успех рвущейся к вершинам рейтинга Claude 3 от Anthropic уже подтолкнул некоторых пользователей перейти на неё с GPT-4. Тем временем, набирает популярность Gemini Advanced от Google. Позиции OpenAI пошатнулись, но компания не почивает на лаврах и готовит новые модели, среди которых GPT-5.

Адриан де Винтер (Adrian de Wynter), научный сотрудник Microsoft и исследователь из Йоркского университета (Великобритания), опубликовал работу, посвящённую способности большой языковой модели GPT-4 играть в классический шутер Doom.

Обзор Samsung Galaxy Z TriFold: тройной складной смартфон по цене квартиры в Воркуте

Обзор Ryzen 7 9850X3D: три процента за двадцать баксов

Обзор ноутбука HONOR MagicBook X16 2026: как раньше, только лучше

Ryzen и 16 Гбайт DDR5: как сэкономить на памяти так, чтобы не лишиться 15 % производительности

Компьютер месяца, спецвыпуск: эпоха отката, или Как дефицит чипов памяти влияет на выбор железа для игрового ПК

Источник изображения: Lukas / pixabay.com

В оригинальном виде большая языковая модель OpenAI GPT-4 не поддерживает запуск Doom из-за ограничения на объём входных данных. Поэтому исследователь воспользовался её мультомодальным вариантом GPT-4V, который оказался способным управлять игровым процессом без дополнительного обучения. Для этого исследователь разработал два дополнительных компонента для подключения Doom к нейросети: первый делает снимки экрана в игре и транслирует их GPT-4V, а второй запрашивает у искусственного интеллекта команды на управление игровым процессом и преобразует их в непосредственные команды для игрового контроллера. В результате ИИ стреляет из игрового оружия, сражается с врагами, открывает двери и повторно проходит уровни, улучшая собственные результаты.

Запустив игру, автор исследования быстро обнаружил главную слабость GPT-4V — как только монстры в игре выходят за пределы экрана, ИИ о них «забывает». «Например, для модели было бы естественно увидеть на экране монстра и начать стрелять в него, пока не попадёт или не убьёт его. Это ИИ, написанный для работы на оборудовании 1993 года, и глубокого дерева принятия решений у него нет. Так что монстр стреляет и начинает бегать по комнате. И в чём тут проблема? Ну, во-первых, монстр уходит из поля зрения. Что хуже, он в какой-то момент жахнет. Так что нужно добить его, верно? Это же Doom — жахни ты или жахнут тебя. Оказывается, GPT-4 забывает о монстрах и просто идёт дальше. Причём есть подсказка, что делать модели, если она получает урон, но не видит врага. И, более того, сворачивает с дороги, застревает в углу и умирает. Пару раз она оборачивалась, но за 50–60 прохождений я видел такое <..> скажем, два раза», — рассказал автор исследования.

GPT-4 показала, что не умеет адекватно рассуждать. Когда её попросили объяснить свои действия, которые были в основном правильными в том контексте, объяснения ИИ были слабыми и часто содержали галлюцинации — неверную информацию. Адриан де Винтер счёл примечательной способность GPT-4 играть в Doom без дополнительного обучения, но этот же факт вызвал у него обеспокоенность в этическом аспекте: учёный относительно просто написал код, позволяющий ИИ стрелять, и тот поражает цели, не особо размышляя о последствиях. На практике ИИ вполне сможет тестировать игры, не осознавая, что он делает. Исследователь призвал людей задуматься о возможностях развёртывания подобных моделей на практике и опасности их недобросовестного применения.