Компания OpenAI представила CriticGPT — новую модель искусственного интеллекта, предназначенную для выявления ошибок в коде, сгенерированном непосредственно ChatGPT. CriticGPT будет использоваться в качестве алгоритмического помощника для тестировщиков, которые проверяют программный код, выданный ChatGPT.

От Ryzen 7 1800X до Ryzen 7 9850X3D: девять лет эволюции AMD в одном тесте

Компьютер месяца — май 2026 года

Обзор Apple MacBook Neo: удивительно хороший ноутбук с процессором от iPhone

Больше кадров — больше лага: тестирование латентности с генерацией кадров DLSS и FSR

Можно ли экономить на DDR5 для Ryzen? Сравниваем дешёвую память с дорогой

Источник изображения: Copilot

Согласно новому исследованию «LLM Critics Help Catch LLM Bugs», опубликованному OpenAI, новая модель CriticGPT создана как ИИ-ассистент для экспертов-тестировщиков, проверяющих программный код, сгенерированный ChatGPT. CriticGPT, основанный на семействе большой языковой модели (LLM) GPT-4, анализирует код и указывает на потенциальные ошибки, облегчая специалистам обнаружение недочётов, которые в противном случае могли бы остаться незамеченными из-за человеческого фактора. Исследователи обучили CriticGPT на наборе данных с образцами кода, содержащими намеренно внесённые ошибки, научив его распознавать и отмечать различные погрешности.

Учёные обнаружили, что в 63-% случаев, связанных с естественно возникающими ошибками LLM, аннотаторы предпочитали критику CriticGPT человеческой. Кроме того, команды, использующие CriticGPT, писали более полные отзывы, чем люди, не использующие этого ИИ-помощника, при этом снижался уровень конфабуляций (ложных фактов и галлюцинаций).

Разработка автоматизированного «критика» включала обучение модели на большом количестве входных данных с намеренно внесёнными ошибками. Экспертов просили модифицировать код, написанный ChatGPT, внося ошибки, а затем предоставлять результат с якобы обнаруженными багами. Этот процесс позволил модели научиться выявлять и критиковать различные типы ошибок в коде.

В экспериментах CriticGPT продемонстрировал способность улавливать как внесённые баги, так и естественно возникающие ошибки в результатах ответов ChatGPT. Исследователи также создали новый метод «Force Sampling Beam Search» (FSBS), который помогает CriticGPT писать более детальные обзоры кода, позволяя регулировать тщательность поиска проблем и одновременно контролируя частоту ложных срабатываний.

Интересно, что возможности CriticGPT выходят за рамки простой проверки кода. В экспериментах модель применили к множеству тренировочных данных ChatGPT, ранее оцененных людьми как безупречные. Удивительно, но CriticGPT выявил ошибки в 24-% случаев, которые впоследствии были подтверждены экспертами. OpenAI считает, что это демонстрирует потенциал модели не только для работы с техническими задачами, но и подчёркивает её способность улавливать тонкие ошибки, которые могут ускользнуть даже от тщательной проверки человеком.

Несмотря на многообещающие результаты, CriticGPT, как и все ИИ-модели, имеет ограничения. Модель обучалась на относительно коротких ответах ChatGPT, что может не полностью подготовить её к оценке более длинных и сложных задач, с которыми могут столкнуться будущие ИИ-системы. Команда исследователей признаёт, что модель наиболее эффективна в обнаружении ошибок, которые могут быть определены в одном конкретном, узком месте кода. Однако реальные ошибки в выводе AI могут часто быть разбросаны по нескольким частям ответа, что представляет собой вызов для будущих итераций модели.

Кроме того, хотя CriticGPT снижает уровень конфабуляций, он не устраняет их полностью, и люди-эксперты по-прежнему могут совершать ошибки на основе этих ложных данных.

Илья Суцкевер, один из основателей и бывший главный научный советник компании OpenAI, занимающейся разработкой искусственного интеллекта, объявил о создании своего стартапа под названием Safe Superintelligence (SSI). Главной целью новой компании является разработка безопасного и одновременно мощного искусственного интеллекта, сообщает The Verge.

От Ryzen 7 1800X до Ryzen 7 9850X3D: девять лет эволюции AMD в одном тесте

Обзор Apple MacBook Neo: удивительно хороший ноутбук с процессором от iPhone

Больше кадров — больше лага: тестирование латентности с генерацией кадров DLSS и FSR

Можно ли экономить на DDR5 для Ryzen? Сравниваем дешёвую память с дорогой

Компьютер месяца — май 2026 года

Источник изображения: Gerd Altmann/Pixabay

В своём заявлении Суцкевер подчеркнул, что в SSI безопасность и возможности ИИ будут развиваться в тандеме. Это позволит компании быстро продвигать свои разработки, но при этом основной упор будет сделан на обеспечение безопасности системы. В отличие от таких IT-гигантов как Google, Microsoft и собственно OpenAI, в SSI не будет коммерческого давления и необходимости выпускать продукт за продуктом. Это даст возможность сосредоточиться на поэтапном масштабировании технологий при сохранении высочайших стандартов безопасности.

Помимо самого Суцкевера, сооснователями SSI выступили Даниэль Гросс (Daniel Gross), бывший руководитель подразделения ИИ в Apple, и Даниэль Левай (Daniel Levy) из технического штата OpenAI. Интересно, что в прошлом году Суцкевер активно выступал за увольнение гендиректора OpenAI Сэма Альтмана (Sam Altman), а после своего ухода в мае намекал на запуск нового проекта. Вскоре за ним последовали и другие ведущие сотрудники OpenAI, ссылаясь на проблемы с приоритетностью вопросов этики и ответственности ИИ.

SSI пока не планирует никаких партнёрских отношений. Суцкевер чётко обозначил, что единственным продуктом его компании станет безопасный суперинтеллект, и до его создания SSI не будет заниматься ничем другим. Таким образом, стартап фактически бросает вызов таким гигантам отрасли как OpenAI, ставя во главу угла этичность и безопасность технологий. Как отмечают эксперты, успех этой инициативы может полностью изменить подходы к разработке ИИ в отрасли.

Ранее в этом году исследователи установили, что нейросеть GPT-4 от компании OpenAI способна создавать эксплойты для уязвимостей, изучая информацию о них в интернете. Теперь же им удалось взломать более половины тестовых веб-сайтов с помощью автономных групп ботов на базе GPT-4, которые самостоятельно координировали свою работу и создавали новых ботов при необходимости.

Можно ли экономить на DDR5 для Ryzen? Сравниваем дешёвую память с дорогой

От Ryzen 7 1800X до Ryzen 7 9850X3D: девять лет эволюции AMD в одном тесте

Компьютер месяца — май 2026 года

Больше кадров — больше лага: тестирование латентности с генерацией кадров DLSS и FSR

Обзор Apple MacBook Neo: удивительно хороший ноутбук с процессором от iPhone

Источник изображения: newatlas.com

Отмечается, что боты в своей работе создавали эксплойты для уязвимостей нулевого дня, о которых не было известно ранее. В своей предыдущей работе исследователи задействовали GPT-4 для эксплуатации уже известных уязвимостей (CVE), исправления для которых ещё не были выпущены. В итоге они установили, что нейросеть смогла создать эксплойты для 87 % критических уязвимостей CVE, представляющих высокую опасность. Те же самые исследователи из Иллинойского университета в Урбане-Шампейне опубликовали результаты новой работы, в которой боты на основе нейросети пытались взломать тестовые сайты путём эксплуатации уязвимостей нулевого дня.

Вместо того, чтобы задействовать одного бота и нагружать его большим количеством сложных задач, исследователи использовали группу автономных, самораспространяющихся агентов на основе большой языковой модели (LLM). В своей работе агенты задействовали метод иерархического планирования, предполагающий выделение разных агентов под конкретные задачи. Одним из главных элементов стал «агента планирования», который контролировал весь процесс работы и запускал несколько «субагентов» для выполнения конкретных задач. Подобно взаимодействию между начальником и подчинёнными, «агент планирования» координирует свои действия с «управляющим агентом», который делегирует выполнение задач на «экспертных субагентов», тем самым равномерно распределяя нагрузку.

Исследователи сравнили эффективность такого подхода при взаимодействии группы ботов с 15 реальными уязвимостями. Оказалось, что метод иерархического планирования на 550 % более эффективен по сравнению с тем, как с аналогичными уязвимостями работает один бот на базе нейросети. Группа ботов сумела задействовать 8 из 15 уязвимостей, тогда как одиночный бот создал эксплойт только для трёх уязвимостей.

OpenAI объявила о начале обучение новой флагманской ИИ-модели, которая придёт на смену GPT-4, пишет The New York Times. Компания сообщила в своём блоге, что новая модель получит «следующий уровень возможностей» на пути к созданию сильного искусственного интеллекта (AGI), способного обладать возможностями человеческого мозга. Новая модель расширит возможности чат-ботов, цифровых помощников, поисковых систем, генераторов изображений и других приложений на базе ИИ.

Больше кадров — больше лага: тестирование латентности с генерацией кадров DLSS и FSR

Компьютер месяца — май 2026 года

От Ryzen 7 1800X до Ryzen 7 9850X3D: девять лет эволюции AMD в одном тесте

Можно ли экономить на DDR5 для Ryzen? Сравниваем дешёвую память с дорогой

Обзор Apple MacBook Neo: удивительно хороший ноутбук с процессором от iPhone

Источник изображения: Growtika/unsplash.com

Вышедшая в марте 2023 года ИИ-модель GPT-4 позволяет чат-ботам и другим приложениям отвечать на вопросы, анализировать данные, а также способна работать не только с текстом, но и с изображениями. В этом месяце OpenAI представила её обновлённую версию GPT-4o, которая гораздо умнее предыдущих и к тому же является мультимодальной. ИИ-модели, подобные GPT-4o, обучаются навыкам, анализируя огромные объёмы цифровых данных, включая звуки, фотографии, видео, статьи в «Википедии», книги и новости. В декабре прошлого года газета The New York Times подала в суд на OpenAI и Microsoft, обвинив их в нарушении авторских прав на новостной контент, выразившемся в несанкционированном использовании её материалов для обучения ИИ-моделей.

Обучение ИИ-модели может занять месяцы или даже годы. После завершения процесса обучения компании обычно тратят ещё несколько месяцев на тестирование ИИ-модели и её настройку для публичного использования.

OpenAI также объявила о создании комитета по контролю безопасности ИИ для изучения рисков, связанных с созданием ИИ-технологий. «Хотя мы гордимся тем, что создаём и выпускаем модели, которые являются ведущими в отрасли как по возможностям, так и по безопасности, мы приветствуем активную дискуссию в этот важный момент», — заявила компания. По словам OpenAI, пока она будет обучать свою новую модель, комитет будет работать над совершенствованием политики и вопросов защиты ИИ-технологий.