Сегодня 30 сентября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Исследование Microsoft показало, что ИИ пока «так себе» исправляет ошибки в программном коде

Новое исследование подразделения Microsoft Research выявило, что несмотря на то, что ИИ помогает разработчикам в написании кода, даже передовые модели OpenAI (o1) и Anthropic (Claude 3.7 Sonnet) справляются с исправлением ошибок не более чем в половине случаев. Тестирование проводилось на базе лучшего бенчмарка SWE-bench, который измеряет умение ИИ-систем создавать программный код.

 Источник изображения: сгенерировано AI

Источник изображения: сгенерировано AI

В ходе эксперимента ИИ-агенты пытались решить 300 задач по устранению ошибок в коде. Лидером стала модель Claude 3.7 Sonnet, которая выполнила задание с успешностью на 48,4 %, второе место заняла OpenAI o1 (30,2 %), третье — o3-mini (22,1 %). Однако, как видно, даже эти цифры далеки от уровня, которого можно было бы ожидать от опытных программистов-людей. Как поясняет TechCrunch, основная проблема заключается в том, что искусственный интеллект пока плохо понимает, как использовать доступные инструменты и интерпретировать ошибки.

По мнению авторов исследования, ключевым препятствием остаётся дефицит данных для обучения моделей. «Мы твёрдо верим, что обучение или дообучение может сделать их лучшими интерактивными отладчиками, — пишут они. — Однако для этого нужны специализированные данные, например, цепочка записей всех процессов взаимодействия людей с ИИ-отладчиками».

Сейчас таких данных недостаточно, что ограничивает возможности моделей. Например, популярный инструмент Devin стартапа Cognition Labs смог по этой причине справиться лишь с тремя из 20 тестов по кодированию. И хотя ИИ активно используется такими компаниями как Google, по словам генерального директора Сундара Пичаи (Sundar Pichai), четверть кода, который создаётся с помощью искусственного интеллекта, может даже наоборот добавлять ошибки.

Технологические лидеры скептически относятся к полной автоматизации профессии программиста. Билл Гейтс (Bill Gates) уверен, что программирование как профессия, конечно, никуда не исчезнет. Аналогичного мнения придерживаются генеральный директор Replit Амджад Масад (Amjad Masad), глава Okta Тодд Маккиннон (Todd McKinnon) и руководитель IBM Арвинд Кришна (Arvind Krishna).

Несмотря на очевидные проблемы, интерес к ИИ-инструментам для разработки продолжает расти. Инвесторы видят в них потенциал для повышения эффективности, однако ведущие разработчики считают, что доверять ИИ полностью пока рановато.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Геймер собрал внутри Minecraft рабочий ChatGPT — на это ушло 439 млн блоков 8 ч.
В Steam стартовала грандиозная осенняя распродажа — скидку получили более 30 тысяч игр 10 ч.
Браузер Brave обновил фирменный ИИ-поиск: теперь он даёт развёрнутые ответы 11 ч.
Календарь релизов — 29 сентября – 5 октября: Ghost of Yotei, Train Sim World 6 и ремейк FF Tactics 12 ч.
Слухи: Embracer взялась за амбициозный боевик по «Властелину колец», который бросит вызов Hogwarts Legacy 13 ч.
В ChatGPT появился полный родительский контроль после трагической гибели подростка из США 13 ч.
Capcom оставит Monster Hunter Wilds, Rise и World на Windows 10 без поддержки, причём очень скоро 14 ч.
Electronic Arts уйдёт с биржи благодаря сделке на $55 миллиардов — компанию выкупят три инвестора, включая Суверенный фонд Саудовской Аравии 15 ч.
Обороты компьютерных клубов в России за пять лет выросли в десятки раз 17 ч.
Devolver анонсировала Minos — игру о строительстве непроходимых лабиринтов по мотивам древнегреческого мифа о Тесее и Минотавре 18 ч.
Президент OpenAI убеждён, что в будущем за каждым человеком будет закреплён ускоритель ИИ 39 мин.
США упростили процесс выявления подставных компаний, позволяющих обходить санкции на поставки чипов и оборудования 3 ч.
В трекерах Tile выявили изъян, который позволяет вести слежку за их владельцами 4 ч.
MSI показала GeForce RTX 5070 Ti Ventus 3X со скрытым разъёмом питания 4 ч.
Раздувшаяся батарея Galaxy Ring сдавила палец и довела владельца до госпитализации 4 ч.
Новая статья: Обзор материнской платы Maxsun MS-eSport B850M WiFi Ice: «ледяная» скромность 6 ч.
Новая статья: Обзор блока питания Zalman TeraMax II SE 1000W (ZM1000-TMX2SE) 8 ч.
SanDisk выпустила WD_Black SN7100X — сертифицированный SSD для приставок ROG Xbox Ally и Ally X, а также карты памяти microSD 10 ч.
Куо предрёк Xiaomi 17 провал — поставки урезаны, а спасти положение могут только скидки 13 ч.
Euclyd разрабатывает ИИ-ускоритель Craftwerk с фирменной памятью UBM: 1 Тбайт и 8 Пбайт/с 14 ч.