Сегодня 19 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Исследование Microsoft показало, что ИИ пока «так себе» исправляет ошибки в программном коде

Новое исследование подразделения Microsoft Research выявило, что несмотря на то, что ИИ помогает разработчикам в написании кода, даже передовые модели OpenAI (o1) и Anthropic (Claude 3.7 Sonnet) справляются с исправлением ошибок не более чем в половине случаев. Тестирование проводилось на базе лучшего бенчмарка SWE-bench, который измеряет умение ИИ-систем создавать программный код.

 Источник изображения: сгенерировано AI

Источник изображения: сгенерировано AI

В ходе эксперимента ИИ-агенты пытались решить 300 задач по устранению ошибок в коде. Лидером стала модель Claude 3.7 Sonnet, которая выполнила задание с успешностью на 48,4 %, второе место заняла OpenAI o1 (30,2 %), третье — o3-mini (22,1 %). Однако, как видно, даже эти цифры далеки от уровня, которого можно было бы ожидать от опытных программистов-людей. Как поясняет TechCrunch, основная проблема заключается в том, что искусственный интеллект пока плохо понимает, как использовать доступные инструменты и интерпретировать ошибки.

По мнению авторов исследования, ключевым препятствием остаётся дефицит данных для обучения моделей. «Мы твёрдо верим, что обучение или дообучение может сделать их лучшими интерактивными отладчиками, — пишут они. — Однако для этого нужны специализированные данные, например, цепочка записей всех процессов взаимодействия людей с ИИ-отладчиками».

Сейчас таких данных недостаточно, что ограничивает возможности моделей. Например, популярный инструмент Devin стартапа Cognition Labs смог по этой причине справиться лишь с тремя из 20 тестов по кодированию. И хотя ИИ активно используется такими компаниями как Google, по словам генерального директора Сундара Пичаи (Sundar Pichai), четверть кода, который создаётся с помощью искусственного интеллекта, может даже наоборот добавлять ошибки.

Технологические лидеры скептически относятся к полной автоматизации профессии программиста. Билл Гейтс (Bill Gates) уверен, что программирование как профессия, конечно, никуда не исчезнет. Аналогичного мнения придерживаются генеральный директор Replit Амджад Масад (Amjad Masad), глава Okta Тодд Маккиннон (Todd McKinnon) и руководитель IBM Арвинд Кришна (Arvind Krishna).

Несмотря на очевидные проблемы, интерес к ИИ-инструментам для разработки продолжает расти. Инвесторы видят в них потенциал для повышения эффективности, однако ведущие разработчики считают, что доверять ИИ полностью пока рановато.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Новая статья: Cast n Chill — вы, сэр, рыба. Рецензия 3 ч.
Возвращение к шутерам от первого лица: Ubisoft подтвердила разработку новой Ghost Recon 3 ч.
Кооперативный боевик Contraband от создателей Just Cause всё ещё жив, но оказался игрой-сервисом 5 ч.
Meta отказалась соблюдать «чрезмерные» правила разработки ИИ, предложенные ЕС 6 ч.
Microsoft уличили в допуске китайцев к секретным облачными системами Пентагона 6 ч.
Legacy of the Forge «уже не за горами» — Warhorse раскрыла, когда ждать новостей о втором дополнении к Kingdom Come: Deliverance 2 7 ч.
Перевод на русский, Denuvo и первые детали геймплея: Persona 4 Revival получила страницу в Steam 8 ч.
Netflix призналась, что начала использовать ИИ при создании сериалов 9 ч.
Фэнтезийная 4X-стратегия Endless Legend 2 от создателей Humankind не выйдет 7 августа в раннем доступе Steam, но есть и хорошая новость 10 ч.
iOS 26 защитит пользователей iPhone от телефонных спамеров 10 ч.
Углеродные выбросы Amazon выросли в 2024 году на 6 % из-за ИИ ЦОД и любителей шопинга 3 ч.
Австрийцы упаковали электромобильный аккумулятор в корпус из дерева и стали 6 ч.
В Роттердаме запустят беспилотные рейсовые автобусы между городом и аэропортом 6 ч.
Asus представила материнскую плату ROG Strix X870-H Gaming WiFi7 S с ярким аниме-дизайном 7 ч.
ASRock представила плату X870E Taichi OCF для экстремального разгона Ryzen 9000 и другие новинки с AM5 9 ч.
США намерены ослабить влияние Китая на подводную интернет-инфраструктуру, но у них это вряд ли получится 10 ч.
Российские учёные создали фотонный детектор с «обонянием» — он учует опасные газы в воздухе, диабет и алкогольную вечеринку 11 ч.
Передовые твердотельные батареи в электромобилях появятся в лучшем случае через пять лет 11 ч.
В России впервые запущено производство особо чистого тетрахлорида германия для выпуска оптоволокна 13 ч.
Китайский охотник за астероидами испытал камеры на Земле и Луне — и поделился впечатляющими снимками 14 ч.