Сегодня 11 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Исследование Microsoft показало, что ИИ пока «так себе» исправляет ошибки в программном коде

Новое исследование подразделения Microsoft Research выявило, что несмотря на то, что ИИ помогает разработчикам в написании кода, даже передовые модели OpenAI (o1) и Anthropic (Claude 3.7 Sonnet) справляются с исправлением ошибок не более чем в половине случаев. Тестирование проводилось на базе лучшего бенчмарка SWE-bench, который измеряет умение ИИ-систем создавать программный код.

 Источник изображения: сгенерировано AI

Источник изображения: сгенерировано AI

В ходе эксперимента ИИ-агенты пытались решить 300 задач по устранению ошибок в коде. Лидером стала модель Claude 3.7 Sonnet, которая выполнила задание с успешностью на 48,4 %, второе место заняла OpenAI o1 (30,2 %), третье — o3-mini (22,1 %). Однако, как видно, даже эти цифры далеки от уровня, которого можно было бы ожидать от опытных программистов-людей. Как поясняет TechCrunch, основная проблема заключается в том, что искусственный интеллект пока плохо понимает, как использовать доступные инструменты и интерпретировать ошибки.

По мнению авторов исследования, ключевым препятствием остаётся дефицит данных для обучения моделей. «Мы твёрдо верим, что обучение или дообучение может сделать их лучшими интерактивными отладчиками, — пишут они. — Однако для этого нужны специализированные данные, например, цепочка записей всех процессов взаимодействия людей с ИИ-отладчиками».

Сейчас таких данных недостаточно, что ограничивает возможности моделей. Например, популярный инструмент Devin стартапа Cognition Labs смог по этой причине справиться лишь с тремя из 20 тестов по кодированию. И хотя ИИ активно используется такими компаниями как Google, по словам генерального директора Сундара Пичаи (Sundar Pichai), четверть кода, который создаётся с помощью искусственного интеллекта, может даже наоборот добавлять ошибки.

Технологические лидеры скептически относятся к полной автоматизации профессии программиста. Билл Гейтс (Bill Gates) уверен, что программирование как профессия, конечно, никуда не исчезнет. Аналогичного мнения придерживаются генеральный директор Replit Амджад Масад (Amjad Masad), глава Okta Тодд Маккиннон (Todd McKinnon) и руководитель IBM Арвинд Кришна (Arvind Krishna).

Несмотря на очевидные проблемы, интерес к ИИ-инструментам для разработки продолжает расти. Инвесторы видят в них потенциал для повышения эффективности, однако ведущие разработчики считают, что доверять ИИ полностью пока рановато.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Sony показала 17 минут геймплея Ghost of Yotei и анонсировала лимитированные PS5 в стиле игры 14 мин.
Агентство по охране окружающей среды США посетовало на непрекращающиеся попытки бездумного внедрения ИИ 2 ч.
TikTok уже приступил к реструктуризации американского бизнеса, хотя перспективы сделки не ясны 2 ч.
ГК «Гарда»: лишь треть российских компаний использует решения для защиты данных 2 ч.
Новая статья: В малом весе: обзор российских мобильных операционных систем 10 ч.
YouTube объявил о закрытии раздела «В тренде», но уже готовит ему замену 11 ч.
Первый геймплей боевика «Земский собор» от создателей «Смуты» не впечатлил игроков 11 ч.
Забастовка актёров озвучки игр наконец завершена — участники SAG-AFTRA одобрили новый договор 13 ч.
«Я был пьян, но утечки так и не случилось»: глава издательского отдела Larian рассказал, как чуть не «слил» дату выхода Baldur's Gate 3 14 ч.
Google Gemini научился превращать фото в восьмисекундные видео со звуком, но небесплатно 14 ч.
В облаке AWS появились инстансы EC2 P6e-GB200 UltraServer на базе ИИ-суперускорителей NVIDIA GB200 NVL72 52 мин.
В России стартовали продажи смартфона Honor X6c с мощной батареей и повышенной прочностью за 12 000 рублей 2 ч.
Электрический гиперкар Rimac Nevera R установил 24 новых мировых рекорда, разогнавшись до 431,45 км/ч 3 ч.
Huawei пытается продвигать свои ускорители вычислений на Ближнем Востоке и в Юго-Восточной Азии 4 ч.
Аналитики усомнились в рентабельности бизнеса Starlink после опубликованного отчёта 4 ч.
Масштабные планы Apple на 2026 год: новые Mac, iPad, iPhone и даже монитор 4 ч.
Глава Nvidia встретился с Дональдом Трампом перед визитом в Китай, капитализация компании превысила $4 трлн 6 ч.
Meta готовит новые умные очки Ray-Ban без дисплея, но с улучшенной батареей 6 ч.
Razer представила игровую мышь DeathAdder V4 Pro за $170 с оптическим колёсиком и сенсором на 45 000 DPI 12 ч.
Philips выпустила 27-дюймовый игровой монитор Evnia 27M2N3800A с поддержкой 4K@160 Гц и FHD@320 Гц 12 ч.