Сегодня 18 июля 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → разработка ии

Написанный ИИ программный код забагован сильнее человеческого, показало исследование

Исследование компании CodeRabbit показало, что код, созданный с использованием инструментов искусственного интеллекта, содержит больше ошибок и уязвимостей, чем код, написанный людьми. В запросах на слияние изменений в коде (Pull Request), созданных с помощью инструментов ИИ, в среднем фиксировалось 10,83 ошибки, по сравнению с 6,45 ошибками в запросах на слияние, созданных человеком. Это приводит в конечном итоге к увеличенному времени проверок и потенциальному увеличению количества ошибок, попадающих в финальную версию продукта.

 Источник изображения: Gema Saputera/Unsplash

Источник изображения: Gema Saputera/Unsplash

В целом, ошибок в запросах на слияние, сгенерированных ИИ, было в 1,7 раза больше, критических и серьёзных ошибок — также было в 1,4 раза больше, что нельзя отнести к мелким недочётам, как отмечает TechRadar. Ошибки в логике и корректности (в 1,75 раза), качество и удобство сопровождения кода (в 1,64 раза), безопасность (в 1,57 раза) и производительность (в 1,42 раза) показали в среднем более высокий уровень ошибок. В отчёте ИИ также критикуется за то, что вносит больше серьёзных ошибок, которые затем приходится исправлять людям-рецензентам.

Если говорить о безопасности кода, то среди наиболее вероятных проблем, которые может внести ИИ, указывается неправильная обработка паролей, небезопасные ссылки на объекты, уязвимости XSS и небезопасная десериализация (серьёзная уязвимость приложений, возникающая, когда программа преобразует ненадёжные данные).

«Инструменты ИИ для программирования значительно увеличивают производительность, но они также вносят предсказуемые недостатки, которые организации должны активно устранять», — прокомментировал директор по ИИ CodeRabbit Дэвид Локер (David Loker). Однако это не всегда сопровождается проблемами, так как ИИ повышает эффективность на начальных этапах генерации кода, а также приводит к уменьшению количества орфографических ошибок в 1,76 раза и проблем с тестируемостью (1,32 раза).

Таким образом, хотя исследование и выявило некоторые недостатки ИИ, одновременно оно также показало, что разработчики всё больше переходят от написания базового кода к управлению ИИ и проверкой его результатов, и именно так в будущем люди и ИИ-агенты, возможно, начнут взаимодействовать.

В то же время Microsoft сообщает о рекордном числе исправленных уязвимостей, например, в 2025 году было закрыто 1139 CVE (Common Vulnerabilities and Exposures, общие уязвимости и угрозы), что стало вторым по величине показателем за всю историю. Это может частично объясняться ростом общего объёма кода за счёт ИИ-генерации. Кроме того, ИИ-модели, например, в исполнении OpenAI, в принципе продолжают улучшаться, что потенциально снизит число ошибок в будущем.

Разработчики сосредоточились на ИИ-моделях мира для создания сверхразума

Ведущие разработчики ИИ, такие как Google DeepMind, Meta✴ и Nvidia, уделяют всё больше внимания так называемым моделям мира, которые могут лучше понимать окружающую среду, в стремлении создать машинный «сверхразум», пишет The Financial Times.

 Источник изображения: julien Tromeur/unsplash.com

Источник изображения: julien Tromeur/unsplash.com

Модель мира имитирует причинно-следственные связи и законы физики посредством симуляций, основанных на обучении, для которого требуется огромный объём данных из реальных или моделируемых сред и большие вычислительные мощности. Они рассматриваются как важный шаг в развитии беспилотных автомобилей, робототехники и так называемых ИИ-агентов.

«ИИ по-прежнему ограничен цифровой сферой, — говорит Шломи Фрухтер (Shlomi Fruchter), соруководитель Genie 3 в Google DeepMind. — Создавая среды, которые выглядят или ведут себя как реальный мир, мы получаем гораздо более масштабируемые способы обучения ИИ без реальных последствий совершения ошибок в реальном мире».

Янн Лекун (Yann LeCun), возглавляющий исследовательскую лабораторию Meta✴ AI (прежнее название — Facebook✴ Artificial Intelligence Research, FAIR), заявил, что большие языковые модели (LLM) никогда не достигнут способности рассуждать и планировать как люди.

Одной из ближайших областей применения моделей мира станет индустрия развлечений, где они позволяют создавать интерактивные и реалистичные сцены. Например, стартап World Labs разрабатывает модель, которая генерирует трёхмерные среды, похожие на видеоигры, из одного изображения.

Runway, стартап по созданию видео, в числе партнёров которого голливудские студии, включая Lionsgate, в прошлом месяце выпустил продукт, использующий модели мира для создания игровых сред с персонализированными историями и персонажами, генерируемыми в реальном времени.

Генеральный директор Nvidia Дженсен Хуанг (Jensen Huang) заявил, что следующим крупным этапом роста компании станет «физический ИИ», так как новые модели позволят добиться прорыва в области робототехники. По мнению Лекуна, реализация концепции по созданию ИИ-систем, обеспечивающих машины интеллектом человеческого уровня, может занять 10 лет.

Вместе с тем эксперты указывают на большой потенциал новых ИИ-технологий. «Модели мира открывают возможность обслуживания всех отраслей и усиливают тот же эффект, который компьютеры сделали для интеллектуального труда», заявил Рев Лебаредян (Rev Lebaredian), вице-президент Nvidia по технологиям моделирования.

Meta✴ удалось переманить крупного специалиста Apple в сфере робототехники

Об издержках активного расширения штата специалистов Meta✴ Platforms в сфере ИИ профильные ресурсы пишут регулярно, но одновременно специфические проблемы проявляются в Apple, поскольку её активно покидают исследователи в разных областях, включая робототехнику — один из них недавно перевёлся в ту же Meta✴, например.

 Источник изображения: Unsplash, Zhenyu Luo

Источник изображения: Unsplash, Zhenyu Luo

Как отмечает Bloomberg, недавно Цзянь Чжан (Jian Zhang), который в Apple занимался исследованиями в сфере робототехники, присоединился к подразделению Meta✴ Robotics Studio. Попутно отмечается, что из Apple ушли три крупных специалиста по ИИ, которые занимались разработкой фирменных языковых моделей. За последние несколько недель команда Apple Foundation Models в целом потеряла около 10 сотрудников, включая руководителя. Именно это подразделение отвечало в компании за развитие комплекса Apple Intelligence.

По информации источника, массовый исход специалистов по ИИ из компании Apple в большей мере обусловлен ориентацией на использование внешних языковых моделей и снижением морального духа тех специалистов, которые участвовали в создании собственных решений Apple в этой сфере. Двое из покинувших Apple на прошлой неделе разработчиков перешли в OpenAI, третий устроился в Anthropic. Ранее сообщалось о массовом переходе профильных специалистов из Apple в Meta✴. Действующие сотрудники Apple со специализацией на ИИ, по информации Bloomberg, сейчас во многих случаях проходят собеседования с потенциальными новыми работодателями.

Непосредственно Цзянь Чжан в Apple руководил разработками в сфере автоматизации различных функций и интеграции ИИ в подходящие продукты. Робототехническая исследовательская группа входит в состав подразделения Apple, которое занимается искусственным интеллектом и технологиями машинного обучения. Что характерно, от направления разработки робототехнической продукции в Apple она структурно обособлена, поскольку первое с недавних пор объединено с разработкой аппаратного обеспечения в целом. Пока инициативы Apple в сфере робототехники сводятся к созданию настольного устройства с подвижным дисплеем, способным автоматически поворачиваться к пользователю, а также роботизированного манипулятора для использования на складах и в производстве. В свою очередь Meta✴ не исключает своего участия в разработке ПО и аппаратных компонентов для роботов, поэтому нанимаемым специалистам данного профиля работа в этой компании найдётся.

OpenAI опасается, что вскоре её модели научатся разрабатывать биологическое оружие

OpenAI обеспокоена тем, что следующее поколение её моделей искусственного интеллекта может значительно увеличить риск разработки биологического оружия, предоставив такую возможность даже людям без научного образования. Руководитель систем безопасности OpenAI Йоханнес Хайдеке (Johannes Heidecke) ожидает, что «некоторые из преемников нашей o3 [модели рассуждений] достигнут этого уровня». В связи с этим OpenAI усиливает тестирование безопасности.

 Источник изображений: unsplash.com

Источник изображений: unsplash.com

OpenAI сообщила о разработке системы для оценки и снижения рисков, создаваемых все более мощными моделями ИИ. Компания усиливает тестирование безопасности, чтобы снизить риск использования её моделей преступниками и террористами. Без этих мер по снижению рисков модели вскоре смогут «подняться на новый уровень», что позволит даже людям с ограниченными научными знаниями создавать опасное оружие.

«Мы [пока] ещё не в мире, где есть что-то новое, совершенно неизвестное, создающее биологические угрозы, которых раньше не было, — заявил Хайдеке. — Мы больше беспокоимся о воспроизведении вещей, с которыми эксперты уже хорошо знакомы». Особая сложность состоит в том, что те же инструменты, которые могли бы обеспечить жизненно важные медицинские прорывы, могут быть использованы злоумышленниками в опасных целях.

Именно поэтому ведущим лабораториям ИИ нужны высокоточные системы тестирования. «Это не та область, где производительность 99 % или одна ошибка на 100 000… допустимы, — считает Хайдеке. — Нам в основном нужно, что-то вроде почти идеального».

OpenAI — не единственная компания, обеспокоенная неправомерным использованием своих моделей, когда дело касается разработки оружия. По мере того, как модели становятся более совершенными, их потенциал для преступного использования растёт. Недавно компания Anthropic выпустила продвинутую модель Claude Opus 4 с более строгими протоколами безопасности, чем у любой из предыдущих моделей.

 Источник изображений: unsplash.com

В соответствии с политикой ответственного масштабирования, созданной по образцу уровней биологической угрозы (BSL) правительства США, ей присвоен третий «уровень безопасности ИИ» (AI Safety Level) ASL-3. Все предыдущие модели Anthropic отнесены к уровню ASL-2. Третьему уровню безопасности соответствуют продвинутые модели, которые достаточно мощны, чтобы представлять значительные риски, такие как помощь в разработке оружия или автоматизация разработки систем ИИ.

Недавно Claude Opus 4 попала в заголовки СМИ после попытки шантажировать инженера, чтобы избежать отключения в ходе строго контролируемого теста. Ранние версии этой модели были готовы выполнять опасные инструкции, например, планирование террористических атак. Компания заверила общественность, что эта проблема была решена внесением изменений в набор обучающих данных.


window-new
Soft
Hard
Тренды 🔥
TikTok начала тестировать инструмент для выявления ИИ-дипфейков внешности пользователей 8 ч.
Ошибочка вышла: AWS выставила клиентам счета на миллиарды и триллионы долларов из-за проблем с биллингом 11 ч.
Новая статья: DOOM: The Dark Ages — Revelations. Без откровений. Рецензия 12 ч.
Nebius предложила партнёрам свои ИИ-технологии для развёртывания в сторонних ЦОД 13 ч.
Исследователи обнаружили вирус ClickLock для macOS, ворующий пароли и криптовалюту 13 ч.
На волне успеха: спустя неделю после релиза продажи Assassin’s Creed Black Flag Resynced взяли новую высоту 15 ч.
Американца арестовали по подозрению в краже криптовалюты через запрятанный в игры Steam вирус 16 ч.
Bethesda назвала Starfield «важной частью» своего будущего и намекнула на новое сюжетное дополнение в 2027 году 16 ч.
Открытые китайские ИИ-модели сократили отставание от передовых американских всего до четырёх месяцев 18 ч.
«Яндекс» улучшил поиск АЗС без очередей и оптимизировал построение маршрутов для экономии топлива 18 ч.