Учёные Apple представили три проекта для ИИ-программирования: обучение, поиск багов и тестирование

Apple опубликовала три статьи, посвящённые исследованиям в области искусственного интеллекта. Учёные компании предложили новые подходы для поиска ошибок в коде, для тестирования созданных ИИ программных решений и для обучения моделей и агентов, способных создавать работающий код.

Первое исследование посвящено модели, которую в Apple назвали ADE-QVAET. Она призвана решить проблемы, свойственные традиционным современным моделям ИИ, такие как галлюцинации, выпадение модели из контекста при анализе кодовой базы большого объёма, а также утеря связи с фактической бизнес-логикой применительно к текущему программному решению. ADE-QVAET призвана повысить точность прогнозирования ошибок посредством объединения четырёх методов ИИ: адаптивная дифференциальная эволюция (Adaptive Differential Evolution — ADE), квантовый вариационный автокодировщик (Quantum Variational Autoencoder — QVAE), архитектура трансформера, а также адаптивное шумоподавление и дополнение (Adaptive Noise Reduction and Augmentation — ANRA).

ADE выступает как альтернативный механизм обучения модели, QVAE способствует более глубокому обнаружению закономерностей в данных, трансформер помогает отслеживать связи этих закономерностей, а ANRA обеспечивает очистку и баланс данных, чтобы результаты работы ИИ были согласованными. При этом в отличие от большой языковой эта модель не проводит прямого анализа кода — она оценивает его сложность, размер и структуру и ищет закономерности, которые могут указывать на места, где вероятно возникновение ошибок. Обучив модель на 90 % данных исходного массива, исследователи установили, что точность прогнозов ADE-QVAET составляет от 95 % до 98 %. Это значит, что модель демонстрирует высокую надёжность и высокую эффективность в выявлении действительных ошибок и почти не даёт ложных срабатываний.

Второе исследование, которое провели преимущественно авторы первого, призвано сформировать средства для планирования и создания инструментов тестирования крупных программных проектов. Учёные построили систему Agentic RAG (Retrieval-Augmented Generation) из большой языковой модели и ИИ-агентов, которая самостоятельно планирует, пишет и организовывает тестирование ПО, облегчая работу инженерам по качеству — эти задачи занимают у них от 30 % до 40 % рабочего времени, указывают авторы исследования.

Подключение нескольких агентов к ИИ-модели с RAG помогло повысить точность тестирования ПО с 65 %, которые демонстрировала прежняя модель с RAG, работавшая без агентов, до 94,8 % у модели с ИИ-агентами. На 85 % сократилось время тестирования ПО, на те же 85 % повысилась точность средств тестирования, а прогнозируемая экономия средств составила 35 %. Новая система позволила сократить сроки ввода программных решений в эксплуатацию на два месяца. Единственное ограничение предложенной Apple системы Agentic RAG состоит в том, что испытывали её на сложных корпоративных кадровых и бухгалтерских системах, а также средствах SAP.

Третий проект получил название SWE-Gym — его задача не прогнозировать ошибки и не тестировать ПО — это механизм обучения ИИ-агентов. Обучаясь на чтении, редактировании и проверке реально существующего программного кода, эти агенты обретают способность исправлять в нём ошибки. Платформу SWE-Gym построили на основе 2438 реальных задач на языке Python из 11 открытых репозиториев — в каждом из них были исполняемая среда и набор тестов, благодаря которым ИИ-агенты имели возможность практиковаться в написании и отладке кода в реалистичных условиях. Авторы исследования также создали платформу SWE-Gym Lite на базе 230 более простых задач, которая помогает ускорить обучение и снизить затраты на вычислительные ресурсы.

Обученные с помощью средств SWE-Gym агенты правильно решили 72,5 % предложенных задач, то есть платформа помогла повысить качество их работы на 20 процентных пунктов по сравнению с предыдущими методами. В случае с SWE-Gym Lite время обучения сокращается вдвое, если сравнивать с полномасштабной платформой, но обученные на облегчённом варианте агенты предназначаются для работы с более простыми задачами.