MWC 2018
2018
Computex
IFA 2018
Модели искусственного интеллекта Anthropic Claude стали генерировать столько программного кода, что существующая инфраструктура разработки в компании перестала справляться с нагрузкой. Решением проблемы стала собственная система контроля версий Scion.
Источник изображения: anthropic.com
Для Anthropic написание кода перестало быть узким местом, ограничивающим темпы работы компании; главная проблема сместилась в сторону управления кодом после его создания: контроль версий, системы сборки и непрерывной интеграции. Если в мае в среде разработки Anthropic было около 2500 слияний в день, то к сентябрю этот показатель достиг 30 000. Темпы разработки только нарастают, «и устранение любого препятствия немедленно приводит к дальнейшему увеличению объёма создаваемого кода», отметили в компании. В Anthropic разработали собственную систему контроля версий Scion на базе монорепозитория; процесс миграции занял пять месяцев.
Высокая продуктивность Claude в написании кода не только породила проблему, но и послужила подсказкой к её решению — потребовались масштабируемые инструменты инфраструктуры. Помимо Scion, ИИ создал интерфейс для код-ревью Antique, средство поиска по коду и систему управления правами доступа к исходному коду. Реализованный в Git децентрализованный подход оптимален для большинства репозиториев; но в самой компании основная ветка репозитория имеет размер около 100 Гбайт, а сжатая рабочая копия — около четверти этого объёма. Каждый день производятся более 25 млн операций по извлечению кода, и при обычном подходе к загрузке объём трафика Git превысил бы 600 Пбайт в сутки.
Систему Scion разработали с учётом потребностей ИИ-агентов, поэтому значительную часть работы пришлось переложить с клиентской на серверную часть. Запросы к системе осуществляются через API, благодаря чему внутренние инструменты обходятся без локального репозитория — потребность в синхронизации снижается, а требования к скорости работы сервера, напротив, повышаются.
Работу над системой Scion начали в январе, и когда внутри компании появился доступ к модели Claude Mythos Preview, инженеры Anthropic поручили ей переписать первоначальный конвейер переноса данных из Git в Scion — та создала версию, которая потребляла в 20 раз меньше памяти и работала вчетверо быстрее. Инженеры компании спокойно относятся к тому, что ИИ стал писать код лучше их. Сейчас их задача — контролировать работу ИИ и пресекать её инициативы, которые нарушают заданные ограничения.
Выпускать Scion как проект с открытым исходным кодом в Anthropic не планируют, но допускают, что с похожей проблемой могут столкнуться в обозримом будущем и другие организации, поэтому компания решила поделиться своим подходом.
Источник:
