Андрей Карпатый (Andrej Karpathy), бывший руководитель ИИ-проекта Tesla и соучредитель OpenAI, придумавший термин «вайбкодинг», разместил на GitHub свой новый проект с открытым исходным кодом. Это не готовая модель и не масштабный корпоративный продукт — это простой скрипт из 630 строк, но с грандиозными амбициями: автоматизация научного метода с помощью ИИ-агентов без участия человека — например, в ночные часы.
Источник изображений: unsplash.com
«Цель состоит в том, чтобы сконструировать ваших агентов таким образом, чтобы они бесконечно быстро продвигались в исследованиях без вашего участия», — написал Карпатый в социальной сети X. Это сообщение мгновенно стало вирусным и набрало более 8,6 миллионов просмотров за два дня.
Система функционирует как автономный цикл оптимизации. Агенту ИИ предоставляется обучающий скрипт и фиксированный вычислительный бюджет (обычно 5 минут на графическом процессоре). Агент считывает собственный исходный код, формулирует гипотезу для улучшения (например, изменение скорости обучения или глубины архитектуры), модифицирует код, запускает эксперимент и оценивает результаты.
Если потери при валидации — измеряемые в битах на байт (val_bpb) — улучшаются, он сохраняет изменение, в противном случае агент отменяет его и пробует снова. За одну ночь ИИ -агент выполнил 126 экспериментов, снизив потери с 0,9979 до 0,9697. После двухдневной настройки модели агент успешно обработал около 700 автономных изменений. Он обнаружил примерно 20 аддитивных улучшений, которые идеально перенеслись на более крупные модели.
«Видеть, как агент выполняет весь этот рабочий процесс от начала до конца и совершенно самостоятельно… это невероятно», — заметил Карпатый, отметив, что агент обнаружил ошибки в масштабировании внимания и регуляризации, которые он сам упускал на протяжении двух десятилетий работы.
По мнению экспертов, автоисследования — это фундаментальный сдвиг в совершенствовании искусственного интеллекта. Автоматизировав «научный метод» для кода, Карпатый превратил машинное обучение в эволюционный процесс, работающий со скоростью кремния, а не со скоростью человеческого мышления. Этот тип процесса может быть применён далеко за пределами ИТ, в таких областях, как маркетинг, здравоохранение — практически во всём, что требует исследований.
Руководитель платформы агрегации инструментов ИИ Hyperspace AI Варун Матур (Varun Mathur) провёл эксперимент с одним агентом в одноранговой сети. Каждый узел, на котором работал агент Hyperspace, стал автономным исследователем. За одну ночь 35 автономных агентов провели 333 эксперимента полностью без участия оператора.
По словам Матура, в то время как графические процессоры H100 использовали бы «грубую силу», агенты, работающие только на ноутбучных ЦП, были вынуждены «проявлять смекалку». Они сосредоточились на стратегиях инициализации (таких как Kaiming и Xavier init) и выборе нормализации, поскольку не могли полагаться на высокую пропускную способность.
Используя протокол GossipSub, агенты делились своими успехами в режиме реального времени. Когда один из агентов обнаружил, что стратегия Kaiming снижает потери на 21 %, эта информация распространилась по сети, как вирус. В течение нескольких часов 23 других агента включили это открытие в свои собственные гипотезы. Всего за 17 часов агенты независимо друг от друга заново открыли важные этапы машинного обучения — такие как RMSNorm и связанные эмбеддинги, — на формализацию которых у исследователей в таких лабораториях, как Google Brain и OpenAI, ушло почти восемь лет.
Основатель рекламного агентства Single Grain Эрик Сиу (Eric Siu) применил автоисследования по методу Карпатого к «экспериментальному циклу» маркетинга. Фреймворк Сиу заменяет обучающий сценарий маркетинговым инструментом — целевой страницей, рекламным креативом или холодным письмом. ИИ-агент изменяет переменную (заголовок письма или призыв к действию), запускает его, измеряет «процент положительных ответов» и сохраняет или удаляет.
Сиу утверждает, что такой подход создаёт «собственную карту» отклика конкретной аудитории — своего рода отчёт, полученный не из кода, а из истории экспериментов. «Большинство маркетинговых команд проводят около 30 экспериментов в год. Следующее поколение будет проводить более 36 500 экспериментов. Легко», — заявил Сиу. «У компаний, которые выиграют, будут не лучшие маркетологи, — уверен он, — а более быстрые циклы экспериментов».
Несмотря на возникший ажиотаж, обсуждения на GitHub показали, что сообщество пытается осмыслить последствия такого быстрого автоматизированного прогресса. Высказываются опасения о возможной «ловушке чрезмерной оптимизации» — при достаточном количестве агентов параметры могут оказаться оптимизированы под конкретные особенности тестовых данных, а не под общий интеллект.
На вопрос, действительно ли заметно падение потерь при валидации с 0,9979 до 0,9697, Карпатый ответил: «Мы всего лишь оптимизируем производительность на каждый вычислительный ресурс... это реальные и существенные улучшения». Один из экспериментаторов сообщил, что, 26 из 35 его экспериментов провалились или завершились с ошибкой, но успешные показали, что «модель стала лучше, став проще». По его словам, это понимание было достигнуто без вмешательства человека.
Появление автоматических исследований может изменить будущее исследовательской работы в различных областях, где благодаря простым механизмам управления ИИ роль человека смещается от «экспериментатора» к «разработчику экспериментов». По мере появления таких инструментов, узким местом прогресса в области ИИ становится уже не способность человека программировать, а его умение определять ограничения поиска.
По мнению аналитиков, «Андрей Карпатый в очередной раз изменил ситуацию — мы больше не просто кодируем модели; мы создаём экосистемы, которые учатся, пока мы спим».