Андрей Карпатый (Andrej Karpathy), исследователь в области ИИ, соучредитель и бывший сотрудник OpenAI, ранее возглавлявший отдел ИИ в Tesla, присоединился к компании Anthropic. Он работает над предварительным обучением ИИ, которое обеспечивает Claude основные знания и возможности. Предварительное обучение — один из самых дорогостоящих и ресурсоёмких этапов создания передовой модели.

Компьютер месяца — май 2026 года

Линия защиты: обзор виртуальных машин и песочниц для Android

72 полёта над Марсом: как Ingenuity пережил зиму, сбои и собственную миссию

Обзор Apple MacBook Neo: удивительно хороший ноутбук с процессором от iPhone

Обзор Intel Core Ultra 7 270K Plus — лучший Arrow Lake за полцены

Обзор Intel Core Ultra 5 250K Plus, или Как Arrow Lake превратился в «топ за свои деньги»

Выбираем лучший игровой ноутбук до 100 000 рублей: сравнительное тестирование 7 интересных моделей

От Ryzen 7 1800X до Ryzen 7 9850X3D: девять лет эволюции AMD в одном тесте

Источник изображения: karpathy.ai

Карпатый создаст команду, которая будет заниматься использованием Claude для ускорения исследований в области предварительного обучения. Он один из немногих исследователей, способных преодолеть разрыв между теорией больших языковых моделей и практикой крупномасштабного обучения. Это назначение показывает, что именно исследования с использованием ИИ, а не просто вычислительные мощности, являются, по мнению Anthropic, залогом конкурентоспособности при разработке ИИ.

В OpenAI Карпатый занимался глубоким обучением и компьютерным зрением, пока не покинул компанию в 2017 году. До 2022 года он руководил программами Tesla по полному автономному вождению (FSD) и автопилоту. Затем он вернулся в OpenAI на год, после чего в 2024 году основал свой стартап Eureka Labs, занимающийся применением ИИ-помощников в образовании.

Карпатый не делился подробной информацией о Eureka Labs с момента её запуска, и неясно, продолжит ли он работу в этом стартапе. Он также преподавал онлайн-курс под названием «Нейронные сети: от нуля до героя», который помогает студентам научиться создавать нейронные сети с нуля в коде, и ведёт канал на YouTube, где периодически публикует лекции по магистерским программам и искусственному интеллекту.

«Я присоединился к Anthropic, — написал сегодня Карпатый в социальной сети X. — Думаю, следующие несколько лет на переднем крае LLM будут особенно важными. Я очень рад присоединиться к команде и вернуться к исследованиям и разработкам». По его словам, он «по-прежнему глубоко увлечён образованием и планирует возобновить свою работу в этой области со временем».

Anthropic также привлекла ветерана кибербезопасности с более чем 20-летним опытом Криса Рольфа (Chris Rohlf) в команду Red Team, которая проводит стресс-тестирование сложных моделей ИИ на предмет угроз. Последние шесть лет Рольф проработал в Meta✴✴. Ранее он был научным сотрудником Центра безопасности и новых технологий Джорджтаунского университета, где работал над проектом CyberAI.

«Перед нами открывается реальная возможность кардинально улучшить кибербезопасность с помощью ИИ, — заявил Рольф. — Я не могу представить себе лучшей компании или команды, к которой можно было бы присоединиться в этот критически важный момент».

Андрей Карпатый (Andrej Karpathy), бывший руководитель ИИ-проекта Tesla и соучредитель OpenAI, придумавший термин «вайбкодинг», разместил на GitHub свой новый проект с открытым исходным кодом. Это не готовая модель и не масштабный корпоративный продукт — это простой скрипт из 630 строк, но с грандиозными амбициями: автоматизация научного метода с помощью ИИ-агентов без участия человека — например, в ночные часы.

Обзор Apple MacBook Neo: удивительно хороший ноутбук с процессором от iPhone

Линия защиты: обзор виртуальных машин и песочниц для Android

От Ryzen 7 1800X до Ryzen 7 9850X3D: девять лет эволюции AMD в одном тесте

Компьютер месяца — май 2026 года

Обзор Intel Core Ultra 7 270K Plus — лучший Arrow Lake за полцены

Обзор Intel Core Ultra 5 250K Plus, или Как Arrow Lake превратился в «топ за свои деньги»

Выбираем лучший игровой ноутбук до 100 000 рублей: сравнительное тестирование 7 интересных моделей

72 полёта над Марсом: как Ingenuity пережил зиму, сбои и собственную миссию

Источник изображений: unsplash.com

«Цель состоит в том, чтобы сконструировать ваших агентов таким образом, чтобы они бесконечно быстро продвигались в исследованиях без вашего участия», — написал Карпатый в социальной сети X. Это сообщение мгновенно стало вирусным и набрало более 8,6 миллионов просмотров за два дня.

Система функционирует как автономный цикл оптимизации. Агенту ИИ предоставляется обучающий скрипт и фиксированный вычислительный бюджет (обычно 5 минут на графическом процессоре). Агент считывает собственный исходный код, формулирует гипотезу для улучшения (например, изменение скорости обучения или глубины архитектуры), модифицирует код, запускает эксперимент и оценивает результаты.

Если потери при валидации — измеряемые в битах на байт (val_bpb) — улучшаются, он сохраняет изменение, в противном случае агент отменяет его и пробует снова. За одну ночь ИИ -агент выполнил 126 экспериментов, снизив потери с 0,9979 до 0,9697. После двухдневной настройки модели агент успешно обработал около 700 автономных изменений. Он обнаружил примерно 20 аддитивных улучшений, которые идеально перенеслись на более крупные модели.

«Видеть, как агент выполняет весь этот рабочий процесс от начала до конца и совершенно самостоятельно… это невероятно», — заметил Карпатый, отметив, что агент обнаружил ошибки в масштабировании внимания и регуляризации, которые он сам упускал на протяжении двух десятилетий работы.

По мнению экспертов, автоисследования — это фундаментальный сдвиг в совершенствовании искусственного интеллекта. Автоматизировав «научный метод» для кода, Карпатый превратил машинное обучение в эволюционный процесс, работающий со скоростью кремния, а не со скоростью человеческого мышления. Этот тип процесса может быть применён далеко за пределами ИТ, в таких областях, как маркетинг, здравоохранение — практически во всём, что требует исследований.

Руководитель платформы агрегации инструментов ИИ Hyperspace AI Варун Матур (Varun Mathur) провёл эксперимент с одним агентом в одноранговой сети. Каждый узел, на котором работал агент Hyperspace, стал автономным исследователем. За одну ночь 35 автономных агентов провели 333 эксперимента полностью без участия оператора.

По словам Матура, в то время как графические процессоры H100 использовали бы «грубую силу», агенты, работающие только на ноутбучных ЦП, были вынуждены «проявлять смекалку». Они сосредоточились на стратегиях инициализации (таких как Kaiming и Xavier init) и выборе нормализации, поскольку не могли полагаться на высокую пропускную способность.

Используя протокол GossipSub, агенты делились своими успехами в режиме реального времени. Когда один из агентов обнаружил, что стратегия Kaiming снижает потери на 21 %, эта информация распространилась по сети, как вирус. В течение нескольких часов 23 других агента включили это открытие в свои собственные гипотезы. Всего за 17 часов агенты независимо друг от друга заново открыли важные этапы машинного обучения — такие как RMSNorm и связанные эмбеддинги, — на формализацию которых у исследователей в таких лабораториях, как Google Brain и OpenAI, ушло почти восемь лет.

Основатель рекламного агентства Single Grain Эрик Сиу (Eric Siu) применил автоисследования по методу Карпатого к «экспериментальному циклу» маркетинга. Фреймворк Сиу заменяет обучающий сценарий маркетинговым инструментом — целевой страницей, рекламным креативом или холодным письмом. ИИ-агент изменяет переменную (заголовок письма или призыв к действию), запускает его, измеряет «процент положительных ответов» и сохраняет или удаляет.

Сиу утверждает, что такой подход создаёт «собственную карту» отклика конкретной аудитории — своего рода отчёт, полученный не из кода, а из истории экспериментов. «Большинство маркетинговых команд проводят около 30 экспериментов в год. Следующее поколение будет проводить более 36 500 экспериментов. Легко», — заявил Сиу. «У компаний, которые выиграют, будут не лучшие маркетологи, — уверен он, — а более быстрые циклы экспериментов».

Несмотря на возникший ажиотаж, обсуждения на GitHub показали, что сообщество пытается осмыслить последствия такого быстрого автоматизированного прогресса. Высказываются опасения о возможной «ловушке чрезмерной оптимизации» — при достаточном количестве агентов параметры могут оказаться оптимизированы под конкретные особенности тестовых данных, а не под общий интеллект.

На вопрос, действительно ли заметно падение потерь при валидации с 0,9979 до 0,9697, Карпатый ответил: «Мы всего лишь оптимизируем производительность на каждый вычислительный ресурс... это реальные и существенные улучшения». Один из экспериментаторов сообщил, что, 26 из 35 его экспериментов провалились или завершились с ошибкой, но успешные показали, что «модель стала лучше, став проще». По его словам, это понимание было достигнуто без вмешательства человека.

Появление автоматических исследований может изменить будущее исследовательской работы в различных областях, где благодаря простым механизмам управления ИИ роль человека смещается от «экспериментатора» к «разработчику экспериментов». По мере появления таких инструментов, узким местом прогресса в области ИИ становится уже не способность человека программировать, а его умение определять ограничения поиска.

По мнению аналитиков, «Андрей Карпатый в очередной раз изменил ситуацию — мы больше не просто кодируем модели; мы создаём экосистемы, которые учатся, пока мы спим».