Сегодня 03 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Hardware

Исследователи обучили конкурента OpenAI o1 менее чем за полчаса и $50

Исследователи из Стэнфорда и Университета Вашингтона создали ИИ-модель, которая превосходит OpenAI в решении математических задач. Модель, получившая название s1, была обучена на ограниченном наборе данных из 1000 вопросов методом дистилляции. Это позволило достичь высокой эффективности при минимальных ресурсах и доказать, что крупным компаниям, таким как OpenAI, Microsoft, Meta и Google, возможно не придётся строить огромные дата-центры, заполняя их тысячами графических процессоров Nvidia.

 Источник изображения: Growtika / Unsplash

Источник изображения: Growtika / Unsplash

Метод дистилляции, который применили учёные, стал ключевым решением в эксперименте. Этот подход позволяет небольшим моделям обучаться на ответах, предоставленных более крупными ИИ-моделями. В данном случае, как пишет The Verge, s1 быстро улучшала свои способности, используя ответы, полученные от модели искусственного интеллекта Gemini 2.0 Flash Thinking Experimental, разработанной компанией Google.

Модель s1 была создана на основе проекта Qwen2.5 от Alibaba (подразделение Cloud) с открытым исходным кодом. Первоначально исследователи использовали набор данных из 59 000 вопросов, но в ходе экспериментов пришли к выводу, что увеличение объёма данных не даёт значимых улучшений, и для финального обучения использовали лишь небольшой набор из 1000 вопросов. При этом было использовано всего 16 GPU Nvidia H100 в облаке, за использование которых пришлось заплатить менее $50.

В s1 была также применена техника под названием «масштабирование времени тестирования», которая позволяет модели «поразмышлять» перед генерацией ответа. Также исследователи стимулировали модель к перепроверке своих выводов путём добавления команды в виде слова «Wait» («Жди»), что заставляло ИИ продолжать рассуждение и исправлять ошибки в своих ответах.

Утверждается, что модель s1 показала впечатляющие результаты и смогла превзойти OpenAI o1-preview на 27 % при решении математических задач. Недавно нашумевшая модель R1 от DeepSeek также использовала аналогичный подход и за сравнительно небольшие деньги. Правда, теперь OpenAI обвиняет DeepSeek в извлечении информации из своих моделей в нарушение условий обслуживания. Стоит сказать, что и в условиях использования Google Gemini указано, что её API запрещено применять для создания конкурирующих чат-ботов.

Рост количества меньших и более дешёвых моделей может, по словам экспертов, перевернуть всю отрасль и доказать, что нет необходимости инвестировать миллиарды долларов на обучение ИИ, строить огромные центры обработки данных и закупать в большом количестве GPU.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
«Базальт СПО» представила в Китае российский ПАК с китайскими чипами Loongson 7 мин.
Петиция «Прекратите убивать игры» набрала миллион подписей для рассмотрения в Евросоюзе, но борьба ещё не окончена 39 мин.
Аналитики раскрыли продажи Death Stranding 2: On the Beach — игра уже стала хитом на PlayStation 5 2 ч.
Windows 11 становится всё популярнее среди геймеров — на неё переходят не только с Windows 10 3 ч.
Новый шутер от соавтора Doom Джона Ромеро оказался под угрозой — из-за увольнений в Microsoft студия осталась без денег и сотрудников 3 ч.
«Нужно больше Адских Десантников»: популярный кооперативный шутер Helldivers 2 от Sony всё-таки выйдет на Xbox, причём уже скоро 5 ч.
39 млн записей с персональными данными россиян утекло за первое полугодие 5 ч.
В технологии ИИ-стартапа Anthropic обнаружена критическая уязвимость 5 ч.
Переходы на новостные сайты из ChatGPT выросли в 25 раз, но это не компенсирует потери поискового трафика 6 ч.
MIND Guard получил поддержку протокола T-BOOST хранилищ YADRO TATLIN.BACKUP 6 ч.
Nothing Phone (3) для Индии получил более ёмкую батарею, чем для США и Европы 7 мин.
Дело о растрате 6 млрд рублей при создании «планшета Чубайса» дошло до суда 17 мин.
Tesla подтвердила падение спроса на Cybertruck до 5000 единиц в квартал — на порядок ниже изначального плана 2 ч.
Nvidia сегодня может отобрать у Apple звание самой дорогой компании в истории 2 ч.
Почти все настольные GeForce RTX 5000 попали в статистику Steam — а Radeon RX 9000 там до сих пор нет 3 ч.
В России поступили в продажу беспроводные наушники Realme Buds T200x, Buds T200 Lite и Buds Air7 — от 1699 рублей 3 ч.
Pebble выпустила умное-кольцо Halo Smart Ring, которое умеет показывать время и стоит менее $100 3 ч.
Samsung нечаянно раскрыла дизайн будущего тройного складного смартфона 3 ч.
Samsung отложила запуск нового завода чипов в США — он оказался никому не нужен 4 ч.
«Рег.ру» начал предлагать в аренду серверное оборудование по модели HaaS 4 ч.