Сегодня 17 марта 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Теперь каждый может обучить себе рассуждающий ИИ всего за $450 — открыт исходный код Sky-T1

На этой неделе исследователи из лаборатории Sky Computing Lab Калифорнийского университета в Беркли запустили модель искусственного интеллекта Sky-T1-32B-Preview. Речь идёт о нейросети со способностью к рассуждениям, которая способна конкурировать с OpenAI o1 по ряду ключевых показателей.

 Источник изображения: Lee Campbell/Unsplash

Источник изображения: Lee Campbell/Unsplash

По всей видимости, Sky-T1 является первой моделью с поддержкой рассуждений с открытым исходным кодом, что позволит воспроизвести её с нуля. Разработчики опубликовали набор данных, который использовался для обучения алгоритма, а также другие данные, необходимые для запуска ИИ-модели.

Одна из главных особенностей алгоритма в том, что для его обучения не требуются существенные затраты. «Примечательно, что Sky-T1-32B-Preview был обучен менее чем за $450», — написали разработчики в своём блоге. Таким образом, они наглядно продемонстрировали, что возможно создать ИИ-модель со способностью к рассуждениям высокого уровня без существенных денежных вложений.

Ещё недавно стоимость обучения большой языковой модели с сопоставимыми характеристиками измерялась миллионами долларов. Существенно снизить затраты удалось за счёт использования синтетических данных, т.е. данных, сгенерированных другими нейросетями. К примеру, недавно выпущенный компанией Winter алгоритм Palmyra X 004 обучался на синтетических данных и обошёлся разработчикам в $700 тыс.

В отличие от многих ИИ-алгоритмов, модели с возможностью рассуждения эффективно проверяют факты, что позволяет им давать более точные ответы и реже ошибаться, вводя пользователей в заблуждение. Кроме того, моделям рассуждения обычно требуется больше времени на формирование ответа на запрос по сравнению с обычными ИИ-алгоритмами. Однако обычно рассуждающие модели являются более надёжными, особенно в таких областях, как физика, математика и естественные науки.

Согласно имеющимся данным, разработчики задействовали модель рассуждения Alibaba QwQ-32B-Preview для создания первоначального набора данных для обучения Sky-T1. Далее данные преобразовывались с помощью GPT-4o-mini от OpenAI в более точный формат. Процесс обучения Sky-T1 с 32 млрд параметров занял около 19 часов, для чего были задействованы 8 графических ускорителей Nvidia H100.

«В дальнейшем мы сосредоточимся на разработке более эффективных моделей, которые сохраняют высокую производительность рассуждений, а также на изучении передовых методов повышения эффективности и точности моделей во время тестирования. Следите за обновлениями, пока мы добиваемся прогресса в реализации этих интересных инициатив», — написали разработчики в своём блоге.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Ежегодные расходы техногигантов на ИИ превысят $500 млрд, но большая часть денег пойдёт на инференс, а не на обучение моделей 1 мин.
Microsoft случайно удалила Copilot из последнего обновления Windows 11 6 мин.
Российские долги банкротящегося «Гугл» превысили 91,5 квинтиллиона рублей 2 ч.
Демоверсия глобального мода Dark Souls: Archthrones для Dark Souls 3 спустя год получила перевод на русский язык 4 ч.
Журналисты показали нелинейный геймплей Forest Reigns — постапокалиптического шутера от бывших разработчиков S.T.A.L.K.E.R. и Survarium 6 ч.
«Все мои детские воспоминания теперь в 4K»: разработчики мода CSPromod анонсировали CS: Legacy — полноценный ремейк Counter-Strike 1.6 6 ч.
Руководство Apple уверено, что пользователям понравится кардинально переделанная iOS 19 7 ч.
Counter-Strike 2 всё-таки побила рекорд CS:GO по пиковому онлайну, а Steam празднует новый успех 8 ч.
Huawei может перейти на HarmonyOS в своих ноутбуках — лицензия на использование Windows заканчивается в марте 11 ч.
Власти США настроены привлечь Oracle к сделке с TikTok 11 ч.
CoreWeave развернёт крупный ИИ-кластер NVIDIA GB200 NVL72 в норвежском ЦОД Bulk N01 34 мин.
Tronsmart предлагает беспроводные наушники OpenFly 2 Pro с открытой конструкцией и Bluetooth-колонки Mirtune S100 и Tronsmart T7 2 ч.
Крупнейшая в США энергокомпания NextEra Energy предупреждает, что полагаться в энергетике только на газ очень опрометчиво 2 ч.
Oracle не прочь построить ЦОД на индонезийском острове Батам из-за его особого статуса и близости к Сингапуру 3 ч.
Новый гендир Intel первым делом наведёт порядок в сферах ИИ-чипов и контрактного производства 3 ч.
Техногиганты через несколько лет будут тратить на ИИ более $500 млрд в год 3 ч.
Intel отложила старт массового выпуска ангстремных процессоров Panther Lake на начало 2026 года 3 ч.
В январе поставки iPhone и других импортных смартфонов в Китай рухнули на 21 % 4 ч.
Китайские электромобили Zeekr начнут официально продаваться в России 5 ч.
Asus снова подняла цены GeForce RTX 5090 — заодно подорожали Radeon RX 9070 5 ч.