Сегодня 19 марта 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Теперь каждый может обучить себе рассуждающий ИИ всего за $450 — открыт исходный код Sky-T1

На этой неделе исследователи из лаборатории Sky Computing Lab Калифорнийского университета в Беркли запустили модель искусственного интеллекта Sky-T1-32B-Preview. Речь идёт о нейросети со способностью к рассуждениям, которая способна конкурировать с OpenAI o1 по ряду ключевых показателей.

 Источник изображения: Lee Campbell/Unsplash

Источник изображения: Lee Campbell/Unsplash

По всей видимости, Sky-T1 является первой моделью с поддержкой рассуждений с открытым исходным кодом, что позволит воспроизвести её с нуля. Разработчики опубликовали набор данных, который использовался для обучения алгоритма, а также другие данные, необходимые для запуска ИИ-модели.

Одна из главных особенностей алгоритма в том, что для его обучения не требуются существенные затраты. «Примечательно, что Sky-T1-32B-Preview был обучен менее чем за $450», — написали разработчики в своём блоге. Таким образом, они наглядно продемонстрировали, что возможно создать ИИ-модель со способностью к рассуждениям высокого уровня без существенных денежных вложений.

Ещё недавно стоимость обучения большой языковой модели с сопоставимыми характеристиками измерялась миллионами долларов. Существенно снизить затраты удалось за счёт использования синтетических данных, т.е. данных, сгенерированных другими нейросетями. К примеру, недавно выпущенный компанией Winter алгоритм Palmyra X 004 обучался на синтетических данных и обошёлся разработчикам в $700 тыс.

В отличие от многих ИИ-алгоритмов, модели с возможностью рассуждения эффективно проверяют факты, что позволяет им давать более точные ответы и реже ошибаться, вводя пользователей в заблуждение. Кроме того, моделям рассуждения обычно требуется больше времени на формирование ответа на запрос по сравнению с обычными ИИ-алгоритмами. Однако обычно рассуждающие модели являются более надёжными, особенно в таких областях, как физика, математика и естественные науки.

Согласно имеющимся данным, разработчики задействовали модель рассуждения Alibaba QwQ-32B-Preview для создания первоначального набора данных для обучения Sky-T1. Далее данные преобразовывались с помощью GPT-4o-mini от OpenAI в более точный формат. Процесс обучения Sky-T1 с 32 млрд параметров занял около 19 часов, для чего были задействованы 8 графических ускорителей Nvidia H100.

«В дальнейшем мы сосредоточимся на разработке более эффективных моделей, которые сохраняют высокую производительность рассуждений, а также на изучении передовых методов повышения эффективности и точности моделей во время тестирования. Следите за обновлениями, пока мы добиваемся прогресса в реализации этих интересных инициатив», — написали разработчики в своём блоге.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
ЕС потребовал от Google прекратить ущемлять конкурентов в поисковой выдаче и пригрозил штрафом до $35 млрд 7 мин.
По мотивам творчества легендарной метал-группы Voivod выйдет «умопомрачительная» метроидвания Voivod: The Nuclear Warrior 40 мин.
Лошадь есть, ума не надо: сюжетный платформер Brute Horse отправит игроков в абсурдный мир, где даже конь может стать оружием 2 ч.
Microsoft исправила баг с автоматическим удалением ИИ-помощника Copilot из Windows 11 3 ч.
Дуров похвастался миллиардом активных пользователей Telegram и назвал WhatsApp «дешёвой имитацией» 3 ч.
Будущее Baldur's Gate прояснится «довольно скоро» — у владельца Dungeons & Dragons большие планы на франшизу 4 ч.
В России официально разрешат торговать криптовалютой, но лишь особым людям 5 ч.
VK представила обновлённую платформу Private Cloud для частного облака 5 ч.
Россия заняла второе место в мире по утечкам данных 5 ч.
Северная Корея стала третьим в мире держателем биткоинов 5 ч.
«Увеон — облачные технологии» выпустил отечественный контроллер доставки приложений 2 ч.
Micron и SK hynix представили компактные модули памяти SOCAMM для ИИ-систем Nvidia GB300 3 ч.
«Джеймс Уэбб» впервые обнаружил углекислый газ на далёкой экзопланете 3 ч.
Xiaomi отчиталась о рекордной годовой выручке в $50 млрд — помогли дорогие смартфоны и электромобили 4 ч.
Atari выпустила смарт-часы, на которых можно поиграть в Pong и другие классические игры 4 ч.
Китайский человекообразный робот Unitree G1 первым в мире освоил боковое сальто 4 ч.
Опубликована «последняя черновая» спецификация PCIe 7.0 4 ч.
G.Skill представила комплект DDR5-6000 из двух 48-Гбайт планок с низкими задержками для AMD Ryzen 4 ч.
Realme представила лунный смартфон — P3 Ultra с уникальным дизайном, Dimensity 8350 Ultra и ценой от $312 4 ч.
Nvidia снизила цены на GeForce RTX 5000 в Европе, но доступнее видеокарты не стали 4 ч.