Сегодня 15 марта 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

AMD выпустила свою первую языковую модель ИИ — AMD-135M

Поскольку AMD пытается нарастить своё присутствие на рынке ИИ, производитель выпускает не только аппаратное обеспечение под эти нужды, но также решил заняться разработкой языковых моделей. Результатом этого стал анонс первой малой языковой AMD-135M.

 Источник изображения: AMD

Источник изображения: AMD

Новая малая языковая модель AMD-135M принадлежит к семейству Llama и нацелена на развёртывание в частном бизнесе. Неясно, имеет ли новая ИИ-модель AMD какое-либо отношение к недавнему приобретению компанией стартапа Silo AI (сделка ещё не завершена и пока не одобрена различными регуляторами, поэтому, вероятно, нет). Однако это явный шаг в направлении удовлетворения потребностей конкретных клиентов с помощью предварительно обученной модели, созданной AMD с использованием её же оборудования.

Преимущество языковой модели AMD заключается в том, что она использует так называемое спекулятивное декодирование. Последнее представляет собой меньшую «черновую модель», которая генерирует несколько токенов-кандидатов за один прямой проход. Затем токены передаются в более крупную, более точную «целевую модель», которая проверяет или исправляет их. С одной стороны, такой подход позволяет генерировать несколько токенов одновременно, но с другой стороны, это приводит к повышению потребляемой мощности за счёт увеличения передачи данных.

Языковая модель AMD представлена в двух версиях: AMD-Llama-135M и AMD-Llama-135M-code. Каждая из них оптимизирована для определённых задач путём повышения производительности вывода с помощью технологии спекулятивного декодирования. Базовая модель AMD-Llama-135M была обучена с нуля на базе 670 млрд токенов общих данных. Этот процесс занял шесть дней с использованием четырех 8-канальных узлов на базе AMD Instinct MI250.

Модель AMD-Llama-135M-code в свою очередь была улучшена за счёт дообучения на базе дополнительных 20 млрд токенов, специально ориентированных на написание программного кода. Дополнительное обучение модели заняло четыре дня с использованием того же набора оборудования AMD. Компания считает, что дальнейшие оптимизации её моделей могут привести к дополнительному повышению их производительности и эффективности.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Злоумышленники стали чаще рассылать вредоносные архивы для угона аккаунтов 47 мин.
Новая статья: Monster Hunter Wilds — новый взгляд, такой же хит. Рецензия 12 ч.
На официальном сайте модов для Starfield засветился логотип PlayStation — инсайдер утверждает, что Bethesda готовит игру для PS5 12 ч.
В Steam пройдёт закрытая «бета» Heroes of Might & Magic: Olden Era, причём уже очень скоро — как получить доступ 14 ч.
MWS запустила облачного интегратора 14 ч.
Эпоха Google Assistant подошла к концу: скоро его заменит умный ИИ-помощник Gemini на всех Android-смартфонах 15 ч.
«Всё, о чём мы уже говорили, до сих пор в разработке»: Saber Interactive успокоила фанатов, заждавшихся ремейк Star Wars: Knights of the Old Republic 15 ч.
Anthropic научилась выявлять враньё и сокрытие истинных целей ИИ — при помощи ИИ 16 ч.
Ubisoft начала искать инвесторов для новой компании, которая будет владеть крупнейшими франшизами издателя — в том числе Assassin’s Creed 17 ч.
Huawei заподозрили в подкупе чиновников Европарламента «чрезмерными подарками и едой» 17 ч.
Обнаружены самые убедительные признаки древней жизни на Марсе — «семена мака» и «леопардовые пятна» 45 мин.
Сверхпрочный смартфон Doogee S200 Plus с дополнительным экраном и поддержкой ИИ поступит в продажу 17 марта 2 ч.
Корабль SpaceX Crew Dragon с россиянином, японцем и двумя американцами улетел на МКС 2 ч.
Xiaomi представила Redmi Note 14S, но изменился только дизайн камеры 4 ч.
Для Foxconn серверы скоро станут главным бизнесом, превзойдя сборку iPhone 5 ч.
Аппарат Blue Ghost сфотографировал «бриллиантовое кольцо» во время солнечного затмения 5 ч.
Новый генеральный директор Intel сможет заработать в ближайшие годы до $69 млн 6 ч.
Valve похвалилась успехами Steam Deck и SteamOS и намекнула на новые горизонты в 2025 году 6 ч.
Геотермальные источники при правильном подходе смогут удовлетворить энергетические потребности ИИ ЦОД в США 12 ч.
Арктические проекты подводных интернет-кабелей замораживаются один за другим 15 ч.