Сегодня 01 июня 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

AMD выпустила свою первую языковую модель ИИ — AMD-135M

Поскольку AMD пытается нарастить своё присутствие на рынке ИИ, производитель выпускает не только аппаратное обеспечение под эти нужды, но также решил заняться разработкой языковых моделей. Результатом этого стал анонс первой малой языковой AMD-135M.

 Источник изображения: AMD

Источник изображения: AMD

Новая малая языковая модель AMD-135M принадлежит к семейству Llama и нацелена на развёртывание в частном бизнесе. Неясно, имеет ли новая ИИ-модель AMD какое-либо отношение к недавнему приобретению компанией стартапа Silo AI (сделка ещё не завершена и пока не одобрена различными регуляторами, поэтому, вероятно, нет). Однако это явный шаг в направлении удовлетворения потребностей конкретных клиентов с помощью предварительно обученной модели, созданной AMD с использованием её же оборудования.

Преимущество языковой модели AMD заключается в том, что она использует так называемое спекулятивное декодирование. Последнее представляет собой меньшую «черновую модель», которая генерирует несколько токенов-кандидатов за один прямой проход. Затем токены передаются в более крупную, более точную «целевую модель», которая проверяет или исправляет их. С одной стороны, такой подход позволяет генерировать несколько токенов одновременно, но с другой стороны, это приводит к повышению потребляемой мощности за счёт увеличения передачи данных.

Языковая модель AMD представлена в двух версиях: AMD-Llama-135M и AMD-Llama-135M-code. Каждая из них оптимизирована для определённых задач путём повышения производительности вывода с помощью технологии спекулятивного декодирования. Базовая модель AMD-Llama-135M была обучена с нуля на базе 670 млрд токенов общих данных. Этот процесс занял шесть дней с использованием четырех 8-канальных узлов на базе AMD Instinct MI250.

Модель AMD-Llama-135M-code в свою очередь была улучшена за счёт дообучения на базе дополнительных 20 млрд токенов, специально ориентированных на написание программного кода. Дополнительное обучение модели заняло четыре дня с использованием того же набора оборудования AMD. Компания считает, что дальнейшие оптимизации её моделей могут привести к дополнительному повышению их производительности и эффективности.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
На долю взлома аккаунтов на «Госуслугах» приходится 90 % от общего числа преступлений с неправомерным доступом к данным 10 ч.
Новая статья: RoadCraft — восстановление разрушенного. Рецензия 17 ч.
Новая статья: Gamesblender № 728: SteamOS против Windows, анонсы Warhammer Skulls и вторая жизнь WRC 18 ч.
В Twitch появятся перемотка, вертикальные трансляции и не только 31-05 15:25
Суд склоняется к мягким мерам по устранению монополии Google в онлайн-поиске, но окончательное решение придётся подождать 31-05 13:35
Google запустила ИИ-генератор видео Veo 3 для мобильных устройств на Android и iOS 31-05 08:11
Microsoft добавила в «Блокнот» возможности форматирования текста почти как в Word 31-05 07:06
OpenAI хочет, чтобы ChatGPT стал личным секретарём для каждого 31-05 07:03
Новая статья: The Slormancer — Diablo без заморочек. Рецензия 31-05 00:01
Моддер уже добавил в Elden Ring Nightreign режим для двух игроков, о котором забыли разработчики 30-05 23:05
SpaceX вывела на орбиту очередную партию спутников Starlink и снова посадила первую ступень носителя 10 ч.
Intel и SoftBank намерены разработать более экономичную альтернативу памяти HBM 10 ч.
В Huawei случайно «засветили» новый флагман Pura 80 Ultra до анонса 11 ч.
Тонкий Galaxy S25 Edge показал удивительную прочность в тесте на изгиб и других испытаниях 16 ч.
Intel представила EMIB-T — технологию упаковки многокристальных чипов с поддержкой HBM4 и UCIe 16 ч.
Hugging Face выпустила человекоподобного робота HopeJR всего за $3000 24 ч.
Игровые видеокарты спасли Nvidia от обрушения акций — продажи GeForce оказались рекордными в прошлом квартале 31-05 16:38
WSJ: план США по сдерживанию развития китайских технологий не работает 31-05 15:28
Dell получила рекордный объём заказов на ИИ-серверы и повысила прогноз по прибыли на год 31-05 13:54
Шум во благо: физики добились квантовой «гиперзапутанности» атомов при помощи лазерного пинцета 31-05 13:24