Сегодня 29 сентября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Nvidia помогла Apple повысить эффективность больших языковых моделей ИИ

Инженеры Apple рассказали о сотрудничестве с Nvidia, благодаря которому им удалось повысить производительность систем при генерации текста большими языковыми моделями искусственного интеллекта.

 Источник изображения: developer.nvidia.com

Источник изображения: developer.nvidia.com

В этом году Apple опубликовала исходный код своего решения Recurrent Drafter (ReDrafter) — это новый метод генерации текста с помощью больших языковых моделей. Он отличается высокой скоростью работы, объединяя две технологии: лучевой поиск и динамическое древо внимания. Исследовательский проект Apple показал убедительные результаты, но при развёртывании ReDrafter технология была интегрирована в систему Nvidia TensorRT-LLM — этот инструмент позволяет быстрее запускать большие языковые модели на ускорителях Nvidia.

Как показали замеры производительности, при запуске больших языковых моделей с десятками миллиардов параметров с использованием фреймворка Nvidia TensorRT-LLM и ReDrafter скорость генерации токенов увеличилась в 2,7 раза. Таким образом, технология позволяет сократить задержку между вводом запроса пользователем и получением ответа от модели — при этом используется меньшее число ускорителей и снижается потребление энергии, сделали вывод инженеры Apple.

«Большие языковые модели всё чаще используются в работе приложений, и повышение эффективности вывода может повлиять на вычислительные издержки и сократить задержку для пользователей. Благодаря новому подходу ReDrafter к интегрированному во фреймворк Nvidia TensorRT-LLM спекулятивному выполнению разработчики теперь могут быстрее генерировать токены на ускорителях Nvidia для своих приложений», — добавили в Apple.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
В ChatGPT появился полный родительский контроль после трагической гибели подростка из США 24 мин.
Capcom оставит Monster Hunter Wilds, Rise и World на Windows 10 без поддержки, причём очень скоро 55 мин.
Electronic Arts уйдёт с биржи благодаря сделке на $55 миллиардов — компанию выкупят три инвестора, включая Суверенный фонд Саудовской Аравии 2 ч.
Обороты компьютерных клубов в России за пять лет выросли в десятки раз 4 ч.
Devolver анонсировала Minos — игру о строительстве непроходимых лабиринтов по мотивам древнегреческого мифа о Тесее и Минотавре 6 ч.
Silent Hill f обогнала ремейк Silent Hill 2 по скорости продаж на запуске 6 ч.
Разработчики сосредоточились на ИИ-моделях мира для создания сверхразума 6 ч.
Databricks и OpenAI помогут клиентам в развёртывании приложений на базе передовых ИИ-моделей 7 ч.
Число криптомиллионеров выросло на 40 % за год — теперь их 241 700 28-09 16:30
Nival выложила в открытый доступ исходный код военной стратегии «Блицкриг 2» 28-09 15:48
Куо предрёк Xiaomi 17 провал — поставки урезаны, а спасти положение могут только скидки 13 мин.
Euclyd разрабатывает ИИ-ускоритель Craftwerk с фирменной памятью UBM: 1 Тбайт и 8 Пбайт/с 2 ч.
Британский оператор BT в панике потребовал убрать все литиевые аккумуляторы из телефонных станций из-за риска возгорания 2 ч.
Геймерский 27-дюймовый QD-OLED-монитор Gigabyte Aorus FO27Q5P с 2K и 500 Гц дебютировал в России 3 ч.
Nothing представила CMF Headphone Pro — модульные полноразмерные наушники с автономностью на 100 часов за $99 3 ч.
Qualcomm представила результаты тестов Snapdragon X2 Elite Extreme, в которых он оказался лучше всех 3 ч.
Digital Realty получит от Current Hydro 500 ГВт∙ч энергии с американских ГЭС 4 ч.
Закрытие угольных электростанций в США забуксовало из-за спроса на энергию для ИИ ЦОД 5 ч.
Xiaomi похвалилась отличными продажами Xiaomi 17 Pro и Pro Max, но не все разделили оптимизм 5 ч.
Huawei удвоит объёмы выпуска флагманских ИИ-чипов в следующем году, но до Nvidia ещё далеко 5 ч.