Сегодня 09 сентября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Nvidia помогла Apple повысить эффективность больших языковых моделей ИИ

Инженеры Apple рассказали о сотрудничестве с Nvidia, благодаря которому им удалось повысить производительность систем при генерации текста большими языковыми моделями искусственного интеллекта.

 Источник изображения: developer.nvidia.com

Источник изображения: developer.nvidia.com

В этом году Apple опубликовала исходный код своего решения Recurrent Drafter (ReDrafter) — это новый метод генерации текста с помощью больших языковых моделей. Он отличается высокой скоростью работы, объединяя две технологии: лучевой поиск и динамическое древо внимания. Исследовательский проект Apple показал убедительные результаты, но при развёртывании ReDrafter технология была интегрирована в систему Nvidia TensorRT-LLM — этот инструмент позволяет быстрее запускать большие языковые модели на ускорителях Nvidia.

Как показали замеры производительности, при запуске больших языковых моделей с десятками миллиардов параметров с использованием фреймворка Nvidia TensorRT-LLM и ReDrafter скорость генерации токенов увеличилась в 2,7 раза. Таким образом, технология позволяет сократить задержку между вводом запроса пользователем и получением ответа от модели — при этом используется меньшее число ускорителей и снижается потребление энергии, сделали вывод инженеры Apple.

«Большие языковые модели всё чаще используются в работе приложений, и повышение эффективности вывода может повлиять на вычислительные издержки и сократить задержку для пользователей. Благодаря новому подходу ReDrafter к интегрированному во фреймворк Nvidia TensorRT-LLM спекулятивному выполнению разработчики теперь могут быстрее генерировать токены на ускорителях Nvidia для своих приложений», — добавили в Apple.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Продажи Ready or Not достигли 13 миллионов — на ПК игру продолжили покупать даже в разгар скандала с цензурой 7 ч.
Календарь релизов — 8–14 сентября: Borderlands 4, Shape of Dreams и Katanaut 8 ч.
Security Vision представила решение для защиты критической инфраструктуры малого и среднего бизнеса 8 ч.
Журналисты откопали концепт-арт версии ремейка Star Wars: Knights of the Old Republic, которая никогда не выйдет 9 ч.
Польские СМИ раскрыли стартовые продажи хоррора Cronos: The New Dawn от разработчиков ремейка Silent Hill 2 10 ч.
Звезда Cyberpunk 2077 Киану Ривз «с удовольствием бы» сыграл Джонни Сильверхенда в Cyberpunk 2 12 ч.
Microsoft предоставила скидки госагентствам США на более чем $6 млрд 13 ч.
Hollow Knight: Silksong оказалась слишком сложной даже для фанатов первой части, и моддеры спешат на помощь 13 ч.
«Т-Банк» тоже вернул бесконтактную оплату на iPhone россиян, но пока в тестовом режиме 15 ч.
Уловками мошенники заставили Grok распространять вредоносные ссылки 16 ч.