Сегодня 09 сентября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Nvidia помогла Apple повысить эффективность больших языковых моделей ИИ

Инженеры Apple рассказали о сотрудничестве с Nvidia, благодаря которому им удалось повысить производительность систем при генерации текста большими языковыми моделями искусственного интеллекта.

 Источник изображения: developer.nvidia.com

Источник изображения: developer.nvidia.com

В этом году Apple опубликовала исходный код своего решения Recurrent Drafter (ReDrafter) — это новый метод генерации текста с помощью больших языковых моделей. Он отличается высокой скоростью работы, объединяя две технологии: лучевой поиск и динамическое древо внимания. Исследовательский проект Apple показал убедительные результаты, но при развёртывании ReDrafter технология была интегрирована в систему Nvidia TensorRT-LLM — этот инструмент позволяет быстрее запускать большие языковые модели на ускорителях Nvidia.

Как показали замеры производительности, при запуске больших языковых моделей с десятками миллиардов параметров с использованием фреймворка Nvidia TensorRT-LLM и ReDrafter скорость генерации токенов увеличилась в 2,7 раза. Таким образом, технология позволяет сократить задержку между вводом запроса пользователем и получением ответа от модели — при этом используется меньшее число ускорителей и снижается потребление энергии, сделали вывод инженеры Apple.

«Большие языковые модели всё чаще используются в работе приложений, и повышение эффективности вывода может повлиять на вычислительные издержки и сократить задержку для пользователей. Благодаря новому подходу ReDrafter к интегрированному во фреймворк Nvidia TensorRT-LLM спекулятивному выполнению разработчики теперь могут быстрее генерировать токены на ускорителях Nvidia для своих приложений», — добавили в Apple.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Microsoft присоединилась к Всемирной ядерной ассоциации 24 мин.
Microsoft потратит почти $20 млрд на аренду ИИ-инфраструктуру у Nebius 28 мин.
Blackview представила флагманский защищённый смартфон Xplore 2 и другие новинки на IFA 2025 39 мин.
Доля Tesla на рынке электромобилей США рухнула до 38 % — это минимум с 2017 года 2 ч.
Sony готовит к запуску смартфон Xperia 10 VII — характеристики и изображения утекли в Сеть 2 ч.
Intel заверила, что до полного отделения производства чипов не дойдёт — но почти половину продать может 3 ч.
«Непоправимый ущерб»: Nintendo отсудила $2 млн за продажу взломанных Switch 3 ч.
Дональд Трамп пообещал IT-гигантам решить проблемы с энергоснабжением ЦОД 3 ч.
В России поступил в продажу флагманский смартфон Huawei Pura 80 4 ч.
Американские регуляторы не будут признавать результаты сертификации ввозимой в США электроники от нескольких китайских лабораторий 4 ч.