Сегодня 29 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Nvidia помогла Apple повысить эффективность больших языковых моделей ИИ

Инженеры Apple рассказали о сотрудничестве с Nvidia, благодаря которому им удалось повысить производительность систем при генерации текста большими языковыми моделями искусственного интеллекта.

 Источник изображения: developer.nvidia.com

Источник изображения: developer.nvidia.com

В этом году Apple опубликовала исходный код своего решения Recurrent Drafter (ReDrafter) — это новый метод генерации текста с помощью больших языковых моделей. Он отличается высокой скоростью работы, объединяя две технологии: лучевой поиск и динамическое древо внимания. Исследовательский проект Apple показал убедительные результаты, но при развёртывании ReDrafter технология была интегрирована в систему Nvidia TensorRT-LLM — этот инструмент позволяет быстрее запускать большие языковые модели на ускорителях Nvidia.

Как показали замеры производительности, при запуске больших языковых моделей с десятками миллиардов параметров с использованием фреймворка Nvidia TensorRT-LLM и ReDrafter скорость генерации токенов увеличилась в 2,7 раза. Таким образом, технология позволяет сократить задержку между вводом запроса пользователем и получением ответа от модели — при этом используется меньшее число ускорителей и снижается потребление энергии, сделали вывод инженеры Apple.

«Большие языковые модели всё чаще используются в работе приложений, и повышение эффективности вывода может повлиять на вычислительные издержки и сократить задержку для пользователей. Благодаря новому подходу ReDrafter к интегрированному во фреймворк Nvidia TensorRT-LLM спекулятивному выполнению разработчики теперь могут быстрее генерировать токены на ускорителях Nvidia для своих приложений», — добавили в Apple.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Провал Suicide Squad: Kill the Justice League не остановил Warner Bros. — разработчики Gotham Knights взялись за крупнобюджетную игру-сервис 27 мин.
«Инферит ОС» (ГК Softline) запустила открытое бета-тестирование операционной системы «МСВСфера» 10 29 мин.
Американку осудили на 8,5 лет тюрьмы за помощь северокорейцам в проникновении в компании США 31 мин.
Акции Spotify упали на 8 % из-за обвалившейся выручки и плохих прогнозов 39 мин.
В ИИ-помощника программиста Amazon Q кто-то тайно внедрил опасный код — это заметили лишь через десять дней 55 мин.
Расплывчато и потенциально незаконно: эксперты — о грандиозном ИИ-плане Трампа 58 мин.
Anthropic ввела квоты на работу с Claude Code из-за чрезмерного спроса и злоупотреблений 2 ч.
Bloober Team доказала, что «люди ошибались» — разработчики ремейка Silent Hill 2 и Cronos: The New Dawn больше не чувствуют себя аутсайдерами 3 ч.
Microsoft не хочет упустить сильный ИИ: корпорация борется за доступ к будущим технологиям OpenAI 3 ч.
Представлен российский аналог платформы визуализации данных Grafana 4 ч.