Сегодня 09 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Nvidia помогла Apple повысить эффективность больших языковых моделей ИИ

Инженеры Apple рассказали о сотрудничестве с Nvidia, благодаря которому им удалось повысить производительность систем при генерации текста большими языковыми моделями искусственного интеллекта.

 Источник изображения: developer.nvidia.com

Источник изображения: developer.nvidia.com

В этом году Apple опубликовала исходный код своего решения Recurrent Drafter (ReDrafter) — это новый метод генерации текста с помощью больших языковых моделей. Он отличается высокой скоростью работы, объединяя две технологии: лучевой поиск и динамическое древо внимания. Исследовательский проект Apple показал убедительные результаты, но при развёртывании ReDrafter технология была интегрирована в систему Nvidia TensorRT-LLM — этот инструмент позволяет быстрее запускать большие языковые модели на ускорителях Nvidia.

Как показали замеры производительности, при запуске больших языковых моделей с десятками миллиардов параметров с использованием фреймворка Nvidia TensorRT-LLM и ReDrafter скорость генерации токенов увеличилась в 2,7 раза. Таким образом, технология позволяет сократить задержку между вводом запроса пользователем и получением ответа от модели — при этом используется меньшее число ускорителей и снижается потребление энергии, сделали вывод инженеры Apple.

«Большие языковые модели всё чаще используются в работе приложений, и повышение эффективности вывода может повлиять на вычислительные издержки и сократить задержку для пользователей. Благодаря новому подходу ReDrafter к интегрированному во фреймворк Nvidia TensorRT-LLM спекулятивному выполнению разработчики теперь могут быстрее генерировать токены на ускорителях Nvidia для своих приложений», — добавили в Apple.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
«Мы не занимаемся модернизацией Mass Effect»: Owlcat отреагировала на сравнения The Expanse: Osiris Reborn с культовой серией BioWare 2 ч.
VK опубликовала рейтинг самых популярных игр и приложений в RuStore 3 ч.
ИИ неделями дурачил пользователей музыкального сервиса, выдавая себя за рок-группу из живых людей 3 ч.
Суд США заблокировал правило FTC о простой отмене подписок «в один клик» 3 ч.
Выпущена обновлённая версия AMOS — распространённый вирус для macOS стал ещё опаснее 3 ч.
Не просто HD-версия: разработчики ремейка «Готики» рассказали об отличиях от классической игры Piranha Bytes 4 ч.
ByteDance ещё не согласилась на сделку с Oracle и лишь раздумывает над созданием чисто американских приложений 5 ч.
Роскомнадзор заявил, что каждый день выявляет 1,2 млн звонков с подменой номера 5 ч.
Научно-фантастический хоррор Routine вернулся из небытия второй раз за 13 лет и наконец взял курс на релиз 6 ч.
Госдума РФ не приняла закон о легализации «белых» хакеров 7 ч.