Сегодня 08 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Nvidia помогла Apple повысить эффективность больших языковых моделей ИИ

Инженеры Apple рассказали о сотрудничестве с Nvidia, благодаря которому им удалось повысить производительность систем при генерации текста большими языковыми моделями искусственного интеллекта.

 Источник изображения: developer.nvidia.com

Источник изображения: developer.nvidia.com

В этом году Apple опубликовала исходный код своего решения Recurrent Drafter (ReDrafter) — это новый метод генерации текста с помощью больших языковых моделей. Он отличается высокой скоростью работы, объединяя две технологии: лучевой поиск и динамическое древо внимания. Исследовательский проект Apple показал убедительные результаты, но при развёртывании ReDrafter технология была интегрирована в систему Nvidia TensorRT-LLM — этот инструмент позволяет быстрее запускать большие языковые модели на ускорителях Nvidia.

Как показали замеры производительности, при запуске больших языковых моделей с десятками миллиардов параметров с использованием фреймворка Nvidia TensorRT-LLM и ReDrafter скорость генерации токенов увеличилась в 2,7 раза. Таким образом, технология позволяет сократить задержку между вводом запроса пользователем и получением ответа от модели — при этом используется меньшее число ускорителей и снижается потребление энергии, сделали вывод инженеры Apple.

«Большие языковые модели всё чаще используются в работе приложений, и повышение эффективности вывода может повлиять на вычислительные издержки и сократить задержку для пользователей. Благодаря новому подходу ReDrafter к интегрированному во фреймворк Nvidia TensorRT-LLM спекулятивному выполнению разработчики теперь могут быстрее генерировать токены на ускорителях Nvidia для своих приложений», — добавили в Apple.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
«Не передать словами, что это значит для нас»: создатели философского выживания The Alters похвастались продажами игры 19 мин.
Российский суд оштрафовал Twitch, TikTok и Pinterest — каждую на 7 млн рублей 33 мин.
Магазин Chrome заполонили опасные расширения для браузера — их скачали уже 1,7 млн раз 2 ч.
Sony скоро покажет 20 минут геймплея Ghost of Yotei — подробности специального выпуска State of Play 2 ч.
В Android появятся ИИ-сводки уведомлений, но с оглядкой на провал схожей функции на iPhone 2 ч.
Слухи: в разработке находится сразу несколько Fallout, включая ту, «что вы все ждёте» 2 ч.
Российская «Ред ОС» 8 портирована на одноплатный компьютер Orange Pi Zero 2W 3 ч.
Threads почти догнала X по аудитории мобильных приложений 3 ч.
Минцифры РФ заплатит до миллиона рублей за обнаружение уязвимостей в государственных сервисах 4 ч.
«Флант» выпустил бесплатную редакцию Deckhouse Stronghold для управления секретами 6 ч.
SSD и оперативная память подорожают — Трамп анонсировал 25-% пошлину на все товары из Японии и Южной Кореи 38 мин.
Британская полиция выделит £75 млн на оцифровку своих архивов VHS-видеокассет 2 ч.
«Билайн» модернизировал транспортную сеть, добавив ВОЛС на 1,6 Тбит/с. 2 ч.
Китай впервые в истории дозаправил спутник на высоте 36 000 км — это не точно, но США обеспокоены 2 ч.
Beyerdynamic обновила наушники Aventho — автономность выросла втрое, а Bluetooth стал стабильнее 3 ч.
Российский суперкомпьютер «Говорун» получил два узла «РСК Экзастрим ИИ» с NVIDIA H100 и фирменной СЖО 3 ч.
Phone (3) стал последним смартфоном Nothing текущего поколения — версий Pro или Ultra не будет 4 ч.
Учёные нашли неожиданный способ втрое удешевить удаление CO₂ из воздуха — помогут терминалы СПГ и уголь 5 ч.
OnePlus выпустила уменьшенную версию часов Watch 3 за $299 и наушники Buds 4 за $129 5 ч.
Groq запустила свой первый европейский ЦОД в Хельсинки 6 ч.