Сегодня 24 апреля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Nvidia помогла Apple повысить эффективность больших языковых моделей ИИ

Инженеры Apple рассказали о сотрудничестве с Nvidia, благодаря которому им удалось повысить производительность систем при генерации текста большими языковыми моделями искусственного интеллекта.

 Источник изображения: developer.nvidia.com

Источник изображения: developer.nvidia.com

В этом году Apple опубликовала исходный код своего решения Recurrent Drafter (ReDrafter) — это новый метод генерации текста с помощью больших языковых моделей. Он отличается высокой скоростью работы, объединяя две технологии: лучевой поиск и динамическое древо внимания. Исследовательский проект Apple показал убедительные результаты, но при развёртывании ReDrafter технология была интегрирована в систему Nvidia TensorRT-LLM — этот инструмент позволяет быстрее запускать большие языковые модели на ускорителях Nvidia.

Как показали замеры производительности, при запуске больших языковых моделей с десятками миллиардов параметров с использованием фреймворка Nvidia TensorRT-LLM и ReDrafter скорость генерации токенов увеличилась в 2,7 раза. Таким образом, технология позволяет сократить задержку между вводом запроса пользователем и получением ответа от модели — при этом используется меньшее число ускорителей и снижается потребление энергии, сделали вывод инженеры Apple.

«Большие языковые модели всё чаще используются в работе приложений, и повышение эффективности вывода может повлиять на вычислительные издержки и сократить задержку для пользователей. Благодаря новому подходу ReDrafter к интегрированному во фреймворк Nvidia TensorRT-LLM спекулятивному выполнению разработчики теперь могут быстрее генерировать токены на ускорителях Nvidia для своих приложений», — добавили в Apple.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Создатель Discord покинул пост гендиректора ради нового будущего компании 7 ч.
Google Gemini проиграл ИИ-гонку — пользователи предпочитают ChatGPT и Meta AI 7 ч.
Российский суд запретил Google продолжить процесс по банкротству «Гугл» в США 8 ч.
Создатели The Quarry и Until Dawn должны были выпустить экшен во вселенной «Бегущего по лезвию» — детали отменённой Blade Runner: Time To Live 8 ч.
«Ошеломляющий объём работы»: ремастер The Elder Scrolls IV: Oblivion поразил дизайнера оригинальной игры 9 ч.
Минфин и ЦБ РФ запустят криптобиржу для «суперквалифицированных» инвесторов 11 ч.
«Возвращает легенду в строй»: антиутопическое приключение на колёсах Beholder: Conductor вышло в Steam и порадовало игроков 11 ч.
Герои не нашего времени: Ubisoft анонсировала мобильную блокчейн-игру Might and Magic Fates 12 ч.
Google и X могут стать следующими целями для Еврокомиссии 12 ч.
Google проиграла биткоину по рыночной капитализации 14 ч.
TSMC уже во всю выпускает чипы по улучшенному 3-нм техпроцессу N3P — на очереди N3X 18 мин.
Рост выручки и прибыли SK hynix превзошёл ожидания аналитиков 2 ч.
Глава Intel произвёл ключевые кадровые перестановки, чтобы распрощаться с бюрократией 3 ч.
Новая статья: Обзор процессорного кулера ID-Cooling Frozn A620 GDL: охлаждение на стиле 6 ч.
Мировые поставки ПК в первом квартале подскочили на 6,7 % благодаря разговорам о трамповских пошлинах 7 ч.
Китайские IT-гиганты всё-таки успели закупить NVIDIA H20 на миллиарды долларов до объявления новых санкций 7 ч.
Новая статья: Обзор планшета DIGMA PRO Empire: успешная попытка усидеть на двух стульях 7 ч.
Учёные предложили буквально пускать золотую пыль в глаза для лечения возрастной слепоты 9 ч.
Meta запустила онлайн-переводы и другие функции на базе ИИ для умных очков Ray-Ban 10 ч.
AMD подтвердила участие в Computex 2025 — ожидается анонс Radeon RX 9060 XT 11 ч.