Сегодня 08 мая 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Nvidia помогла Apple повысить эффективность больших языковых моделей ИИ

Инженеры Apple рассказали о сотрудничестве с Nvidia, благодаря которому им удалось повысить производительность систем при генерации текста большими языковыми моделями искусственного интеллекта.

 Источник изображения: developer.nvidia.com

Источник изображения: developer.nvidia.com

В этом году Apple опубликовала исходный код своего решения Recurrent Drafter (ReDrafter) — это новый метод генерации текста с помощью больших языковых моделей. Он отличается высокой скоростью работы, объединяя две технологии: лучевой поиск и динамическое древо внимания. Исследовательский проект Apple показал убедительные результаты, но при развёртывании ReDrafter технология была интегрирована в систему Nvidia TensorRT-LLM — этот инструмент позволяет быстрее запускать большие языковые модели на ускорителях Nvidia.

Как показали замеры производительности, при запуске больших языковых моделей с десятками миллиардов параметров с использованием фреймворка Nvidia TensorRT-LLM и ReDrafter скорость генерации токенов увеличилась в 2,7 раза. Таким образом, технология позволяет сократить задержку между вводом запроса пользователем и получением ответа от модели — при этом используется меньшее число ускорителей и снижается потребление энергии, сделали вывод инженеры Apple.

«Большие языковые модели всё чаще используются в работе приложений, и повышение эффективности вывода может повлиять на вычислительные издержки и сократить задержку для пользователей. Благодаря новому подходу ReDrafter к интегрированному во фреймворк Nvidia TensorRT-LLM спекулятивному выполнению разработчики теперь могут быстрее генерировать токены на ускорителях Nvidia для своих приложений», — добавили в Apple.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Цукерберг заявил, что ИИ сможет решить проблему одиночества и заменить психолога 9 ч.
Apple добавит в Safari ИИ-поиск на фоне падения популярности поисковика Google 9 ч.
Electronic Arts пока не видит причин повышать стоимость игр до $80, несмотря на пример Microsoft и Nintendo 10 ч.
Энтузиаст возродил «Скрепыша» из старого Microsoft Office в виде ИИ-ассистента 13 ч.
Sony открыла новую внутреннюю студию для создания игр-сервисов — в teamLFG вошли ветераны разработки Halo, League of Legends, Fortnite и Roblox 13 ч.
Вышла операционная система «Альт Рабочая станция К» 11.0: Wayland по умолчанию и мегавыпуск KDE Plasma 6 14 ч.
Моддеры запустили классическую Doom внутри Zelda 64: Recompiled — неофициального порта The Legend of Zelda: Majora's Mask на ПК 14 ч.
Ядро Linux лишится поддержки процессоров Intel 486 и ранних 586 14 ч.
Магия, романтика и приключения: симулятор жизни в мире японских духов Tales of Seikyu готовится к выходу в раннем доступе Steam 18 ч.
Google отдаёт своему ИИ-боту Gemini более качественные данные, чем конкурентам 19 ч.
Microsoft повысила цену устройств Surface на 20 % — 13-дюймовый Surface Pro теперь стоит $1200 13 мин.
Администрация Трампа намерена предложить более простые правила в сфере контроля за экспортом ускорителей вычислений 37 мин.
Новые наушники Sony с шумоподавлением WH-1000XM6 будут дороже, но мощнее предшественников 2 ч.
Samsung договорилась о покупке аудиобизнеса Masimo за $350 млн 2 ч.
Новая статья: Обзор процессорных кулеров Ocypus Iota A40 BK и Delta A40 WH ARGB 8 ч.
MSI представила игровой 4K-монитор MAG 272UP QD-OLED X24 с частотой обновления 240 Гц 9 ч.
Публичный Wi-Fi стал спасением для москвичей на время перебоев мобильной связи 12 ч.
В Москве предупредили о перебоях в работе сотовой связи и сервисов — Кремль призвал отнестись с пониманием 13 ч.
Советская станция «Космос-482» рухнет на Землю 9–10 мая — она никому не навредит, уверены в «Роскосмосе» 13 ч.
AMD получила рекордную квартальную выручку, но ожидает до $1,5 млрд потерь из-за экспортных ограничений США 14 ч.