Сегодня 30 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Nvidia помогла Apple повысить эффективность больших языковых моделей ИИ

Инженеры Apple рассказали о сотрудничестве с Nvidia, благодаря которому им удалось повысить производительность систем при генерации текста большими языковыми моделями искусственного интеллекта.

 Источник изображения: developer.nvidia.com

Источник изображения: developer.nvidia.com

В этом году Apple опубликовала исходный код своего решения Recurrent Drafter (ReDrafter) — это новый метод генерации текста с помощью больших языковых моделей. Он отличается высокой скоростью работы, объединяя две технологии: лучевой поиск и динамическое древо внимания. Исследовательский проект Apple показал убедительные результаты, но при развёртывании ReDrafter технология была интегрирована в систему Nvidia TensorRT-LLM — этот инструмент позволяет быстрее запускать большие языковые модели на ускорителях Nvidia.

Как показали замеры производительности, при запуске больших языковых моделей с десятками миллиардов параметров с использованием фреймворка Nvidia TensorRT-LLM и ReDrafter скорость генерации токенов увеличилась в 2,7 раза. Таким образом, технология позволяет сократить задержку между вводом запроса пользователем и получением ответа от модели — при этом используется меньшее число ускорителей и снижается потребление энергии, сделали вывод инженеры Apple.

«Большие языковые модели всё чаще используются в работе приложений, и повышение эффективности вывода может повлиять на вычислительные издержки и сократить задержку для пользователей. Благодаря новому подходу ReDrafter к интегрированному во фреймворк Nvidia TensorRT-LLM спекулятивному выполнению разработчики теперь могут быстрее генерировать токены на ускорителях Nvidia для своих приложений», — добавили в Apple.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Meta разрешит программистам пользоваться ИИ на собеседованиях 2 мин.
Без Max не подпишешь: национальный мессенджер станет обязательным для электронной подписи 4 мин.
«Не просто продукт»: Electronic Arts пошла с Battlefield 6 ва-банк 12 мин.
«Яндекс» раскрыл алгоритм распознавания голосовых команд в шумных условиях 30 мин.
FromSoftware отложила горячо ожидаемое обновление для Elden Ring Nightreign из-за сильнейшего землетрясения на Камчатке 2 ч.
Microsoft прекратила предоставлять облачные услуги связанной с «Роснефтью» индийской Nayara Energy 2 ч.
YouTube разрешил блогерам материться — у видео со сквернословием не будут ограничивать монетизацию 2 ч.
Electronic Art готовит «самую захватывающую» линейку игр в своей истории — Battlefield 6 не будет стоить $80 3 ч.
Meta переманила из Apple уже четвёртого крупного специалиста в сфере ИИ за месяц 3 ч.
Opera подала жалобу на уловки Microsoft, заставляющие использовать её браузер Edge 3 ч.
Австралия впервые запустила свою космическую ракету — полёт продлился всего 14 секунд и завершился взрывом 11 мин.
Неожиданный эффект ИИ-бума: прибыль аккумуляторного бизнеса Panasonic взлетела на 47 % 27 мин.
Futurehome вынудила пользователей платить за базовые функции своих устройств умного дома 37 мин.
Цены на DDR4 стабилизировались, а флеш-память NAND приготовилась дорожать 2 ч.
Из-за отключений мобильной связи в России взлетел спрос на домашний интернет — очереди на подключение растянулись на месяцы 2 ч.
Micron представила новые SSD для дата-центров: PCIe 6.0, до 28 Гбайт/с и до 122,88 Тбайт 2 ч.
Micron представила первый в мире SSD с PCIe 6.0 — серверный Micron 9650 со скоростью 28 Гбайт/с 2 ч.
В России разработали отечественную сверхлёгкую ракету для запуска спутников 2 ч.
Провал Cybertruck не заставил Tesla отменить выпуск более компактного электрического пикапа 3 ч.
Представлен прототип голографических AR-очков с полным погружением, каких мир ещё не видел 3 ч.