Сегодня 16 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Nvidia помогла Apple повысить эффективность больших языковых моделей ИИ

Инженеры Apple рассказали о сотрудничестве с Nvidia, благодаря которому им удалось повысить производительность систем при генерации текста большими языковыми моделями искусственного интеллекта.

 Источник изображения: developer.nvidia.com

Источник изображения: developer.nvidia.com

В этом году Apple опубликовала исходный код своего решения Recurrent Drafter (ReDrafter) — это новый метод генерации текста с помощью больших языковых моделей. Он отличается высокой скоростью работы, объединяя две технологии: лучевой поиск и динамическое древо внимания. Исследовательский проект Apple показал убедительные результаты, но при развёртывании ReDrafter технология была интегрирована в систему Nvidia TensorRT-LLM — этот инструмент позволяет быстрее запускать большие языковые модели на ускорителях Nvidia.

Как показали замеры производительности, при запуске больших языковых моделей с десятками миллиардов параметров с использованием фреймворка Nvidia TensorRT-LLM и ReDrafter скорость генерации токенов увеличилась в 2,7 раза. Таким образом, технология позволяет сократить задержку между вводом запроса пользователем и получением ответа от модели — при этом используется меньшее число ускорителей и снижается потребление энергии, сделали вывод инженеры Apple.

«Большие языковые модели всё чаще используются в работе приложений, и повышение эффективности вывода может повлиять на вычислительные издержки и сократить задержку для пользователей. Благодаря новому подходу ReDrafter к интегрированному во фреймворк Nvidia TensorRT-LLM спекулятивному выполнению разработчики теперь могут быстрее генерировать токены на ускорителях Nvidia для своих приложений», — добавили в Apple.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Microsoft 364: на устранение сбоя облачных сервисов компании ушло больше суток 9 ч.
Facebook заглядывал в галереи смартфонов без разрешения — Meta получила штраф на €805 млн 14 ч.
Крупнейшее обновление LoL в истории: Riot Games показала тизер League of Legends: New Dawn, запланированной на 2027 год 18 ч.
Китайская Bilibili Gaming cтала чемпионом World Championship 2026 по League of Legends, прервав многолетнее доминирование корейских команд 18 ч.
Биткоин за неделю подешевел на 15 % — ниже $65 000 за монету 15-11 00:44
Новая статья: Phantom Blade Zero — танцы с клинками. Рецензия 15-11 00:07
То же мясо, но сочнее: брутальный платформер Super Meat Boy получит ремастер с улучшенной графикой и новыми секретами 14-11 20:07
Октябрьские сбои «Яндекса» привели к проверкам компании в Казахстане 14-11 18:38
Microsoft устранила глобальный сбой сервисов — виноватой оказалась ошибка при апгрейде сети 14-11 15:29
Акций на всех не хватит: спрос на IPO Anthropic в шесть раз превысил предложение 14-11 13:52
Новая статья: Обзор SSD-накопителя Samsung 990: четыре бита и много вопросов 7 ч.
+571 % к выручке за год, капзатраты $40–$45 млрд и безубыточность к концу 2027-го: Nebius отчиталась за III квартал 7 ч.
Мозговой имплант вернул голоса пациентам с БАС — одна из них даже смогла снова петь 14 ч.
Европейский стартап OwlO Cloud анонсировал создание орбитального ИИ ЦОД 14-11 22:47
Silicon Motion представила контроллер для корпоративных SSD с интерфейсом PCIe 6.0 14-11 22:24
Innodisk представила PCIe 5.0 SSD и модули DDR5 для серверов 14-11 22:16
SpaceX объяснила, почему ускоритель Starship не вернулся к стартовой башне и взорвался 14-11 19:21
Скандал в Nvidia ударил по китайским ИИ-компаниям — рынок испугался, что США перекроют им кислород 14-11 17:03
OpenAI распустила команду робототехники — управлять роботами будет универсальный GPT 14-11 16:48
GeForce RTX 5090 «воскресла» после слухов о снятии с производства — но стоит теперь втрое дороже 14-11 15:41