Сегодня 15 октября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Nvidia помогла Apple повысить эффективность больших языковых моделей ИИ

Инженеры Apple рассказали о сотрудничестве с Nvidia, благодаря которому им удалось повысить производительность систем при генерации текста большими языковыми моделями искусственного интеллекта.

 Источник изображения: developer.nvidia.com

Источник изображения: developer.nvidia.com

В этом году Apple опубликовала исходный код своего решения Recurrent Drafter (ReDrafter) — это новый метод генерации текста с помощью больших языковых моделей. Он отличается высокой скоростью работы, объединяя две технологии: лучевой поиск и динамическое древо внимания. Исследовательский проект Apple показал убедительные результаты, но при развёртывании ReDrafter технология была интегрирована в систему Nvidia TensorRT-LLM — этот инструмент позволяет быстрее запускать большие языковые модели на ускорителях Nvidia.

Как показали замеры производительности, при запуске больших языковых моделей с десятками миллиардов параметров с использованием фреймворка Nvidia TensorRT-LLM и ReDrafter скорость генерации токенов увеличилась в 2,7 раза. Таким образом, технология позволяет сократить задержку между вводом запроса пользователем и получением ответа от модели — при этом используется меньшее число ускорителей и снижается потребление энергии, сделали вывод инженеры Apple.

«Большие языковые модели всё чаще используются в работе приложений, и повышение эффективности вывода может повлиять на вычислительные издержки и сократить задержку для пользователей. Благодаря новому подходу ReDrafter к интегрированному во фреймворк Nvidia TensorRT-LLM спекулятивному выполнению разработчики теперь могут быстрее генерировать токены на ускорителях Nvidia для своих приложений», — добавили в Apple.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
«Наконец-то кто-то не просто скопировал Tarkov»: поклонники жанра с воодушевлением встретили анонс эвакуационного хоррор-шутера Rules of Engagement: The Grey State 7 мин.
«Вы балуете нас, милорд»: ремастер Stronghold Crusader получил крупное контентное обновление и первое дополнение 31 мин.
Warface вернулась в российский Steam спустя два года, но есть нюанс 2 ч.
Microsoft показала иконки, которые могли бы получить Word, Excel и PowerPoint — но не получили 3 ч.
Google предложила изменить поисковую выдачу, чтобы отвертеться от огромного штрафа в Европе 3 ч.
Witchbrook нужно «ещё немного времени повариться в котле» — амбициозный симулятор школы магии не выйдет в 2025 году 3 ч.
«Огромное влияние в огромных масштабах»: Илон Маск рассказал о Macrohard — будущем конкуренте Microsoft 4 ч.
SL Soft FabricaONE.AI представила систему корпоративного интеллектуального поиска SL AI Search 5 ч.
OpenAI создала совет по влиянию ИИ на психику пользователей — но без экспертов по предотвращению самоубийств 6 ч.
Microsoft завтра анонсирует «нечто важное» для Windows 6 ч.
Apple перестала комплектовать MacBook Pro зарядными устройствами — пока обделили только Европу 4 мин.
BenQ представила 27-дюймовые 4K-мониторы для пользователей Mac и творческих профессионалов 19 мин.
iPhone получил недоделанный Wi-Fi 7 — под новым шильдиком Apple спрятала старый Wi-Fi 6E 24 мин.
Honor представила Magic8 и Magic8 Pro: флагманы с акцентом на ИИ и мощными камерами 49 мин.
SteelSeries выпустила беспроводную гарнитуру Arctis Nova 7 Wireless Gen 2 для геймеров за $200 2 ч.
Домашний смарт-дисплей Apple выйдет в 2026 году и будет стоить от $350, но это не точно 2 ч.
Apple представила обновлённый iPad Pro: процессор M5, фирменные чипы связи и ускоренная зарядка по цене от $999 3 ч.
Представлен стабилизатор DJI Osmo Mobile 8 с поддержкой Apple DockKit и вращения на 360° 3 ч.
Apple представила обновлённую AR-гарнитуру Vision Pro — чип M5, улучшенная посадка и 120-Гц экраны за $3499 3 ч.
Apple представила 14-дюймовый MacBook Pro на чипе M5: в 3,5 раза быстрее по части ИИ и на 60 % — в графике 3 ч.