Сегодня 18 июня 2024
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Nvidia втрое ускорила работу ИИ на видеокартах GeForce RTX

Nvidia сообщила, что дополнительно увеличила ИИ-производительность своих видеокарт GeForce RTX и платформ RTX AI PC с выпуском последнего драйвера версии GeForce Game Ready 555.85 WHQL. В ходе конференции Microsoft Build компания Nvidia анонсировала ряд новых оптимизаций производительности для алгоритмов искусственного интеллекта, которые теперь доступны в рамках экосистемы RTX, включая графические процессоры GeForce RTX, рабочие станции и ПК.

 Источник изображений: Nvidia

Источник изображений: Nvidia

Nvidia отмечает, что последние оптимизации нацелены на ускорение работы ряда больших языковых моделей (LLM) использующихся генеративным ИИ. Новый драйвер Nvidia версии 555 обеспечивает видеокартам GeForce RTX и платформам RTX AI PC трёхкратный прирост ИИ-производительности при работе с фреймворками ONNX Runtime (ORT) и DirectML. Оба инструмента используются для запуска ИИ-моделей в среде операционной системы Windows.

Кроме того, новый драйвер увеличил производительность программного интерфейса WebNN для DirectML, который используется веб-разработчиками для размещения новых ИИ-моделей. Nvidia сообщает, что сотрудничает с Microsoft над дальнейшим повышением производительности графических процессоров RTX и добавлением поддержки DirectML в PyTorch. Ниже приведен полный список возможностей, которые предлагаются свежим драйвером Nvidia R555 для графических процессоров GeForce RTX и ПК с RTX:

  • поддержка метакоманды DQ-GEMM для обработки квантования INT4 только по весу для LLM;
  • новые методы нормализации RMSNorm для моделей Llama 2, Llama 3, Mistral и Phi-3;
  • механизмы группового и многозапросного внимания, а также внимания скользящего окна для поддержки Mistral;
  • обновления KV для улучшения внимания;
  • поддержка GEMM-тензоров, не кратных 8, для улучшения производительности контекстной фазы.

В тестах производительности ORT, генеративного расширения искусственного интеллекта, выпущенного Microsoft, новый драйвер Nvidia приводит к приросту производительности по всем направлениям, как для типов данных INT4, так и для FP16. Благодаря методам оптимизации, добавленным в это обновление, производительность больших языковых моделей Phi-3, Llama 3, Gemma и Mistral увеличивается до трёх раз.

Nvidia также напоминает, что преимущество экосистемы RTX заключается в использовании возможностей воспроизводительных тензорных ядер. На их основе работают DLSS Super Resolution, Nvidia Ace, RTX Remix, Omniverse, Broadcast, RTX Video и другие технологии. Кроме того, для использования тензорных ядер в ускорении работы ИИ компания предлагает комплекты разработчиков TensorRT, Maxine и RTX Video.

В своём пресс-релизе Nvidia сообщает, что её GPU обеспечивают ИИ-производительность до 1300 TOPS (триллионов операций в секунду), что гораздо выше возможностей любых других конкурентных решений.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.
Материалы по теме
Прежде чем оставить комментарий, пожалуйста, ознакомьтесь с правилами комментирования. Оставляя комментарий, вы подтверждаете ваше согласие с данными правилами и осознаете возможную ответственность за их нарушение.
Все комментарии премодерируются.
Комментарии загружаются...

window-new
Soft
Hard
Тренды 🔥
Директор по маркетингу Xbox променял Microsoft на Roblox 41 мин.
С чистого листа: VMware возобновила сотрудничество с Dell и подписала OEM-соглашения с Lenovo и HPE 43 мин.
Утечка раскрыла первые детали сюжета и концепт-арты Wonder Woman — одиночного боевика про Чудо-женщину от создателей Middle-earth: Shadow of War 3 ч.
Календарь релизов 17–23 июня: Elden Ring: Shadow of the Erdtree, Still Wakes the Deep и Aska 3 ч.
На Adobe подали в суд из-за слишком сложного механизма отмены платных подписок 3 ч.
«Стремимся двигаться дальше и делать что-то новое»: патч с поддержкой модов станет последним крупным обновлением для Baldur's Gate 3 3 ч.
В Windows 11 вернулась полезная функция из Windows 10 — «Списки быстрого перехода» в меню «Пуск» 5 ч.
CI Games подтвердила, когда выйдет следующая Lords of the Fallen — похоже, на ПК игра станет эксклюзивом Epic Games Store 6 ч.
Google сменила приоритет в ИИ: коммерческие продукты взяли верх над научными исследованиями 6 ч.
Следующая презентация Nintendo Direct пройдёт уже завтра — новостей о Switch 2 на ней не будет 6 ч.
Минпромторг опроверг информацию о приостановке субсидирования радиоэлектроники 57 мин.
Новая статья: Обзор планшета HUAWEI MatePad 11,5''S PaperMatte: недорогой профессионал 57 мин.
Три квантовых компьютера, NVIDIA DGX Quantum, немножко HPC и облако: в Израиле открыт уникальный центр квантовых вычислений IQCC 3 ч.
Samsung собралась устанавливать память HBM4 прямо на кристаллы GPU 3 ч.
Следующие Apple Watch станут тоньше, получат увеличенный экран и часть их компонентов напечатают на 3D-принтере 5 ч.
Logitech представила электронное перо MX Ink для VR-гарнитур Meta Quest 8 ч.
В России выйдут телефоны Philips Xenium с высокой автономностью 9 ч.
Zephyr выпустила самую компактную GeForce RTX 4070 — у неё всего один вентилятор, причём розовый 11 ч.
Робот-пылесос Dreame L10s Ultra и беспроводной пылесос Dreame J20 сделают уборку помещений простой и эффективной 12 ч.
Электролёт AeroHT X2 дочерней компании XPeng совершил первый полёт в небе над Пекином 12 ч.