Сегодня 06 ноября 2024
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Nvidia втрое ускорила работу ИИ на видеокартах GeForce RTX

Nvidia сообщила, что дополнительно увеличила ИИ-производительность своих видеокарт GeForce RTX и платформ RTX AI PC с выпуском последнего драйвера версии GeForce Game Ready 555.85 WHQL. В ходе конференции Microsoft Build компания Nvidia анонсировала ряд новых оптимизаций производительности для алгоритмов искусственного интеллекта, которые теперь доступны в рамках экосистемы RTX, включая графические процессоры GeForce RTX, рабочие станции и ПК.

 Источник изображений: Nvidia

Источник изображений: Nvidia

Nvidia отмечает, что последние оптимизации нацелены на ускорение работы ряда больших языковых моделей (LLM) использующихся генеративным ИИ. Новый драйвер Nvidia версии 555 обеспечивает видеокартам GeForce RTX и платформам RTX AI PC трёхкратный прирост ИИ-производительности при работе с фреймворками ONNX Runtime (ORT) и DirectML. Оба инструмента используются для запуска ИИ-моделей в среде операционной системы Windows.

Кроме того, новый драйвер увеличил производительность программного интерфейса WebNN для DirectML, который используется веб-разработчиками для размещения новых ИИ-моделей. Nvidia сообщает, что сотрудничает с Microsoft над дальнейшим повышением производительности графических процессоров RTX и добавлением поддержки DirectML в PyTorch. Ниже приведен полный список возможностей, которые предлагаются свежим драйвером Nvidia R555 для графических процессоров GeForce RTX и ПК с RTX:

  • поддержка метакоманды DQ-GEMM для обработки квантования INT4 только по весу для LLM;
  • новые методы нормализации RMSNorm для моделей Llama 2, Llama 3, Mistral и Phi-3;
  • механизмы группового и многозапросного внимания, а также внимания скользящего окна для поддержки Mistral;
  • обновления KV для улучшения внимания;
  • поддержка GEMM-тензоров, не кратных 8, для улучшения производительности контекстной фазы.

В тестах производительности ORT, генеративного расширения искусственного интеллекта, выпущенного Microsoft, новый драйвер Nvidia приводит к приросту производительности по всем направлениям, как для типов данных INT4, так и для FP16. Благодаря методам оптимизации, добавленным в это обновление, производительность больших языковых моделей Phi-3, Llama 3, Gemma и Mistral увеличивается до трёх раз.

Nvidia также напоминает, что преимущество экосистемы RTX заключается в использовании возможностей воспроизводительных тензорных ядер. На их основе работают DLSS Super Resolution, Nvidia Ace, RTX Remix, Omniverse, Broadcast, RTX Video и другие технологии. Кроме того, для использования тензорных ядер в ускорении работы ИИ компания предлагает комплекты разработчиков TensorRT, Maxine и RTX Video.

В своём пресс-релизе Nvidia сообщает, что её GPU обеспечивают ИИ-производительность до 1300 TOPS (триллионов операций в секунду), что гораздо выше возможностей любых других конкурентных решений.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Warner Bros. свяжет Hogwarts Legacy 2 с сериалом «Гарри Поттер» от HBO, а продажи первой части достигли новой вершины 39 мин.
Два героя, возвращение Umbrella и человек-козёл: блогер раскрыл возможные подробности Resident Evil 9 2 ч.
Metal Slug Tactics наконец вышла — демократичная цена в российском Steam и первые оценки 4 ч.
Подарок к юбилею: спустя пять лет после запуска Call of Duty: Mobile достигла миллиарда загрузок 5 ч.
Симулятор жизни в беззаботном постапокалипсисе I Am Future готов вырваться из раннего доступа — новый трейлер и дата выхода 6 ч.
В «Google Сообщениях» можно будет выбирать качество отправляемых изображений 6 ч.
Арестован хакер, подозреваемый во взломе Ticketmaster и десятков других клиентов Snowflake 6 ч.
Вышла вторая бета iOS 18.2 — Siri с ChatGPT Plus, улучшенный «Локатор» и другие изменения 6 ч.
«Яндекс», подвинься: VK начнёт предустанавливать свои сервисы на автомобили в России 6 ч.
Система управления уязвимостями Security Vision Vulnerability Management получила крупное обновление 7 ч.
Ryzen 7 9800X3D показал значительную прибавку минимального FPS в играх по сравнению с Ryzen 7 9700X 20 мин.
Новая статья: Обзор ноутбука ASUS ProArt P16 (H7606WI) с процессором Ryzen AI 33 мин.
Учёные MIT разработали нанотранзисторы для мощной и экономичной электроники будущего 2 ч.
Intel отложила создание фабрик чипов в Германии на 5 лет — власти теперь не знают, что делать с субсидиями 2 ч.
SK Telecom построит гигаваттные ИИ ЦОД в Южной Корее и за её пределами 3 ч.
Vivo анонсировала выпуск в России смартфона iQoo Z9 со Snapdragon 7 Gen 3 и 144-Гц экраном 4 ч.
Спутники SpaceX Starlink обеспечили сотовой связью более 27 000 человек в районах США, пострадавших от ураганов 4 ч.
Toyota подняла аэротакси Joby Aviation в небо Японии 5 ч.
Corsair выпустила MP700 Elite — доступные SSD с PCIe 5.0 объёмом до 2 Тбайт со скоростью до 10 000 Мбайт/с 6 ч.
Klevv представила комплекты модулей памяти Urbane V RGB DDR5 — до 64 Гбайт и 8400 МТ/с 7 ч.