3DMark2003 build 320 vs 340: Редкий момент истины?

I. Карты NVIDIA: 3DMark 320 vs 340
II. Карты ATI: 3DMark 320 vs 340
III. Объединенные результаты 3DMark2003 ver340
IV. Комментарии и выводы

За противостоянием программистов Futuremark с одной стороны и NVIDIA/ATI с другой - невероятно интересно наблюдать. Поскольку этот комплексный тест для многих является дефалтным среди синтетических тестовых приложений, то и любые "драйверные подкрутки" результатов 3DMark2003 воспринимаются общественностью весьма болезненно и отражаются на репутации "накрутчиков".

Борьба идет беспрерывная и с перманетным проигрышем Futuremark. Дело в том, что традиционно, новые версии графических драйверов, будь то Catalyst либо Detonator (ForceWare), выходят как по графику - раз в месяц, а очередной патч под 3DMark2003 - дай бог раз в полгода, когда у Futuremark/Madonion окончательно лопается терпение. Именно неделю назад это и случилось в очередной раз с выходом 3DMark03 Patch (build 340) - 5,4Mb.

Первые же тесты видеокарт на их ноябрьских драйверах (Catalyst 3,9 и ForceWare 52,16) и последним патчем - драматически меняют расклад сил на графическом рынке с точки зрения 3DMark2003. Мы решили проделать полную серию тестов, взяв из каждой линейки NVIDIA и ATI по своему четкому конкуренту:

• В hi-end секторе противостоят GF5950 Ultra и Radeon9800 XT;
• В средних решения борятся GF5600 Ultra и Radeon9600 Pro;
• В нижнем весе - FX5200 и Radeon9200.

Результаты тестов представлены на графиках в три этапа:

1. Данные по картам NVIDIA с июньским патчем 320 (помечены пунктиром) сравниваются с данными, полученными с новым build 340 (сплошная линия). Все тесты делались на драйвере ForceWare 52,16;
2. Данные по картам ATI, cнятые на Catalyst 3,9. Все тесты совпали (!!!)
3. И в последней серии сведены воедино оба конкурента. Получаем картинку расклада :-).

Тестовый стенд:

I. Карты NVIDIA

II. Карты ATI

III. Объединенные результаты 3DMark2003 ver340

Комментарии

Мы попросили наших друзей прокомментировать эти тесты.

Константин Мартыненко (Sapphire Россия) ex Reactor Critical:
Тестирование 3DNews в очередной раз показало, что слово "cheating" заслуженно стало атрибутом деятельности компании NVIDIA. Особенно это касается заточек в 3Dmark03, ставшем стандартным тестом для тестирования видеоплат. Главное сейчас то, что проблема привлекает к себе большое общественное внимание, несмотря на то, что многие крупные веб-сайты вообще не затрагивают тему заточек, боясь немилости NVIDIA. Вне зависимости от того, будет NVIDIA продолжать обманывать пользователей или нет, компания ATI никогда не встанет на порочный путь заточек. Это официальная позиция ATI, озвученная Свеном Ратьеном, директором по продажам ATI в Европе. Впрочем, ваши тесты наглядно показывают, что в этом нет надобности. Radeon 9800XT и Radeon 9600Pro практически во всех тестах обгоняют своих конкурентов FX5950 Ultra и FX5600Ultra соответственно, особенно в DirectX 9 тестах.

Алексей Лагуненко (NVIDIA Россия) ex iXBT:
Мы постоянно работаем над улучшением производительности, качества изображения, стабильности и надежности работы в приложениях, чтобы пользователь мог получить наилучшие впечатления от использования наших продуктов.

Ну что-ж... корпоративная лояльность в обоих случаях налицо :-)

Андрей Воробьев (iXBT):
Вышеозначенная проблема войны между авторами бенчмарка и одной из фирм-производителей GPU - только лишь вершина айсберга. А для тестеров-испытателей - все гораздо более суровее. Ведь по сути они стали заложниками этих баталий, стрелочниками, так сказать. Поскольку если будут осуждать за "заточки", - получат гнев производителей, и, как следствие, лишатся опытных образцов при выпуске новинок. Если будут молчать, то рискуют авторитетом, ибо вынужденное молчание будет означать ложную информацию для пользователей. Зато всегда теперь есть "мальчики для битья" со всех сторон. Во всем можно обвинить тестеров: не так написали, не так подали, что-то умолчали.

Да и правду теперь весьма трудоемко показывать, ведь теперь мало демонстраций простых FPS, теперь надо показывать постоянно и качество 3D-графики. Причем в самом подробном виде, чтобы могли оценивать: прошли оптимизации без потерь, или все же шельмуют компании. Кстати, я бы не стал бы так безапелляционно заявлять о том, что компания ATI безгрешна. В наших материалах есть и грешки со стороны программистов и канадской фирмы.

Иван Притула (Guide3D) ex 3DMark.Ru:
Как ни печально это признавать, 3DMark03 перестал быть объективным. Данный тест оказался заложником грязных маркетинговых игр производителей - результаты 3DMark03 с выходом каждой новой версии патча становятся пустыми, ничего не обозначающими цифрами. И больше всех от этого страдают тестеры, люди, доносящие информацию о производительности до людей.

Весьма неприятно осознавать, что некоторые производители встали на путь махинаций с драйверами, поднимая производительность своих продуктов в тесте за счет падения качества изображения, либо другими нечестными способами.

Остается лишь надеяться, что в будущем ситуация изменится в положительную сторону, пока же всем заправляет маркетинг, и мы не можем быть уверены, что реальная картина производительности соответствует той, что нам рисуют тесты.

Александр Кондаков ex iXBT:
Вопрос на самом деле затронут весьма интересный. В нем можно выделить несколько моментов. Более того, все это может совершенно по разному трактоваться разными сторонами и каждая будет права по своему.

Итак, первый момент. У нас есть рынок. На этом рынке есть две фигуры, которые и делают этот рынок. Первая - это продавец, вторая - покупатель. С точки зрения продавца можно делать всё, лишь бы товар стал лучше и лишь бы он продавался. Разве это плохо с точки зрения покупателя? Ответ очевиден - покупателю это выгодно, так как товар постоянно улучшается. В нашем случае, невозможно постоянно повышать качество одной и той же видеокарты на уровне микросхем и резисторов, но можно улучшать на уровне драйвера. Так почему бы это не делать, если в конечном счете покупатель будет доволен и получит хорошую скорость, стабильность и т.д.? Есть повод крепко задуматься. Углубляемся дальше. Так уж получилось, что на рынке реально не две фигуры, а три. Продавец и покупатель как были, так и будут, но появилась еще одна фигура, которая, в принципе-то лишняя в этой несложной схеме, появился так называемый тестер. Причем, появился бы он рано или поздно в любом случае, так как затребован как со стороны покупателя, так и со стороны продавца. Продавцу надо показать, что его товар лучший, а лучше всего это показывать не своими руками, а сторонними силами. Покупателю хватает расхваливания продавцом своего продукта, но надо знать, а правда ли это? Конечно, все правда, но о многом умалчивается.

И тут появляется тестер, который и рассказывает всем правду. И цепочка получается вполне рабочая. Тестер со знанием дела (он знает все стандарты и много-много других технических тонкостей, которых не знает покупатель) приводит сравнение продуктов. Всем вроде хорошо. А теперь сама суть вопроса. В какой-то момент тестер видит, что покупатель стал доделывать свои продукты после того, как они уже проданы (конечно, я намекаю на выпуск свежих драйверов, которые увеличивают показания карт и которые убирают ошибки в приложениях). И это некоторых тестеров задевает до глубины души. Как так?? Так нельзя!! Это не честно!! Это нарушение стандартов!! Вот мы и добрались до сути вопроса. Нарушение стандарта? Да, это ужасно. Причем, ужасно это было в момент выпуска "железа" на рынок, которое не совсем соответствует заявленному стандарту.

А дальше - больше. Дрова уже наломаны, ситуацию надо как-то исправлять. Ведь пользователю по большому счету все равно, с какой точностью VPU обрабатывает текстуры и выполняет расчеты. Главное для пользователя - скорость и хорошая картинка. Остальное - мишура, на которую не обратит внимания 99% покупателей. Но для тестеров оставшийся 1 процент - лакомый кусочек, которому можно плакаться в жилетку рассказывая как их подставили и как дискредитируют их работу. При этом тестеры забывают, что они лишь _дополнительная_ цепочка в рынке. И совсем-совсем не обязательная. На тему честности хочется вопросить - а почему нечестно-то? Что нечестно? Улучшение драйверов? "Заточки" и оптимизации? С точки зрения стандарта - да, не честно. С точки зрения рынка - более чем честно, потому что пользователь получает прирост скорости. Еще один момент есть. Помимо прироста в скорости, надо чтобы картинка задумываемая была такая же как получаемая. Статичная картинка, да. Думаю, что десктоп у всех именно такой, как и задумывалось производителем. А в играх рассматривать пиксель там, текстуру тут - удел тестера. Пользователь в игры, как не удивительно звучит, играет. И увидев вывалившуюся текстуру пользователю все равно, ошибка эта разработчика игры или драйвера видеокарты. Обновив версию драйвера и увидев, что текстура больше не вываливается, пользователь будет очень рад. Подумаешь, что текстура на полградуса не так расположена, как должна была бы быть (но откуда мы знаем, как она должна быть? мы же не пишем эту игру). А если игра еще и ощутимо веселее стала бегать, так вообще для игрока это счастье. Ведь задача стоит - поиграть. Да, обидно, досадно, но многие ли в процессе игры заметят столь небольшое смещение текстуры? Особенно, если игра интересная. :)

А что нечестно во всем этом?

1. Нечестно выпускать игры, поддерживая одного продавца. То есть, я как покупатель, хочу купить игру, но вижу на коробке логотип одного продавца, а у меня имеется карта от другого. Что я должен думать? Или мне срочно бежать покупать вторую карту?
2. Нечестно производить оптимизации в тестовых пакетах, а не реальных играх. В тестовых пакетах оптимизации вообще не нужны. Они на то и тестовые системы. Представте, что оссицилограф "заточен" под одну систему. Беда получится. Но видеокарты не могут жить "сами по себе". Им необходимы драйвера! Если оптимизировать драйвера для тестовых пакетов - получается обман потому, что в тестовые пакеты не поиграешь. Они призваны лишь показывать цифры. Это как с тестерами в цепочке рынка. Нельзя сделать так, чтобы тестер написал обзор видеокарты, зная лишь технические спецификации.
3. И, наконец, нечестно вообще не делать никаких оптимизаций. Потому как это просто глупо. Человек так устроен, что всегда ожидает бОльшего. И ему очень приятно, если его покупка со временем не только не стареет, но еще и работать начинает стабильнее и быстрее.

Выводы 3DNews:

Проблема c результатами тестов в 3DMark2003 заключается в особенности архитектуры видеокарт NVIDIA, которые используют либо 16-ти либо 32-битную точность работы с плавающей запятой, тогда как для канонически правильной DX9 карты точность должна быть 24 бита, которая реализована в картах ATI. Соответственно, "неизмененный" 3DMark03 включает для карт NVIDIA 32 бита, поскольку 16 бит - это ниже стандарта. Как нам поведал источник в одной из тайваньских компаний-производителей видеокарт - "между NVIDIA и Futuremark давно существует внутренний конфликт. NVIDIA в свое время в ультимативной форме потребовала поставить их карты и конкурентные в равные условия, т.е. провести оптимизацию с учетом особенностей своей архитектуры FX. Им было отказано под тем предлогом, что 3DMark03 является абсолютно правильным DX9 тестом, это его суть, и отходить от спецификаций MS они не собираются, тогда програмисты NVIDIA сделали соответствующую оптимизацию сами в своих драйверах... В двух словах, так вот всё и начиналось."

Можно понять позиции абсолютно всех участников конфликта:

• После приобретения 3dfx, NVIDIA была сильна как никогда. В подобных условиях, являясь безусловным лидером рынка они могли себе позволить отступать от стандартов, навязывать рынку собственные решения, разрабатывать собственный язык программирования Cg и т.д... Кто ж мог знать, что это приведет к таким странным последствиям.
• ATI заслуженно потирает руки - "мы делаем правильные карты!"
• Futuremark демонстрирует спецификацию DX9 и настаивает на своей правильной позиции в данном решении.

И никто из них не говорит всей правды, поскольку по-своему, они все правы :-)

Скорее всего NVIDIA в следующих своих продуктах будет вынуждена привести графический движок в соответствие с требованиями - уж больно устала она от "обвинений" в нечестной игре. А пока война продолжается. И что прикажете делать, если Hi-End карты от NVIDIA в тестах 3DMark03 тусуются где-то в связке со средними решениями от ATI... Буквально через несколько дней после выхода 3DMark03 Patch (build 340), 9-го декабря вышел ForceWare 53.03 и первый же сделанный на них тест убеждает - "все вернулось на круги своя" - NVIDIA продолжает настаивать на своей правоте и вынуждена была срочно выпустить "подправленный" драйвер. И будет делать так всегда, нисколько не стесняясь - поскольку убеждена в своей правоте.

В конце-концов, в реальных игровых приложениях подобного катастрофического отставания карт NVIDIA не наблюдается. Создатели игр в равной степени заинтересованы в оптимизации своих продуктов под все существующие на рынке популярные решения, хотя отход от "канонов" и усложняет им существование.

Не надо быть семи пядей во лбу чтобы предсказать следующий виток гонки вооружений и взаимных обвинений - HALF LIFE 2 будет совершенно канонически сделан под DX9 и карты NVIDIA будут на нем серьезно проседать (в такой же пропорции которую мы наблюдаем в 3DMark03 build 340). А DOOM3 будет до последней скобки и запятой в своем коде соответствовать спецификации Cg. Далее, драйверописатели будут прописывать "подсказки" и "оптимизаторы" в своих драйверах, а девелоуперы выпускать патчи к играм для их нейтрализации. В итоге, потребитель, т.е. мы с вами, будем качать тонны совершенно ненужных патчей и драйверов и конца этому не будет... История с Futuremark только начало.

Обсуждение на Форуме:

• "3DMark2003 build 320 vs 340: Редкий момент истины?"
• "Обсуждение драйверов для карт ATI"
• "Обсуждение драйверов для карт Nvidia "

Будем благодарны читателям за дельные советы. Использовать ли 3DMark2003 в дальнейших тестах? Какие игры использовать для тестов? Какая форма подачи графиков является оптимальной для восприятия? И т.д...

Карты предоставлены:

Дополнительные материалы:

Тесты ForceWare 52.16
VGA Roundup Q3`2003
FX 5200 против Radeon 9200
FX 5600Ultra против Radeon 9600Pro
FX 5900 против Radeon 9800Pro