Бенчмаркинг: взгляд энтузиаста

Кому нужен бенчмаркинг?

Для многих простых пользователей разгон является лишь утилитарным средством, позволяющим поднять производительность своего компьютера. Вместе с тем, ядро аудитории "оверклокерских" сайтов (а, впрочем и "общежелезных" тоже) составляют энтузиасты, которые воспринимают компьютер не только как инструмент для работы и развлечений, но и как хобби.

Это люди, для которых интересен компьютер сам по себе, в отрыве от выполняемых задач, а "копание в горячих кишочках мотора" ((с) комментатор Формулы-1 Л. Шугуров) доставляет удовольствие как сам процесс, а не только конечным итогом. Обычно желание "что-нибудь еще сделать с компьютером" переходит, в зависимости от личности владельца системы, либо в увлечение моддингом (т.е. улучшением эстетической составляющей), либо к началу "профессионального" разгона.

Серьезный подход к разгону предполагает целый набор средств, к которым исключительно редко прибегают простые пользователи: тщательный подбор комплектующих, часто - с отбором наиболее разгоняемых экземпляров; высокоэффективные системы охлаждения, часто самодельные; внесение модификаций в конструкцию устройств, включая вольтмоддинг; хитрые программные решения; и другие методы форсирования аппаратных средств. Конечно, не каждый применяет весь "арсенал", но даже частичное использование таких методов позволяет "выжать" из системы значительно больше производительности, нежели простой среднестатистический разгон.

Обсуждать практическую целесообразность этого, как и любого другого хобби, бессмысленно - хобби по определению лишь приносит удовлетворение увлеченному человеку и его полезность в реальной жизни можно оценивать только в последнюю очередь. Я хотел бы сразу обратить внимание на это утверждение: профессиональный оверклокинг и бенчмаркинг, как виды человеческой деятельности, относятся именно к разряду хобби. Это не работа, не спорт, и уж тем более не цель жизни, как кое-кто пытается убедить.

3DMark: что, как и почему?

Название тестового пакета 3DMark, пожалуй, известно каждому, кто задавался вопросом измерения производительности своего компьютера. Продукт Futuremark Corporation (ранее - MadOnion.com) пережил уже четыре "издания". И если первые два, 3DMark 99 и 3DMark 2000, уже давно неактуальны, то 3DMark 2001 SE и 3DMark 03 до сих пор являются "стандартом индустрии" среди тестовых пакетов. Впрочем, отношение к этим программам принципиально разное.

Являясь DirectX9-тестом, 3DMark 03 активно использует шейдеры, одну из ключевых особенностей новых версий API. Однако, проблема в том, что код шейдеров несложно подменить в драйвере, упростив обьекты в кадре, а стало быть снизив нагрузку на железо и якобы повысив производительность. Безусловно, все, интересующиеся вопросом, помнят многочисленные скандалы, связанные с "читерскими" оптимизациями в драйверах видеокарт (на сегодняшний день только S3 не застукали на подмене шейдеров).

Такая ситуация привела к потере доверия к 3DMark 03 со стороны пользователей, что обьясняет его значительно меньшую распространенность по сравнению со старшей версией. С точки зрения бенчмаркеров, есть еще несколько причин, по которым 3DMark 2001 остался "мерилом крутости" даже после выхода новой версии теста.

1. 3DMark 03, в первую очередь, зависит от производительности видеокарты, а не общей скорости системы. К примеру, разница между Pentium 4 Extreme Edition на частотах 3200 МГц и 4300 МГц составляет менее 300 баллов. Такая несбалансированность означает, что можно приложить меньше усилий для достижения результата - заставить работать на пределе одну видеокарту значительно проще, чем всю связку "процессор-материнская плата-память-видеокарта".

2. Радикально меньшее количество разных мелких особенностей, знание которых позволяет повысить результат. Это также делает бенчмарк скучнее с точки зрения человека, привыкшего изучать каждую мелочь в поведении теста ради ответа на вопрос "Что еще нужно для роста результата?".

3. Ограниченная функциональность бесплатной версии 3DMark 03: в частности, невозможность отключения ненужных CPU Tests и Feature Tests сильно раздражает.

4. Чехарда с драйверами (все легитимные результаты должны быть получены только на драйверах, одобренных к использованию самими Futuremark) и общая скандальность тоже не добавляет тесту "любви народной".

В то же время 3DMark 2001 SE оказался невероятно живучим продуктом. Выпущенный три года назад, он основан на DirectX 7 и лишь в подтесте Nature использует возможности DirectX 8. Казалось бы, устаревший API, кому он может быть интересен... На практике же все выходит по-другому. Тесты построены таким образом, что результат растет пропорционально росту общей производительности системы: появившийся во времена GeForce 2 бенчмарк до сих пор позволяет оценить скорость любой системы, включая самые современные. Ранее именно отсутствие адекватного роста результатов при улучшении системы сверх определенного предела "убило" 3DMark 99 и 3DMark 2000. В 3DMark 2001 успешно решили эту проблему и даже сравнение новейших видеокарт дает правильную картину соотношения их скорости, подтверждаемую производительностью в реальных играх и других тестовых пакетах. И в данном случае уже не важно, какой API лежит в основе, главное - что этот тест прекрасно справляется со своими обязанностями. Добавим к этому отсутствие всех четырех вышеперечисленных проблем 3DMark 03 и честность драйверов (вот уже год, как не появляются драйвера с оптимизациями под 3DMark 2001) и мы получаем практически эталонный инструмент измерения производительности. Причем не только видеокарты, но и всех остальных ключевых компонентов системы: процессор, материнская плата, оперативная память - каждое устройство оказывает заметное влияние на результат.

Из семи подтестов, составляющих итоговый балл 3DMark 2001, Car Chase Hi - практически бенчмарк процессора, Lobby Hi - зависит в первую очередь от пропускной способности подсистемы памяти (кэш + оперативная память), Dragothic Hi и особенно Nature демонстрируют скорость видеокарты, а три низкодетализированных теста анализируют сочетание компонентов (процессор + память + видеокарта), с разным коэффициентом важности для каждого. Более подробное рассмотрение уже выходит за пределы данной статьи, так что ограничусь этой информацией.

Опытные пользователи зачастую применяют 3DMark 2001 даже в качестве диагностического инструмента: имея на руках результаты по всем семи подтестам (их можно получить, нажав кнопку Show Details после прохода теста), достаточно несложно определить, где имеется "затык" из-за несбалансированности комплектующих, или просто найти причину медленной работы системы.

Большим подспорьем в работе с 3DMark является онлайновая база данных Futuremark ORB (Online Result Browser), в которой собрано более миллиона опубликованных результатов 3DMark 2001 на разнообразнейших конфигурациях. Именно возможность отсылки пользователем собственного результата в ORB и сравнение с другими реальными системами через сервис Search & Compare обеспечили поистине культовый статус продуктам Futuremark.

Безусловно, система на штатных частотах покажет меньший результат, нежели аналогичная конфигурация, но с разогнанным процессором и видеокартой. Глобальность рейтинга в сочетании с "правильностью" самого теста пришлись по вкусу оверклокерам. Любители разгона во всем мире давно соревнуются друг с другом в массе неофициальных рейтингов производительности, из которых самыми организованными, актуальными и массовыми на сегодня являются Hexus PiFast Challenge, SuperPi Ranking и несколько рейтингов максимальной тактовой частоты (VR-Zone'овский и разнообразные японские). Futuremark ORB выгодно отличается на их фоне не только в ТЫСЯЧУ раз большей базой результатов и удобством сортировки информации, но и своим официальным статусом, хорошей службой поддержки и высокой защитой от подделок.

Таким образом, у оверклокеров, до того соревновавшихся в своем узком кругу (вплоть до того, что многие подобные "соревнования" были всего лишь ветками обсуждений на популярных форумах!), появился инструмент измерения производительности, на голову превосходящий все остальные по качеству и удобству использования. И более того, вносящий дополнительную интригу в соревнование - для получения хорошего результата недостаточно до предела разогнать процессор. 3DMark 2001, зависимый от производительности всех ключевых компонентов системы, стал "универсальным средством оценки усилий, приложенных к повышению производительности ПК". Это и стало главной причиной, по которой именно 3DMark 2001 завоевал ключевую позицию среди инструментов бенчеров.

Третьим популярным тестом является Aquamark 3 со своей собственной онлайновой базой данных ARC. Этот тест на базе реального игрового движка AquaNox сразу привлек внимание бенчмаркеров, а недавние действия администрации рейтинга по запуску официальных соревнований "Кто первым достигнет результата в хххххх баллов", на мой взгляд, свидетельствуют об очень правильном подходе к организации. Увы, как раз Futuremark не слишком много внимания обращает на интересы бенчмаркеров...

Меркантильный вопрос

Одной из движущих сил человеческого общества (я серьезно) является банальнейшее желание "быть круче, чем сосед", то есть "стремление к совершенству", если говорить красивыми словами. И, применительно к оверклокингу, это выражается в тех самых рейтингах, где любой может увидеть, как его достижения соотносятся с результатами других энтузиастов. И когда 3DMark стал "гоночной трассой", такой себе четвертью мили для оверклокеров, приобретая все большую популярность, люди начали прикладывать все больше усилий к получению результата.

Три года эволюции привели к тому, что системы, входящие ныне в ТОР-20 мирового рейтинга, слабо напоминают обычный домашний компьютер. В 2002-м в качестве "минимального требования" к рекордной системе было наличие системы охлаждения на основе фазового перехода (в русском языке устоялся термин "фреонка"), установленной на процессор. 2003-й принес распространение аналогичного охлаждения графического ядра, пришедшего на смену элементам Пельтье и ватерчиллерам. К концу года технологии совершили еще один виток - ведущие бенчмаркеры начали переход с обычных "фреонок" на двух- и трехступенчатые каскадные системы, обеспечивающие температуры до -120С. Я даже не говорю о том, что каждый компонент системы тщательно отбирается для максимальной производительности и производятся многочисленные модификации для повышения разгонного потенциала. Принцип сборки рекордного ПК схож с постройкой гоночного автомобиля - точно также продумывается каждая мелочь, используются лучшие детали и весь процесс подчинен единой цели: достижению предельных показателей. Конечно, такой ПК обычно не используется для повседневных задач, что требует наличия еще одного "рабочего" компьютера.

Безусловно, за все надо платить. Соревнование в абсолютном зачете требует значительных (по меркам домашнего ПК) затрат: предполагается, например, что апгрейд производится постоянно, одновременно с появлением на рынке новых решений. Однако, если сравнить "стоимость" экстремального разгона с бюджетом других хобби, то мощные ПК блекнут на фоне hi-end аудиотехники или затрат на глубокий тюнинг автомобилей.

Впрочем, деньги играют далеко не главную роль в бенчмаркинге, они лишь определяют начальные условия в виде серийных компонентов. А на серийном железе далеко не уедешь, его пределы давно известны. И вот здесь то и вступает в действие ключевой фактор, который и делает бенчмаркинг соревнованием людей, а не кошельков и в итоге определяет положение в рейтинге. Называется он "личное умение" (или как его чаще называют "скилл"). Неоднократно доказано, что человек, разбирающийся в компьютерах и разгоне в целом, но без глубокого знания теста и его особенностей, даже получив на руки полный комплект железа, показавшего высокий результат, не сможет к нему даже приблизиться.

Более того, имея достаточно познаний в оверклокерском деле и умелые руки, затраты на экстремальный разгон можно значительно сократить. Так, самодельная "фреонка" обойдется своему создателю в сумму до 200 долларов, в зависимости от используемых деталей. Не слишком то и дорого по сравнению с серийными системами водяного охлаждения. Модуль Пельтье достаточной мощности и блок питания к нему можно "уложить" в 50 долларов и таким образом обеспечить себе низкие температуры на видеокарте. Простейший гетто-ватерчиллер обойдется ровно в цену самодельного водяного охлаждения (в среднем до 50 долларов): стоит просто теплоизолировать ватерблоки и засыпать в резервуар кубики льда - температура даже самого мощного процессора опустится до +12-15 градусов, что даст хорошую прибавку частоты. Ну и наконец самые эффективные виды охлаждения одновременно являются и самыми дешевыми, и самыми требовательными к умению пользователя. Для жидкого азота или сухого льда нужно лишь сделать емкость-"стакан", чье изготовление обойдется недорого. Стоимость хладагента совсем небольшая, так что ею можно вообще пренебречь.

Вот только все описанные выше способы требуют усилий и знаний со стороны пользователя. А поэтому критикам, мало чем отличившимся лично на поприще разгона, значительно удобнее рассуждать о дороговизне и несправедливости бенчмаркинга, нежели просто учиться непростому делу правильного разгона.

Неравенства условий между простым пользователем и серьезными энтузиастом разгона не больше, нежели между владельцем "заряженного зубила" и создателем дрэгстера. Почему никто не возмущается, что нельзя на дорожном автомобиле выиграть гонку в классе Top Fuel? Так почему тогда иногда слышны подобные заявления относительно бенчмаркинга?

Сообщество бенчмаркеров

Между прочим, бенчмаркинг - это не только TOP-20 общего рейтинга Futuremark ORB, но и множество более доступных категорий, разделяемых обычно по используемой видеокарте, от самых слабых до топовых (разделение по процессорам значительно менее популярно). Конкуренция в них ниже, чем в "абсолютном зачете" и достаточно умелый пользователь, даже не имея сверхмощной системы, вполне может удовлетворить свои амбиции, соревнуясь в определенном классе. Но дело даже не в этом. Бенчмаркинг, как хобби, должен приносить удовольствие. И лишь немногие ставят себе в качестве основной цели именно высокие места в рейтингах. Это, скорее, побочный эффект, позволяющий сравнить свои усилия с работой других людей. В первую очередь, людям нравится то "спортивное" ощущение, когда преодолеваются ограничения и "через не могу" выжимаются еще капли производительности, бьются свои собственные личные рекорды. Получать это удовольствие можно как на GeForce 2 MX, так и на X800 XT, здесь не играет роли масштаб чисел. На форуме 3DMark-команды XtremeSystems.org написаны правила приема в команду. В вольном пересказе, они звучат так:

Нет "вступительного минимума результата" для присоединения к команде. Неважно, какая у вас система, важно, что вы пытаетесь достичь на ней большего. Команда XtremeSystems.org принимает всех, кто стремится к достижению максимально результата, независимо от конфигурации ПК.

Кстати, про XtremeSystems. Если уж мы заговорили о сообществе бенчмаркеров, то невозможно обойти вниманием этот сайт и форум. 3DMark-команда XtremeSystems.org является крупнейшей и наиболее успешной подобной командой, а форум давно стал главным местом сбора энтузиастов экстремального разгона. Именно там первыми появляются обсуждения новых рекордов и средств их достижения, а среди постоянных участников форума такие известные в оверклокерском сообществе личности, как Macci, Oppainter, Fugger, Tom Holck, Shamino, JCviggen, Hiwayman, Jason57570, charlie, bowman1964, captain_cascade, berkut - практически все те, чьи имена вы регулярно встречаете в сообщениях о новых достижениях разгона и охлаждения. Лишь японские гуру не засветились на XS, но оверклокинг по-азиатски всегда был обособленным явлением.

И первое, что отмечаешь, начиная читать и писать в форум XtremeSystems, - это невероятная дружелюбность его участников. По сравнению с большинством форумов на компьютерную тематику, XS кажется просто образцом человеческого общения. А причина проста: там собираются энтузиасты своего дела и очень мало случайных людей. Каждый получает удовольствие от разгона и никто из постоянных участников не хочет портить настроение ни себе, ни другим. Поэтому на сообщения о новых достижениях отвечают дружными поздравлениями (причем тот, кто добился на скромной системе высоких для нее показателей и показал нечто экстраординарное, заслуживает обычно не меньше поздравлений, чем признанные лидеры рейтингов), на заданные вопросы дают по возможности четкие ответы, а не бесконечный поток флейма, а обсуждения технических вопросов вообще скрывают в себе просто тонны полезнейшей информации. Посетив форум, особое внимание стоит уделить разделам Xtreme Overclocking, Xtreme 3DMark Team, Xtreme Mods, Vapor Phase-Change Cooling и недавно открытому Dry Ice & Liquid Nitrogen - там найдется масса ценных сведений для желающих приобщиться к экстремальному разгону или углубить свои познания в этой области.

Кроме XtremeSystems, экстремальный разгон и бенчмаркинг обсуждается на многочисленных западных форумах энтузиастских сайтов. Существует еще несколько 3DMark-команд, но они несравнимы с XtremeSystems. Увы, год-два назад конкуренция среди команд была значительно сильнее. Ныне же вырос уровень отдельных участников, уплотнились позиции на вершинах рейтингов и стало значительно тяжелее бороться за высокие места, но коллектив команды сохранился лишь у XtremeSystems и их же подразделений: Team Puss и нашего Team MXS. Команды Overclockers.com, VR-Zone.com, Futuremark.com, 3DMAXX.net, Techzone.pt и многие другие перестали играть сколь-нибудь заметную роль, а их бывшие участники либо присоединились к XS, либо стали подписываться названиями собственных сайтов без четко сформированных команд.

Вообще, несмотря на наличие постоянного соревнования, сообщество "элиты оверклокинга" (пользуясь термином г-на Притулы) на редкость открыто, демократично и приветливо. Факт, что твой результат превзошли, не воспринимается как личное оскорбление, а становится поводом улучшить собственные показатели. За все время пребывания на XS я ни разу не видел негативной реакции от тех, кого сдвинули вниз в рейтинге. Напротив, обычно соперники поздравляют друг друга с новыми достижениями, с тем, чтобы после этого вновь включить систему и начать искать скрытые резервы производительности.

Читерство

В столь мирном и приветливом сообществе, в вопросах разгона и бенчмаркинга жестко воспринимаются только попытки всех обмануть, представив в любом виде поддельные результаты. Неважно, описание ли это в форуме несуществующей якобы своей конфигурации ПК, демонстрация подправленных в Photoshop скриншотов, или публикация в рейтингах фальшивых результатов тестирования, при обнаружении обмана на "нарушителя" обрушивается просто таки шквал недовольных, презрительных или издевательских комментариев.

Такая реакция вполне понятна, ведь люди получают удовольствие от честного соревнования, вкладывая силы в достижение новых вершин. Ни один уважающий себя и других бенчмаркер не опустится до того, чтобы представить общественности подделку, проявив тем самым крайнее неуважение к труду других. Кроме того, фальшивки легко вычисляются - профессионал может, имея результат 3DMark (с результатами итоговых значений FPS по семи "игровым" тестам), назвать полную конфигурацию системы, включая достаточно узкие пределы возможных тактовых частот процессора, видеокарты и режим работы оперативной памяти. Таких людей в мире от силы наберется человек 100, но большинство из них как раз и сидят по форумам, посвященным разгону.

Иван в своей статье приводил пример с поддельным шейдером, дававшим прирост в 20 кадров в тесте Nature. Надо сказать, что метод достаточно грубый и не сказать, что сильно эффективный. Правда, эффективных я и не знаю - могу назвать множество способов получения нечестного результата, но ни один из них не даст действительно правдоподобной картины.

Так вот, как только г-н Притула сообщил о своем "достижении" на форуме XtremeSystems (да, всего за два месяца до публикации своей "разгромной" статьи он весьма активно, хоть и не слишком успешно, пропагандировал и практиковал бенчмаркинг, а на его собственном сайте имелся раздел команды по 3DMark), то очень быстро появились сообщения, мол "что-то подозрительно высокий результат Nature для таких частот видеокарты".

Результат всех тестов у него подходил к заявленным в описании частотам видеокарты, а вот Nature оказался значительно выше нормы. И на это несоответствие обратили внимание даже при том, что его результат не представлял из себя ничего сверхъестественного! Если бы Иван таким образом попытался пролезть на более-менее заметное место в рейтинге или в какой-либо категории, исследование провели бы более тщательно. Скажем, было несложно повторить его эксперимент на идентичной системе и посмотреть на соотношение FPS…

И вот здесь мы и подошли к доказательству бессмысленности читерства в 3DMark. С точки зрения психологии, удовольствие от публикации поддельного результата должно достигаться в процессе созерцания себя где-то на вершине рейтинга или категории. Ведь какой смысл чуть-чуть "подчищать" данные теста ради того, чтобы подняться, скажем, с 500-го места среди Radeon 9800 Pro до 450-го? Никто даже не заметит не только факта подделки, но и самого результата. Выходит такой себе Неуловимый Джо, которого никто не ловит, потому что он никому не нужен... Попытавшись же "накрутить" достаточное количество очков для приближения к вершине, сразу окажешься в центре внимания модераторов рейтинга и просто участников. Такие "рекорды" исключительно редко висят в рейтинге больше 24 часов, их быстро удаляют из базы ORB.

Да, что один написал, другой всегда взломать сможет. Читеры действительно могут "вертеть марком, как хотят", вот только ни им проку (результаты оперативно удаляются), ни бенчмаркинг-сообществу вреда (читер получает свою долю общественного презрения и обычно навсегда исчезает из поля зрения коммьюнити) никакого это не наносит. Обманщиков воспринимают, скорее, как комаров летом - они есть, это неприятно, но с ними эффективно борются.

Подведем итоги

В этой статье я постарался вкратце изложить как саму суть бенчмаркинга, так и основы существования коммьюнити экстремальных оверклокеров и бенчмаркеров. Не мне судить, насколько успешно это удалось, но, надеюсь, хотя бы общую идею я смог выделить: бенчмаркинг - это хобби, от которого можно получать удовольствие независимо от вложенных денег, а собственно разумность затрат каждый определяет сам для себя. Причем знания и умения играют куда большую роль, чем деньги. Те, кто сочли для себя интересным занятием исследование пределов возможностей компьютерного "железа", обнаружат существование большого и дружного сообщества таких же энтузиастов, включая целые 3DMark-команды. Таким людям я хочу сказать: "Добро пожаловать в Team MXS!". Мы всегда рады видеть новые лица в наших рядах! Пока что представителей стран бывшего СССР среди активных участников рейтинга ORB немного, но мы надеемся на рост интереса к бенчмаркингу в стране, где разгон стал действительно "всенародным спортом".

Автор - главный редактор сайта ModLabs.net, крупнейшего русскоязычного сайта по экстремальному разгону и моддингу. Вот уже более года "команда" этого сайта удерживает рекорд СНГ по результату в 3DMark 2001, также ей принадлежат несколько мировых рекордов в различных категориях.