NVIDIA взбудоражила рынок PC выпуском своего GeForce 256™ GPU (Graphics Processing Unit – Графический Процессор). Появление GPU с интегрированными аппаратно геометрическими процессорами и процессорами освещения – прорыв в области 3D-графики, делающий возможным создание приложений качественно нового уровня.
GPU делает доступной графику такого высочайшего уровня, какой еще вчера был возможен только на супер-ЭВМ стоимостью в миллионы долларов. Анимированные персонажи, обрабатываемые GPU, стали настолько детализированными, что видна мимика их лиц, а движения стали плавными. Мир, который населяют эти самые персонажи, теперь естественно отображает органическую жизнь (деревья, кусты, газоны), архитектурные и структурные элементы, которые мы считаем само собой разумеющимися в реальном мире. В до-GPU эпохе стены зданий и помещений изображались с наименьшим возможным количеством деталей, что приводило к 3D-вакууму. Этот вакуум теперь заполнен с помощью GPU элементами реального мира: реалистичная мебель, приборы, источники света, предметы быта и транспортные средства. Короче говоря, мир, формируемый GPU, приблизился к тому, что мы видим в реальности.
Transform and lighting (T&L) (Трансформация и Освещение) – первые две из четырех ступеней, вычисляемых GPU в 3D-конвейере. Они характеризуются высокой интенсивностью и сложностью вычислений набора очень специфичных математических инструкций (выполняемых миллиарды раз в секунду) для того, чтобы обсчитать сцену.
Для понимания роли T&L, полезно иметь представление о полном процессе создания трехмерной графики, начинающегося непосредственно с приложения. Основные функциональные шаги изображены на Рис. 1.
| Прикладные задачи | Приложение управляет перемещениями объектов (включая камеру) и их взаимодействиями в 3D мире. Проблемы с вычислениями реалистичной физики (объекты обладают моментом) и определениями столкновений/пересечений (мой гоночный автомобиль столкнулся со стеной или другим авто?) отображаются как перемещения объектов в сцене. | ||
| Задачи Уровня Сцены (отсечение, LOD, дисплейный список) |
Задачи Уровня Сцены включают в себя отсечение объектов уровня (авто №3 находится полностью позади камеры, так что нет необходимости пересылать его на следующий шаг), выбор соответствующего уровня детализации (авто №1 находится далеко, так что лучше применить низко детализированную модель) и создание списка всех объектов, попадающих в текущее поле зрения камеры. | ||
| Геометрическое преобразование | Геометрический процессор конвертирует 3D данные из одной системы отсчета в другую. Система должна преобразовать данные к текущему виду перед выполнением следующего шага (освещение, триангуляция/разбивка на треугольники и рендеринг). Каждый отображаемый объект и некоторые из неотображаемых должны быть преобразованы каждый раз, когда сцена перерисовывается. | ||
| Освещение | Освещение – следующий шаг в 3D конвейере, производящий к тому же значительное визуальное впечатление. Эффекты освещения служат для повышения реализма сцены и приближению отрендеренных образов еще на один шаг к нашему восприятию реального мира. | ||
| Triangle Setup and Clipping – Разбиение на треугольники и Отсечение | Триангуляционный процессор (процессор треугольников) – математический процессор с плавающей точкой, получающий на входе данные о вершине и выдающий на выходе все необходимые процессору рендеринга обработанные данные. Этот модуль разбивает (sets up) и отсекает (clips) треугольник для передачи его процессору рендеринга. | ||
| Рендеринг | Рендеринг – это расчет правильного цвета для каждого пикселя на экране с учетом всей информации, предоставляемой процессором треугольников. Процессор рендеринга должен учитывать цвет объекта, цвет и направление света, падающего на объект, является ли объект прозрачным и в какой степени, и что за текстуры применены к объекту. Если Рендеринг завершается в несколько этапов, то такой Рендеринг называется многопроходным. |
Расчеты геометрии (T&L) теперь стали главным препятствием на пути к совершенной 3D графике на типичных персональных компьютерах. Графический процессор стал простаивать неоправданно долго в ожидании подготовленных геометрических данных от ЦП. Это узкое место графических процессоров заставляло разработчиков снижать геометрическую детализацию 3D персонажей и сред, ухудшая их визуальное качество для того, чтобы оставить производительность приложения в целом на приемлемом уровне. Интегрированные геометрические процессоры – наиболее оправданный, по соотношению цена/производительность, способ увеличения производительности при расчетах геометрии и предоставляет новые возможности разработчикам приложений для повышения уровня детализации их 3D миров.
Скорость расчета геометрии диктует разработчикам условия того, насколько глубоко они могут тесселировать создаваемые 3D объекты, сколько объектов можно включать в сцену и вообще - насколько детализированным может быть создаваемый ими 3D мир. Тесселяция – это процесс конвертирования (преобразования) кривых линий в последовательность (или ряд) линейных сегментов, наиболее точно аппроксимирующих исходную кривую. Эта идея относится к трехмерным объектам с кривыми поверхностями, преобразуемым в полигоны, аппроксимирующие эти поверхности. Это порождает классическую проблему "производительность-против-качества" для разработчика, потому что более углубленная тесселяция приводит к большому количеству полигонов и, соответственно, к падению производительности, но позволяющая, в итоге, получить высокое качество изображения. На рисунке 4 показан простой пример сферы с различными уровнями тесселяции.
На всех фрагментах Рисунка 4 изображена одна и та же сфера, но на крайнем справа – наиболее детализированная из всех трех. Она содержит в пять раз больше полигонов по сравнению с крайней левой картинкой и в три раза больше по сравнению со средней. Это значит, что правая сфера требует в пять раз более высокой скорости геометрических преобразований по сравнению с левой сферой для того, чтобы общая производительность осталась на прежнем уровне (т.е. не снизилась). Для большинства пользователей персональных компьютеров комфортная частота кадров – от 30 до 60 Гц, поэтому они (пользователи) будут стараться подстроить "качество изображения" (параметры рендеринга, разрешение и т.п.) в настройках программы, чтобы величина fps находилась в указанных пределах.
Эта простая проблема "производительность-против-качества" становится весомой, когда начинаешь понимать, что 3D сцена включает в себя от сотен до тысяч объектов, для каждого из которых надо обсчитать геометрические преобразования и освещение с помощью только лишь ЦП. Программисты должны точно оценить уровень детализации каждой модели в сцене, чтобы точно знать, что соотношение качество/производительность осталось в допустимых пределах. Если сцена представляет собой джунгли, то необходимо включить в неё заросли кустов и деревьев, т.к. одно дерево или кустик не передадут атмосферу джунглей.
Баланс между производительностью и высоким уровнем геометрической детализации (для повышения качества изображения) не был бы таким плохим, если бы не удручающе низкая производительность в геометрических преобразованиях современных ЦПУ. Целью разработки GPU было желание переместить уровень производительности при расчетах с высокой степенью геометрической детализации за тот предел, с которого пользователь начинает ощущать комфорт при работе со сценой. Сегодня действительность такова, что даже топовые модели ЦП заставляют программиста балансировать между производительностью и детализацией, чтобы вожделенный fps попал в диапазон 30 - 60 кадров/сек.
Image courtesy of Digital Illusion.
Без интегрированного расчета освещенности будет невозможно в реальном времени точно отображать изменения свойств освещения 3D объектов при изменении положения камеры относительно источников света – для этого необходимо рассчитывать два важных для точного моделирования физики освещения параметра. Эти два компонента – рассеянный свет и отраженный свет. Под источником рассеянного света понимается источник, излучающий свет во все стороны с одинаковой интенсивностью так, что яркость отраженного от предмета света вообще не зависит от положения камеры. Солнечный свет на игровой площадке – пример рассеянного освещения в реальной жизни. Яркость объекта в 3D сцене прежде всего определяется расчетами рассеянного освещения. Отраженный свет отличен от рассеяного, т.к. зависит от положения камеры, направления на источник света и ориентации треугольника перед рендерингом. Сверкающий блик света на экране телевизора в темном углу комнаты поможет вам яснее представить отраженное освещение. Отраженный свет зависит от отражающей способности объектов, дающей эффект отражения и блика. На Рисунке 6 показаны два примера космической станции из теста 3DWinBench с эффектами рассеянного и отраженного света.
Блики отраженного света перемещаются по объекту, если движется камера, или же сам объект относительно источника света. По этой причине они не могут быть заранее посчитаны и заданы в статике. Отраженное освещение особенно полезно для двух эффектов в 3D сцене: для отображения изменений при смене положения и имитации объектов из материалов с разными свойствами.
Отраженный свет также важен при присвоении свойств различных материалов объектам в 3D сцене. Шёлковая рубашка выглядит иначе, чем хлопковая, даже если они одного цвета. Возможное отличие заключается в том, как эти два материала отражают свет или, иными словами, излучают отражённый свет. Другой пример – полированный костяной шарик в сравнении с шариком из того же материала, но до полировки. Полирование не меняет цвет или структуру шарика, оно изменяет характеристику направленности отраженного света. Отраженный свет в комбинации с наложением соответствующей текстуры придает объекту более реалистичный вид - он приобретает свойства объекта из реального мира, т.е. они становятся внешне похожими.
Отраженный свет может быть получен и без специализированного аппаратного процессора освещения, но при это производительность резко упадет. Наложение текстуры может быть использовано для некоторых отражающих световых эффектов, но если камера движется вокруг сцены, то карты среды должны все время пересчитываться, если аппаратная поддержка есть только наложения кубических карт отображения среды. Сферические карты отображения – общепринятая альтернатива, но этот способ чреват проблемами с производительностью и качеством изображения, делая невозможным получение интерактивной 3D среды.
Функции трансформации и освещения в графическом 3D конвейере традиционно решались с помощью возможностей доступных на рынке универсальных процессоров – для PC это значило использование центрального процессора. Это было вызвано тем, что для решения этих задач (T&L) требовались возможности процессора с плавающей точкой, а математический процессор уже в то время являлся обязательной составной частью универсальных процессоров (FPU). Стоимость реализации была естественным препятствием на пути добавления возможностей T&L в графические программы на персональных компьютерах.
Понятие стоимости было неактуально для экзотических Unix-станций, где цена неинтегрированных (дискретных) геометрических процессоров и процессоров освещения не имела значения из-за неограниченного бюджета. Как только за последующие 2 года затраты снизились, рабочие станции на Windows NT предоставили для бизнеса эти новые возможности, но с помощью составных графических плат расширения, стоящих тысячи долларов. Цены продолжали падать по мере того, как производители полупроводников умудрялись втискивать на один кристалл все больше и больше транзисторов. В 1999 году стало возможным отказаться от GPU с отдельными процессорами геометрии и освещения, т.к. теперь появилась возможность интегрировать эти процессоры на одном кристалле с другими компонентами графического 3D конвейера. Новейшие кремниевые технологии разрушили этот ценовой барьер и позволили nVidia интегрировать все компоненты конвейера в одном кристалле GPU и предложить его на рынке по приемлемой цене.
Сейчас, когда GPU стал доступен в PC верхней ценовой категории, системные дизайнеры выбирают этот новый путь, чтобы сделать доступными ошеломляющие визуальные возможности широкому кругу пользователей. Две характерных черты архитектуры:
Математические требования к GPU четко определены. T&L вычисления целиком и полностью основаны на матричных вычислениях, специфичном перемножении 4x4 матриц и некоторых других векторных операциях. Строго определенное количество инструкций (операций) процессоров T&L весьма полезно для максимальной оптимизации их архитектуры для получения наивысшей кремниевой эффективности. Эта самая кремниевая эффективность делает легко предсказуемой и наивысшую производительность GPU. Это предположение основано на том, что буферы и конвейеры могут быть очень сильно оптимизированы в соответствии с крайне узким набором специфичных требований. Когда вычисления T&L возложены на ЦПУ, то производительность очень сильно колеблется, т.к. процессор вынужден делить эти вычисления с другими задачами общего характера. Большинство современных процессоров имеют специальные математические расширения команд (типа MMX, SSE, SSE2, 3DNow! и т.п.), но эти расширения также являются универсальными. Эти расширения предназначены для обработки функций мультимедиа (аудио, видео) и алгоритмов связи.
Хитовая 3D игра, запускаемая на GPU, должна быть большим, чем просто демонстрашкой прекрасной графики и "усладой для глаз". Она нуждается в изощренном искусственном интеллекте, реалистичной физике и целом комплексе игровых элементов. Потребность в мощном искусственном интеллекте в стратегиях и спортивных играх в до-GPU эпоху наделила персонажи убогим, плохо детализированным внешним видом. Разработчики были вынуждены жертвовать графическими возможностями игры в пользу задач искусственного интеллекта и физики, которые также возлагались на центральный процессор. GPU делает возможным для игроков в командные волейбол, футбол и баскетбол бегать, прыгать и смотреть как реальным игрокам. Моделирование реалистичной физики дополняет возможности 3D приложений, позволяя точно имитировать реальный мир. Объекты реального мира обладают моментом, точно так же должны его иметь и объекты 3D приложения. Эти функции сами по себе могут "заткнуть" современный топовый центральный процессор, ведь ЦПУ все еще выполняет и традиционные функции типа управления трафиком по шинам, запросы служб операционных систем и все запросы приложений. Эти функции не могут быть переложены на графический процессор, но функции GPU будут сняты с центрального процессора, а уже одно это значительно улучшает графическую производительность и производительность приложения в целом.
Операции при выполнении Трансформации и Освещения сходны, т.к. требуют повторения вычислений определенного набора математических функций много миллионов раз в секунду. Специфические математические требования, предъявляемые к GPU, описаны здесь, так что читатель может легко разобраться почему эти функции так сильно подвержены оптимизации и приспособлены для специализированных процессоров больше, чем для универсальных ЦПУ.
Операция трансформации – это операция умножения матрицы 4x4. Вектор, представляющий 3D данные, обычно содержит вершину или вектор нормали, помноженный на матрицу 4x4, называемую матрицей трансформаций и результат – трансформированный вектор. Чтобы это сделать, спецпроцессор трансформаций использует стандартную линейную алгебру для умножения матриц. На Рисунке 9 показан универсальный пример этой операции.
Перед тем, как трансформировать вектор, необходимо построить матрицу трансформаций. Эта матрица содержит всю необходимую информацию для конвертирования данных вектора в новую координатную систему. Промежуточная матрица создается для всех операций (масштабирование, вращение и смещение), которые должны быть выполнены над вектором, а затем все промежуточные матрицы перемножаются, чтобы получить единственную матрицу, которая и будет содержать итоговый результат всех операций. Эта одиночная матрица называется матрицей трансформаций и может многократно использоваться без перерасчета. Например, если матрица трансформаций уже создана, то она может с успехом использоваться для преобразования как одного вектора, так и целого миллиона. Эта способность к многократному использованию матрицы трансформаций весьма эффективно экономит время, необходимое для ее перерасчета.
Сперва может показаться, что достаточно матрицы размерностью 3x3, лишь потому, что это расчеты 3D графики. Четвертый компонент в исходном векторе – w. W используется в качестве коэффициента масштабирования при перспективной коррекции и дополняет матрицу трансформаций до размерности 4x4. Углубленное обсуждение параметра w лежит за границами этого документа.
Заметим, что количество математических операций для одного геометрического преобразования постоянно: 16 операций умножения и 12 операций сложения. Сама математика, требуемая для геометрических преобразований, так же весьма проста – используется только умножение и сложение.
Частью, относящейся к волшебству, при перемножении матриц во время геометрических преобразований является то обстоятельство, что масштабирование, вращение и трансляция – все эти операции могут выполняться параллельно, в один и тот же промежуток времени. Это делает производительность специализированного геометрического процессора величиной легко определяемой и более-менее постоянной. А это, в свою очередь, позволяет программистам реально оценить, на сколько их приложение будет "грузить" геометрию, чтобы сохранить достаточно приемлемый баланс производительность/качество.
Расчеты освещенности весьма требовательны к вычислительной мощности. Типичные расчеты освещенности вычисляют расстояние и направление между источниками света и объектами. Процессоры освещенности производят так же функции преобразования некоторых данных типа создания векторов нормали для треугольников и вершин, а так же "нормализации" этих векторов. Нормализация вектора – это процесс его преобразования в новый вектор с длиной равной единице по модулю и ориентированным так же, как и оригинальный вектор. Вектор "нормали" к вершине или треугольнику по определению – вектор, строго перпендикулярный треугольнику или вершине. Перпендикуляр к вершине определяется как перпендикуляр к поверхности, которую эта вершина описывает.
Здесь описана математика простейшей модели освещения. Вычисление разностных векторов требует только сложения (вычитание – это просто добавление отрицательного значения) данных xyz для каждого из объектов и поэтому требует три операции сложения. Для примера - разностный вектор между источником света #1 с координатами (x1, y1, z1) и объектом #2 с координатами (x2, y2, z2):
Эти векторы далее должны быть переработаны в скалярную величину расстояния и нормализованный вектор перед тем, как отправиться в процессор освещенности. Эти операции очень ресурсоемки, но совершенно необходимы потому, что представление разностных векторов как отдельных величин для расстояния и направления значительно упрощает последующие шаги в 3D конвейере. Вычисление расстояния – сложение квадратов величин x, y и z с последующим извлечением квадратного корня из этой суммы, как показано в Уравнении 1:
Нормализация вектора требует деления каждого из значений x, y и z на расстояние. Так что процессор освещения должен уметь как прибавлять, так и делить.
В статье использованы материалы с сайтов: www.nvidia.com, www.tomshardware.com и ряда других.