Анатомия цифрового фотоаппарата: сенсоры

Да будет цвет!

Сенсоры - это устройства, определяющие лишь градации серого (градации интенсивности света - от полностью белого до полностью черного). Чтобы камера могла различать цвета, на кремний с помощью процесса фотолитографии накладывается массив цветных фильтров. В тех сенсорах, где используются микролинзы, фильтры помещаются между линзами и фотоприемником. В сканерах, где используются трилинейные ПЗС (рядом расположенные три ПЗС, реагирующие соответственно на красный, синий и зеленый цвета), или в high-end цифровых камерах, где также используются три сенсора, на каждый сенсор фильтруется свет своего определенного цвета. (Заметим, что в некоторых камерах с несколькими сенсорами используются комбинации нескольких цветов в фильтрах, а не три стандартных). Но для устройств с одним сенсором, каковыми является большинство потребительских цифровых фотоаппаратов, для обработки различных цветов используются массивы цветных фильтров (color filter arrays, CFA).

Для того чтобы каждому пикселю соответствовал свой основной цвет, над ним помещается фильтр соответствующего цвета. Фотоны, прежде чем попасть на пиксель, сначала проходят через фильтр, который пропускает только волны своего цвета. Света другой длины будет просто поглощаться фильтром. Ученые определили, что любой цвет в спектре можно получить смешением всего нескольких основных цветов. В модели RGB таких цвета три.

Для каждого применения разрабатываются свои массивы цветных фильтров. Но в большинстве сенсоров цифровых камер наиболее популярными являются массивы фильтров цветовой модели Байера (Bayer pattern). Эта технология была изобретена в 70-х компанией Kodak, когда проводились исследования в области пространственного разделения. В этой системе фильтры расположены вперемежку, в шахматном порядке, а количество зеленых фильтров в два раза больше, чем красных или синих. Порядок расположения таков, что красные и синие фильтры расположены между зелеными.

Такое количественное соотношение объясняется строением человеческого глаза - он более чувствителен к зеленому свету. А шахматный порядок обеспечивает одинаковые по цвету изображения независимо от того, как вы держите камеру (вертикально или горизонтально). При чтении информации с такого сенсора, цвета записываются последовательно в строчках. Первая строчка должна быть BGBGBG, следующая - GRGRGR и т.д. Такая технология называется последовательной RGB (sequential RGB).

В ПЗС камерах совмещение всех трех сигналов воедино происходит не на сенсоре, а в устройстве формирования изображения, уже после того, как сигнал преобразован из аналогового вида в цифровой. В КМОП сенсорах это совмещение может происходить непосредственно на чипе. В любом случае, первичные цвета каждого фильтра математически интерполируются с учетом цветов соседних фильтров. Заметим, что в любом изображении большинство точек - это смешение основных цветов, и лишь немногие действительно представляют чистый красный, синий или зеленый цвет.

Например, чтобы определить, влияние соседних пикселей на цвет центрального при линейной интерполяции будет обрабатываться матрица пикселей размером 3х3. Возьмем, к примеру, простейший случай - три пикселя - с синим, красным и синим фильтрами, расположены в одной строчке (BRB). Предположим, вы пытаетесь получить результирующее значение цвета красного пикселя. Если все цвета равноправны, то цвет центрального пикселя вычисляется математически как две части синего к одной части красного. На самом же деле, алгоритмы даже простой линейной интерполяции намного более сложны, они учитывают значения всех окружающих пикселей. Если интерполяция происходит плохо, то получаются зубцы на границах смены цветов (или появляются цветовые артефакты).

Отметим, что слово "разрешение" в области цифровой графики употребляется некорректно. Пуристы (или педанты - кому как больше нравится), знакомые с фотографией и оптикой, знают, что разрешение - это мера способности человеческого глаза или прибора различать отдельные линии на сетке разрешений, например, на сетке ISO, показанной ниже. Но в компьютерной индустрии принято разрешением называть количество пикселей, и раз уж так повелось, мы также последуем этой конвенции. Ведь даже разработчики называют разрешением количество пикселей в сенсоре.

Посчитаем?

Размер файла изображения зависит от количества пикселей (разрешения). Чем больше пикселей, тем больше файл. Например, изображение сенсоров стандарта VGA (640х480 или 307200 активных пикселей) будет занимать в несжатом виде около 900 килобайт. (307200 пикселей по 3 байта (R-G-B) = 921600 байт, что примерно равно 900 килобайтам) Изображение 16 MP сенсора будет занимать около 48 мегабайт.

Казалось бы, что такого - сосчитать количество пикселей в сенсоре, чтобы определить размер получающегося изображения. Тем не менее, производители камер представляют кучу разных цифр, и каждый раз утверждают, что это и есть истинное разрешение камеры.

В общее число пикселей входят все пиксели, физически существующие в сенсоре. Но активными считаются только те, которые участвуют в получении изображения. Около пяти процентов всех пикселей не будут участвовать в получении изображения. Это либо дефектные пиксели, либо пиксели, использующиеся камерой по другому назначению. Например, могут существовать маски для определения уровня темнового тока или для определения формата кадра.

Формат кадра - соотношения между шириной и высотой сенсора. В некоторых сенсорах, например, с разрешением 640х480, это соотношение равно 1,34:1, что соответствует формату кадра большинства компьютерных мониторов. Это означает, что изображения, созданные такими сенсорами, будут точно укладываться в экран монитора, без предварительного кадрирования. Во многих аппаратах формат кадра соответствует формату традиционной 35-милиметровой пленки, где соотношение равно 1:1,5. Это позволяет делать снимки стандартного размера и формы.

Интерполяция разрешения

Кроме оптического разрешения (реальная способность пикселей реагировать на фотоны), существует также разрешение, увеличенное программно-аппаратным комплексом, с помощью интерполирующих алгоритмов. Как и в интерполяции цветов, в интерполяции разрешения математически анализируются данные соседних пикселей. При этом в результате интерполяции создаются промежуточные значения. Такое "внедрение" новых данных может производиться довольно гладко, при этом интерполированные данные будут чем-то средними, между реальными оптическими данными. Но иногда при такой операции могут возникать различные помехи, артефакты, появляться искажения, в результате которых качество изображения лишь ухудшится. Поэтому многие пессимисты считают, что интерполяция разрешения - это вовсе не способ улучшения качества изображений, а лишь метод увеличения файлов. При выборе устройства обращайте внимание, какое разрешение указано. Не стоит сильно радоваться высокому интерполированному разрешению. (Оно помечается как interpolated или enhanced).

Ещё один процесс обработки изображения на программном уровне - это субдискретизация (Sub-sampling). По сути, это процесс, обратный интерполяции. Этот процесс производится на стадии обработки изображения, уже после того, как данные преобразованы из аналогового цифровой вид. При этом удаляются данные различных пикселей. В КМОП сенсорах эту операцию можно провести на самом чипе, временно отключив считывание определенных строчек пикселей, или считывая данные лишь с избранных пикселей.

Субдискретизация выполняет две функции. Во-первых, для уплотнения данных - чтобы хранить больше снимков в памяти определенного размера. Чем меньше количество пикселей, тем меньше получается размер файла, и тем больше снимков вы сможете уместить на карточке памяти или во внутренней памяти устройства и тем реже вам придется скачивать фотографии на компьютер или менять карточки памяти.

Вторая функция этого процесса - создание изображений определенного размера для определенных целей. Камеры с 2MP сенсором вполне по зубам сделать снимок стандартной фотографии размером 8х10 дюймов. Но если вы попытаетесь переслать такую фотографию по почте, то это заметно увеличит размер письма. Субдискретизация позволяет обработать изображение так, чтобы оно нормально смотрелось на мониторах ваших друзей (если не ставить целью детализацию) и при этом отправлялось достаточно быстро даже на машинах с медленным соединением.

Теперь, когда мы ознакомились с принципами работы сенсоров, знаем, как получается изображение, давайте заглянем несколько глубже и затронем более сложные ситуации, возникающие при цифровой фотографии.