Алгоритм разбора сенсорной матрицы цифровых камер

В цифровых камерах для получения изображения используется сенсорная матрица из миллионов миниатюрных ячеек-пикселей. Когда вы нажимаете кнопку спуска на своей камере, и начинается экспозиция, каждый из этих пикселей представляет собой «фототермос», который открывается, чтобы собрать и сохранить фотоны в своей ёмкости. По завершении экспозиции камера закрывает все фототермосы и пытается определить, сколько фотонов попало в каждый. Относительное количество фотонов в каждой ёмкости далее преобразуется в различные уровни интенсивности, точность которых определяется разрядностью (от 0 до 255 для 8-битного изображения).

 

Сенсор цифровой камеры

Сенсор цифровой камеры

 

 

Светосборники

Светосборники

 

В ёмкости не содержится информации о том, сколько каждого цвета попало в неё, так что вышеописанным способом можно было бы получить только чёрно-белые изображения. Чтобы получить цветные изображения, поверх каждой ёмкости помещают фильтр, который пропускает только определённый цвет. Практически все современные цифровые камеры могут захватить в каждую из ёмкостей только один из трёх первичных цветов и таким образом теряют примерно 2/3 входящего света. В результате камере приходится складывать остальные цвета, чтобы иметь информацию обо всех цветах в каждом пикселе. Наиболее известный матричный цветофильтр, который называется «фильтр Байера», показан ниже.

 

Матричный цветофильтр

Матричный цветофильтр

 

 

Матрица Байера

Матрица Байера

 

Матрица Байера состоит из чередующихся рядов красно-зелёных и зелено-синих фильтров. Обратите внимание, что в матрице Байера содержится вдвое больше зелёных сенсоров, чем синих или красных. Дисбаланс первичных цветов вызван тем, что человеческий глаз более чувствителен к зелёному цвету,чем к красному и синему вместе взятым. Избыточность по зелёным пикселям даёт изображение, которое кажется менее шумным и более чётким, чем казалось бы при равном количестве цветов. Это объясняет также, почему шум в зелёном канале намного меньше, чем в остальных.

 

Исходная картинка(в двукратном увеличении)

Исходная картинка(в двукратном увеличении)

 

 

Что видит ваша камера(через матрицу Байера)

Что видит ваша камера(через матрицу Байера)

 

Примечание: не все цифровые камеры используют матрицу Байера, но это наиболее распространённый вариант. Сенсор Foveon, используемый в камерах Sigma SD9 и SD10, регистрирует все три цвета в каждом пикселе. Камеры Sony снимают четыре цвета в похожем массиве: красный, зелёный, синий и изумрудно-зелёный.

Дебайеризация

Дебайеризация — это процесс трансляции матрицы первичных цветов Байера в итоговое изображение, в котором содержится полная информация о цвете в каждом пикселе. Как это возможно, если камера не в состоянии непосредственно измерить полный цвет? Один из способов понять этот процесс — это рассматривать каждый массив 2x2 из красной, двух зелёных и синей ячейки как одну полноцветную ячейку.

 

Матрица Байера

Матрица Байера

 

 

Преобразованная матрица Байера

Преобразованная матрица Байера

 

В целом этого достаточно, но большинство камер предпринимают дополнительные шаги, чтобы получить из этой матрицы ещё больше информации об изображении. Если бы камера рассматривала каждый из массивов 2x2 как одну точку, её разрешение упало бы вдвое и по горизонтали, и по вертикали (то есть, вчетверо). С другой стороны, если бы камера считала цвета, используя несколько перекрывающихся массивов 2x2, она могла бы получить более высокое разрешение, чем это возможно для единичных массивов 2x2. Для увеличения количества информации об изображении можно использовать следующую комбинацию из перекрывающихся массивов 2x2.

 

 

 

 

Обратите внимание, что мы не рассчитывали информацию об изображении на границах матрицы, поскольку предположили, что изображение имеет продолжение в каждую из сторон. Если бы это действительно были границы матрицы, расчёты оказались бы менее точны, поскольку здесь нет больше пикселей. Это не является проблемой, поскольку для камер с миллионами пикселей граничная информация может быть смело отброшена.

Существуют и другие алгоритмы разбора матриц, которые могут извлечь несколько большее разрешение, собирают менее шумные изображения или адаптивно реагируют на разные участки изображения. Дефекты дематризации

Изображения с мелкими деталями на пределе разрешающей способности цифрового сенсора могут порой сбивать с толку алгоритм разбора матрицы, приводя к неестественно выглядящим результатам. Наиболее известный дефект — это муар, который может проявляться как повторяющиеся текстуры, дефекты цветопередачи или образованные из пикселей сюрреалистические лабиринты.

Выше показаны два снимка с различным увеличением. Обратите внимание на появление муара во всех четырёх нижних квадратах, а также на третий квадрат первого снимка (плохо различимый). В уменьшенной версии в третьем квадрате можно наблюдать как лабиринты, так и дефекты цвета. Такие дефекты зависят как от типа текстуры, так и от программного обеспечения, которое производит исходный (RAW) файл цифровой камеры.

Матрица микролинз

Вас может заинтересовать, почему на первой диаграмме в этой главе ёмкости не были расположены непосредственно друг рядом с другом. У сенсоров в камерах в действительности нет полного перекрытия поверхности. На самом деле зачастую под пиксели отведено не более половины общей площади сенсора, поскольку нужно где-то разместить остальную электронику. Для каждой ёмкости существуют направляющие, которые отправляют фотоны в ту или иную ячейку. В цифровых камерах применяются «микролинзы» поверх каждой группы пикселей, чтобы повысить их способность собирать свет. Эти линзы подобно воронкам собирают фотоны, которые могли иначе остаться неиспользованными.

 

 

Диаграмма матрицы микролинз

Хорошо сконструированные микролинзы могут улучшить сбор фотонов каждой ячейкой и, следовательно, создать изображения, в которых содержится меньше шумов при одинаковом времени экспозиции (выдержке). Производители камер оказались способны использовать усовершенствования в производстве микролинз, чтобы снизить или сохранить уровень шума в новейших камерах с высоким разрешением, несмотря на сокращение размеров ячейки в связи с упаковкой большего числа мегапикселей в тот же размер сенсора.

Источник: cambridgeincolour.com

Статьи

Какие встроенные в видеокамеру алгоритмы видеоаналитики может сейчас получить инсталлятор?

Рассмотрим существующие варианты стабилизации изображения в видеокамерах.

Информация о том, какие технические характеристики видеокамер являются наиболее важными для создания профессиональной системы видеонаблюдения.

Тесты

Тестирование видеодомофонов

Технологии, отвечающие за распознавание лиц – это удобный инструмент, который можно использовать в качестве модуля по идентификации лиц, занесенных в базу данных, для поиска по журналу событий, предотвращения незаконного проникновения и реализации автоматического доступа в помещение. На практике все перечисленные возможности можно использовать как для эффективного управления предприятием, так и для усиления безопасности и повышение трудовой дисциплины (фиксация времени прихода/ухода сотрудника).

Тестирование видеокамер