KiCad 华秋发行版 new
供应链、设计、制造，一体成就未来
华秋PCB
高可靠多层板制造商
华秋SMT
高可靠一站式PCBA智造商
华秋商城
自营现货电子元器件商城
PCB Layout
高多层、高密度产品设计
钢网制造
专注高品质钢网制造
BOM配单
专业的一站式采购解决方案
华秋DFM
一键分析设计隐患
华秋认证
认证检测无可置疑
发资料
发帖
提问
发视频
扫码添加小助手
加入工程师交流群
相机图像处理过程
在开始前介绍两个知识点：
指的是专门用来处理感光件信号并生成最终图像的硬件，通常会作为一个模块集成到片上系统。
典型的图像过程：
接下按照典型的图像过程依次介绍：
【带有RGB滤光阵列的传感器】
CMOS传感器是相机中用于感受光的部分，几乎所有的消费级相机的传感器都是基于CMOS技术。
相机传感器其实就是我们理想中的能够衡量光线强弱的装置，取同样长的时间，如果到达传感器某个像素点的光亮度变成两倍，那么该点的数值也会变成两倍。但要注意的是，传感器只能测量光的强弱，并不能区分颜色，那么我们的彩色是哪里来的呢？这就需要将不同颜色的滤镜和传感器结合起来，实现这一过程的技术叫做拜尔阵列（“Bayer” pattern）。
于是我们就得到了具有色彩阵列（color filter array, CFA）的相机传感器。通过这样的设计，传感器得到的数值就可以用来衡量不同通道信号的强弱了。不同的相机有着各自的传感器阵列，不同阵列的滤光色就构成了相机色彩空间（raw RGB）的三原色，因此相机的raw RGB空间不是一个通用的色彩空间。下面两张图展示了不同相机raw RGB空间的原色以及raw图片的色差。
【ISO增益和原始图像处理】
传感器接受光并直接传过来的信号非常原始，根本不能看，还需要接下来的一系列操作。
首先是ISO增益，这里要先明确一个概念：什么是ISO？
为了达到与设置相对应的ISO，相机会将接收到的信号进行增益，增益倍数越大，也就对光线越敏感——当然，也会对噪音越敏感。下图展示了不同ISO设置下的效果（曝光时间进行了相应的调整）。
这里需要指出的是，我们经常说像素的强度，但其实像素值是没有单位的，它取决于曝光时间、增益和硬件本身，因此我们实际上关注的是图像上的相对值，而非绝对值。
原始的图像处理是指对相机硬件的一系列校准，包括黑光减法、缺陷像素遮蔽和平场矫正加粗样式。
平场矫正（Flat-field correction）是由于均匀落在传感器上的光在图像中可能并不均匀，这可能是由镜头、传感器在相机中位置误差等原因引起的，提前记录这一变化并予以矫正，从而得到一个“平”的图像。
【RGB去马赛克】
还记得拜尔阵列吗？那个聪明的设计让我们的传感器得以分辨颜色，但同时也使得我们的图片变得离散。我们得到了每个像素点的RGB三通道之一的值，但我们实际上希望得到每个像素点的三个值，所以我们需要进行插补。
在位置5，拜尔阵列只给了我们R值，G和B就需要用周围的其他位置来进行估算，这里采用了平均值。可以想见这样的算法基于“相近位置颜色都差不多”的假设，那么当遇到不同颜色的分界处，这样的假设自然就不再成立，于是可以加入一个边界判断，发展成“边界感知”型插值算法（听起来还蛮高大上的）。
上面的算法仅是为了帮助理解，实际上在IPS中进行的算法会复杂也强大得多，有时候去马赛克的过程还会有一些附加效果，如高光调整（Highlight clipping）、锐化、降噪等。
【降噪】
所有的传感器都自带噪音，大多数相机会在模数转换后加入一个降噪。
这里同样给出一个最简单的算法来对降噪有一个感性认识。
噪音往往比较突兀，因此可以使用模糊来减小噪音。但模糊也会影响细节，因此考虑将去掉部分中信号较强的区域补回图像（甚至会加强以后补回来）。
于是就得到了我们的算法：
【白平衡以及色彩空间转换】
到这里，我们已经得到了raw RGB空间里的图片，除了颜色怪异，多少是能看了。接下来就要好好处理一下颜色。
我们希望把raw RGB这一依赖于设备的色彩空间转换到一个无关设备的色彩空间里。在这里采用CIE XYZ为例子，实际上大多数相机会使用一个叫ProPhoto RGB的色彩空间。
转换分为两步，白平衡和色彩空间转换。
白平衡也就是矫正RGB相等的点（白点），只要对三个通道分别进行放缩就行了，也就是一个对角矩阵的事。
但怎么定义白点呢？
如果由用户手动设置，这件事就比较简单。相机一般会提供一些预设的白平衡数据，用户根据拍照的光照环境进行选择。下图是一些预设白平衡的例子。
如果没有手动指定，就会启用自动白平衡（auto white balance, AWB）算法，这件事就会变得很难，算法必须要能够确定任意照片的场景光亮。
这样的算法往往假设“白色”就是对场景光源的自然反射，如果我们可以定义图像中哪些像素属于“白色”，就可以得到场景光照的RGB表示。注意，这里的“白色”并不一定是白色，也有可能是灰色（白色就是最亮状态的灰色），有时我们会称这样的像素点为“消色差”或者“中性区”。
这里介绍两个简单的算法，灰色世界算法Gray world和白块算法White patch。
灰色世界算法假设一个场景的平均反射光是消色差的（也就是灰色的），因此首先算出平均值再进行白平衡转换即可。
如果白平衡在去马赛克之前，那么不同通道的像素数量将会不一样。
前面说过，每个像素绝对值意义不大，有相对的就行，所以可以将绿通道取1。
接下来看白块算法，这个算法假设场景中的高亮点就是我们想要找的白点。也就是以最大值的RGB作为白色的数值。
基于这样的假设，算法工作如下：
上图是这两种算法的效果展示。
这两种算法都是非常基础的算法，当图像有大面积单色时很容易失败（比如蓝天），对于AWB的算法研究有很多论文研究，相机往往也会有自己独特的白平衡算法。注意，这些算法并不一定为了复原场景光照而设计，而是会出于审美考虑，留有一些色差。
进行了白平衡，接下来就要进行色彩空间转换（color space transform, CST），将图片从raw RGB空间转换到独立于设备的色彩空间，如CIE XYZ。
白平衡仅能努力接近真实的色彩恒定，因此在相机上进行的色彩空间转换还会包含一个依赖于工厂预设的插值。在工厂中会对不同的CCT预设色彩转换矩阵CST，在实际处理时，用场景的CCT根据预设的CST矩阵进行插值，得到想要的CST矩阵。
【颜色操作】
现在我们得到了处于CIE XYZ空间的图片，距离我们常见的处于sRGB的jpg文件只剩一步之遥，但在此之前，还有一个让每家相机各显身手的舞台，这就是【颜色操作】步骤。
各家相机会施展不同的秘法，来让照片变得更加好看。这个步骤有很多叫法：色彩调控、冲洗阶段（photo-finishing）、色彩渲染、YUV处理引擎。一般会允许用户对这个阶段进行一定的控制和选择，下图来自佳能的用户手册。
这些色彩操作可以分为两类，三维和一维的，三维变换同时处理三个通道，一维曲线则是作用于每个通道，下图是一些变换的例子。这里说到的查询表（look up table, LUT）就相当于函数或者说映射。
可以看到，这些变换几乎都是非线性的变换，经过了这一步，像素值的强弱就不再能够反映场景中光线的强弱了（当然可能在此之前就已经有过非线性操作了）。
【映射到sRGB输出】
【JPEG压缩】
接着要进行【JPEG压缩】，这是为了减小文件大小而进行的有损压缩。
DCT可以理解为对傅里叶变换的采样，变换结果都是实数。傅里叶变换能够将原本在时域的信号转换到频域上，对于图像来说，就是将原本在空间上分布的像素值信号，转变为不同频率的二维三角函数的带权重加和。同时结合一个经验：低频的信息要比高频的信号更重要（可以想象一个低频余弦和高频余弦加和，结果就是一个长了毛刺的山坡——山坡的信息更为重要），从而进行一个量化的操作（相当于滤波），将更多低频的信息保留，从而减小数值尺度的同时尽可能保留重要信息，这之后会再进行编码，提取数据的特征存储，从而实现更高的压缩比例。
在DCT上进行量化操作的数量会影响品质，操作越多，得到的图像质量就越低。在相机中往往可以选择jpeg格式的质量。
【保存成文件】
国际色彩联盟（International Color Consortium, ICC）是一个负责制定色彩操作国际标准的组织，下图是来自ICC-ISO 22028的流程图，可以看到更多关于处理流程的细节。在这里，与raw RGB相关的RGB值都被称为“场景相关的”（scene referred），而转换到sRGB空间以后，就被称为“输出相关的”（output referred）。
还要注意的是，sRGB色彩空间和JPEG正在慢慢被取代，sRGB是为了90年代的显示器设计的，太过于古老了。JPEG也在逐步被压缩率更高的HEIC编码取代。苹果设备上已经开始用heic替代jpeg了，同时苹果设备使用Display P3的色彩空间，它是一种数字电影提倡的DCI-P3空间的变体，比sRGB要大25%，也包含了伽马变换。越来越多的安卓设备也会开始支持这个色彩空间。
再次强调一下，上面的这些步骤仅仅是一个指南，现代相机中的处理流程会更加复杂。对于不同品牌/型号的相机，操作的顺序可能会有不同，（如在去马赛克之后再白平衡），操作的方法也可能不一样（如把锐化和去马赛克结合）。
审核编辑：汤梓红
浏览量
浏览量
浏览量
浏览量
原文标题：相机图像处理过程
扫码添加小助手
加入工程师交流群
下载发烧友APP
电子发烧友观察
长沙市望城经济技术开发区航空路6号手机智能终端产业园2号厂房3层（0731-88081133）