相机成像相关知识总结

1. 成像曝光模型

曝光量 = 光线强度×通光孔径×曝光时间×感光强度

成像曝光的天平模型：

• 光线强度：相当于雨的大小，单位时间内的降雨量；
• 通光孔径：镜头的光圈大小，相当于盛水的杯子的口径，能够同时接雨水的截面积；
• 曝光时间：也称快门速度，相当于用杯子接雨水的持续时间；
• 感光强度：感光元件的信号增益系数，即对光线的敏感程度，可以理解为天平两边的壁不等长，增大感光度，相当于放杯子侧的力臂变长了。

理解了这一曝光模型，很多曝光上的问题就很好理解了，举几个例子：

• 当逆光的时候，特别是强光源（比如太阳）出现在画面里的时候，拍摄主体会变暗；
• 相机上有个设置叫曝光补偿，夜晚拍照时，发现太暗，拍虚了，是否应该提高曝光补偿；
• 我有特别的需求，希望画面比正常的更亮或更暗。

2. 颜色模式

光本质是一种电磁波，波长大约在400~760nm之间。不同波长的光进入人眼，就会产生不同的颜色感觉。

描述颜色的方式成为颜色模式，在数字时代，常见的颜色模式大致有以下几种：

• HSV：人眼观察世界的模式
• RGB：光的成像模式
• CMYK：颜料的印刷模式
• Lab：理论中的颜色模式
• YUV：视频常用的颜色模式

2.1 HSV模式

基于人眼的一种颜色模式，它符合人类感官上的直觉性，是人脑理解色彩的方式。

• H：Hue，色相，在0~360°的标准色相环上，用角度标识的颜色的相位。
• S：Saturation，饱和度，即颜色的纯度，表示色相中彩色成分所占的比例。
• V：Value，亮度值，即颜色的明暗程度。

2.2 RGB模式

RGB被称为光的三原色。

通道：RGB模式具有三个通道。

• **R ** ：Red，红 。
• G ：Green，绿 。
• B ：Blue，蓝 。

混色原理：通过三种光的不同配比，就可以混合出其他的颜色。

如红+绿=黄，红+蓝=品红，绿+蓝=青，红+绿+蓝=白。

混合模式： 投射入眼睛的光线越多，人眼感知到的色彩就越亮。因此RGB又被称为加色模式。

应用：RGB应该是我们最常接触到的颜色模式，普通的图片在电脑上一般都是以这种方式打开。

电脑显示器是一个发光体，它发出的光投射入人眼，形成色觉。

参数：R、G、B分别赋以0~255的值，就可以表现出各种颜色。

2.3 CMYK模式

CMYK被称为色的三原色，即颜料的三原色。

通道：CMYK模式具有四个通道。

• **C ** ：Cyan，青。
• **M ** ：Magenta，品。
• **Y ** ：Yellow，黄。
• **K ** ：Black，黑（B已被Blue占用）。

混色原理： 通过三种油墨的不同配比，就可以混合出其他的颜色。

如青+品=蓝，青+黄=绿。品+黄=红，青+品+黄=黑。

混合模式： 在纸上印刷的油墨层数越多，每一层油墨越重，形成的颜色也越深，因此CMYK又被称为减色模式。

应用： CMYK主要被用于印刷。

理论上用三种油墨一起混合可以得到黑色，但实际印刷时由于工艺的问题，油墨纯度达不到理想值，因此得不到标准的黑色，同时，印三层油墨的成本很高，而黑色又是印刷时最常用的颜色之一，因此将黑色油墨做成了一种专色油墨，CMYK一起被合称为印刷四原色。

参数： C、M、Y、K分别赋以0~100%的值，就可以表现出各种颜色。

RGB与CMYK的关系：

结合前面说到的RGB模式，从色相环中可以看到，C、M、Y在位置上分别对应R、G、B，互为补色。

这不是巧合，依然可以从人眼的感色原理进行解释。

一定颜色的颜料会吸收特定波长的可见光，当自然光（白光）照射到这种颜料印刷的表面时，将其中一部分光吸收，剩余部分的光就会反射入人眼，形成人眼能感知的颜色。

进一步的思想实验：

1. 让白光（红光+绿光+蓝光）照射到青色的印刷品上，红光被吸收，剩下绿光和蓝光的部分，反射入人眼，混合成为青色。
2. 让黄光（ 红光+绿光 ）照射到青色的印刷品上，红光被吸收，剩下绿光的部分，反射入人眼，这个青色的颜料在人眼的感觉中就是绿色的。
3. 让红光照射到青色的印刷品上，红光全部被吸收，没有光反射，理论上人眼看不到任何颜色，显示为黑色。

肉眼看到的颜色不一定就是实际的颜色。

2.4 Lab模式

Lab模式既不依赖光线，也不依赖颜料，是一种理论上包括了对人眼所有可见色彩的描述的颜色模式。

通道：Lab 模式具有三个通道。

• L：亮度通道。
• a：颜色通道a， 从深绿色（低亮度值）到灰色（中亮度值）再到粉红色（高亮度值）。
• b：颜色通道b，从亮蓝色（底亮度值）到灰色（中亮度值）再到黄色（高亮度值）

混色原理：在长期的观察和研究中发现，人眼对于三对颜色一般不会混淆，红-绿、蓝-黄、黑-白。于是提出了人的视觉系统中存在三条颜色通道的理论，分别是感知颜色的红绿通道（a）和蓝黄通道（b）以及感知明暗的明度通道（L）。

各种不同的颜色模式色域比较：

应用： 由于RBG和CMYK模型自身的一些缺陷，都无法表示出所有的颜色，相互转换时也会产生损失，造成颜色失真。而 Lab模式可以弥补这种缺陷。它最初是用来从一种色彩模式转换为另一种色彩模式时使用的内部色彩模式。

2.5 YUV模式

YUV大致可以理解为HSV模式的一种简化，只要应用于视频空间。因为人眼对于明度和颜色的敏感程度不同，可以压缩颜色信息的表达空间，使得视频数据的数据量降下来。

通道：YUV模式具有三个通道。

• Y：亮度通道。
• U：色调通道。
• V：饱和度通道。

比如典型的 YUV422 格式，U/V通道的采样频率只有Y通道的一半，每2个Y值共用一对U/V值，通过这种方式来压缩数据量。

3. Sensor

3.1 Sensor类型：CCD & CMOS

• CCD成像效果好，功耗高
• CMOS结构简单，成本低，芯片整合程度高

目前车载行业CMOS成为主流。

3.2 快门形式

卷帘快门 & 全局快门

• 卷帘快门：逐行曝光，Sensor逐行扫描逐行进行曝光，直至所有像素点都被曝光
• 全局快门：同步曝光，所有像素点同时收集光线，同时曝光，同时结束

对于卷帘快门，拍摄高速移动物体时，会有可能发生形变。

这种变形称为果冻效应，其他的一些例子：

但全局快门也有一些固有的问题，比如：

• 成本高
• 在长时间曝光时噪点高

3.3 其他关键特性

3.3.1 HDR

HDR（WDR），High dynamic range

• 单帧HDR：用软件的方法去进行模拟
• 多帧HDR：在连续帧中，控制不同的曝光参数，得到不同曝光程度的图像，再进行多帧合成

3.3.2 Strobe

Sensor曝光的同步信号，用来同步触发外部闪光灯，在Sensor曝光期间进行照明

一般全局快门的Sensor才会有strobe输出

与LED PWM的区别：

• Strobe的频率跟视频帧率一致，一般为25Hz/30Hz等
• LED PWM的频率要远高于视频帧率，一般可设为1kHz-100kHz，对于一次曝光来说，LED或多次亮灭，来实现输出功率的调整

3.3.3 LFM

LED Flicker Mitigation

LED光源的闪烁频率一般高于人眼可感知的频率，但与摄像头的快门间隔有部分重合，因此在视频连续帧中，可能拍到间隔帧的亮灭变化或条纹现象。

LFM实现的原理，本质上就是在保证正确曝光的情况下，通过各种手段延长曝光时间，使得一帧图像的曝光时间能够覆盖LED的闪烁周期。

可能的途径包括：

• LOFIC 技术（提升单个像素的电容容量）
• 斩波技术（转移部分电荷）
• 分离像素技术（使用大/小两种光电二极管）

结合开头将的曝光模型，可以更好地理解这些不同实现方式的原理。

• 换一套更大的天平、杯子和砝码
• 当杯子满时，清空杯子里的水，并记录清空的次数
• 同时用大/小两套天平来进行这个实验