Bayer Demosaic 概述

RAW 域的最后一步处理是 Demosaic，将像素从 RAW 域变换到 RGB 域进行下一阶段的处理。Demosaic 算法的主要难点在于，RAW 域的任何一个像点（photosite）只包含一个真实的采样值，而构成像素（R,G,B）的其它两个值需要从周围像点中预测得到。既然是预测，就一定会发生预测不准的情况，这是不可避免的，而预测不准会带来多种负面影响，包括拉链效应（zipper artifacts），边缘模糊，颜色误差等。

镜头阴影校正 LSC

镜头阴影有两种表现形式，分别是

• Luma shading，又称 vignetting，指由于镜头通光量从中心向边缘逐渐衰减导致画面边缘亮度变暗的现象。
• Chroma shading，指由于镜头对不同波长的光线折射率不同引起焦平面位置分离导致图像出现伪彩的现象。

Raw 域降噪的原因

Sensor 本身的噪声

Sensor 输出的 RAW 图像本身是携带了噪声的，前面提到过 sensor 噪声的种类主要包括热噪声、光散粒噪声、读出噪声、固定模式噪声等。当 sensor 温度较高、增益较大、环境较暗的情况下各种噪声会变得更加明显，成为影响图像质量的主要因素。

Why？

我们肉眼的对光谱的 RGB 响应曲线和 sensor 的响应曲线是不同的；

CCM 一般是 3x3 矩阵形式，也有 3x4 形式的，3x4 形式主要是给 rgb 各自加一个 offset

$$\left[\begin{array}{c}{R}_{out}\\ G_{out}\\ B_{out}\end{array}\right]=\left[\begin{array}{ccc}C{C}_{00}& C{C}_{01}& C{C}_{02}\\ C{C}_{10}& C{C}_{11}& C{C}_{12}\\ C{C}_{20}& C{C}_{21}& C{C}_{22}\end{array}\right]\ast \left[\begin{array}{c}{R}_{in}\\ G_{in}\\ B_{in}\end{array}\right]$$

$$\left[\begin{array}{c}{R}_{out}\\ G_{out}\\ B_{out}\end{array}\right]=\left[\begin{array}{cccc}C{C}_{00}& C{C}_{01}& C{C}_{02}& OFFSE{T}_r\\ C{C}_{10}& C{C}_{11}& C{C}_{12}& OFFSE{T}_g\\ C{C}_{20}& C{C}_{21}& C{C}_{22}& OFFSE{T}_b\end{array}\right]\ast \left[\begin{array}{c}{R}_{in}\\ G_{in}\\ B_{in}\end{array}\right]$$

颜色恒常理论

人类视觉特性

人眼中存在一种感应亮度的杆细胞（rod）和三种感应颜色的视锥体细胞（cone）。锥体细集中分布在视网膜（retina）上的中央窝（fovea centralis）区域。中央窝之外全部是杆细胞，总数约有 1200 万，三种视锥体细胞用 L,M,S（或 R,G,B）符号加以区分，总数大约有 600 万～700 万，根据实验结果分析，L 占 64%，M 占 32%，S 占 2%。

这三种视锥细胞分别感应不同波长范围（频段）的光刺激，响应灵敏度也不同。从下图可以看到，感应蓝光的视锥细胞灵敏度最低（细胞数量最少）。

如果只需要考虑响应的波段问题，而不需要研究灵敏度差异，则经常使用用归一化响应。

自动曝光（Auto Exposure）

自动曝光流程

• 根据 ISP 硬件生成的图像曝光统计数据评估当前图像的曝光质量。 前主流的 ISP 硬件都会提供关于图像的直方图统计数据，AE 算法可以利用直方图的均值来判断图像是否曝光适当。
• 如果曝光质量需要调整，则根据当前的工作参数和理想曝光目标生成下一帧图像的工作参数。 主要调控对象是光圈、sensor 积分时间、sensor 增益（包含模拟增益和数字增益）、ISP 数字增益这四个参数。
• 将新的工作参数写入各硬件设备，驱动光圈、sensor 快门及增益到达新的位置。