Matrix

Retinex 理论 Retinex 这个词由 Retina 和 Cortex 两个单词组成。在 Retinex 理论中，物体的颜色是由物体对长波、中波和短波光线的反射能力决定的，而不是由反射光强度的绝对值决定的，并且物体的色彩不受光照非均性的影响，具有一致性。 在 Retinex 理论中，人眼得到的图像数据取决于入射光和物体表面对入射光的反射。如上图所示，I(x,y) 是我们最终得到的图像数据，先是由入射光照射，然后经由物体反射进入成像系统，最终形成我们所看到的图像。该过程可以用公式表示： \[ I(x,y) = R(x,y) \cdot L(x,y) \] 其中，I(x,y) 代表被观察或照相机接收到的图像信号；L(x,y) 代表环境光的照射分量 ；R(x,y) 表示携带图像细节信息的目标物体的反射分量。将该式子两边取对数，可以得到物体原本的信息： \[ log[I(x,y)] = log[R(x,y)] - log[L(x,y)] \] 在图像处理领域，常将该理论用于图像增强，为了得到成像更好的图片。这时，R(x,y) 表示为图像增强得到后的图像，I(x,y) 为原始的图像 ...

Bayer Demosaic 概述 RAW 域的最后一步处理是 Demosaic，将像素从 RAW 域变换到 RGB 域进行下一阶段的处理。Demosaic 算法的主要难点在于，RAW 域的任何一个像点（photosite）只包含一个真实的采样值，而构成像素（R,G,B）的其它两个值需要从周围像点中预测得到。既然是预测，就一定会发生预测不准的情况，这是不可避免的，而预测不准会带来多种负面影响，包括拉链效应（zipper artifacts），边缘模糊，颜色误差等。 所以 Demosaic 算法的主要挑战就是尽量提高算法的准确性，减少图像边缘损失和颜色误差。 Bayer 格式图像色彩恢复时有两种思路： 无方向性插值：不加边缘方向判断（思路：临近像素的均值），直接利用周围像素信息恢复。 有方向性插值：先判断边缘方向，再利用周围像素信息恢复。 Bayer 格式图像的绿色成分占比例较多，信息较丰富，色彩恢复时步骤通常是：a、先恢复 G 通道；b、再利用 G 通道信息恢复 R、B 通道。 CFA 双线性插值 无边缘检测 绿色像素上的 R，B 值分别由相邻的 2 个 R，B 像素的灰 ...

镜头阴影校正 LSC 镜头阴影有两种表现形式，分别是 Luma shading，又称 vignetting，指由于镜头通光量从中心向边缘逐渐衰减导致画面边缘亮度变暗的现象。 Chroma shading，指由于镜头对不同波长的光线折射率不同引起焦平面位置分离导致图像出现伪彩的现象。 Vignetting 原理 画面边缘镜头能量衰减： 如上图所示，由于镜头中都会存在多处光阑，当入射光线偏离光轴角度较大时，部分光线就会被光阑遮挡而不能参与成像，因此越靠近 sensor 边缘的像素接收到的曝光量就越低。 边缘像素微透镜和感光面的错位： 这个问题在手机 sensor 上通常会更严重一些，因此设计手机 sensor 的厂家会采取一些特定的方法去缓解这个问题。一种常用的方法是在微透镜上做文章，即从中心像素开始，微透镜的尺寸略小于感光面的面积一点点，这样越往边缘微透镜与感光面之间的错位就越大，刚好可以补偿入射光线角度增大导致的焦点偏移，使光线可以更好地聚焦到感光面上，如下图所示。 不过深入研究会发现，这个补偿办法其实也是有局限的，如果 sensor 采用的是下图左所示的 FSI 工艺（前 ...

Raw 域降噪的原因 Sensor 本身的噪声 Sensor 输出的 RAW 图像本身是携带了噪声的，前面提到过 sensor 噪声的种类主要包括热噪声、光散粒噪声、读出噪声、固定模式噪声等。当 sensor 温度较高、增益较大、环境较暗的情况下各种噪声会变得更加明显，成为影响图像质量的主要因素。 LSC（Lens shading correction） 对噪声的影响 除了 Sensor 图像本身携带的噪声之外，图像每次会经过 ISP 模块的处理之后都会引入一些新的噪声，或者对原有噪声进行了放大。以 LSC 模块为例，LSC 校正的实质是在输入图像上乘以一个与像素位置有关的增益系数以补偿光信号的衰减，而补偿的规律是越远离图像中心的地方增益越大。由于 ISP 所用乘法器的精度是有限的，每做一次乘法就会重新引入一次截断误差，这是新增的噪声来源，所以经 LSC 处理后图像的整体噪声水平会有所增加，而且在图像的边缘处表现会更加明显，典型的效果如下图所示。 Shading 固然是不好的，需要校正，但是为了校正 shading 而给图像引入噪声同样也不好的，所以人们需要权衡在多大程度上校正 s ...

Why？ 我们肉眼的对光谱的 RGB 响应曲线和 sensor 的响应曲线是不同的； CCM 一般是 3x3 矩阵形式，也有 3x4 形式的，3x4 形式主要是给 rgb 各自加一个 offset \[ \begin{bmatrix} R_{out} \\ G_{out} \\ B_{out} \end{bmatrix} = \begin{bmatrix} CC_{00} & CC_{01} & CC_{02}\\ CC_{10} & CC_{11} & CC_{12}\\ CC_{20} & CC_{21} & CC_{22} \end{bmatrix} \ast \begin{bmatrix} R_{in} \\ G_{in} \\ B_{in} \end{bmatrix} \] \[ \begin{bmatrix} R_{out} \\ G_{out} \\ B_{out} \end{bmatrix} = \begin{bmatrix} CC_{00} & CC_{01} & CC_{02} & ...

ff1e8db80addafe01df7f38ed8efc76b88584c8b687473db66c159aa9c47290f102cc77125203601b2de2bad85cd4cd6ac5e57819b95cf3b45ba9193ee8f8665932aa20637e6d03ffe9f747a4c9c41ce837a78f4fcdea2a536ae11f530620643acf21cb602f6f8bc767eeec95e29fcec428688cd877087734a50badfec8e4c64559e7e4f4b52a2339bbccb1aaa2553b6d552171dd1f430d0265052ffd6c6a2f33d42c95634009d41db0743a6775c85b0b218e26d119cb3c9a82617d36c4b6e48810073b2a5d3b2015e3fdbc246f9f6db38372916d74eb6637c5c9ade2811ebb3ccf0cf85b7e9b1b26bc128683f8550a28ed08cfecd3fb810f ...

ff1e8db80addafe01df7f38ed8efc76b88584c8b687473db66c159aa9c47290f0389b91156318b295715ad3fcd176907fcb3b78838cdf04a1f4aa49a7c9c3ecca7e69e16cb7fe5f1544ba76dd97498f49577f4955cdb760a7ed7a910357774d347ae4ce293fc5ede2a9d229286c736d5ed93137218f9a28efe03251eff5bfbbc564d4457c6a37458add663ba0379b5ccdbbbc8981e5933fdebafc9982707bd843b87c8fcfdf2753929228b710baaec84462cf9ee2d3d622dbbeb38c91644e1d1ae135bfa7774118cc3099137e14ab00a7d1652b56f38ff90da21b2e0097a131946f9da2ca1d35ae9c66788a143ac3755e2c44fceba8935742 ...

ff1e8db80addafe01df7f38ed8efc76bf9dfba87521e3b688d496731deb3424e227f37e7baaf7a6dc176c6579d44c31fc3fd8f095298e8dbd61f21c64ae23e453f7556271f47fd99fa88c9eea240f19e74a9516ab92d519ce40927bfc44e67f07df5b9432ca2ff466be6f5cbb6b919d50be6a911555c35f57ca5a9e464bc53d0c3c5c13e0ce14b9e1ab2bbbed4d441134e3badf195beb69a0204aaa2e3796d4fea6362ced75678ce0d5e9fc781302cf5e247ce79f854790fa57ed8439058df38452d749731ecf888810177d7ad1c3c2b801f2241ced3a790544a0caf8f852a53a4bbfa62b3f396779cd1b3c720cb865382866f4893a4fd79c ...

颜色恒常理论 人类视觉特性 人眼中存在一种感应亮度的杆细胞（rod）和三种感应颜色的视锥体细胞（cone）。锥体细集中分布在视网膜（retina）上的中央窝（fovea centralis）区域。中央窝之外全部是杆细胞，总数约有 1200 万，三种视锥体细胞用 L,M,S（或 R,G,B）符号加以区分，总数大约有 600 万～700 万，根据实验结果分析，L 占 64%，M 占 32%，S 占 2%。 这三种视锥细胞分别感应不同波长范围（频段）的光刺激，响应灵敏度也不同。从下图可以看到，感应蓝光的视锥细胞灵敏度最低（细胞数量最少）。 如果只需要考虑响应的波段问题，而不需要研究灵敏度差异，则经常使用用归一化响应。 颜色恒常理论 人类视觉系统（Human Visual System, HVS）能够在各种不同的光照条件下识别物体的颜色，这种自动排除光源影响的能力称为颜色恒常（color constancy）。 根据德国生理学家 Johannes von Kries 于 1902 年提出的猜想，颜色恒常现象总结下来有几个要点： 视锥细胞会根据周围环境光的情况独立地调整颜色通道的敏感度。 ...

自动曝光（Auto Exposure） 自动曝光流程 根据 ISP 硬件生成的图像曝光统计数据评估当前图像的曝光质量。 前主流的 ISP 硬件都会提供关于图像的直方图统计数据，AE 算法可以利用直方图的均值来判断图像是否曝光适当。 如果曝光质量需要调整，则根据当前的工作参数和理想曝光目标生成下一帧图像的工作参数。 主要调控对象是光圈、sensor 积分时间、sensor 增益（包含模拟增益和数字增益）、ISP 数字增益这四个参数。 将新的工作参数写入各硬件设备，驱动光圈、sensor 快门及增益到达新的位置。 曝光值 EV 现在较为流行的是 1960 年代提出的 APEX 曝光系统。APEX 全称是 The Additive System of Photographic Exposure，该系统定义了一个经验公式，基本形式如下： \[ \frac{t}{N^2} = \frac{K}{L_sS} \] 其中：t 是曝光时间，单位为秒；N 是光圈的 f-stop 值；Ls 是场景照度，可以是任一适当的单位，如 lux；S 是相机敏感度，可以使用 ISO；K 是相机厂家提供的与具体相 ...