Matrix

Raw 域降噪的原因 Sensor 本身的噪声 Sensor 输出的 RAW 图像本身是携带了噪声的，前面提到过 sensor 噪声的种类主要包括热噪声、光散粒噪声、读出噪声、固定模式噪声等。当 sensor 温度较高、增益较大、环境较暗的情况下各种噪声会变得更加明显，成为影响图像质量的主要因素。 LSC（Lens shading correction） 对噪声的影响 除了 Sensor 图像本身携带的噪声之外，图像每次会经过 ISP 模块的处理之后都会引入一些新的噪声，或者对原有噪声进行了放大。以 LSC 模块为例，LSC 校正的实质是在输入图像上乘以一个与像素位置有关的增益系数以补偿光信号的衰减，而补偿的规律是越远离图像中心的地方增益越大。由于 ISP 所用乘法器的精度是有限的，每做一次乘法就会重新引入一次截断误差，这是新增的噪声来源，所以经 LSC 处理后图像的整体噪声水平会有所增加，而且在图像的边缘处表现会更加明显，典型的效果如下图所示。 Shading 固然是不好的，需要校正，但是为了校正 shading 而给图像引入噪声同样也不好的，所以人们需要权衡在多大程度上校正 s ...

Why？ 我们肉眼的对光谱的 RGB 响应曲线和 sensor 的响应曲线是不同的； CCM 一般是 3x3 矩阵形式，也有 3x4 形式的，3x4 形式主要是给 rgb 各自加一个 offset \[ \begin{bmatrix} R_{out} \\ G_{out} \\ B_{out} \end{bmatrix} = \begin{bmatrix} CC_{00} & CC_{01} & CC_{02}\\ CC_{10} & CC_{11} & CC_{12}\\ CC_{20} & CC_{21} & CC_{22} \end{bmatrix} \ast \begin{bmatrix} R_{in} \\ G_{in} \\ B_{in} \end{bmatrix} \] \[ \begin{bmatrix} R_{out} \\ G_{out} \\ B_{out} \end{bmatrix} = \begin{bmatrix} CC_{00} & CC_{01} & CC_{02} & ...

ff1e8db80addafe01df7f38ed8efc76b88584c8b687473db66c159aa9c47290f102cc77125203601b2de2bad85cd4cd6ac5e57819b95cf3b45ba9193ee8f8665932aa20637e6d03ffe9f747a4c9c41ce837a78f4fcdea2a536ae11f530620643acf21cb602f6f8bc767eeec95e29fcec428688cd877087734a50badfec8e4c64559e7e4f4b52a2339bbccb1aaa2553b6d552171dd1f430d0265052ffd6c6a2f33d42c95634009d41db0743a6775c85b0b218e26d119cb3c9a82617d36c4b6e48810073b2a5d3b2015e3fdbc246f9f6db38372916d74eb6637c5c9ade2811ebb3ccf0cf85b7e9b1b26bc128683f8550a28ed08cfecd3fb810f ...

ff1e8db80addafe01df7f38ed8efc76b88584c8b687473db66c159aa9c47290f0389b91156318b295715ad3fcd176907fcb3b78838cdf04a1f4aa49a7c9c3ecca7e69e16cb7fe5f1544ba76dd97498f49577f4955cdb760a7ed7a910357774d347ae4ce293fc5ede2a9d229286c736d5ed93137218f9a28efe03251eff5bfbbc564d4457c6a37458add663ba0379b5ccdbbbc8981e5933fdebafc9982707bd843b87c8fcfdf2753929228b710baaec84462cf9ee2d3d622dbbeb38c91644e1d1ae135bfa7774118cc3099137e14ab00a7d1652b56f38ff90da21b2e0097a131946f9da2ca1d35ae9c66788a143ac3755e2c44fceba8935742 ...

ff1e8db80addafe01df7f38ed8efc76bf9dfba87521e3b688d496731deb3424e227f37e7baaf7a6dc176c6579d44c31fc3fd8f095298e8dbd61f21c64ae23e453f7556271f47fd99fa88c9eea240f19e74a9516ab92d519ce40927bfc44e67f07df5b9432ca2ff466be6f5cbb6b919d50be6a911555c35f57ca5a9e464bc53d0c3c5c13e0ce14b9e1ab2bbbed4d441134e3badf195beb69a0204aaa2e3796d4fea6362ced75678ce0d5e9fc781302cf5e247ce79f854790fa57ed8439058df38452d749731ecf888810177d7ad1c3c2b801f2241ced3a790544a0caf8f852a53a4bbfa62b3f396779cd1b3c720cb865382866f4893a4fd79c ...

颜色恒常理论 人类视觉特性 人眼中存在一种感应亮度的杆细胞（rod）和三种感应颜色的视锥体细胞（cone）。锥体细集中分布在视网膜（retina）上的中央窝（fovea centralis）区域。中央窝之外全部是杆细胞，总数约有 1200 万，三种视锥体细胞用 L,M,S（或 R,G,B）符号加以区分，总数大约有 600 万～700 万，根据实验结果分析，L 占 64%，M 占 32%，S 占 2%。 这三种视锥细胞分别感应不同波长范围（频段）的光刺激，响应灵敏度也不同。从下图可以看到，感应蓝光的视锥细胞灵敏度最低（细胞数量最少）。 如果只需要考虑响应的波段问题，而不需要研究灵敏度差异，则经常使用用归一化响应。 颜色恒常理论 人类视觉系统（Human Visual System, HVS）能够在各种不同的光照条件下识别物体的颜色，这种自动排除光源影响的能力称为颜色恒常（color constancy）。 根据德国生理学家 Johannes von Kries 于 1902 年提出的猜想，颜色恒常现象总结下来有几个要点： 视锥细胞会根据周围环境光的情况独立地调整颜色通道的敏感度。 ...

自动曝光（Auto Exposure） 自动曝光流程 根据 ISP 硬件生成的图像曝光统计数据评估当前图像的曝光质量。 前主流的 ISP 硬件都会提供关于图像的直方图统计数据，AE 算法可以利用直方图的均值来判断图像是否曝光适当。 如果曝光质量需要调整，则根据当前的工作参数和理想曝光目标生成下一帧图像的工作参数。 主要调控对象是光圈、sensor 积分时间、sensor 增益（包含模拟增益和数字增益）、ISP 数字增益这四个参数。 将新的工作参数写入各硬件设备，驱动光圈、sensor 快门及增益到达新的位置。 曝光值 EV 现在较为流行的是 1960 年代提出的 APEX 曝光系统。APEX 全称是 The Additive System of Photographic Exposure，该系统定义了一个经验公式，基本形式如下： \[ \frac{t}{N^2} = \frac{K}{L_sS} \] 其中：t 是曝光时间，单位为秒；N 是光圈的 f-stop 值；Ls 是场景照度，可以是任一适当的单位，如 lux；S 是相机敏感度，可以使用 ISO；K 是相机厂家提供的与具体相 ...

ff1e8db80addafe01df7f38ed8efc76b88584c8b687473db66c159aa9c47290f253328ebd40b0d22253f2691dd33e8e8fc0414cdb1ffb42590c70ad1e54122032ed11b30d4ff66b7d96106f17642c4dba39ad2b77e20857d78f3f7a1756d54668f9b70fbca3621548bcf4d6836c9ce9380b1967bc010777d85d6cfd88a8aedcda92684bb012a3a4dbb70cbe227818e61e49194c2ded6f355ff54b7fcaddaed6fe1a4ecbf0c5970e6893a57c489c326f584d620f23a65bd5294a9f72dc59479b1e6b2d4ef841e5fbffbaafdd25e49c7762c38fe18b4c066f3fec130652b33afc55b3bdfe87724c513e290a992124e38c0648c61fac6fd4a608 ...

ff1e8db80addafe01df7f38ed8efc76b88584c8b687473db66c159aa9c47290ff4fee9418ffd3152be7c4acdad36af6dba05be7593cd0596b9b76fe7b2a03ac2e2bd92a30bd6eb9ffc8a080216d4c52081a5503023eb3e02969e9c2fa5878f4d77a9860166e14f846e42945462c78fd3aff25bced3090ffaf0ef41b4f8dcf1a8ae2594ec5920a9902acdaf4bdf67e6f41e9e528237e8fdfb14d91314d8544321ec903465a0227940ee41fea3340eedb3d1a3ea0ed0cea6d933ad6acae8bf4ab329b451a0348743fed231b2dbdde2ab54461308cb483b185567a9d32ab5fd4083236835ca2fd1d4d69f79c563412615033ee9a4bf8321818a8 ...

ff1e8db80addafe01df7f38ed8efc76b88584c8b687473db66c159aa9c47290f06d72292236dd1943ea695fe09ac8f6cf8c8ed4308a058b0a7c4661f4dfdb9145d8e9a7f422f476ccf4efbd9e9c2ee38d001aefa49d3c09c79da932f570bfc8926926ed478aa67214278699261f7b736df99db87fa92129b51583b42be9af9871eaea856e7ae3a9af331d310c421e620ba271cd3f638de0572f78cb9aa7a47d3414c61efb5d6bc13e9356ece447bab930d5bd46ee071b05fd62801d53fc4151fb4fdc7ca51db3895e2a503d417cf2e0753fdafd92d1a02288a1d53f9de1c689c618f563a444693c8818a35127d111494bb6d4cb53e2c1186e ...