什么是 ISP

主流的 CMOS 和 CCD sensor 几乎都是输出 Bayer mosaic 格式的 RAW 数据，这种数据格式是无法直接观看的，必须转换成常见的 RGB 或 YUV 格式才能被主流的图像处理软件支持。对于 camera 产品而言，一般还需要将 RGB 或 YUV 图像进一步转换成 JPEG 格式以方便进行存储。上述图像处理过程统称图像信号处理（Image Signal Processing，ISP），广义的 ISP 包含了 JPEG 和 H.264/265 图像压缩处理，而狭义的 ISP 仅包括从 RAW 格式变换到 RGB 或 YUV 的处理过程。

几何像差（Geometrical Aberration）

几何像差分析单波长光线在光学系统（透镜组）中，由于透镜表面不同位置上折光能力的差异造成的成像面上，光点位置产生偏离造成物、像关系不共轭的现象。

自然暗角

原因

对着亮度均匀的景物，图像画面四角有变暗的现象，叫做失光或暗角（Vignetting）。暗角对于任何镜头都不可避免，这是由于镜头对于光学折射不均匀造成的。

\[ I_{A'} = \cos_{\alpha }^{4} I_{o'} \]

前言

光学系统大的分类：

• 几何光学 -> 光线（像磁场线一样，其实不存在为了更好的研究其宏观特性而人为设计出来的）。
• 物理光学 -> 光波 （分析光的波函数）。
• 量子光学 -> 光子 （em...）。

景深的计算

相机景深：其指的是在某个物距之间，还能够清晰成像的距离：

如果 sensor 刚好在像距的位置上，物体的一个点，成的像也就是一个点。如果 sensor 在像距的前面或者后面，这个点也就成了一个圆，专业术语叫弥散圆。当这个圆大到一定的程度的时候，照片也就糊了。

CMOS sensor 的响应特性

理想 CMOS sensor 的响应特性下图所示：

横坐标是光强，纵坐标是 cmos 输出信号，直线的斜率决定了单位输入能够激励的响应大小，这个斜率称为增益系数（gain）。sensor 会提供一组接口用于调节实际生效的增益值。

sensor 的硬件结构

每个像素的结构

• Microlens（微透镜）。 每个像素点的最上方有个微透镜，增加透光量。有镜头就有 CRA 的问题，超出一定角度的光线无法被收集，需要和镜头进行匹配。

• Photodiode（硅感光区）捕获光子，激发光生电子。

• 势阱，用电场捕获、存储光生电子。

• 电路，将电荷数量变换为电压信号，以及复位、选择、读出逻辑。

• 滤光膜，选择性透过三种波长中的一种。

传感器

绝对磁编码器

绝对磁编码器比较简单，直接读寄存器就可以。实际使用中需要配合径向冲磁的磁铁使用，且最好能远离其他可能造成磁场变化的器件；其次需要注意角度更新频率，动态特性等参数。