0%

Camera-AE自动曝光

自动曝光(Auto Exposure)

自动曝光流程

  • 根据ISP 硬件生成的图像曝光统计数据评估当前图像的曝光质量 前主流的ISP 硬件都会提供关于图像的直方图统计数据,AE 算法可以利用直方图的均值来判断图像是否曝光适当。
  • 如果曝光质量需要调整,则根据当前的工作参数和理想曝光目标生成下一帧图像的工作参数 主要调控对象是光圈、sensor积分时间、sensor增益(包含模拟增益和数字增益)、ISP数字增益这四个参数。
  • 将新的工作参数写入各硬件设备,驱动光圈、sensor 快门及增益到达新的位置

曝光值 EV

现在较为流行的是1960年代提出的APEX曝光系统。APEX 全称是 The Additive System of Photographic Exposure,该系统定义了一个经验公式,基本形式如下

\[ \frac{t}{N^2} = \frac{K}{L_sS} \]

其中:t是曝光时间,单位为秒;N是光圈的f-stop值;Ls是场景照度,可以是任一适当的单位,如lux;S是相机敏感度,可以使用ISO;K是相机厂家提供的与具体相机配置相关的一个常数,使用该常数能够获得厂家认为最佳的曝光效果。

APEX 曝光方程总结了曝光时间、光圈、相机感度、场景亮度之间的关系。在此基础上可以定义一个曝光值 (exposure value)参数,代表能够给出同样曝光的所有相机光圈快门组合。它的定义是

\[ EV = log_2 \frac{N^2}{t} \]

EV0 对应于ISO100,曝光时间为1秒,光圈为f/1.0,以及与之等效的所有曝光组合,这些组合可以使18%的中性灰卡在所处光照条件下获得合适的曝光。因此曝光值主要体现了拍摄场景的亮度,同时在一定程度上也能反映相机的灵敏度。

曝光值每增加1称为增加一挡曝光,也就是将曝光量减半,比如将曝光时间或光圈面积减半,因此可以从EV0出发,按照光圈、快门加倍或减半的方式推导出其余的曝光档位,一般常用的档位在-6~20之间。

曝光三角形 Exposure Triangle

AE算法的策略

AE算法的策略主要分光圈优先、快门优先、增益优先。

  • 光圈优先算法会优先调整光圈到合适的位置。当光圈调整到极限后再开始分配曝光时间和增益
  • 当camera光圈不可调时,AE 算法通常会优先分配曝光时间,再分配sensor 增益和ISP 增益
  • 增益优先则是优先分配sensor 增益和ISP 增益,再分配曝光时间,适合拍摄运动物体的场景

增加光圈可以增大sensor 收集光信号的面积,增加曝光时间可以延长sensor 积累光信号的时间,这两种途径都有助于积累信号,提高信噪比,所以会提高图像质量。

sensor 增益实际上存在两种形式,即模拟增益和数字增益。模拟增益在放大信号的同时会等比例地放大噪声,所以对提高信噪比没有好处,但也没有坏处,可以放心地使用。而数字增益由于精度的限制会引入量化噪声,不仅对提高信噪比没有好处,反而会有恶化信噪比,降低图像质量,因此需要慎用。

ISP 增益是纯数字增益,和sensor 数字增益是同样的道理,所以通常很少用。

曝光统计

曝光统计分工

曝光统计需要对图像中的每一个像素进行分类和计算,涉及的计算量非常大,对时序要求非常严格,所以这个工作只能交给硬件流水线去做,不适合CPU 处理。

AE算法中根据统计数据评估图像质量、产生新的控制参数的部分则有逻辑比较复杂、算法经常需要升级、数据吞吐量一般不大等特点,因此非常适合用CPU 处理。

AE 统计策略

  • 全局统计 是指将图像全部像素都统计进来,像素的权重完全一样
  • 中央权重统计 是指只统计图像中间部分,这主要是因为人们关注的重点通常都位于图像的中间部分;镜头的成像效果也是中央部分清晰度最高,越到边缘清晰度越低
  • 中央加背景 图像中间部分占50%权重,图像整体作为背景占50%权重
  • 加权平均统计 是指将图像分为不同的部分,如9宫格或者13~15个分散的曝光格,每一部分赋予不同的权重,通常中间部分赋予较大权重,相应的边缘部分则赋予较小的权重
  • 用户ROI 用户通过人机界面划定一个窗口,AE 只统计这个固定窗口内的像素值

典型AE算法

基本思想

典型的 AE 算法是一种基于负反馈原理的PID算法。算法的控制参数分段可调,在不同的区间内算法的收敛速度不同,以期在过渡平滑性和快速响应之间取得较好的平衡。

  • 在当前曝光量与目标量差别在range0以内的时候,说明当前曝光已经满足要求,不需要进行调整
  • 当差别在range1的范围内时,则说明当前曝光与要求的光照有差别,但差别不大,只需要用较小的步长来进行调节即可
  • 当差别在range2的时候,则表明差别较大,需要用较大步长来进行调节

控制参数

  • 当前帧的曝光量 由sensor 曝光时间、sensor 增益、ISP 增益组成
  • 增益系数 g=target/measured, 其中target 为理想画面亮度, measured 为当前画面亮度的实测值

因此AE 算法的核心任务就是计算正确的g参数,这个参数能够使画面得到正确的曝光。

阻尼(damping)

当计算出正确的g参数后,一般并不会让其立刻在下一帧图像就生效。这是因为如果增益变化较大,图像就会产生闪烁,主观感受不好。通常人们更喜欢画面平滑过渡,因此每帧图像的增益变化不宜过大。实现平滑的方法就是给新的参数人为施加一个阻尼,使其缓慢地向新参数过渡。用数学公式描述就是:

\[ g(n)= (1-s) * g(n-1) +s * g_{target} \]

参数分解

当根据路径规划策略计算出下一帧的g参数后,需要遵循一定的策略和约束把g参数进一步映射为sensor 曝光时间、sensor 增益、ISP 增益等设备控制参数。分解出来的控制参数必须同步生效才能使画面获得预期的曝光。如果某一项参数未能与其他几项同步生效,则画面会因为短暂过亮、过暗等原因出现闪烁,这是需要避免的。

所有参数都需要在一个特定的时间窗口内生效,即前一帧图像已经结束,新一帧图像尚未开始的这段时间,也就是sensor的垂直消隐(vertical blanking)窗口,这个窗口时间很短,典型值在3~5毫秒左右,更短的可以到1ms,如下图所示。

现在的sensor 为了方便使用,缓解配置参数时间窗口过短的压力,往往都支持一组影子(shadow)寄存器,需要同步生效的参数(曝光时间和增益)可以在任何时间点写入shadow寄存器,当sensor开始捕捉新的一帧图像之前,会自动把shadow 寄存器的内容同步到实际生效的寄存器,这样就把几个毫秒的时间窗口扩展成一帧时间,极大地缓解了用户压力。

需要注意的是,虽然这个方案为软件争取到了一帧的缓冲时间,但同时也意味着系统的响应延迟(latency)增加了一帧。

AE的呼吸效应

  • 图像质量呼吸 如果通过调整增益那么会对图像质量产生影响
  • 亮度呼吸 参数设计不合理可能出现亮度震荡

参考文献

https://zhuanlan.zhihu.com/p/100369527