浅谈曝光控制方法之闪烁消除技术

浅谈曝光控制方法之闪烁消除技术

孟贵宇

国家知识产权局专利局专利审查协作天津中心    天津    300304

摘要：本文主要介绍了曝光控制方法中的闪烁消除技术，包括图像成像时出现闪烁的原因、闪烁检测的常用方法，闪烁消除的常用方法，以及在审查实践中，针对图像闪烁产生、闪烁检测、闪烁消除等技术，应如何选择对应的CPC分类号进行快速检索。

关键词：闪烁；检测；消除；CPC；检索；分类号

一、闪烁产生原因

图像捕获时，一般采用全局快门（global shutter）或者滚动快门（rolling shutter）来控制图像传感器对成像目标的曝光成像。

对于全局快门控制的图像传感器，所有感光器件同时接收光线并同时曝光，曝光结束后所有感光器件停止接收光线，并将曝光图像转换为数字图像。对于滚动快门控制的图像传感器，所有感光器件按行顺序依次进行曝光（每行起爆时刻不同，曝光时长相同），在交流电光源下，传感器各行像素进行曝光时各行像素的曝光量不同，导致闪烁（flicker，闪屏、条纹、条带）。

通俗一点解释，各行感光器件接收光线存在时间差，在周期性变化的光源照射的环境下，如因日光灯的光源的闪烁周期引起的周期性亮度变化的影响，在拍摄图像中有时会产生横条文状的不均匀。连续拍摄时，连续的图像帧中出现亮条可能出现在不同的位置，与前一帧比有一定偏移，连续的偏移产生了闪烁现象。

图1，（上）：光强变化周期20ms，（下）：光强变化周期10ms

二、闪烁消除方法

（一）常用的闪烁消除方法

通常采用将图像传感器的曝光时间设置为光强变化周期的整数倍的方式，使得每次曝光时具有相同的进光量。如，对于50Hz（或60Hz）电源的光源，灯具发出的光强频率是100Hz（或120Hz），光强周期则是1/100秒（或1/120秒），曝光时间设置成1/100秒（或1/120秒）的整数倍即可消除亮条或闪烁。

不同国家、不同地区供电频率不同，无法设定一个固定的曝光时间，使得在所有国家和地区使用时都不产生闪烁，因此，消除闪烁时，需要知晓光源的周期，因此，需要进行闪烁检测。

（二）闪烁检测方法

1.主流的检测方法：预先设定一个频率，比如先认为光源环境是 50Hz，则将曝光时间设为光源能量周期10ms的整数倍。检测时将连续两帧图像相减，两帧相减后没有亮度差，即相减的结果是0，说明频率设置正确。如果出现水波纹，则相减之后的图形会是亮暗相间的条带，此时确认光源频率是60Hz。

如果两帧之间相同行获取到的能量不同，则表现为滚动的水波纹；如果两帧之间相同行获取到的能量相同，则表现为固定的水波纹。因此不同的闪烁产生需要针对的检测方法。

2.其他影响：在进行闪烁检测时，还要考虑运动场景和环境光太强的影响等。

若环境光太强，则曝光时间设置为光强变化周期的整数倍的方式，图像出现过曝，即使将增益调整至最小仍过曝，此时解决环境光太强的影响，可以设置滤波片、电致变色元件，控制透光率减小曝光量（ CN111314594A ， CN 111163270 A ）；或调整感光度，正常情况高感光模式，环境过亮，切换低感光模式（ CN 105007429 A）。

（三）其他闪烁消除方法（列举非穷举）

1.控制曝光时间方法：检测光能变化频率，根据光能变化频率和每行像素对应的起爆时刻，在预设曝光量约束条件下确定各行像素对应的曝光时长（CN111212242A）

2.控制曝光时间方法：对像素阵列分别进行第一逐行曝光和第二逐行曝光得出第一图像和第二图像，其中第一逐行曝光和第二逐行曝光相同行的曝光时间间隔半个光强变化周期的奇数倍，将第一图像和第二图像中位于相同行的图像数据进行合成（CN102695004A）。

通过互补相位的方式，使得输出图像的曝光量为恒定值，不再随着光强变化而变化，即由于两次的曝光时间相差半个光强变化周期，这两次曝光时间相差180度相位，这两次曝光的曝光量相加，可以得出两倍的平均曝光量。

三、相关CPC分类号介绍以及案例分享

（一）CPC分类号介绍

H04N5/235...补偿物体亮度变化的电路{基于由电子图像传感器提供的电子图像信号};

H04N5/2353.... {影响曝光时间,如快门(H04N5/2352优先; 在图像传感器内的入H04N5/353)};

H04N5/2357.... {检测闪烁频率或闪烁抑制,例如由于日光灯照明};

（二）案例分享

1. 案例1：201680085977.5 （涉及CPC分类号H04N5/2357）

技术问题：由于荧光灯的光强度在工业用电频率下会周期性地变化，会导致相机捕获图像中出现色带或者闪烁的问题。

技术手段：采用色带补偿模式，以高于工业用电频率的帧率捕获图像，并提取部分捕获图像合成得到最终图像，使得总的曝光时间为半个交流电周期的整数倍，从而解决色带或者闪烁现象。

权利要求1. 一种图像处理装置，其特征在于，包括：

图像传感器，用于以帧率2(n+1)f捕获并输出图像的第一序列的帧，其中，n表示大于或等于1的整数，f表示工业用电频率；以及至少一个处理器，用于从所述图像的第一序列的帧中提取图像的第二序列的帧，并且合并所述图像的第二序列的帧以生成图像的单个帧。

确定检索策略：

技术领域：日光灯照明闪烁抑制H04N5/2357/cpc。

关键技术手段：以大于工业用电频率2倍的帧率捕获图像，其技术实质是采用“高帧率”（high?? 2w frame 1w rate），或者“短曝光”（short?? 3w expos+），进行图像捕获，即缩短了单个图像帧的曝光时间。

检索过程：DA-US2014078358A1: H04N5/2357/cpc and (high?? 2w frame 1w rate?)

DB-US2015103209A1: H04N5/2357/cpc and ((synthesi+) or (compos+) or (combin+)) and ((short?? 3w expos+) or (high?? 2w frame 1w rate?))

DA公开了以3倍或5倍于闪烁频率的帧率来捕获并输出第一图像序列，并且可以对图像序列进行增益或者曝光时间调节。DB公开了可以通过在同一闪烁周期中通过获得多个积分得到的图像，合成得到HDR图像。

2.案例2：201911189082.8 （涉及CPC分类号H04N5/2353）

背景技术：由于室内光源频率与手机感光芯片的曝光时间不匹配，手机相机的感光芯片使用卷帘曝光，不同行的起始曝光时间不一样，如果两帧之间相同行获取到的能量不同，则表现为滚动的水波纹；如果两帧之间相同行获取到的能量相同，则表现为固定的水波纹。

技术问题：目前主流的检测方案效率低，且只能检测到滚动的水波纹，无法检测固定水波纹，曝光时间固定，导致拍摄质量差。

技术手段：采用具有相同帧率和相同曝光时间的两个摄像头，分别在起始曝光时间相差预设时长时拍摄两幅图像，二者相减得到差别图像，若差别图像中存在亮暗相间的条带，则将两个摄像头的曝光时间均调整为目标曝光时间，采用双摄像头拍照，能够提高闪烁检测的检测效率，避免出现检测不到固定水波纹的情况，并能够及时调整曝光时间，从而提升拍摄质量。

本案中，起始曝光时间相差预设时长，预设时长T0的取值具体应能够保证第一摄像头拍摄的图像和第二摄像头拍摄的图像为同一场景的图像，且所拍摄图像的内容存在一定程度的差异，该差异能够使得第一摄像头拍摄的图像与第二摄像头拍摄的图像之间相同行获取到的能量不同（即不同帧之间能够检测到滚动的水波纹）。

目标曝光时间为与当前场景下的光源频率匹配的曝光时间，每个光源频率具有与之相匹配的曝光时间，即曝光时间为光源频率对应的能量周期的整数倍。电子设备无法获知光源频率，但是会存储不同光源频率对应的不同曝光时间。