一种基于图像多区域的变步长自动曝光算法
2015-06-05张振环郑裕林
匡 艳,张振环,郑裕林
(公安部第一研究所,北京 100048)
一种基于图像多区域的变步长自动曝光算法
匡 艳,张振环,郑裕林
(公安部第一研究所,北京 100048)
针对传统自动曝光算法不能适应背光或正面强光等复杂光照环境,且在实时性和平滑性不能同时兼顾等方面的缺点,提出一种基于图像多区域的变步长自动曝光算法。该算法将主体区域和背景区域进行分区,并对主体区域赋予更大的调整权重值来计算图像平均亮度,最后根据平均亮度距离目标亮度的差值等级来调整曝光时间的变化步长。实验结果表明,利用这种曝光方法在复杂光照环境下图像主体区域也能得到很好地体现,且在光照强度不断地变化时,图像亮度也能快速平稳地接近理想亮度,具有很好的成像效果。
自动曝光;图像多区域;变步长;主体区域;背景区域
自动曝光是通过控制进入摄像机成像系统曝光量从而使得图像亮度稳定在目标亮度附近,实现图像亮度最优化的过程,它是光学技术、微电子技术与数字信号处理技术相结合的技术[1]。进入成像系统的曝光量由场景光强、光圈大小及曝光时间决定。在自然情况下,场景光强由自然光决定,成像系统无法控制[2],因此自动曝光算法可通过控制光圈大小及曝光时间来控制进入成像系统的曝光量,从而调整图像亮度使其逼近目标亮度。
传统的自动曝光算法采用整幅图像的平均亮度为依据,判断平均亮度和所需达到的目标亮度的差值,并按照固定步长调整光圈大小和曝光时间,使得拍摄时的曝光量达到一个合适的值,从而使得图像亮度逼近目标亮度。利用该算法,当拍摄场景中目标区域与背景区域对比度较低的时候,图像能得到比较好的重现,然而,在诸如逆光或者正面强光等复杂的光照情况下,由于主体与背景区域的对比度比较大,用传统的自动曝光算法往往使感兴趣的主体区域曝光不足或者过度曝光[3],即使采用目前正广泛使用的宽动态技术,在背景亮度和主体区域亮度差值超过动态范围时,也不能达到理想的成像效果;另一方面,由于采用固定步长调整,对步长的设定存在一定的局限性,当设定步长较短时,能比较平滑的实现图像亮度像目标亮度的逼近,但当图像亮度和目标亮度差值过大时,亮度调整时间过长[4],自动曝光算法在实时性上可能不能很好地满足应用需求,当设定步长较长时,图像亮度能快速逼近目标亮度,具有较好的实时性,但可能会造成调整时图像亮度的抖动,影响视频观看效果。
为了解决传统曝光算法存在的上述两个不足,本文对传统曝光算法进行了优化,形成了基于图像多区域并变步长的算法,根据成像特点将主体区域和背景区域进行分区,并将主体区域赋予更大的调整权重值,且根据主体区域亮度距离目标亮度的差值等级来调整曝光时间或增益值的变化步长,实现了较好的自动曝光。该算法在背景亮度和主体区域亮度差值超过宽动态调整范围时仍能使主体区域得到理想的曝光效果,且较之宽动态技术占用更少的系统资源。
1 自动曝光算法原理
1.1 自动曝光算法公式
曝光量是指在快门开启的时间段内感光器件所感受的光通量的多少[5]。曝光量的大小,决定了外界光线在感光器件上照度的强弱和感光时间的长短。曝光量是指照度和时间的乘积。图像亮度与曝光时间满足线性关系,关系式可表示为
B=K×D×T
(1)
式中:K为系统系数;D为光圈孔径大小;T为曝光时间;B为图像亮度。当发现图像亮度没有达到理想亮度B0时,需要计算图像亮度达到B0所需的光圈孔径大小D0及曝光时间T0。此时B0,D0,T0也应满足以下关系
B0=K×D0×T0
(2)
用关系式(2)除以关系式(1),得到
B0/B=(D0×T0)/(D×T)
(3)
因此在自动曝光调整中,当光圈大小或曝光时间其中一项固定时,就可通过调整另一项使得亮度达到理想亮度B0。
1.2 自动曝光控制原理
自动曝光通用算法通常采用负反馈环路控制进入成像系统的光通量大小。通过当前视频帧的平均亮度值和理想亮度值进行比较,而从预判出下一帧视频图像的光圈大小或曝光时间的调整值,使得图像亮度逐步逼近理想亮度。由于光圈大小的调整对于亮度的影响高于曝光时间的调整,一般将光圈调整用于图像亮度的粗调,而通过曝光时间的精确调整使得亮度值达到理想值。
图1描述了自动曝光的控制过程。
图1 自动曝光控制
由图1可以看出,自动曝光算法包括图像亮度统计和曝光调整算法两部分。
通用的曝光算法中,对于图像的亮度统计方法为对整幅图像求亮度平均值,这种方法简单易行,但由于在诸如逆光或者正面强光等的复杂光照情况下,由于图像感兴趣区域与背景的对比度较大,当背景占据图像比例较大时,统计的平均亮度中背景亮度占据更大权重,根据该统计亮度进行的曝光调整会使背景亮度达到理想亮度,但会使图像的感兴趣主体区域过曝或曝光不足,影响成像效果;在曝光调整算法中,通用算法为将统计的图像亮度均值和理想亮度值进行比较,当图像平均亮度大于理想亮度时,将光圈大小或曝光时间减小一个步长,反之则将光圈大小或曝光时间增加一个步长,该方法的关键点在对步长的设置上,当设定步长较短时,能比较平滑地实现图像亮度像目标亮度的逼近,但当图像亮度和目标亮度差值过大时,亮度调整时间过长,自动曝光算法在实时性上不能很好地满足应用需求,当设定步长较长时,图像亮度能快速逼近理想亮度,具有较好的实时性,但可能会造成调整过程中图像亮度值在理想值附件上下抖动,造成多帧连续视频画面忽亮忽暗的现象,影响观看效果。
2 基于图像多区域的变步长自动曝光算法
算法分为两个部分:图像分区域亮度统计、变步长曝光调整。算法流程如图2所示。
图2 算法流程
2.1 图像分区域亮度统计
1幅视频图像分为感兴趣的主体区域及非感兴趣的背景区域[6],在本算法中,可根据监控区域的不同环境手动设置图像分区,将需要监控的主体设置为感兴趣区域,其他区域设为背景区域。图3为对1幅图像进行分区的示例图。
图3 图像分区示例图
该图是在强背景光的光照环境下拍摄形成,将较暗的中心区域设为感兴趣区域,其余为背景区域。
算法对感兴趣区域和背景区域赋予不同的权重值a和b,a和b之和为1。分别求感兴趣区域的平均亮度BV1和背景区域的平均亮度BV2,然后计算感兴趣区域和背景区域的平均亮度差值ΔBV,计算公式如下
(4)
根据平均亮度差值ΔBV来确定权重系数a和b的值。对权重系数和平均亮度差值之间的换算关系进行实现,采用如图4所示图像主体分配权重的曲线在优化图像曝光效果的同时可以保证自动曝光控制的稳健性,在过曝光和欠曝光的情况下都能自动调节曝光时间得到理想的成像效果。
图4 权重系数和平均亮度差值之间的关系曲线
图5 曝光调整算法流程
根据各个区域的权重系数及平均亮度,即可计算出整幅图像的平均亮度。整幅图像的平均亮度计算公式如下
BV=a×BV1+b×BV2
(5)
式中:BV为利用该算法计算出的整幅图像亮度,因为a和b之和为1,所以式(5)可表示如下
BV=a×BV1+(1-a)×BV2
(6)
2.2 变步长曝光调整算法
在对图像平均亮度进行统计后,即可根据图像平均亮度对成像系统曝光参数进行调整,使图像亮度逐渐接近理想亮度。在曝光调整算法中,采用光圈优先的调整算法,即先调整光圈大小,再调整曝光时间。由于光圈调整范围较小,因此对光圈的调整步长为固定值,算法主要对曝光时间进行变步长调整。
本成像系统使用的传感器曝光时间T的调整范围为
0≤T≤1(V)-2(H)
(7)
式中:V表示图像帧;H表示行。本系统一帧图像为1 122行,因此最大曝光时间为1 120行,最小曝光时间为0行。算法将曝光时间调整步长设为7个等级。经过测试调整,平均亮度和理想亮度差值绝对值ΔB和曝光调整步长之间的关系如表1所示。
表1 亮度差值和调整步长对应表
ΔB步长ΔB<801(H)80<ΔB<1505(H)150<ΔB<40010(H)400<ΔB<80030(H)800<ΔB<120050(H)1200<ΔB<160070(H)1600<ΔB100(H)
通过设置多个调整步长,当平均亮度和理想亮度差值较大时,可使平均亮度快速接近理想亮度,同时通过小步长的控制,可实现亮度的平滑调整,避免出现图像亮度的抖动现象。
算法实现流程如图5所示。
3 实验结果
在明暗对比度强烈的场景下分别获取采用普通自动曝光算法和基于图像多区域的变步长自动曝光算法进行亮度调整后的图片,其对比效果如图6所示。
图6 普通自动曝光算法和基于图像多区域的变步长曝光算法效果对比图
图6a为采用普通自动曝光算法在强背景光照下进行亮度调整后的成像效果图,由于图像背景区域过亮,因此在进行亮度调整后,会使图像主体区域曝光不足,从而使得图像主体区域细节无法体现。
图6b为采用基于图像多区域的变步长曝光算法在同样光照条件下进行亮度调整后的效果图,由于该算法加重了主体区域的亮度权重,因此图像主体区域的平均亮度基本决定了整幅画面的平均亮度,因此在进行亮度调整后,图像主体区域亮度接近理想亮度,图像细节仍能够得到很好的体现。
在曝光速度上,传统自动曝光算法在暗光情况下达到曝光强度范围所需的平均帧数为15,而基于图像多区域的变步长曝光算法在相同光照环境下达到曝光强度范围所需的平均帧数为4,传统自动曝光算法在强光情况下达到曝光强度范围所需的平均帧数为10,而基于图像多区域的变步长曝光算法在强光情况下达到曝光强度范围所需的平均帧数为4。
由以上实验结果可知,提出的算法能够在复杂光照环境下使图像主体区域得到很好地体现,且快速地将曝光时间调整到适当的值,而实现图像快速、正确地曝光,并能够修正在传统曝光算法中出现的图像抖动。对光强变化剧烈的情况下进行实际验证,图像曝光效果令人满意。
4 结论
本文提出了一种基于多区域的变步长自动曝光算法,该算法对通用的自动曝光算法进行了优化,从而解决了通用曝光算法存在的不足。利用对图像进行分区计算平均亮度,降低了背景区域在加权均值中的重要性,有效避免了在复杂光照条件下主体区域曝光不足或过曝的情况,在自动曝光调整过程中,通过变步长的曝光时间调整,使得图像亮度能够快速平滑地逼近理想亮度。通过实际测试表明,利用该自动曝光算法,即使在复杂光照环境下,能使图像亮度快速接近于理想亮度,不会出现调整过程中常见的亮度震荡现象,且在逆光或正面强光的复杂环境中,图像主体区域也能得到很好的体现。相比较目前广泛使用的宽动态技术,该算法在背景亮度和主体区域亮度差值超过宽动态调整范围时,仍能使主体区域得到理想的曝光效果,且占用更少的系统资源。
[1] 贾志科,崔慧娟,唐昆.彩色数字照相机的设计[J].电视技术, 2000,24(11):15-17.
[2] 闵武国.CCD成像电子学系统自动曝光和自动增益研究[D].大连:大连海事大学,2010.
[3] 杨作廷,阮萍,翟波.基于图像熵的高动态范围场景的自动曝光算法[J].光子学报, 2013,42(6):742-746.
[4] 戈志伟,姚素英,徐江涛,等.一种应用于CMOS 图像传感器的快速自动曝光控制方法[J].天津大学学报,2010,43(10):854-859.
[5] 戈志伟,姚素英,徐江涛,等.一种基于图像分区的自动曝光算法[J].天津大学学报,2010,43(10):854-859.
[6] 杨摇镔,王延长,李培弘,等.数字摄像机的高动态范围曝光算法及实现[J].传感技术学报,2011,24(1):68-72.
匡 艳,女,工程师,主研领域为智能信息处理、图像处理与应用;
张振环,女,工程师,主研领域为智能信息处理、图像处理与应用;
郑裕林,副研究员,主研领域为智能信息处理、图像处理与应用。
责任编辑:时 雯
Auto Exposure Algorithm Using Image Subregion and Variable Step Size
KUANG Yan,ZHANG Zhenhuan,ZHENG Yulin
(FirstResearchInstituteoftheMinistryofPublicSecurityofPRC,Beijing100048,China)
Point at the question of the common algorithm can’t suit for complex light condition such as backlight or front light, and real time and smooth are can’t gave consideration at the same time,an auto exposure algorithm using image subregion and variable step size is given in the paper. The image is partitioned with the subject and background area, and the subject area is gave the more weight, and the step size is also adjusted according to the difference between the average brightness and the real brightness. The actual test results prove that the algorithm can get the perfect image in the complex light condition, as well as close to real brightness speedy and smoothly when the intensity of illumination changed.
auto exposure;image subregion;variable step;subject area;background area
TP391.72
A
10.16280/j.videoe.2015.19.007
2015-03-27
【本文献信息】匡艳,张振环,郑裕林.一种基于图像多区域的变步长自动曝光算法[J].电视技术,2015,39(19).