嵌入式平台下的两级自适应动态调光方法*

刘 峰，霍文甲，王向军

(1 天津大学精密测试技术及仪器国家重点实验室,天津 300072；2 天津大学微光机电系统技术教育部重点实验室,天津 300072)

0 引言

在变化的光照条件和场景，能够进行快速调光，并且在各种环境下能够完成准确、稳定的调光控制，对于探测器进行目标检测和目标跟踪具有重要的意义。

基于图像灰度均值的算法在逆光或者其他复杂光照情况下，往往会使主体区域欠曝或过曝。通过控制曝光量来获得一组不同曝光条件下的图像，然后进行图像融合来提高图像的动态范围会降低帧率，难以满足实时性的要求[1]。利用图像直方图特征的方法难以区分顺光和逆光，导致调光不准确[2]。通过阈值法提取目标主体对单一集中目标较为有效[3]。对于主体目标较为分散的情况，主动搜索主体区域并进行加权调光的方法很难满足需求[4]。而对图像区域划分调节需要采集大量的实验数据来确定权值[5]。控制相机的动态范围增加场景中可感知亮度并不适用于像素光强响应特性固定的相机[6-7]。Mohammad T. Rahman等通过实验证明图像调光效果达到最佳时，图像熵也达到最大值[8]。但是熵函数本身灵敏度不高，依据图像区域内容不同容易出现和真实情况相反的结果[9]。

文中根据亮度直方图和图像熵与调光变量间的关系，针对传统方法的缺点以及现代方法局限性，提出一种自适应动态调光方法。

1 自适应动态调光原理

因为相机不针对特定的目标拍摄，提出自适应调光算法思想的核心是通过分析亮度直方图，完成理想灰度均值区间的选择和调整，然后利用图像熵模拟爬坡法找到图像亮度最佳效果。

1.1 基于亮度直方图的自适应调节

图像的调光参数可以通过不同的快门速度和光圈大小等组合得到，图像亮度和调光参数之间的关系为：

BV=k×Lm×G×T×F-2

(1)

式中：BV为图像亮度；k为反应场景照明条件的常量；Lm为环境亮度，和T分别表示相机增益和曝光时间；F为相机镜头G的光圈数。这里光圈F保持不变，Lm和G一次只调节其中一个值，当前图像亮度记为BVcur，图像达到最佳时图像亮度记为BVopt，BVopt表示为

BVopt=k×Lm×Gopt×Topt×F-2

(2)

BVcur=k×Lm×Gcur×Tcur×F-2

(3)

对式(2)、式(3)整理可得:

log2Topt=log2Tcur-log2Bcur+log2Bopt

(4)

log2Gopt=log2Gcur-log2Bcur+log2Bopt

(5)

通过分析当前图像的亮度，对比理想区间图像灰度均值，依据上式进行准确的调光。当调节完成得到图像均值Vmean位于理想区间，接下来判断图像像素值是否溢出，若溢出则改变理想区间，然后重新调节图像曝光增益使图像灰度落入新的理想区间，再判断是否溢出，如此往复直到图像正常。这里设计了边缘隶属度函数H(i)，如图1所示，同时结合统计直方图，用于统计边缘溢出概率。

图1 边缘隶属度函数

因此，可以得到边缘溢出概率：

(6)

(7)

式中：Plight、Pdark分别指亮部溢出、暗部溢出像素点占总像素比例，hist(i)指像素统计直方图，M、N指图像大小。

TPlight和TPdark是两个预先设定的边缘溢出概率阈值，其中满足溢出条件是指：

TPlight

(8)

设定图像灰度均值理想区域[Vlow,Vhigh],根据经验值定义两个极值Vmax、Vmin，理想区间位于两极值之间，两个极值确定曝光增益的优先调节机制。如图2所示：当图像灰度均值大于Vmax或小于Vmin优先调节曝光值，位于Vmax、Vmin之间优先调节增益，这样可以防止多参数调节时导致的图像跳闪现象。

图2 图像灰度区间划分

1.2 基于图像熵的爬坡搜索调节

图像熵可以反应图像的明暗程度，由于光照条件的不同其熵值大小也不同，所以依据图像熵大小判断光照条件具有可行性。

图像作为一个二维信源，处于不同位置的像素有着不同的灰度，图像熵用E来表示，k表示图像的灰度级数；pi表示各灰度级出现的概率，则图像熵为:

(9)

理想情况下，当所有灰度级概率是相同的，计算得到图像熵的最大值，即

(10)

因此，图像的最大熵值为:

(11)

当图像背景占据整个相机靶面的绝大部分，那么取图像熵的结果将以背景为主，目标无法达到最佳成像照度。在局部照度很高，对应信号的峰值很高，同样会对熵值造成很大影响[10]。因此，在根据图像熵进行反馈调节前，对图像进行了粗调，若图像光照条件没有发生明显变化，图像灰度均值依然落在合理区间内，那么不进行调节，这样保证了图像熵提取大小和实际成像效果间的对应关系，同时也维持了成像的稳定性。

图3标示了搜索的过程，由前一步粗调确定搜索方向：若调节方向沿着图像灰度均值减少的方向使得图像灰度均值进入区间[Vlow,Vhigh]，均值落在c点右侧，则搜索方向为e-d-c-b；均值落在c点左侧，则搜索方向为b-a-c-d；反之，亦然。可以用黄金分割法加速搜索过程，最终找到收敛极值点c。

1.3 整体算法设计

整体算法设计流程如图4所示，其中灰度动态范围Vrange由亮度统计直方图中最大和最小灰度值之差确定，VTstd为预先设定好的灰度动态范围阈值。

图3 爬坡搜索示意图

图4 整体算法设计流程

2 时序控制电路设计和验证

时序控制电路采用自顶向下的设计方法，系统采用嵌入式FPGA平台实现[11]，芯片采用Altera公司EP4CE40F23C7，源码使用Verilog语言设计，并用SignalTap工具进行时序验证。系统软件设计如图5所示。

图5 系统软件设计

2.1 亮度直方图自适应调光时序设计

相机工作过程中，亮度直方图部分接收开始调节信号，采用同步有限状态机设计，对CMOS芯片进行配置。溢出检测模块和直方图统计模块相互配合控制调光免于溢出；均值反馈模块对比连续帧图像均值变化控制调光参数的增减和步长；测光模式切换模块结合直方图统计模块判断采用全局测光模式或窗口加权测光模式。亮度直方图调光时序如图6所示，其中采集时钟为CMOS相机的像素采集时钟，I_cmos_pixel_in_fv为帧同步信号，在每帧同步信号的消隐区进行调光控制；S_avg_adjust_start为开始调节标志信号；O_gain_dec、O_gain_inc、O_exposure_dec、O_exposure_inc为增益值和曝光值的升高降低标志；S_model_style标志位信号切换测光模式；I_bit_dark_sig、I_bit_light_sig分别是暗部溢出和亮部溢出的标志位；S_range_ok用来判断灰度动态范围是否满足要求，最终使得像素灰度均值I_pixel_data_cal_result(Vmean)落在I_average_l(Vlow)～I_average_h(Vhigh)之间；当S_avg_adjust_end拉高，如图7所示，此时完成调节(粗调)。

图6 亮度直方图调光开始

图7 亮度直方图调光结束

2.2 图像熵爬坡搜索调光时序设计

当亮度直方图调光部分完成，如图8所示，此时通过S_shang_open_exp和S_shang_open_exp信号判断是否开启图像熵爬坡搜索调节。图8中S_search_start为开始调节标志，S_inc_sign和S_dec_sign代表当前的爬坡方向为a-e和e-a；O_shang_data_inc信号表示计算当前帧图像熵值与前一帧图像熵值差值为正，则爬坡方向保持不变；O_shang_data_dec表示当前帧熵值与前一帧差值为正，则爬坡方向为相反方向；如图9所示，当爬坡搜索完成，S_search_done拉高，O_shang_max_exp和O_shang_max_gain置位，完成调节(精调)。

图8 图像熵搜索调光开始

图9 图像熵搜索调光结束

3 实验结果

为了验证该方法的可行性，实验开始我们先设定好用到的几个控制参数：Vmax=220，Vmin=40，Vlow=103，Vhigh=154，VTstd=227，TL1=10，TL2=24，TL3=36，TH1=228，TH2=240，TH3=250，TPlight=0.15，TPdark=0.1。

图10为使用该方法进行调光前后图像对比。图10(a)为调光前图像，图10(b)为粗调后的图像，图10(c)为精调后的图像。自动调光前的图像局部出现饱和现象，E=3.22；经过粗调后的图像暗部特征明显，但是亮部特征缺失，E=6.88；经精调后像灰度动态范围大，灰度分布均匀，E=7.52。

图10 调光过程中的图像

选取同一物体不同光照条件下对比图像，如图11所示，从上到下分别为在顺光、逆光和侧光条件下的实验结果，其中左侧为未曝光图像，右侧为采用本实验方法自动曝光的图像。

图11 不同光照条件下的调光前后图像

由于该方法与光照条件以及目标个数、场景位置无关，采集代表性图像进行调光前后的对比，以证明调光的适应性。图12左侧为自动调光前图像，右侧为使用文中方法进行调光后的图像。图12(a)为顺光条件下的建筑，图像对比度较小，图像较为柔和；图12(b)为典型逆光条件下拍摄的远景，图像灰度分布不均匀，背景和主体反差较大；图12(c)为侧光照射条件下的近处物体，图像对比度大。

文中提出的方法对复杂光照环境下的场景有效，同时在正常光照下也可以得到很好的成像质量。

表1列出了不同光照条件下对图像自动调光前后的实验结果，其中序号1为自动调光前的图像，序号2为自动调光后的图像。为了更直观反映图像的纹理特性，引入了共生矩阵的两个参数：ASM和IDM。ASM值大表明当前纹理为变化均一稳定的纹理；IDM值大表明纹理沟纹深，效果清晰；这里将这两个值进行归一化。从表1中可以看出，自动调光后图像熵大于调光前图像熵值；ASM值较自动调光前值减少，表明调光后图像纹理变化较为复杂；IDM值较自动调光前值增加，表明调光后图像反差较大，图像效果清晰。

图12 不同场景及光照条件下的调光前后图像

表1 不同光照条件下自动调光前后实验结果

光照条件序号均值图像熵ASMIDM顺光1146.056.911 50.223 10.239 22118.637.324 90.107 70.359 2逆光157.215.916 60.165 20.239 6293.497.055 60.110 40.273 1侧光1203.055.106 40.271 50.310 12114.207.794 70.059 80.393 4

4 结论

文中提出一种基于亮度直方图自适应调节和图像熵搜索的动态调光控制方法。首先通过基于亮度直方图的自适应调节确定图像灰度均值分布的合理区间，再通过基于图像熵的搜索区间找到最佳调光参量，最终完成准确的调光控制。时序验证和成像对比实验表明，该方法不受图像中目标和光照条件的影响，具有很强的环境适应性，能够满足相机在场景变化条件下的调光需求，特别适合于小型化成像探测器数值孔径较小的自动调光应用场合。