APP下载

基于暗原色先验的单幅图像去雾优化技术*

2019-07-20王燕燕邸丽霞

火力与指挥控制 2019年6期
关键词:透射率原色景深

刘 健 ,张 宾 ,鹿 超 ,王燕燕 ,邸丽霞

(1.北方自动控制技术研究所,太原 030006;2.陆军装备部驻北京地区军代局驻太原地区第二军代室,太原 030006)

0 引言

人所获取的绝大多数信息来自图像,图像采集在视频监控、军事侦察等领域都有所应用。然而,恶劣的天气状况会影响图像质量。例如目前常见的雾霾天气,使得图像采集设备所获取的图像有能见度低、清晰度低的问题,严重影响了特征提取、目标跟踪等后续图像处理工作。因此,图像去雾技术的研究十分有必要。

目前,图像去雾技术主要有基于非物理模型和基于物理模型两类[1-2]。基于非物理模型的去雾技术通过提高对比度以达到突出目标信息的效果,例如基于Retinex与直方图均衡化的图像增强算法,这类方法没有考虑图像雾天退化机制,所处理的结果会有一定的颜色失真。基于物理模型的去雾技术通过反演雾天图像退化过程,从含雾图像复原得到清晰图像,例如He[3]等提出的基于暗原色先验的图像去雾技术。

He等提出的方法对含雾图像的复原效果较好,但仍存在一些不足。使用粗估计的透射率进行图像去雾,会在景深突变处产生“白边”现象。为避免“白边”现象,需要对粗估计的透射率进行细化。He使用软抠图算法对透射率细化,但软抠图算法1需要占用大量的内存与消耗大量的时间。He又提出使用引导滤波[4]对透射率进行细化,大大降低了算法复杂度,但是在景深突变处会留有残雾。文献[5]采用中值滤波对透射率进行估计,避免了“白边”现象,但存在过去雾的问题,即在景深突变处有“黑化”现象。此外,暗原色先验理论不适用于天空区域,He提出的方法在处理有这类区域的含雾图像时,会造成该区域的颜色失真。针对这一问题,文献[6]提出利用图像分割将这类区域分割出来并进行修复,避免该区域颜色失真。文献[7-8]提出使用容差机制纠正这类区域的透射率,但是容差的选择依赖于图像本身,难以做到对全部图像适用。

本文基于暗原色先验理论,提出了结合最小值滤波与中值滤波的粗估计透射率优化方法,避免景深突变处的“白边”与“黑化”现象。针对原算法在天空区域失效的问题,提出依据透射率自适应求取透射率下限值的方法,避免该区域颜色失真。

1 暗原色先验去雾算法

1.1 含雾图像物理模型

在计算机视觉与图像处理领域,采用式(1)描述含雾图像的物理模型:

式中,I(x)表示含雾图像;J(x)表示去雾的清晰图像;t(x)表示透射率,用于描述物体表面的反射光没有发生散射而传输到图像采集设备的比例;A表示图像大气光强。

根据大气散射理论,受雾霾等大气粒子的影响,光在该环境中传播会发生散射。雾天大气对图像采集的影响主要包括两个方面:物体表面的反射光在传播到图像采集设备的过程中会发生散射,只有部分反射光进入图像采集设备,在式(1)中由J(x)t(x)表示;自然或人工光源光线经过大气粒子发生散射,使其中一部分传输到图像采集设备,在式(1)中由A(1-t(x))表示。因此,为求解去雾图像J(x),需从I(x)中估计出t(x)与A。

1.2 暗原色先验去雾

He等人通过对户外无雾图像统计发现,在大多数无雾图像非天空的局部区域,R、G、B 3个通道中至少有一个颜色通道值很低。因此,定义图像的暗原色求解公式如式(2)所示:

式中,Jc表示图像的一个颜色通道,Ω(x)表示以x为中心的方形滤波模板。在无雾图像的非天空区域,Jdark(x)的值很低。

He通过上述暗原色先验规律来求取全球大气光强A与透射率t(x)。全球大气光强求取过程如下:选取暗通道中值最大的0.1%的像素点,找出这些点在原含雾图像中对应点的亮度最大值,将该值作为全球大气光的估计值。粗估计透射率t(x)的求解如式(3)所示:

式中,ω表示去雾的程度,为使去雾图像保留一定的景深信息,需要保留少量的雾,原文中ω取0.95。将t(x)与A带入式(1),可得去雾图像的求解如式(4)所示:

式中,为避免透射率取值过小造成失真,对透射率的下限值作了限定,原文中取限定值t0为0.1。去雾图像结果如图1(b)所示,可以看到,在景深突变处会有“白边”现象。He采用引导滤波对粗估计透射率进行细化,将细化后的透射率带入式(4),去雾图像结果如图1(c)所示,景深突变处的“白边”现象明显减弱,但是在更大的区域范围内仍然有雾未去净,即“残雾”现象。

图1 含雾图及He算法去雾图

2 改进算法及分析

2.1 改进的透射率估计方法

图1(b)的“白边”现象是由于该区域的透射率估计错误造成的。由含雾图像物理模型可知,景深突变处近景区域内透射率较大,而远景区域内透射率较小。在透射率估计过程中,当最小值滤波模板包含景深突变处,且模板中心点位于远景区域时,该中心点的透射率被估计为近景区域的透射率,导致透射率估计偏大,造成“白边”现象。因为引导滤波使用均值滤波对输入图像操作,当使用引导滤波对粗估计透射率进行细化时,均值滤波模板大小通常大于式(3)中最小值滤波模板,会使得被高估的透射率降低,同时导致正常的透射率值被高估,形成图 1(c)中的“残雾”现象。

文献[5]在求取暗原色值时,采用中值滤波代替外层的最小值滤波,如式(5)所示:

当滤波模板包含景深突变处,且模板中心点位于近景区域,而中值点位于远景区域时,该中心点的透射率被估计为远景区域的透射率,导致透射率估计偏小,造成“黑化”现象。

由暗原色先验理论可知,在非天空区域,离图像采集设备越近的地方,雾气越少,暗原色值越小;反之,暗原色值越大。如图2所示,图中阴影部分表示远景区域,白色部分表示近景区域,当滤波模板包含景深突变处时,可分为4类情况:

1)中心点位于近景区域,远景区域面积较小。此时滤波模板内的暗原色最小值点与中值点均落在近景区域。该情况下采用最小值滤波与中值滤波的结果相近;

2)中心点位于近景区域,远景区域面积较大。此时滤波模板内的暗原色中值点落在远景区域,该情况下采用中值滤波会产生“黑化”现象;

3)中心点位于远景区域,远景区域面积较大。此时滤波模板内的暗原色中值点落在远景区域,该情况下采用最小值滤波会产生“白边”现象;

4)中心点位于远景区域,远景区域面积较小。此时滤波模板内的暗原色最小值点落在近景区域,该情况下采用最小值滤波会产生“白边”现象。

图2 景深突变处的情况分类示意图

由以上分析可知,对滤波模板单独使用最小值滤波或中值滤波,去雾图在景深突变处会有部分失真。因此,本文提出根据景深突变处的不同情况,选择不同的滤波方式,避免该区域的“白边”或“黑化”现象。定义图像某点处R、G、B三通道的最小值由式(6)计算得到:

对于图 2(a)、图 2(b)两种情况,中心点处三通道的最小值Jchannel与该点的暗原色值Jdark相近,采用最小值滤波;对于2(c)、图 2(d),Jchannel与Jdark值相差较大,采用中值滤波。改进算法中粗估计透射率求解公式如式(7)所示:

式中,ε为阈值。为使ε值具有自适应性,改进算法采用最大类间方差法求取|Jchannel(x)-Jdark(x)|的自适应阈值。最大类间方差法可以依据图像特性求取自适应阈值,将其分为前景与背景。3种滤波方式透射率图比较如图 3所示,相较于图(a)与图(b),图(c)可以正确估计景深突变处远景区域的透射率,并反映近景区域的细节。

图3 3种滤波方式透射率图比较

2.2 自适应求取透射率下限值

暗原色先验理论不适用于天空区域,He算法在处理这类区域时,会造成去雾图像的颜色失真。在这类区域,实际透射率应为[2]:

由于这类区域找不到暗原色值趋近于0的点,式(8)的分母小于1,由式(8)求得的实际透射率要大于式(3)求得的估计透射率。针对该问题,文献[2]与文献[6]采用图像分割的方法将天空区域分割出来,并对天空区域的估计透射率适当增大以减少颜色失真。这类算法的效果依赖于图像分割的准确性,图像分割使得暗原色先验去雾算法复杂度提高。文献[7]引入一种容差机制,定义k为容差,判定|I(x)-A|

天空区域离图像采集设备较远,在含雾图像中属于透射率较低的区域,但是过低的透射率区域经过暗原色先验算法处理后会造成颜色失真,He算法中对式(4)中的透射率下限值限定为0.1,通过改变该值可以改善天空区域的失真问题。若该值取值过小,则图像失真改善不明显,若该值过大,则图像去雾效果不明显。本文提出采用最大类间方差法求取粗估计透射率的自适应阈值,以此阈值的1/2作为透射率的下限值,再经过引导滤波平滑滤波后,作为最终估计的细化透射率。改进算法所求得的透射率下限值通常大于0.1,即在图像较远的部分保留了部分雾气,因此,式(3)中ω值取1。

3 实验结果分析

为了验证算法的有效性,在MATLAB R2014b平台上进行了仿真实验,并将改进算法与文献[2]算法、文献[5]算法、文献[7]算法进行比较,从图像去雾主观效果与客观清晰度指标两方面进行对比。相关参数设置如下:

1)文献[7]算法:引导滤波参数 r=40,ε=0.001,容差值k=50;

2)改进算法:引导滤波参数r=40,ε=0.001。

3.1 图像去雾主观效果

图4给出了改进算法与对比算法的去雾效果比较图。其中,第1行图不含天空区域,第2行图含有大面积天空区域,第3行图含有小面积天空区域。

图4 含雾图及去雾效果比较

通过比较可得,文献[5]的处理结果在景深突变处的近景区域出现“黑化”现象,并且由于细节过度突出导致景深信息不明显,在天空区域仍然出现颜色失真;文献[2]通过调整景深突变处中值滤波模板的大小减弱了“黑化”现象,但由于中值滤波的缘故,仍然导致细节过度突出,此外,该算法可以分割出天空区域,但对该区域的透射率提升强度不大,在处理含大面积天空区域的含雾图时仍然有部分失真;文献[7]的处理结果由于容差值无法自适应改变,在处理不含天空区域或天空区域面积较小的图像时,会发生去雾效果不明显的情况;改进算法可以在避免失真的前提下,复原得到无雾的清晰图像。

3.2 清晰度指标

复原图像的清晰度指标可以很好地反映去雾的效果,图像的清晰度可以由平均梯度反映。表1给出了含雾原图以及复原图像的平均梯度值。其中编号1、2、3对应图4中的3幅图,编号4不含天空区域,编号5含天空区域。

表1 清晰度比较

由实验可以看出,各类算法的清晰度都较原图有所提升,文献[2]与文献[5]算法均采用中值滤波求取暗原色值,导致去雾图像细节过度突出,清晰度较高;文献[7]由于容差值无法自适应,处理某些图像的清晰度较高,而对于另一些图像清晰度较低。

4 结论

本文基于暗原色先验理论,提出一种单幅图像去雾优化技术。求取粗估计透射率时,根据景深突变处的分类情况,采用不同的滤波方式,避免了景深突变处出现的“白边”或“黑化”现象,采用最大类间方差法求取自适应阈值,提高了改进算法的自适应性。改进算法还自适应求取透射率的下限值,避免了去雾后天空区域的颜色失真现象。仿真实验结果表明,改进算法可以从含雾图像复原得到清晰图像,并且去雾主观效果与清晰度评价指标优于对比算法。

猜你喜欢

透射率原色景深
噪声对相干衍射成像重构物体图像的影响
一种结合物理模型和景深估算的图像去雾算法
石门峡
基于暗原色先验与WLS的图像去雾算法
电流变液光学性能的研究
简明FOTO词典:景深
景深在影视摄影中的创新应用
心灵的原色
谈谈景深与超焦距