雾天降质图像的快速复原

2013-04-27吴笑天鲁剑锋贺柏根

中国光学 2013年6期

吴笑天，鲁剑锋，贺柏根，吴川，2，朱明，2

（1.中国科学院长春光学精密机械与物理研究所，吉林长春130033；2.中国科学院长春光学精密机械与物理研究所航空光学成像与测量中国科学院重点实验室，吉林长春130033）

雾天降质图像的快速复原

吴笑天1，2*，鲁剑锋1，贺柏根1，吴川1，2，朱明1，2

针对在雨雾霾天气条件下，大气介质的散射和吸收作用导致光电成像系统接收的图像对比度降低，细节模糊不清及颜色偏移，提出通过快速图像复原来解决此类图像退化问题。基于大气成像光学模型，在暗通道先验的理论基础上，提出了一种基于形态学滤波器的快速估算暗通道图像的方法，并采用参数自适应调整方法来抑制暗通道先验不满足时的大片天空/白墙区域的颜色失真现象。实验结果表明，该算法能够有效快速复原雨雾天气条件下的降质图像，对于600×400大小的图像，其Matlab复原仿真时间仅为0.4 s，复原后的图像主观视觉质量明显提升，其大片天空/白墙区域的颜色失真得到有效抑制。

降质图像；图像复原；暗通道先验；形态学滤波器

1 引言

光电成像设备是工程中获取图像信息的重要设备，广泛应用在安防、交通、国防等诸多领域。在外场工作条件下，光电成像设备将不可避免地受到天气的影响，尤其在雨雾霾天气条件下，大气介质中悬浮着的大量水蒸气、尘埃等颗粒对光线的散射和吸收作用会使场景的反射光在直线传播的光路发生显著衰减，同时大气背景光也会受到上述悬浮颗粒的散射作用而掺杂进该直线传播的光路中。两者的共同作用使得光电成像系统在雨雾霾天气条件下获取的图像质量出现不同程度的降质，具体表现为：图像对比度降低，纹理模糊不清以及场景颜色偏移。所以，在雨雾霾天气条件下捕获的外景图像质量较差，不利于人眼观察。由于现代化的光电成像设备后端往往配有各类功能的图像智能化处理器［1］，并针对不同的应用场景，配以不同的图像处理方法［4-7］。因此，雨雾霾的天气条件也会影响到光电成像系统后端的跟踪、识别［8］、配准［9］等各类智能化算法的正常运行。所以，研究雾天降质图像的复原算法以及其工程化的简化算法具有一定的工程价值。

雾天降质的图像复原问题是一个典型的病态问题［3］。早先的雾天复原算法往往基于多幅图像或依赖其他附加信息［10-12］，工程局限性大，逐渐不为人们所使用。Tan以最大化局部差异度的方法实现了单幅图像的去雾算法［13］。Fattal基于场景表面与传输参数的局部不相关性的假设实现了雾天降质图像的复原［14］。上述两种方法由于算法复杂性原因没有在工程实践中得以应用。

He于2009年发表在CVPR的论文中［3］首次提出了“暗通道”先验，并从统计的角度阐述了“暗通道”先验的合理性，进而利用了“暗通道”先验实现了去单幅雾天图像的复原算法。He提出的复原算法大体流程是：首先基于“暗通道”先验求取降质图像的“暗通道”图像，再利用前后背景分离算法中的Soft Matting算法求取出精细化的传输参数图像，最终利用传输参数图像复原出原始图像［2-3］。该文中的Soft Matting算法复杂，内存消耗量较大。国内一些学者在此应用背景下研究了Soft Matting的替代算法，比较可行的滤波方法有Guided Image Filter［15-16］，快速双边滤波器［17］等。

本文提出一种基于形态学滤波的方法来快速求取暗通道图像。实验结果表明，形态学滤波方法在场景突变边缘具有很好的边缘保持效果，即暗通道估计图像相对精确，因此不再需要使用Soft Matting方法对传输参数图像进一步优化，从而省去了大量繁琐的优化运算，显著降低了雾天降质图像的算法复杂度。由于在实际试验中发现当待处理图像中包含大面积的天空或白墙区域时，这些区域的暗通道先验明显不存在，即暗通道图像估计在这些区域不正确，因此导致了这些区域的复原效果出现严重的颜色失真，对此，本文应用了一种参数自适应调整方法有效抑制了该颜色失真的现象。

2 大气成像光学模型和暗通道先验

2.1 大气成像光学模型

He［2-3］，Tan［13］，Fattal［14］在其论文中均使用式（1）所示的大气成像光学模型，其示意图如图1。该模型从物理上描述了雾天降质图像的降质过程，在文献［12］中有更为详细的叙述：

在该光学模型中，O（x，y）表征光电成像设备接收到的图像；J（x，y）表示原始图像信息，即场景的反射光在没有大气衰减吸收散射的理想情况下的成像图像；t（x，y）是传输参数图像；A是大气背景光估计，可以认为是已知量，可利用接收图像的数据估算出A的值，本文中A取整幅图像中R、G、B空间中的最大值，并假设大气背景光的R、G、B空间比例关系为1∶1∶1。式（1）所描述的大气成像光学模型可以认为由两个部分组成。J（x，y）·t（x，y）部分可以称之为“直接衰减”部分，反应了场景反射光在直线传播中的衰减过程；A［1-t（x，y）］部分可以称之为“大气渗透”部分，反映了在直线光路中，大气背景光由于悬浮颗粒的散射作用而渗透进直线光路的部分。

图1 大气成像光学模型Fig.1 Atmospheric opticalmodel

为了计算的便捷性，假设光电成像系统成像时大气介质是均匀且各向同性的，接收图像的每一个像素位置对应的传输参数可以统一用如下的表达式描述：

式中，β为大气介质的散射系数。由于上文中提出了均匀且各向同性的假设，因此β在R、G、B任意空间的任意位置数值固定。d（x，y）是图像像素点的二维位置（x，y）所对应场景信息在三维空间中与光电成像设备镜头的距离，可以认为是深度信息。

2.2 外景图像的暗通道先验

暗通道先验首先由He在文献［2-3］中提出。暗通道先验是指在大部分外景图像中的局部图块中，在R，G，B空间中以很大的概率存在灰度极低点，称之为暗点（Dark Pixel）。当对这些外景图块做最小空间（图像每一像素位置取R、G、B空间的最小值所形成的图像空间，称为最小空间）的最小值滤波时，这些暗点将会扩散至整个图块中去。式（3）描述了暗通道的求取过程。

暗通道先验在外景图像中发生的概率很大，在文献［2-3］中，He做了大量的统计实验以支撑该先验假设的合理性。在场景无雾对场景图像求取暗通道时，图像将由于暗点的扩散作用使得整体为零，即直接衰减部分为零，大气渗透部分亦为零。但当外景图像有雾存在时，直接衰减部分由于暗通道先验的假设，可以认为仍然保持为零；大气渗透图像不为零，此时可以利用该不为零的性质估算出传输参数图像。He基于暗通道先验的算法步骤大体如下（由于本文中大气背景光估计A的处理与He略有不同，因此在具体的公式推导与He的原文亦略有差别）：

（1）求取暗通道图像

对雾天降质图像的求取暗通道图像时，相当于在大气成像光学模型的两端同时先执行一次最小值比较以提取最小空间，再在最小空间执行最小值滤波以提取暗通道图像。

式中，A［1-t（x，y）］项没有参与上述暗通道的求取操作是因为原降质图像R、G、B空间中的每一个像素所在的邻域范围内，A［1-t（x，y）］项为固定值。基于暗通道先验，直线衰减部分为零，即：

因此，此时传输参数可以直接按式（4）和式（5）整理出：

式中，w为人为引入的常量，用于为雾天降质图像的复原效果适度保留一些雾气，以防止整幅图像的复原效果缺乏层次感。

（2）利用Soft Matting方法求取传输参数图像

在式（6）中，获取了相对粗略的传输参数图像t（x，y），基于Soft Matting方法，进一步可利用全局优化的方法求取其精确的传输参数图像tˆ（x，y），式（7）反应了该优化过程。

Soft Matting的全局优化方法相对复杂，本文不再细述，详见文献［2-3，14］。

（3）获得最终复原结果

利用优化的传输参数图像，结合式（1），即可以复原出场景图像，式（8）反应了该复原过程。

式中，t0可以认为是传输参数图像设置的下限域值，用于人为为复原图像保留一些雾气，其意义同式（6）中的w。

3 基于形态学方法的快速图像复原

3.1 形态学开操作与暗通道图像

Tarel［19］曾提出一个针对暗通道图像的优化目标函数，如式（9）所示：

式中，由于Veil（x，y）=A［1-t（x，y）］，且基于式（5）的暗通道先验信息，可知Veil图像其实就是雾天降质图像的暗通道图像。在式（9）中，目标函数中的保真项对Veil图像的梯度加以惩罚，当惩罚力度较大时，Veil图像呈分片光滑态，趋向于图像邻域范围中的最小值，同时又在场景深度信息突变处具有很强的边缘保持性效果。

如果将暗通道的求取过程在图像中某一列的一维数据上体现，则其示意性效果如图2所示。在图2中，横坐标为观测数据的位置，纵坐标为该位置对应的像素值，黑色实线为最小空间图像数据，即原始数据；Tarel构造的Veil图像最优化的曲线将如虚线所示；式（4）所示的暗通道曲线如实线所示。从图中可以看出，实线在场景信息突变处与Tarel构造的最优解相去甚远。

值得注意的是：由2.2节式（4）所示，对最小空间图像做最小值滤波过程非常类似于形态学处理中的形态学腐蚀过程。因此，可以使用形态学腐蚀过程代替式（4）的最小值滤波过程，式（10）描述了这一过程。

图2 用形态学方法求取暗通道图像过程示意图Fig.2 Illustration of estimating dark channel image usingmorphology filter

式中，Θ代表形态学腐蚀操作，在此处特指灰度图像的形态学腐蚀；b为形态学腐蚀的结构元素，其形状可为任意形状，在式（4）中执行的最小值滤波相当于结构元素为正方形。为了使得暗通道图像的边缘具有圆形保持效果，本文将b设置为圆形，尺度大小为15×15。最小空间经形态学腐蚀后的曲线亦是图2中的蓝色实线。基于直观的理解，对形态学腐蚀后的曲线再执行一次最大值滤波，即用相同的结构元素做一次形态学膨胀，即可在一定程度上矫正暗通道图像的估计，使其在场景深度信息突变处更好地逼近Tarel构造的最优解曲线。由于之前先执行了形态学腐蚀过程，再对腐蚀的结果执行形态学膨胀操作，两者可以合为形态学开操作。式（11）描述了这一过程：

式中，◦为形态学开操作运算符，b为结构体元素，与式（9）相同。经形态学开操作的输出曲线大体如图2绿色实线所示。经形态学开操作获得的暗通道估计图像具有良好的边缘保持效果，不再需要Soft Matting进行优化。因此，经式（11）整理出的传输参数图像可直接代入式（8）中实现雾天降质图像的复原。

用本文所述方法实现的雾天降质图像复原效果如图3所示，图中从左至右分别是雾天降质图像，最小空间图像、最小空间图像的形态学腐蚀输出、最小空间图像的形态学开操作输出，以及利用形态学开操作的处理结果实现的复原效果。

图3 用形态学方法复原雾天图像Fig.3 Haze-degraded image restoration usingmorphology filter

3.2 自适应参数的调整

大量实验表明，当待处理图像中含有大面积的天空或白墙等暗通道先验不成立的区域时，对这些区域的暗通道图像估计将不正确，由此导致复原图像在这些区域出现严重的颜色失真。对此，改进文献［20-22］的自适应参数调整方法，可以有效抑制该区域的复原颜色失真。如2.2节中式（8）所示，复原公式中对传输参数图像人为地设定了一个下限域值t0。在文献［3］中，将该值设定为0.1。在本文中，将该下限域值t0设定为自适应参数，式（12）描述了该自适应过程。

采用本节所述的自适应参数调整方法的实验效果如图4所示。图4中左侧是雾天降质图像；中间为固定域值为0.1时的复原结果，可见其在天空区域出现明显颜色失真；右侧是采用本节所述方法的处理结果，可见其天空区域的颜色失真明显改善。需要指出的是，采用本节所述的方法虽能明显抑制大面积的天空或白墙区域的颜色失真，但却是以牺牲一定程度的透雾效果为代价的。

图4 固定下限参数与动态参数调整的对比Fig.4 Comparison between fixed parameter and self-adaptive Haze parameter

3.3 实验结果与分析

采用本文所述方法的更多实验结果如图5所示。

图5 雾天图像复原效果Fig.5 Restoration results of haze-degraded image

在图5中，上侧的图像均为雾天降质图像，下侧为其对应的复原图像。从图中的结果可以看出，采用本文所述方法能够很好地复原场景信息，主观视觉效果显著提升，整体效果自然而无失真。

图6展示了本文方法的实验结果与He方法的对比。由于本文方法在大气背景光A的估计方法上与He不同。因此，整体复原色彩与He略有差别。场景信息复原效果与He大体类似，但是在树枝等较细小的远近交接处存在一定的雾气残留，不如He的方法在这些区域的优化效果自然。

图6 本文方法与He方法的对比Fig.6 Comparison with He′s work

由于本文所述方法采用了形态学滤波方法，其算法复杂度远低于Soft Matting的优化效果。在主机Intel（R）Core（TM）i5-3210M CPU@2. 50GHz软件Matlab的运行环境上，本文针对图6所示的600×400的图像处理时间仅为0.4 s，远低于Soft Matting法的处理时间，约为He的Guided Image Filter的1/4的代码运行时间。在同一硬件环境下，本文选用的形态学去雾方法与He的Guided Image Filter去雾方法的运行时间比较见表1。

表1 代码运行时间比较Tab.1 Time consum ing com parison

4 结论

本文基于大气成像光学模型和暗通道先验理论，提出了一种基于形态学滤波方法的快速雾天降质图像的复原方法，并采用一种参数自适应调整方法有效降低了大片天空/白墙等暗通道先验不成立区域的颜色失真现象。实验结果表明，本文算法能够有效复原雨雾霾天气条件下的降质图像，虽然在远近交接细节处的雾气去除略有残留，但整体主观视觉质量与He方法大体相同，主观图像质量明显提升，复原效果自然而无失真。本算法的核心滤波过程为形态学滤波，复杂度低，对于600×400大小的图像，其Matlab仿真时间仅为0.4 s。若将该算法经优化后移植于嵌入式平台中，可以作为图像增强设备用于光电成像设备，可在一定程度上提升光电成像系统的鲁棒性。

本文所述的形态学滤波方法运算简单，基于本文方法研究雾天降质图像的硬件化设备将是后续研究工作。

［1］宋建中.图像处理智能化的发展趋势［J］.中国光学，2011，4（5）：431-441. SONG JZH.Development trend of image processing intelligence［J］.Chine Optics，2011，4（5）：431-441.（in Chinese）

［2］ HE K M，SUN J，TANG X O.Single image haze removal using dark channel prior［J］.IEEE，2011，33（12）：2341-2353.

［3］ HE K M，SUN J，TANGX O.Single image haze removal using dark channel prior［C］.Proceeding of IEEEConference on Computer Vision and Pattern Recognition Miami，USA，20-25 June，2009：1956-1963.

［4］赵金宇，吴元昊，贾建禄，等.基于实时波前信息的图像复原［J］.光学精密工程，2012，20（6）：1350-1356. ZHAO JY，WU Y H，JIA J L，et al..Image restoration based on real time wave-front information［J］.Opt.Precision Eng.，2012，20（6）：1350-1356.（in Chinese）

［5］王建立，汪宗洋，王斌，等.相位差异散斑法图像复原技术［J］.光学精密工程，2011，19（5）：1165-1170. WANG JL，WANG Z Y，WANG B，etal..Image restoration by phase-diverse speckle［J］.Opt.Precision Eng.，2011，19（5）：1165-1170.（in Chinese）

［6］李庆波，许志高，陈守谦，等.探测器噪声对波前编码成像系统图像复原过程影响的理论研究［J］.光学与光电技术，2011，9（6）：14-20. LIQ B，XU ZH G，CHEN SH Q，etal..Detector noise in thewavefront coding imaging system recovery process［J］.Opt. Optoelectronic Technol.，2011，9（6）：14-20.（in Chinese）

［7］张威，杨克成，范泛，等.基于模糊度量的激光水下图像复原的盲去卷积方法［J］.光学与光电技术，2011，9（2）：27-32. ZHANGW，YANG K CH，FAN F，et al..Blind deconvolution approach based on blurmetric method for laser underwater image restoration［J］.Opt.Optoelectronic Technol.，2011，9（2）：27-32.（in Chinese）

［8］郝志成，高文.多模跟踪技术在轮式侦察车图像处理器的应用［J］.中国光学，2011，4（5）：480-488. HAO ZH CH，GAOW.Application ofmuti-pattarn tracking technique in image processor ofwheel type scout car［J］.Chinese Optics，2011，4（5）：480-488.（in Chinese）

［9］韩广良.高频信息矢量匹配实现异源图像配准［J］.中国光学，2011，4（5）：468-474. HAN G L.Alignmentbetween differentsource images by high frequency vectormatching［J］.Chinese Optics，2011，4（5）：468-474.（in Chinese）

［10］ SCHECHNER Y Y，NARASIMHAN SG，NAYAR SK.Instant dehazing of images using polarization［J］.IEEE Conference on Computer Vision and Pattern Recognition，2001：1-325.

［11］ SHWARTZ S，NAMER E，SCHECHNER Y Y.Blind haze separation［J］.IEEE Conference on Computer Vision and Pattern Recognition，2006，2：1984-1991.

［12］ NARASIMHAN SG，NAYAR SK.Contrast restoration ofweather degraded images［J］.IEEE Transactionson Pattern A-nalysis and Machine Intelligence，2003，25：713-724.

［13］ TAN R.Visibility in bad weather from a single image［J］.IEEEConference on Computer Vision and Pattern Recognition，2008.

［14］ FATTAL R.Single image dehazing［J］.SIGGRAPH，2008，27（3）：1-9.

［15］ HE K M，SUN J，TANG X O.Guided image filtering［J］.Proc.11th Eur.Conf.Comput.Vis.Part I，2010，6311：1-14.

［16］ HE K M，SUN J，TANG X O.Guided image filtering［J］.IEEE，2012，35（6）：1397-1409

［17］ PORIKLIF.Constant time O（1）bilateral filtering［J］.IEEE，2008：1-8.

［18］ LEVIN A，LISCHINSKID，WEISSY.A closed form solution to natural imagematting［J］.IEEE Conference on Computer Vision and Pattern Recognition，2006，1：61-68.

［19］ TAREL JP，HAUTI`ERE N.Fast visibility restoration from a single color or gray level image［J］.IEEE，2009，2201-2208.

［20］ WU X T，DING X H，XIAO Q.A modified haze removal algorithm using dark channel prior［J］.Advanced Materials Research，2012，1397：457-458.

［21］吴笑天，丁兴号，吴奎.基于暗通道理论的雾天图像复原的快速算法［J］.长春理工大学学报，2012，35（1）：100-104. WU X T，DING X H，WU K.A fasthaze removal algorithm using dark channel prior［J］.J.Changchun University of Science and Technology（Natural Science Edition），2012，35（1）：100-104.（in Chinese）.

［22］嵇晓强，戴明，尹传历，等.航拍降质图像的去雾处理［J］.光学精密工程，2011，19（7）：1659-1668. JIX Q，DAIM，YIN CH L，et al..Haze removal for aerial degraded images［J］.Opt.Precision Eng.，2011，19（7）：1659-1668.（in Chinese）

Fast restoration of haze-degraded image

WU Xiao-tian1，2*，LU Jian-feng1，HE Bai-gen1，WU Chuan1，2，ZHU Ming1，2
（1.Changchun Institute of Optics，Fine Mechanics and Physics，Chinese Academy of Sciences，Changchun 130033，China；2.Key Laboratory of Airborne Optical Imaging and Measurement，Changchun Institute of Optics，Fine Mechanics and Physics，Chinese Academy of Sciences，Changchun 130033，China）
*Corresponding author，E-mail：wuzeping1893@163.com

Under haze，fog，and rain weather conditions，the image received by a photoelectric imaging system will lose the contrast and color fidelity owing to the absorption and scattering in atmosphere.To overcome the image degradation mentioned above，this paper proposes a new dark channel image estimation method usingmorphology filter based on the analysis of the atmospheric opticalmodel and the dark channel priority.It further utilizes a dynamic parameter strategy to solve the color distortion in a large area of sky or white wall. Results on a variety of outdoor haze images show that the proposed method can effectively restore a haze-degraded image and improve the image quality.As for the imagewith 600 pixel×400 pixel，the restoration simulation time by Matlab is only 0.4 s.The dynamic parameter strategy is simple buteffective to reduce the color distortion phenomenon.

degraded image；image restoration；dark channel priority；morphologic filter

TP391.4

10.3788/CO.20130606.0892