基于天空区域分割的单幅海面图像去雾方法

雷 琴,施朝健,陈婷婷

(1.上海海事大学商船学院,上海201306;2.兰州交通大学电子与信息工程学院,兰州730070)

基于天空区域分割的单幅海面图像去雾方法

雷 琴1,2,施朝健1,陈婷婷1

(1.上海海事大学商船学院,上海201306;2.兰州交通大学电子与信息工程学院,兰州730070)

为提高雾天海面图像的质量,提出面向单幅海面图像的去雾方法。将均值漂移方法与嵌入置信度的边缘检测方法相结合进行图像分割,分割后的图像用形态学膨胀与腐蚀操作进行二值化,提取出天空区域和非天空区域。对天空区域使用限制对比度直方图均衡算法去雾,非天空区域使用基于导向滤波的暗通道优先算法去雾。导向滤波通过导向图像内容来计算滤波输出,在精细化透射图方面可以得到与软抠图方法类似的效果,计算开销较小。实验结果表明,相对于暗通道优先方法,该方法在天空区域没有明显的过渡区域和偏色现象,可取得较好的去雾效果。

海面图像;去雾方法;图像分割;天空区域;均值漂移;暗通道优先

1 概述

户外场景图像经常会由于雾霾的影响而产生降质现象,这些图像在对比度和色彩保真度方面都会发生不同程度的衰减。去雾后的图像不仅可以带来更好的直观视觉效果,并且去雾后的清晰图像更有利于类似目标识别等算法的实现。在海上航行过程中,海雾是一种危害很大的天气现象,无论在海上还是在海岸带地区,海雾都因其大大降低能见度而对交通运输、渔业捕捞和养殖、海上油气勘探开发以及军事活动等造成不利的影响。其中,在全部因海洋和气象原因造成的海难事故中,因海上能见度原因造成的船舶海难事故占有相当的比例。有效的海面图像去雾方法能够使船舶装载的计算机成像系统得到更清晰的海面图像,从而更好地保障船舶的航行安全。

本文基于暗通道优先方法提出一种针对海雾图像的去雾方法,采用均值漂移方法与嵌入置信度的边缘检测方法相结合进行图像分割,分割出天空区域和非天空区域,对天空区域使用限制对比度直方图均衡算法去雾,非天空区域使用基于导向滤波的暗通道优先算法去雾。

2 暗通道优先去雾算法

目前已有的图像去雾技术主要分为2类［1-2］: (1)基于图像增强的去雾方法［3］,该方法通过增强降质图像的对比度来突出图像细节,以达到使图像清晰化的视觉效果。(2)基于物理模型的图像复原方法［4-5］。该方法首先建立雾天图像退化模型,通过补偿退化过程造成的图像失真,从而获得无雾图像的最优值。针对单幅图像的去雾方法由于其实用性得到了广泛的关注和研究,文献［3］通过最大化局部对比度来实现图像去雾;文献［4］利用对部分符合规律的去雾模型采用优化计算实现图像去雾;文献［5］提出了暗通道优先去雾方法,并引起众多研究人员的关注和进一步的深化和应用研究［6-9］。该方法是近年来文献中效果最好、评价最高也是最实用的一种单幅图像去雾方法。

尽管暗通道优先去雾方法在当前单幅图像去雾领域取得了巨大的进步,但是在海面图像去雾的实际使用过程中会遇到一个极大的挑战。由于海面图像天空区域较多,暗通道优先方法在处理天空区域效果一般［10］,容易产生过渡区域和偏色现象。

2.1 雾天图像退化物理模型

在计算机视觉领域中,雾化图像通常被描述为方程:

其中,I是观察到的有雾图像;J是需要恢复的无雾图像;A是全局大气光;t是透射率;β表示大气散射系数;d是景物深度［5］。该方程的物理意义为:右边第1项代表物体本身的辐射经大气衰减后进入相机的光强,第2项代表大气光经反射或折射后进入相机的光强。去雾方法的本质就是要通过已知条件I,获得目标值J,A和t。容易看出,去雾是一个欠约束问题,通常要添加不同的先验信息或者约束条件才能求解。文献［5］提出了暗通道优先法则,并使用该法则得到了很好的去雾效果,这是目前文献中最为有效的单幅图像去雾方法。

2.2 导向滤波暗通道的优先去雾方法

暗通道优先法则认为:在绝大多数非天空的局部区域里,某一些像素总会有至少一个颜色通道具有很低的值。换言之,该区域光强度的最小值是个很小的数。给暗通道一个数学定义,对于任意的输入图像J,其暗通道可以用下式表达:

其中,Jc表示彩色图像的每个通道;Ω(x)表示以像素x为中心的一个窗口。暗通道优先的理论指出:

实际生活中造成暗原色中低通道值主要有3个因素:(1)汽车、建筑物和城市中玻璃窗户的阴影,或者是树叶、树与岩石等自然景观的投影;(2)色彩鲜艳的物体或表面,在RGB的3个通道中有些通道的值很低(比如绿色的草地/树/植物,红色或黄色的花朵/叶子,或者蓝色的水面);(3)颜色较暗的物体或者表面,例如灰暗色的树干和石头。总之,自然景物中到处都是阴影或者彩色,这些景物图像的暗原色总是灰暗的。

将式(1)变形为:

如上所述,上标c表示R/G/B 3个通道的意思。首先假设在每一个小区域窗口内透射率t(x)为常数,定义为(x),并且A值已经给定,然后对式(5)两边求2次最小值运算,得到下式:

根据前述的暗通道优先理论有:

因此,可推导出:

将式(8)代入式(6),可得:

在现实生活中,即使是晴天白云,空气中也存在着一些颗粒,因此,看远处的物体还是能感觉到雾的影响,另外,雾的存在让人类感到景深的存在,因此,有必要在去雾时保留一定程度的雾,可以在式(9)中引入一个在［0,1］之间的因子ω,则式(9)修正为:

全局大气光A值可以借助于暗通道图从有雾图像中获取该值。具体步骤如下:

(1)从暗通道图中按照亮度的大小取前0.1%的像素。

(2)在这些位置中,在原始有雾图像I中寻找对应的具有最高亮度的点的值,作为A值。

如此I,A,t都已经求得了,完全可以进行J的计算。

当投射图t的值很小时,会导致J的值偏大,从而使得图像整体向白场过度,一般可设置阈值t0,当t值小于t0时,令t=t0,因此,最终的恢复公式如下:

3 海面图像去雾方法

暗通道优先去雾方法是当前单幅图像去雾领域效果较好也是近年来影响最大的一种方法。虽然该方法在大部分户外场景的单幅图像去雾方面取得了很好的效果,然而在实际应用中依然存在一些问题;首先,暗通道优先去雾方法有一定局限性,不适用于某些特定场景下的图像去雾,例如对于海面图像的去雾。由于海面图像一般具有景深较广、天空区域较大、海上目标相对比例较小、颜色整体灰白等特点,通过实验发现使用暗通道优先去雾方法对此类海面图像尤其是天空区域的处理效果一般都不好。天空会出现明显的过渡区域和偏色现象,如图1所示。

图1 海面图像的去雾

图1 (a)为一幅有雾的海面图像,图1(b)为对该图像使用暗通道优先方法去雾后的结果,从图1(b)中白色区域可以看出,天空区域具有明显的过渡区域和偏色现象。其次,该方法的实现需要进行大量计算,使得整个处理过程比较耗时,导致实际应用受限。

本文通过对海面图像基本特征的分析,提出一种适合海面图像去雾的方法,过程如下:

Step1 利用均值漂移方法对海面图像进行分割,分割后图像的区域边界信息用嵌入置信度的边缘检测方法进行二次筛选。

Step2 分割后的图像用膨胀和腐蚀等形态学操作提取天空区域。

Step3 天空区域图像采用限制对比度直方图均衡算法进行去雾。

Step4 非天空区域图像采用暗通道优先方法进行去雾。

Step5 合成Step3的天空区域图像处理结果和Step4的非天空区域的图像处理结果为最终海面图像去雾结果。

3.1 天空区域分割与提取

本文海面图像的天空区域分割采用均值漂移与嵌入置信度的边缘检测相结合的方法。均值漂移是一种有效的统计迭代算法,基本思想是先算出当前点的偏移均值,移动该点到其偏移均值,然后以此为新的起始点,继续移动,直到满足一定的条件结束［12］。均值漂移已广泛应用于聚类分析、目标跟踪、图像分割和平滑、滤波、图像边缘提取等方面。

均值漂移分割算法如下:

令xi,zi,i=1,2,…,n分别表示空域-颜色域的d维输入图像和滤波后图像的像素,Li表示分割后图像的第i个像素的标签。

Step1 初始化j=1,yi,1=xi。

Step2 用以下公式计算yi,j+1直至收敛y=yi,c。

其中,yj+1为{yj}j=1,2,…位置用核G计算的加权均值;y1为核的初始位置的中心。

Step4 对每一个zi,把在空域和颜色域中与zi距离分别小于hs和hr的点分为同一类。

Step5 可以设定一个M值,去除像素点个数少于M的类别。

边缘检测的3个基本过程为梯度估计、非最大值抑制和迟滞阈值［13］。大部分边缘检测方法在这3个基本过程中都会采用梯度向量的幅值作为选择标准。嵌入置信度的边缘检测方法将置信度度量策略引入边缘检测的这3个基本过程,可以更加有效地进行边缘检测［13］。本文在利用均值漂移算法分割图像后,结合置信度的属性分析方法,进一步鉴别图像像素属性。海面图像在分割以后,再采用一个结构元素进行形态学膨胀和腐蚀操作,将分割后的海面图像进行二值化处理,提取天空区域。

3.2 限制对比度直方图均衡算法

在大部分海面图像中,天空区域所占比例通常较大,并且呈灰白色,暗通道优先去雾算法对海面图像天空区域的处理效果一般都不好,处理后的天空区域会出现明显的过渡区域和偏色现象。对于类似天空区域这种像素值分布比较均衡,无深度突变的图像,采用直方图均衡算法进行去雾可以达到不错的效果。不过,该方法有过度放大图像中相同区域噪声的问题,因此,本文采用一种自适应的直方图均衡算法,即限制对比度直方图均衡(Contrast Limited Adaptive Histogram Equalization,CLAHE)算法［14］来处理天空区域。自适应直方图均衡化(Adaptive Histogram Equalization,AHE)采用了分块化的直方图策略,将图像划分为多个小块,计算每一个小块的直方图,并根据这些直方图重新分布图像的亮度值。AHE算法可以很好地改善图像的低对比度并带来更多的细节信息。然而,AHE算法存在导致图像相似区域过度放大噪声的缺点。CLAHE算法用来克服AHE算法过度放大噪声的问题［14］。CLAHE同普通的自适应直方图均衡不同的地方主要是其对比度限幅,对于每个小区域都必须使用对比度限幅,主要用来克服自适应直方图均衡化过度放大噪音的问题。

3.3 暗通道先验算法

对于海面图像的非天空区域来说,往往会有岛屿、船舶、航标等物体的投影或是海面上漂浮的暗色物体以及浪花激起的阴影,所以该区域的图像是符合暗通道优先法则的。采用暗通道优先算法对该区域图像去雾。首先按文献［5］中所描述的算法自动获得全局大气光A的值。原方法的A是取原始像素中某一个点的像素,实际实验中取符合条件的所有点的平均值作为A的值,因为如果是取一个点,则各通道的A值很有可能全部很接近255,这样的话会造成处理后的图像偏色和出现大量色斑。其次计算初始透射率图 t～(x),由于该图较粗糙有一些块效应,因此对该透射率图采用导向滤波的方式获得更好更为精细的优化后的透射率图t(x)［11］。最后,已知A和t(x),就可以通过式(12)最后求得去雾后的清晰图像J。由于只对原图的非天空区域进行暗通道去雾,因此在时间上也比对整幅图像进行处理要缩短很多,从而提高了算法效率。

4 实验与结果分析

本节采用了第3节提出的图像去雾方法对海面图像进行去雾处理。图2给出了去雾处理的仿真实验结果。

图2 海面图像去雾实验结果

图2 (a)为实验中采用的原始有雾海面图像,分辨率为948×536。首先采用均值漂移方法与嵌入置信度的边缘检测方法相结合进行图像分割,分割结果如图2(b)所示。分割后的图像用形态学膨胀与腐蚀操作进行二值化(采用11×11的方形结构元素),提取出天空区域和非天空区域,图2(c)给出了形态学操作后的结果,图中黑色区域为天空区域,灰色区域为非天空区域。天空区域用限制对比度直方图均衡(CLAHE)算法去雾,非天空区域使用基于导向滤波的暗通道先验算法去雾,图2(d)为最终的海面图像去雾结果。从图2可以看到,由于海雾的影响,图2(a)中大船上的字母名称模糊不清晰,海天线上的小岛屿和小船基本都看不见,而图2(d)得到了很好的改善。从图1(b)和图2(d)的对比中可以看出,文中使用的去雾方法在天空区域处理并没有出现如图1(b)中那样的过渡区域和颜色失真。此外,从图2(d)中可以看出,去雾后的图像细节信息更加突出,例如图2(d)中白色区域里面的船舶相比原图更加清晰,保留了暗通道优先方法在图像去雾方面的良好性能,同时避免了该方法在处理某些图像的天空区域效果欠佳的问题。

为了更好地验证本文方法对有雾海面图像的去雾效果,仿真实验主要选用一些基于现场采集的海雾图像。所采集的海面图像由于大雾严重影响视觉效果,去雾处理具有较大挑战性。图3给出了本文方法处理的3组海雾较大的图像对比实验结果。从图中可以看出,文献［5］方法处理结果天空区域出现明显的过渡区域和偏色现象,本文方法处理结果天空过渡区域更加自然,偏色现象也不明显,说明本文方法对一些现场采集的真实海面图像具有较好的去雾效果。

图3 海雾较大的海面图像去雾实验结果

此外,还考察了本文方法的实时性,在实验中评估了计算开销。实验采用64位Windows 8操作系统,CPU为 Intel(R)Core(TM)i5-3230M,主频2.60 GHz,内存为4 GB的Lenovo Y400计算机仿真。表1给出了图3中3幅图像分别采用本文方法、文献［5］方法以及基于导向滤波的文献［11］方法的计算开销比较结果,可以看出本文方法在计算速度上相对于文献［5］方法有明显提高,与基于导向滤波的文献［11］方法计算时间基本相当,均在几十毫秒,可以满足一定的实时性要求。相对于文献［5］方法,虽然本文方法还需要分割图像以及用CLAHE算法处理天空区域,但是计算开销主要依赖于暗通道优先方法,而暗通道优先方法计算开销较大的主要原因是软抠图在精细化透射图时需要求解Matting Laplacian矩阵［15］。由于本文方法采用导向滤波替代软抠图方法精细化透射图,不用求解Laplacian矩阵,因而本文方法具有较小的计算开销,这与文献［11］中的结果一致。

表1 计算时间比较

5 结束语

本文通过对不同去雾方法的分析,结合海面图像特征,提出一种基于天空区域分割的单幅海面图像去雾方法。经过实验证明,该方法保留了暗通道优先去雾方法突出的去雾效果,同时避免了暗通道优先方法在海雾图像天空区域可能存在明显的过渡区域和偏色现象的不足,此外由于只对原图的一部分区域进行暗通道去雾并且采用导向滤波来精细化透射图,因此去雾速度较快。

［1］禹 晶,徐东彬,廖庆敏.图像去雾技术研究进展［J］.中国图象图形学报,2011,16(9):1561-1576.

［2］郭 璠,蔡自兴.图像去雾算法清晰化效果客观评价方法［J］.自动化学报,2012,38(9):1410-1419.

［3］Tan R T.Visibility in Bad Weatherfrom a Single Image［C］//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Washington,D.C.,USA: IEEE Computer Society,2008:2347-2354.

［4］Fattal R.Single Image Dehazing［J］.ACM Transactions on Graphics,2008,27(3):721-729.

［5］He Kaiming,Sun Jian,Tang Xiaoou.Single Image Haze Removal Using Dark Channel Prior［C］//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Washington,D.C.,USA:IEEE Computer Society,2009:1956-1963.

［6］Ullah E,Nawaz R,Iqbal J.Single Image Haze Removal Using Improved Dark Channel Prior［C］//Proceedings of International Conference on Modelling,Identification and Control.Washington,D.C.,USA:IEEE Computer Society,2013:245-248.

［7］Lan Xia,Zhang Liangpei,Shen Huanfeng,et al.Single Image Haze Removal Considering Sensor Blur and Noise［J］.EURASIP Journal on Advances in Signal Processing,2013,(1):1-13.

［8］Li Bo,Wang Shuhang,Zheng Jin,et al.Single Image Haze Removal Using Content-adaptive Dark Channel and Post Enhancement［J］.IET Computer Vision,2014, 8(2):131-140.

［9］Pei Soo-Chang,Lee Tzu-Yen.Effective Image Haze Removal Using Dark Channel Prior and Post-processing［C］//Proceedings of IEEE International Symposium on Circuits and Systems.Washington D.C.,USA:IEEE Press,2012:2777-2780.

［10］胡 伟,袁国栋,董 朝,等.基于暗通道优先的单幅图像去雾新方法［J］.计算机研究与发展,2010, 47(12):2132-2140.

［11］He Kaiming,Sun Jian,Tang Xiaoou.Guided Image Filtering［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(6):1397-1409.

［12］Comanicu D,Meer P.Mean Shift:A Robust Approach Toward Feature Space Analysis［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence,2002, 24(5):603-619.

［13］Meer P,Georgescu B.Edge Detection with Embedded Confidence［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence,2001,23(12):1351-1365.

［14］Zuiderveld K.ContrastLimited Adaptive Histogram Equalization［M］.San Diego,USA:Academic Press Professional,1994.

［15］Levin A,Lischinski D,Weiss Y.A Closed Form Solution to Natural Image Matting［J］.IEEE Transactions on Pattern Analysis&Machine Intelligence,2008,30(2):228-242.

编辑 顾逸斐

Single Sea Image Haze Removal Method Based on Segmentation of Sky Area

LEI Qin1,2,SHI Chaojian1,CHEN Tingting1
(1.Merchant Marine College,Shanghai Maritime University,Shanghai 201306,China;
2.School of Electronic and Information Engineering,Lanzhou Jiaotong University,Lanzhou 730070,China)

In order to enhance quality of sea hazy images,this paper presents a method of dehazing for sea hazy images.It uses the mean shift method and edge detection method of embedding confidence for image segmentation of a sea hazy image,and applies the morphological dilation and erosion operations with binarization to extract regional and non-regional sky area in the hazy image,and finally dehazes the sky area with restricted contrast histogram equalization algorithm,and non-sky area with dark channel prior with guided filtering.The guided filter computes the filtering output by considering the content of a guidance image,and achieves similar results of refining transmission maps compared with the soft matting method,but needs less computation cost.Experimental results show that relative to the dark channel priority method,the proposed method does not provide the transition area and the phenomenon of color cast in the sky area,and achieves high performance of haze removal.

sea image;haze removal method;image segmentation;sky area;mean shift;dark channel prior

1000-3428(2015)05-0237-06

A

TP391.41

10.3969/j.issn.1000-3428.2015.05.044

国家自然科学基金资助项目“面向海事监测的GNSS-R海上物标探测及异类传感器时空信息融合方法”(51379121);上海市自然科学基金资助项目“基于卫星导航反射信号的海上物标探测方法及应用”(13ZR1418700);上海市科委能力建设基金资助项目“空间多元数据融合的海事监测关键技术及应用”(12510501800)。

雷 琴(1980-),女,讲师、博士研究生,主研方向:图像处理,智能交通;施朝健,教授、博士生导师;陈婷婷,博士研究生。

2014-05-12

2014-07-12E-mail:50602748@qq.com

中文引用格式:雷 琴,施朝健,陈婷婷.基于天空区域分割的单幅海面图像去雾方法［J］.计算机工程,2015, 41(5):237-242.

英文引用格式:Lei Qin,Shi Chaojian,Chen Tingting.Single Sea Image Haze Removal Method Based on Segmentation of Sky Area［J］.Computer Engineering,2015,41(5):237-242.