基于天空区域分割的输电通道图像暗原色去雾方法

翟永杰， 江 柳， 龙雅芸， 赵振兵

(1.华北电力大学 控制与计算机工程学院，河北 保定 071003;2. 华北电力大学 电气与电子工程学院，河北 保定 071003)

0 引 言

受雾天天气影响，输电通道在线监测系统所捕获图像的对比度和清晰度均降低，对图像质量影响较大，导致输电通道的监测效果较差，对于输电线路故障、大型机械入侵以及野外山火等危害异常情况易造成误识别或漏识别，严重威胁输电通道的安全运行和维护。为了使监测系统能更好地进行输电通道图像异常情况识别，需要对雾天降质图像进行去雾处理，以突出图像中目标特征并方便后期处理，是使输电线路监测系统具备在恶劣天气下工作的鲁棒性和可靠性的前提。

目前，单幅图像去雾的主流方法包括基于图像处理的方法和基于模型复原的方法。基于图像处理的方法是对有雾图像进行增强对比度处理，主要算法包括直方图均衡化[1]、小波变换[2，3]以及Retinex算法[4，5]等算法，但此类去雾方法容易因单纯增强图像对比度会造成图像过饱和或光晕现象等问题。基于物理模型的方法从大气散射作用角度出发，根据图像的形成过程实现场景的复原。复原出来的图像效果真实，贴近降质前景物原景，对复杂场景的图像处理效果较好，图像信息得到较完整的保存[6]。典型的算法包括基于景物深度信息[7]的雾天图像复原、基于大气光偏振特性[8]的雾天图像复原、基于先验信息的雾天图像复原[9，10]等。其中，He等[11]通过收集大量无雾图像发现了暗原色统计规律，对单幅有雾图像有良好的复原效果。但该先验规律会对于存在大量天空区域或低对比度的图像失效，这会导致去雾处理后图像出现严重的色彩失真。

由于在输电线路在线监测的实际应用中，监测系统采集的图像大多以天空为背景，本文针对暗原色先验在天空区域失效的特点，提出一种基于改进暗原色的输电通道图像去雾方法。首先融合canny算子和梯度能量函数进行天空区域分割，在天空区域中获得准确的大气光值，再对估计的透射率进行滤波优化，最后将恢复的无雾图像进行图像增强处理，从而得到细节清晰、视觉效果较好的无雾图像。

1 暗原色去雾原理

1.1 大气散射模型

目前用来描述有雾图像形成过程的方式常采用大气散射模型，通过研究空气介质对观测对象反射光线的散射作用以及环境光照对图像的影响，模型由如下公式表示：

I(x)=J(x)t(x)+A(1-t(x))

(1)

式中：I(x)是有雾图像；J(x)是场景的无雾图像；A是大气光值；t(x)是透射率。J(x)t(x)为光线的直接衰减部分，描述场景辐射和其在介质中的衰减；A(1-t(x))表示大气光经过空气中介质散射后进入到相机的光线。

由此可以计算得到无雾图像J(x):

(2)

透射率t(x)是光线经过大气介质后传输到图像采集设备的过程中未发生散射的部分，它反映了图像中场景深度的远近。假设大气介质是均匀的，其表达形式为

t(x)=e-βd(x)

(3)

式中：β是大气散射系数；d(x)是场景深度。

1.2 暗原色先验方法

暗原色先验(Dark Channel Prior,DCP)[11]认为在非天空区域的局部窗口里，所有像素的最少一个通道的亮度值趋于0，即给定任意一幅无雾图像J：

(4)

式中：Jc表示J的一个颜色通道，Ω(x)是在x处的局部区域。

利用暗原色先验理论可进一步得到透射率的估计值：

(5)

为了体现图像深度而避免出现去雾效果不自然，引入参数ω保留远景部分的雾霾。经过大量实验，在本文中，根据像素值低于50的像素占比分段选取参数ω，若占比小于0.1%，ω取0.6；若占比大于0.1%而小于1%，ω取0.45；若占比大于1%，ω取0.3。

根据暗原色先验知识，通过估计出大气光值A即可得到透射率t(x)，进一步利用式(2)复原无雾图像。因此准确估计大气光值并有效优化传输率是复原无雾图像的关键。

经典的暗原色去雾方法认为有雾图像的暗原色代表图像中雾度的大小，而大气光值A的选取范围应在图像中最浓雾区域，因此该方法根据经验将大气光值的选取规定在暗原色图像中亮度值位于前0.1%的像素值所对应的区域。然而，在含有大量天空和复杂背景的输电通道图像中，受到非天空区域中大面积浅色区域的影响，大气光值估计不准确，直接造成透射率估计不准确，从而影响图像的去雾效果和视觉效果，如图1所示。因此，针对输电通道监测场景的去雾处理，需要对原始DCP方法法进行改进，以适应输电线路监控的实际情况。

图1 原始DCP方法处理结果Fig. 1 Processing results of original DCP method

2 基于改进暗原色的输电通道图像去雾方法

根据以上分析，在暗原色去雾方法的去雾过程中，由于大气光值A的选取范围是在暗原色图像最亮的像素中，去雾处理会由于大量天空区域以及非天空区域白色物体的存在而高估雾度层、低估透射率，从而出现过度曝光或产生光晕的情况，因此为了复原更清晰明亮的无雾图像，需要对天空区域进行分割，在天空区域中估计大气光值，获得更准确的透射率图，并对其进行优化后获得精细透射率图，而后进行限制对比度的自适应直方图均衡化处理(Contrast Limited Adaptive Histogram Equalization, CLAHE)以改善去雾处理后图像偏暗、细节不清晰的效果，最终获得视觉效果较好的无雾图像。本文方法去雾流程图如图2所示。

图2 本文方法流程图Fig. 2 Flowchart of this method

2.1 基于天空区域分割的改进大气光求取方法

由于输电通道监测系统采集的图像基本包含大面积天空区域和雪地等白色区域，因此本文针对暗原色先验方法在输电通道图像处理过程中的局限性，对天空区域进行分割，从而计算准确的大气光值。

2.1.1 梯度能量函数分割方法

计及天空区域相对平滑的特性，Shen等人[12]曾提出一种有效的用于机器人导航的天空区域检测方法。该方法无需依赖图像的颜色信息，而是利用梯度信息，根据能量函数最大化将进行图像分割。本文方法在此基础上采用如下步骤进行处理：

(1) 将有雾图像灰度化并计算灰度图的梯度幅值图像，根据给定阈值计算图像列的天空和非天空的边界位置，从而初步判定天空区域的位置；

(2) 使用如下能量函数J[12]来优化边界线，当能量函数J取得最大值时，说明此时天空区域像素集合和非天空区域像素集合分别具有最高的相似度；

(6)

式中：γ表示天空区域的平滑特性，根据文献[12]中实验可知，当γ=2时J获得准确的天空区域边界线；∑s和∑n分别为RGB空间中天空和非天空区域像素的协方差矩阵，λs和λn分别为其特征值；

(3) 对天空区域进行K-means聚类分析，将天空区域分为两类，分别计算其与非天空区域的马氏距离，将马氏距离较大的类确定为真正天空区域，而另一类则归为非天空区域；

(4) 对非天空区域进行扫描，当像素值和真正天空区域的平均像素值相差小于阈值时，该像素归为天空区域，因此将最终的天空区域和非天空区域分割出来。

图3为经过梯度能量函数分割方法处理的分割结果，可见在近景部分的楼房和屋檐处分割效果较好，而在景物深度较远处梯度能量函数分割方法无法精确获取远景模糊区域的梯度，从而导致远景部分分割有误，因此仅仅使用能量函数分割景物深度较大的图像时，分割结果并不准确。

图3 梯度能量函数分割结果Fig. 3 Gradient energy function segmentation

2.1.2 canny算子分割方法

由于在远景模糊区域上述分割方法无法准确判断是否天空区域，因此还需要采用边缘提取方法来精确获取天空边界。为了增强远景处边缘信息，首先使用直方图均衡化进行预处理，并通过一阶微分算子实现边缘提取，通过非极大值抑制消除模糊边缘，并采用双阈值筛选剔除伪边缘，从而完成canny边缘检测；得到图像的边缘结果后，采用形态学中的闭运算来填补边缘和消除图像中的颗粒噪声，并对处理后的边缘图像查找最大连通域，从而得到天空区域的分割图像。处理结果如图4所示。

图4 canny算子分割结果Fig. 4 Canny operator segmentation results

由图可见，采用canny边缘检测方法进行天空区域分割后，虽然在远景浓雾处的边界线较为准确，但在楼房等边界清晰的区域出现误分，说明在边缘清晰的区域canny算子容易产生不准确的提取，导致天空分割结果有误。对于这种情况，本文提出融合以上两种分割方法，从而得到准确的天空分割结果。

2.1.3 天空区域分割

鉴于上述分析，能量函数分割方法和canny算子分割方法各有优劣，因此本文将两种方法融合：得到上述两种分割方法的分割图后进行相与操作，并采用形态学中的开运算来消除目标区域邻近的孤立点，并对处理后的图片进行中值滤波，消除孤立噪声平滑图像。处理结果如图5所示，将上述两种方法融合后，本文的分割方法在近景边缘清晰处以及远景浓雾模糊处都有准确的分割结果。经过该方法处理后，大气光值能在天空区域中准确获取，同时避免非天空区域中大量白色物体的影响。

图5 天空区域分割结果Fig. 5 Sky region segmentation results

2.1.4 大气光值求取

大气光的准确取值应为空气介质中的环境光照。即对于含有天空区域的输电通道图像，大气光值应该在天空区域中选择。然而，如果图像中含有比天空区域更亮的白色景物(如图5中的白色汽车)，那么在原始DCP方法中可能会在白色景物区域确定大气光值，显然结果会产生误差。因此本文利用天空区域分割结果，选择暗原色图像中天空区域所有像素亮度最大的前∂的平均值作为大气光值，依据经验可知∂=0.1%，这比原始暗通道的大气光值求取方法更准确，从而避免去雾处理后图像整体清晰程度严重下降，去雾效果不理想的情况。

2.2 透射率优化方法

仅仅由式(5)得到的透射率是原始透射率，但采用最小值滤波的方式计算暗原色图像时会使景物边缘过渡区域膨胀，从而导致轮廓边缘雾气去除不彻底。即使采用软抠图(Soft Matting，SM)[11]或导向滤波(Guided Filter，GF)[13]的透射率图精细化的过程，但景深变化处透射率的估计仍然不准确，这将造成去雾图像中的这些边缘处附近产生块状效应和类似于光晕的现象。

本文根据透射率图的本质，发现原始透射率图像中的雾气残留明显的区域基本发生在图像中出现景深变化边缘的区域，因此本文使用拉普拉斯二阶微分算子(Laplacian)求出图像二阶导数，为了提高算法的运行速度，本文不处理未产生块状效应的区域，只针对二阶导数图像大于0的区域进行保持边缘的加权最小二乘法滤波(weighted least squares,WLS)[14]，之后再对整幅图像进行导向滤波，以此达到精细化透射率的同时抑制方块效应。图6展示了经过本文透射率优化方法处理前后的透射率图和去雾效果图。

图6 透射率优化效果对比Fig. 6 Comparison of transmission optimization effect

从图6中可以看出，二阶导数图像(b)景深变化边缘处出现梯度过大的白色小区域，这部分区域在原始透射率图(c)处出现轮廓膨胀、块效应明显的现象，从而导致原优化透射率图(d)在一定程度上损失了图像的边缘信息，因此经过图6(d)恢复的无雾图像(f)在上述对应位置处出现了雾气残留。而本文方法对图像中二阶导数大于0的区域单独进行一次加权最小二乘法滤波，以改善上述区域的块效应现象，得到的图像再进行一次整体导向滤波，获得最终的优化透射率图像(e)，因此恢复的无雾图像(g)可以在一定程度地改善方块效应明显的边缘区域雾气残留的现象。

3 实验结果与分析

3.1 去雾方法性能分析

本文主要研究对象为输电线路监测图像，采集的图像来源于室外，因此本文使用RESIDE数据集中的室外数据集进行性能分析。为了充分验证本文方法的去雾性能，选择与以下几种优势的去雾方法进行对比实验，包括原始暗原色先验去雾方法DCP[11]、将模型去雾和融合去雾相结合的方法MBE[15]、和采用多尺度融合而不依赖物理模型的方法AMEF[16]，以及两种采用深度学习的去雾方法包括AOD-Net[17]和Y-Net[18]。对比结果如图7所示，去雾主观视觉效果分析如表1所示。

图7 去雾效果对比Fig. 7 Comparison of defogging effect

表1 去雾质量主观评价Tab.1 Subjective evaluation of defogging quality

由于主观评价存在主体差异性，为了更加客观地对比各算法的去雾性能，本文采用全参考评价指标峰值信噪比(Peak Signal to Noise Ratio，PSNR)和结构相似性(structural similarity，SSIM)对恢复的图像质量进行整体量化分析。PSNR衡量去雾图像和参考图像之间的灰度值差异，该值越大，表示去雾质量越好；SSIM衡量图像恢复前后亮度、对比度、结构上的相似程度，该值越大，表示复原效果越好。上述两个指标将去雾图像和参考清晰图像进行比较，根据比较结果来整体评价图像去雾的质量，是一种全参考的客观质量评价方法，而输电通道监测装置采集的图像并无清晰图像可作参考，因此本文在此基础上同时采用文献[19]提出的色彩还原程度和结构信息偏移程度作为无参考评价指标以衡量图像去雾质量。色彩还原程度描述图像经去雾处理后在RGB颜色分量的直方图与原始有雾图像的相似程度，该值越大，表示色调恢复较好；结构信息偏移程度描述图像是否保持了原始有雾图像的场景细节而不会引入噪声，该值越大，表示图像失真程度越少。各方法去雾处理实验结果如表2所示。

表2 去雾质量客观评价Tab.2 Objective evaluation of defogging quality

从表2可知，相比于其他几种去雾方法，本文方法具有更高的峰值信噪比、色彩还原程度和结构信息，这表示图像在噪声、色调和细节上的失真程度均小于其他算法；而在结构相似度上，本文算法仅次于AOD-Net方法，但AOD-Net方法处理后的图像仍存在少量雾气且颜色偏暗，而本文在保持充分去雾情况下仍与原图具有更好的相似度。因此本文方法去雾效果更优，以上验证了本文算法在室外包含天空的场景下有较好的去雾性能。

3.2 输电通道图像去雾效果对比

本文的研究内容是针对输电通道场景的去雾，用以满足智能异常监测的实际需求。因此，本文选择输电通道巡线系统采集的雪天场景下的输电通道现场图像，对所提出去雾方法在含有大片白色区域(雪天)的输电通道情况下的有效性进行进一步验证。处理结果如图8所示。

图8 输电通道图像去雾效果对比Fig. 8 Comparison of image defogging of transmission channels

由图8可以看出，DCP方法由于输电通道图像存在天空区域和大面积白色雪地，去雾处理后图像过暗，并且存在严重的颜色失真问题，导致输电线路基本无法识别，甚至在后两幅图中处理后的电线呈白色，影响其原本特征信息；而MBE方法虽然突出了电线杆塔、房屋等细节，但存在过度去雾现象，且在天空区域中出现黑斑现象而非天空区域出现颜色失真，去雾效果不自然，仍会降低监控系统的可靠性，甚至产生负面影响；采用AMEF方法和AOD-Net方法去雾不彻底，处理后的图像仍存在大量雾气，对于景物细节情况不突出，如近景处的车辆等物体；而AMEF方法处理后的图像色彩恢复不足，色调明显偏暗沉，使远景处的输电杆塔更模糊；Y-Net方法去雾处理结果虽然较好的保持了图像亮度，但对于天空区域部分尤其是输电线路周围存在大量不均匀色块，输电杆塔基本模糊，视觉效果较差。整体来看，采用AMEF方法、AOD-Net方法和本文方法进行去雾处理后，均获得了较自然的输电通道图像，但本文方法的整体去雾效果较好，处理后的景物细节更清晰，且相比AMEF方法和AOD-Net方法，本文方法恢复了更自然的色彩和对比度。

由于输电通道场景的现场图像并无清晰图像可作参考，因此采用无参考评价指标对输电通道图像的去雾效果进行客观评价。实验结果如表3所示。

表3 输电通道图像去雾质量客观评价

从表3可知，在针对输电通道图像进行去雾的实验结果上，本文方法相比于其他几种去雾方法均占优势，这说明本文方法的处理结果较好地保持了原图的色彩信息，且在结构信息上也更好的保留了原图的细节，使图像整体呈现自然清晰的效果。因此本文方法在针对输电通道图像的去雾取得了较好的效果。

4 结 论

针对输电通道在线监测装置采集的图像，本文对于暗原色去雾方法在天空区域的处理方面开展研究，结果表明：

(1)采用融合梯度能量函数和canny算子边缘检测的方法提取天空区域，从提取效果来看，相对于传统单一方法，本文的天空分割结果更准确，并且利用分割后的图像能够获得更准确的大气光值A；

(2)在优化透射率值过程中，进行整体导向滤波前先针对景深变换边缘处进行加权最小二乘法滤波的透射率优化方法能够获得更精细的透射率图。实验结果表明，通过天空分割获得准确的大气光值和透射率图，能更好的改善原始暗原色去雾效果，解决原方法在输电通道图像上去雾处理效果差的问题；

(3)对于有雪情况下的输电通道图像具有较好的去雾效果，说明本文方法具有较强的鲁棒性；

(4)通过对比深度学习方法，本文去雾方法从客观和主观上都能获得较好的去雾效果，因此传统的去雾方法也有一定优势，不一定会被深度学习去雾方法取代，而将传统方法与深度学习相结合是我们今后研究的方向。