排水管道图像雾气及光斑干扰去除方法研究

李夷进， 闫睿， 杨峰*， 乔旭， 李梵若， 刘文

(1.中国矿业大学(北京)机电与信息工程学院, 北京 100083； 2.北京城市排水集团有限责任公司科技研发中心, 北京 100083)

随着中国城市化发展，排水管网的范围日益增大，然而随着排水量的增加以及管道使用时间的增长管道内部极易出现腐蚀、破裂、渗漏等病害。目前，管道内窥摄像检测(close circuit television inspection, CCTV)[1]是应用最普遍的管道缺陷检测方法。管道机器人代替维护人员进入危险管道进行检修，提高了安全性。基于管道内窥摄像检测通过人眼目测管道缺损等病害的发生以及发展程度，然而获取的视频图像往往容易受到排水管道中的水气以及杂物的干扰，出现白雾现象，且管道机器人在前行的过程中，水气及污水易附着在镜头上，会导致光斑现象，严重影响维护人员对管道病害的判读。

目前图像去雾的主要方法包括基于图像增强的方法以及基于大气散射模型的方法。基于图像增强的方法，直接使用某种图像增强的算法进行去雾，也会带来一些噪声,丢失图像局部细节，主要有小波分析的方法[2]、直方图均衡化[3]、同态滤波算法[4]和Retinex算法[5]等；基于大气散射模型的方法，其利用模型，估计模型参数，然后还原图像。暗通道先验法成为了最经典的去雾算法[6]，然而在排水管道的背景下，并不适合大气散射模型，并且会产生色偏。近年来，随着深度学习的发展，基于神经网络的图像去雾方法也取得了巨大的进展。Zhang等[7]提出了一种密集连接金字塔除雾网络，可以共同学习透射率图，大气光值和去雾。Chen等[8]利用生成对抗网络，可实现端到端的图像去雾。Dong等[9]提出了一种基于U-Net的具有密集特征融合的多尺度增强去雾网络，然而，训练需要大量的管道数据，获取管道场景相匹配的有雾和无雾的图像是十分困难的，耗时长。而且这些算法都无法去除镜头上附着的雾气带来的光斑问题。

为此，基于大气散射模型提出了适合管道的雾气退化模型并结合暗通道先验法去雾，使用一种多尺度Retinex色偏恢复算法[10]校正图像色偏，最后将RGB颜色空间转换为HSV颜色空间，使用改进的二维伽马函数[11]调整亮度，降低镜头污染导致的图像光斑问题，提高排水管道图像的可视度和清晰度，解决传统算法中存在的色偏与光斑现象，并进行实验验证。

1 暗通道先验算法

排水管道雾气的产生是由于管道中悬浮粒子对目标反射光的吸收与散射，导致成像亮度低，光源受到介质的散射形成背景光，造成的图像不自然。大气散射模型[12]是在自然光条件下，所有位置的光照强度默认是由最远处的太阳光提供，将光照强度近似为一个常数。在排水管道中并无自然光，使用LED灯作为光源，光照强度随着与光源的距离的增大而减小，而并非如大气散射模型中始终近似于常数。因此使用管道雾气退化模型，并结合暗通道先验法来解决管道水雾造成的图像模糊。

在真空中，光强不随距离衰减，然而在散射介质中，光在传播的会随着传输距离的增加光强逐渐衰减，雾天衰减模型即平行光经过散射介质，假设其具有单位横截面积，得到平行光在距离为d处的光照强度，可表示为

E(d,λ)=E0(λ)e-β(λ)d

(1)

式(1)中：E0(λ)为初始的光强；E(d,λ)为衰减后的光强；β(λ)为散射系数；λ为光源的波长。

点光源的衰减遵循负二次方定律，随着距离光源距离增加，因为光线要覆盖的区域成倍增加，根据能量守恒定律，其表达式为

(2)

探测器接收到目标体的反射光以及空气介质中的漫反射光，假设将体积微元dv内的介质被看做成一个光源，则其光强为dI(x,λ)，如图1所示。

w为立体角；x为与探测器的距离；dx、dw分别为距离x与立体角w的微分单元

LED光源虽为点光源，在管道这一特殊背景下，光线只有在初始很短的一段距离球面传播，之后光线要覆盖的面积几乎不变，为管道的横截面积，因此可近似地看作平行光，若LED光源光强为L0，则根据光源的损耗公式，结合式(1)可得到达探测器后的光强dL为

dL(x,λ)=dI(x,λ)e-β(λ)xdx

=kβ(λ)e-β(λ)xdx

=L0β(λ)e-2β(λ)xdx

(3)

式(3)中：k为LED光源在x处的光照强度。

积分可得散射光强的值为

(4)

因此成像系统的总光强为

(5)

(6)

暗通道先验原理为：在非天空区域，对于一个无雾图像，每个局部区域很可能至少一个颜色通道会有很低的值，可表示为

(7)

式(7)中：C为颜色通道；Ω(x)表示x的领域内；y为像素。

对式(6)变形，假设在图像中一定大小的矩形窗口内透射率的值为定值，化简得

(8)

(9)

基于管道模型的暗通道先验去雾结果如图2所示。

millisecond表示毫秒;distance表示距离

2 MSRCR算法

由于水雾的影响，光在到达相机前，被排水管道中的悬浮粒子吸收和散射，不同波长的光衰减速度不同，红色光波长较长衰减较快，蓝色光波长较短传播距离较远，因而暗通道先验得出的结果存在蓝色色偏，使用带颜色恢复的多尺度Retinex算法对色偏图像进行图像增强。多尺度视网膜增强算法(multi-scale Retinex，MSR)[13]是由Retinex[14]改进而来的，其原理可表示为

r(x,y)=lgR(x,y)

=lgS(x,y)-lg[F(x,y)*S(x,y)]

(10)

式(10)中：r(x，y)为反射图像R(x，y)求对数的结果；S(x,y)为观察者获取的图像；R(x,y)为反射图像；F(x,y)为中心环绕函数；*表示卷积。

(11)

式(11)中：wk为k个尺度下的权重；Fk(x,y)为k尺度下的中心环绕函数。

带色彩恢复的多尺度视网膜增强(multi-scale Retinex with color restoration, MSRCR)算法是计算出的各个通道的min和max值，其表达式分别为

min=Mean-DynamicVar

(12)

max=Mean+DynamicVar

(13)

式中：min为各个通道的最小值；max为各个通道的最大值；Mean与Var分别为各通道数据均值与均方差；Dynamic表示实现无色偏的调节过程。

最终结果为

R(x,y)=[r(x,y)-min]/(max-min)(255-0)

(14)

图3为MSRCR增强的结果，与原图相比，不仅恢复了管道图像的色彩，保持了图像的边缘特性。

millisecond表示毫秒;distance表示距离

3 二维伽马函数

在机器人前进的过程中，由于大部分管道内部具有一定污水充满度，镜头极易受到管道中的水气或污水的干扰而污染，从而造成场景中出现部分过于明亮的区域，即光斑现象，破坏了正常的图像。

3.1 光照分量的提取

由于HSV(色调：hue、饱和度：saturation、明度：value)色彩空间更接近人眼对色彩的感知，不会出现失真现象，因此首先将图像转变到HSV色彩空间。

目前常用提取光照分量的方法有基于线性引导滤波、双边滤波、Top-hat、高斯滤波等[15]，为了更好的保持光照分量的边缘特性，选用多尺度高斯滤波算法，其有效地压缩动态范围并准确地估计排水管道图像的光照分量，高斯滤波的表达式为

(15)

式(15)中：σ为尺度因子；λnorm为归一化常数，确保高斯函数满足归一化条件。

利用高斯函数和输入图像做卷积，即可得到光照分量的估计值，可表示为

(16)

式(16)中：kscale为尺度的数量；V(x,y)为输入图像的亮度；Gi(x,y)为i尺度下的高斯滤波；I(x,y)为估计出来的光照分量。

3.2 构造改进的伽马函数

由图4(a)可以看出，出现光斑的位置普遍亮度偏高，饱和度偏低，故选取感兴趣区域，校正亮度，去除明亮区域。根据亮度分量构造校正函数，改进的二维伽马函数可以依据亮度分量自适应的调整参数，解决排水管道图像光斑现象。改进的二维伽马函数表达式为

millisecond表示毫秒;distance表示距离

(17)

V′=Vgamma

(18)

改进的二维伽马函数校正前后图像亮度图细节对比如图4所示，分别为去雾图象、初始的亮度、图像的光照分量、经过伽马变换后的图像亮度和经过伽马变换后的图像。可观察到原图中光斑区域的亮度得到了明显降低，良好地解决了图像因镜头污染造成的光斑问题，提高了图像的质量，使其更符合人类的视觉感知系统。

4 算法流程与实现

基于管道内窥摄像检测的传统缺陷检测方法，获取的管道图像往往会受到光照、水雾等影响，造成雾气与光斑等干扰，破坏了正常的图像。因此使用暗通道先验法对图像去雾处理并进行色彩校正，并在HSV色彩空间对排水管道图像进行亮度校正，总体算法流程如图5所示。

图5 算法流程图

5 实验结果与分析

实验视频数据来自中国矿业大学(北京)自主研发的管道机器人，如图6所示。通过建立排水管道视频图像数据集来验证本方法的有效性。实验中排水管道图像数据集截取自北京市不同区域的排水管道。实验所用的计算机配置为CPU Intel(R) Core(TM) i7-8700 3.0 GHz, RAM 16 GB。实验算法编程使用vs2015。

图6 管道机器人

利用信息熵、峰值信噪比PSNR以及水下图像质量评价UIQM[16]质量评估指标对本文算法处理过程进行评估。信息熵反映图像信息丰富程度，信息熵越大，图像越清晰。峰值信噪比是被处理图像与参考图像之间的均方误差，数值越大代表保留图像质量信息越高，失真越小。水下图像的退化机理主要包括光线吸收导致的颜色偏差，光线前向散射导致的细节模糊和光线后向散射造成的低对比度，与排水管道雾气图像的衰退机理相似，因此用UIQM作为作为评价依据，包含图像的色度评价指标UICM、清晰度评价指标UISM和对比度评价指标UIConM，数值越大表示图像效果越好，UIQM计算公式为

UIQM=c1UICM+c2UISM+c3UIConM

(19)

式(19)中：c1、c2、c3为各个分量的权重，c1=0.028 2，c2=0.295 3，c3=3.575。

在实验验证中，选取6幅不同区域的排水管道，如图7所示，其中图7(a)～图7(c)为无缺陷排水管道，图7(d)包含轻度腐蚀缺陷，图7(e)包含中度腐蚀缺陷，图7(f)中包含中度腐蚀以及异物侵入缺陷。

millisecond表示毫秒;distance表示距离

如表1所示，Retinex算法虽然具有较高的PSNR值，提升了视觉效果，但图8整体去雾效果不佳，大部分雾气无法去除。DCP算法去能够达到去雾的目的，然而无法去除光斑，并且背景信息丢失严重有严重的色偏现象，如图9所示，管道腐蚀区域缺陷不明显，严重影响管道病害研判。

表1 Retinex算法评价指标

millisecond表示毫秒;distance表示距离

millisecond表示毫秒;distance表示距离

EPDN算法相较于前两种算法，其能够达到较大范围的去雾目的，同时对于背景信息的保存也较为完整。但图10中该算法无法去除光斑，且使得图像“暗处更暗”的现象更加明显，从而影响管道病害研判的精度。

millisecond表示毫秒;distance表示距离

如图11所示，本文算法在去雾的同时纠正了色偏，能压制了图像中的光斑现象，提高了对比度和清晰度，颜色饱满，细节清晰，具有良好的视觉效果并且相较于原图与其他算法，本文算法的结果可以更清晰的观察到管道缺陷。如表1和图12所示，本文算法在UIQM指标最具优势，同时具有较高的信息熵和PSNR值，意味着相比于其他算法图像具有更好的清晰度和对比度，信息熵和峰值信噪比占较大优势，图像信息丰富、失真小。

millisecond表示毫秒;distance表示距离

图12 各算法在数据集上评价指标的均值

6 结论

针对目前大多数去雾算法在排水管道中的应用存在的去雾不彻底，存在色偏以及光斑问题，本文提出了一种排水管道图像雾气及光斑干扰去除方法。方法结合管道雾气特征，构建暗通道先验法去雾算法，使用一种多尺度Retinex色偏恢复算法恢复色彩，最后改进二维伽马函数，通过降低镜头污染，实现对图像光斑的压制。本文算法在排水管道有雾图像样本中信息熵、PSNR、UIQM指标优于文中其他去雾算法，主观上具有良好视觉效果，在去雾的基础上，能更好地处理颜色和细节特征，从而提高排水管道病害解译准确度。