基于图像融合和改进阈值的管道机器人探测图像增强方法

袁明道，谭 彩，李 阳，徐云乾，张旭辉，杨静学

基于图像融合和改进阈值的管道机器人探测图像增强方法

袁明道1，谭 彩1，李 阳2，徐云乾1，张旭辉1，杨静学1

(1. 广东省水利水电科学研究院，广东 广州 510610；2. 天津理工大学计算机科学与工程学院，天津 300384)

管道机器人探测能快速、准确和直观地识别管道结构性和功能性隐患，受管道内环境限制，探测的图像存在光照不均、对比度低和细节模糊等问题。为此，提出了一种管道机器人探测图像的增强技术。首先采用限制对比度自适应直方图均化(Contrast Limited Adaptive Histogram Equalization，CLAHE)和同态滤波(Homomorphic Filtering，HF)处理光照不均匀和对比度低的问题，并将2种方法结果进行融合。而后将融合的图像进行非下采样轮廓波变换(Nonsubsampled Contourlet Transform，NSCT)，并采用改进的Bayes-Shrink阈值对高频系数进行噪声去除。最后采用非线性映射函数对细节进行增强，并进行NSCT逆变换得到最终增强图像。选取5幅典型管道机器人探测图像进行增强处理，并与4种常见的图像增强技术进行对比。结果表明，基于图像融合和改进阈值的管道机器人探测图像增强技术可有效提高图像的整体和局部对比度，并有效增强图像的细节，能有效解决管道机器人探测图像存在的主要问题。

管道机器人；图像融合；非下采样轮廓波变换；同态滤液；对比度自适应直方图均化

我国目前大坝总数高达8万余座，其中绝大部分为20世纪中叶修建的中小型土坝，作为重要的三大构成之一的输水涵管，结构性和功能性缺陷是导致该类土坝出现病险的主要原因之一。因此，消除输水涵管病害是全面落实“河长制”，切实保障水安全的重要一环。为科学有效地消除输水涵管病害，须先对其进行探测，查明其存在的结构性和功能性缺陷。

管道机器人探测是目前管道探测最有效、最安全的手段，能快速、准确和直观地识别管道结构性和功能性隐患[1]。然而受水利管道内环境条件限制，探测的图像存在光照不均匀、对比度低、细节模糊等问题，导致探测结果失真，图像分析困难，隐患难以全部探明，严重影响管道安全运行。因此，有必要对管道机器人探测图像进行增强处理。

图像增强是一种重要的图像处理方法，能有效增强图像中的细节信息，抑制噪声，提高图像质量[2-3]。目前图像增强方法主要有：直方图均衡化(Histogram Equalization，HE)、引导滤波(Guided Filtering)、同态滤波(Homomorphic Filtering，HF)、小波变换、多尺度几何变换等[4-7]。直方图均衡化运算速率快且能有效增大图像对比度，但图像局部的对比度提升能力弱，且会将不同的灰度级像素归为同一级，造成信息丢失。基于分块处理思想提出的自适应直方图均衡化(Adaptive Histogram Equalization，AHE)，能有效增强局部对比度，但同时噪声也会放大，限制对比度自适应直方图均化(Contrast Limited Adaptive Histogram Equalization，CLAHE)采用阈值对噪声进行限制，但图像细节无法得到增强。引导滤波是一种保持边缘的图像增强方法，可有效地增强图像边缘细节信息，但对噪声敏感[5]。HF可有效改善光照不均问题，但不能较好地增强图像边缘细节信息[8]。小波变换[4]具有时频局域化特点，可有效捕捉图像高频信息，在图像处理中得到广泛的使用，但小波变换只有3个方向，Contourlet(CT)可得到更多的方向，是种“正真”的图像二维表示方法，可有效捕捉图像各个方向的高频信息，但是其不具备平移不变性，存在频谱混叠现象，表现“吉布斯”效应[9]。NSCT在分解重构过程中继承了传统CT对图像表示的多方向性和各向异性，且具有传统CT不具备的平移不变性[10-11]。NSCT可以有效地增强图像的细节，但不能较好提升图像整体对比度。现有的基于NSCT增强的方法主要是先使用NSCT分解，对低频信息进行拉伸，再对高频信息进行增强，因此，若原图像对比度较低，则NSCT难以较好地捕捉边缘信息进而增强图像的细节信息[12-14]。

本文针对管道机器人探测图像光照不均、对比度低、细节模糊的特点，融合CLAHE、HF和NSCT各自的优点提出了一种组合的图像增强方法，根据Bayes-Shrink阈值提出改进的阈值，并采用人为评价和客观评价对其增强效果进行评价。

1 管道机器人探测

管道机器人探测技术又称CCTV(Closed Circuit Television，CCTV)探测技术，是目前最有效和最安全的管道探测手段。管道机器人主要由控制器、自动电缆盘、带高清晰度摄影成像的爬行车、存储器和伸缩控制杆等部件组成。管道机器人通过爬行车爬入管道内部，通过自带的摄影成像系统将管道内部情况实时显示于控制面板显示器，并通过存储器存储。管道机器人爬行车尺寸长310 mm×宽110 mm × 高90 mm，质量6 kg，最大防水深度10 m。其中摄像系统尺寸长168 mm×宽81 mm×高72 mm，质量1.5 kg，感光度1 Lux，水平分辨率460线，光学变焦10x，数码变焦12x，视角60°，LED照明。检测系统可显示并自动更新电缆校准点到摄像头间的距离，精度可达分米级。

近年来，广东省水利水电科学研究院开展了近百宗管道机器人探测，为各种管道工程复核计算和安全评价提供依据，为落实“河长制”保障水安全提供了技术支撑[1]。然而管道内由于光线昏暗，空气潮湿，大量颗粒悬浮等问题使得探测的图像普遍存在以下缺陷(图1)：a.管道内光线不足，其主要光源为管道机器人自带的LED灯，光照分布不均。当物体距光源较远时，光照度不足导致物体整体轮廓模糊，而距光源较近时，光照度过强产生镜面反射导致图像中出现亮白一片；b.管道机器人自带的LED灯与自然光成像明显不同，管道中悬浮颗粒会散射和吸收物体表面反射光，光照度明显不足，对比度低，细节模糊；c.图像呈灰、白和黑色，图像处理时，可利用色彩信息少。管道机器人探测图像缺陷严重影响输水涵管隐患评判与分析，危及管道安全运行。因此，为保障涵管探测分析结果可靠性，必须首先对管道机器人探测图像光照不均、对比度低、细节模糊的问题进行处理。

图1 典型管道机器人探测图像

2 基于图像融合和改进阈值的图像增强技术

为有效解决管道机器人获取的图像存在的光照不均、对比度低、细节模糊等问题，提出了一种基于图像融合和改进阈值的图像增强技术，该技术流程图如图2所示。其设计思路为根据管道机器人获取图像对光照不均和对比度较低的特点，首先融合了HF和CLAHE方法的优势，提高图像的对比度和亮度；其次根据Bayes-Shrink阈值提出改进的阈值，使用NSCT对图像进行噪声抑制；最后使用映射函数对图像细节进行增强。

图2 图像增强技术流程图

2.1 基于空域融合的对比度增强

进行对数变换，得到两个加性分量，即：

进行傅立叶变换，得到其对应的频率表示系数：

设计一个频率滤波器，进行频率域滤波操作，并进行傅立叶反变换，返回空域对数图像，取指数，即可得到空域结果图像。

CLAHE与普通自适应直方图均衡的主要不同在于其对比度限幅，为克服AHE的过度放大噪声的问题，在CLAHE中对每个小区域都进行了对比度限幅。虽然同态滤波和CLAHE都能提高图像的对比度，但是这2种方法各有优势，因此，本文提出对同态滤波和CLAHE的结果加权融合，公式如式(4)：

式中和分别为HF和CLAHE结果图像，和为融合加权系数，为融合结果图像，如图4所示。可知，空域融合图像包含了HF和CLAHE两种方法的优点，提高了图像的局部对比度也改善了亮度不均。

2.2 改进阈值函数

受探测环境限制，管道机器人获取的图像噪声较大，且CLAHE和HF在增强图像时会将噪声放大，需对图像进行去噪处理，NSCT是一种新型平移不变，多尺度、多方向性的快速变换，是基于非下采样金字塔(Nonsubsampled Pyramid，NSP)和非下采样方向滤波器(Nonsubsampled Directional Filter Band，NSDFB)的一种变换。其操作方法为首先采用NSP对输入图像进行塔形分解，得到高通和低通2个部分，然后使用NSDFB将高频子带分解为多个方向子带，低频部分继续进行如上分解。图像通过NSP进行多尺度分解减少了采样在滤波器中的失真，获得了平移不变性。NSDFB是一个双通道的滤波器，将分布在同方向的奇异点合成NSCT的系数。每个尺度下的方向子图的的大小都和原图同样大小。

在小波域中，假设小波系数服从广义高斯分布，Bayes-Shrink阈值[17]能获得接近于理想阈值的去噪效果。而图像经过NSCT变换后，其高频系数也符合广义高斯分布，故引入BayesShrink阈值：

噪声经过NSCT多层分解之后，其值逐渐衰减变小，而边缘细节的值经过多层分解后逐渐变大，因此，在NSCT域中，在不同尺度、不同方向的子带系数均有差异，所以对每一层均需采取不同的阈值。为此，提出了一种改进的阈值：

通过改进，可以更多地保留高层子带的系数，抑制底层子带的噪声，有助于增强图像的清晰度。

2.3 细节增强

由于CLAHE和HF不能较好地对图像细节进行增强，通过NSCT高频系数操作可实现图像细节的增强。为便于NSCT对图像细节的提取和增强，首先对图像对比度进行了有效的增强。由于NSCT可有效地捕捉图像每个方向的细节，故仅需对细节系数进行合理地调节，即可获得理想的结果。

NSCT高频系数可分为3种：噪声系数、弱边缘系数和强边缘系数。噪声系数绝对值相对较小，需对其进行抑制，采用本文改进的BayesShrink噪声阈值对其进行简单的置零操作即可抑制噪声；弱边缘系数绝对值大小适中，对其进行适当的放大，则可有效地增强弱边缘；强边缘系数绝对值相对较大，不需要进行增强处理，直接保留。细节增强操作可表示为：

3 实验

3.1 实验设置

为验证提出的基于图像融合和改进阈值的管道机器人探测图像增强技术的有效性，选取5幅典型管道机器人探测图像，分别编号为P1、P2、P3、P4和P5，并将本文方法与4种图像增强方法(HE、CLAHE、HF和文献[14]中的方法)进行对比实验，其中文献[14]中的方法为一种目前最新的图像增强方法。操作平台为Windows 7，内存为16 GB，编程软件为Matlab2016a。本文方法和文献[14]中的方法使用的方向滤波器为“dmaxflat7”，金字塔滤波器使用的是“maxflat”。通过多次参数设定测试，将同态滤波中滤波器的截止频率设定为80 Hz，高频增益设置为2.2，低频增益设定为0.5，锐化系数设定为1.6；同态滤波和CLAHE的融合参数1和2分别设置为0.4和0.6。管道机器人探测图像为彩色的，故分别对图像的RGB三个通道进行增强处理。

3.2 实验结果与分析

管道机器人探测原图像与采用5种方法增强后的图像如图5—图9所示。可知：HE虽然增强了整体对比度但不能较好地增强局部对比度；CLAHE方法可有效地增强局部的对比度；HF可以提高图像的整体和局部对比度，但是其没有CLAHE对局部对比度提升的好；文献[14]虽然增强了图像的细节，但是对图像的对比度没有太大的提升；本文方法结合了HF、CLAHE和NSCT的优势，可有效地提高图像的整体和局部对比度，并有效地增强图像的细节。

图5 P1原图及不同方法的增强图像结果对比图

图6 P2原图及不同方法的增强图像结果对比图

图7 P3原图及不同方法的增强图像结果对比图

图8 P4原图及不同方法的增强图像结果对比图

3.3 增强评价

目前图像增强的评价方法主要有人为评价和客观评价2种方法。人为评价是通过人眼的直观感受对增强结果进行评价，本次邀请了10位评价者，凭借人类视觉感知对5种增强方法进行打分，分数从0.1~1.0按0.1的梯度从低到高分为10个等级，分数越高说明图像增强效果越好，根据评分结果剔除差异性较大的样本，取剩余样本的平均值作为管道机器人探测图像增强主观评价结果，不同方法增强图像平均主观质量分数如表1所示。可知，本文提出的方法对管道机器人探测图像增强主观评价分数最好，增强效果最好。

图9 P5原图及不同方法的增强图像结果对比图

人为评价具有一定的可信度，但易受个人主观因素的影响，为增强评价结果可靠性，对5种增强方法处理的管道机器人探测图像进行客观评价。客观评价方法为信息熵评价法和对比度增加指数评价法，信息熵[18]计算公式为

对比度增加指数[5]计算公式为

5种方法增强图像信息熵和对比度增加指数的值如表1所示。从表1可知，CLAHE信息熵较高，说明图像中包含了更多的信息；HE信息熵较低，包含的信息较少；文献[14]的方法只对细节进行增强，因此，其信息熵也较低；HF虽然可以消除光照不均，但在提升图像对比度上并没有太大的优势；本文方法充分使用了CLAHE、HF和NSCT方法的优势，有效地提升局部对比度和细节信息，因此信息熵较高，包含的细节信息最多。HE、CLAHE和本文方法在对图像对比度增强上效果较好，本文方法对比度增加值最高，图像最容易辨识。

表1 不同方法图像增强效果评价参数表

注：S1为平均主观质量分数；S2为信息熵；S3为对比度增加指数。

4 结论

a.针对管道机器人探测图像普遍存在的光照不均、对比度低和细节模糊等问题，提出了一种适用于管道机器人探测图像的增强方法。

b. 提出的图像增强方法平均主观质量分数、信息熵和对比度增加指数均明显优于实验采用的其他方法，对比度增加值最高、细节信息最丰富，增强后的图像最容易辨识。

c. 提出的图像增强方法能有效解决管道机器人探测图像存在的主要问题，为隐患探测、图像识别提供有效的解决方案，但该方法目前亦存在系数跳跃可能造成结果震荡以及只能在增强的同时抑制高斯白噪声等不足之处。

[1] 徐云乾. CCTV和三维激光扫描技术在水利工程输排水管道隐患探测中的应用[J]. 中国农村水利水电，2014(3)：68–70. XU Yunqian. The application of CCTV and 3D laser scanning technology in the detection of hidden dangers of drainage pipeline in water conservancy engineering[J]. China Rural Water and Hydropower，2014(3)：68–70.

[2] GUO X，LI Y，LING H. LIME：Low-light image enhancement via illumination map estimation[J]. IEEE Transactions on Image Processing a Publication of the IEEE Signal Processing Society，2017，26(2)：982–993.

[3] LIU H，LU H，ZHANG Y. Image enhancement for outdoor long-range surveillance using IQ-learning multiscale Retinex[J]. Iet Image Processing，2017，11(9)：786–795.

[4] KAUR A，SINGH C. Contrast enhancement for cephalometric images using wavelet-based modified adaptive histogram equalization[J]. Applied Soft Computing，2017，51：180–191.

[5] 李阳，常霞，纪峰. 图像增强方法研究新进展[J]. 传感器与微系统，2015，34(12)：9–12. LI Yang，CHANG Xia，JI Feng. New progress of research on image enhancement method[J].Transducer and Microsystem Technologies，2015，34(12)：9–12.

[6] GHARBI M，CHEN J，BARRON J T，et al. Deep bilateral learning for real-time image enhancement[J]. ACM Transactions on Graphics，2017，36(4)：118.

[7] WANG Y，PAN Z. Image contrast enhancement using adjacent-blocks-based modification for local histogram equalization[J]. Infrared Physics & Technology，2017，86：59–65.

[8] VOICU L I. Practical considerations on color image enhancement using homomorphic filtering[J]. Journal of Electronic Imaging，1997，6(1)：108–113.

[9] YANG L，XIA C，CHANG J. Image edge detection based on gaussian mixture model in nonsubsampled contourlet domain[J]. Journal of Electrical and Computer Engineering，2016(10)：1–10.

[10] HEPSIBAH K，HEAVEN M S，SARAVANAN M. Image enhancement based on nonsubsampled contourlet transform using matrix factorization techniques[J]. International Journal of Computer Applications，2015，123(6)：35–38.

[11] 闫利，向天烛. NSCT域内结合边缘特征和自适应PCNN的红外与可见光图像融合[J]. 电子学报，2016，44(4)：761– 766. YAN Li，XIANG Tianzhu. Fusion of infrared and visible images based on edge feature and adaptive PCNN in NSCT domain[J]. Acta Electronica Sinica，2016，44(4)：761–766.

[12] 周飞，贾振红，杨杰，等. 基于NSCT和改进模糊的遥感图像增强方法[J]. 计算机工程与应用，2017，53(15)：206–209. ZHOU Fei，JIA Zhenhong，YANG Jie，et al. Enhancement method of remote sensing image based on NSCT and improved fuzzy contrast[J]. Computer Engineering and Applications，2017，53(15)：206–209.

[13] 吴一全，史骏鹏. 基于多尺度Retinex的非下采样Contourlet域图像增强[J]. 光学学报，2015，35(3)：79–88.WU Yiquan，SHI Junpeng. Image enhancement in non-subsampled Contourlet transform domain based on multi-scale Retinex[J]. Acta Optica Sinica，2015，35(3)：79–88.

[14] 王峰，程咏梅. 基于MSSTO与NSCT变换的可见光与红外图像增强融合[J]. 控制与决策，2017，32(2)：269–274. WANG Feng，CHENG Yongmei. Visible and infrared image enhanced fusion based on MSSTO and NSCT transform[J]. Control and Decision，2017，32(2)：269–274.

[15] XIAO L，LI C，WU Z，et al. An enhancement method for X-ray image via fuzzy noise removal and homomorphic filtering[J]. Neurocomputing，2016，195：56–64.

[16] 肖进胜，单姗姗，段鹏飞，等. 基于不同色彩空间融合的快速图像增强算法[J]. 自动化学报，2014，40(4)：697–705. XIAO Jinsheng，SHAN Shanshan，DUAN Pengfei，et al. A fast image enhancement algorithm based on fusion of different color spaces[J]. 2014，40(4)：697–705.

[17] HE H，LEE W J，LUO D S，et al. Insulator infrared image denoising method based on wavelet generic gaussian distribution and map estimation[J]. IEEE Transactions on Industry Applications，2017，53(4)：3279–3284.

[18] 付晓薇，丁明跃，周成平，等. 基于量子概率统计的医学图像增强算法研究[J]. 电子学报，2010，38(7)：1590–1596. FU Xiaowei，DING Mingyue，ZHOU Chengping，et al. Research on image enhancement algorithms of medical images based on quantum probability statistics[J]. Acta Electronica Sinica，2010，38(7)：1590–1596.

A pipeline robot detection image enhancement method based on image fusion and improved threshold

YUAN Mingdao1, TAN Cai1, LI Yang2, XU Yunqian1, ZHANG Xuhui1, YANG Jingxue1

(1. Guangdong Research Institute of Water Resources and Hydropower, Guangzhou 510610, China;2. Department of Computer Science and Engineering, Tianjin University of Technology, Tianjin 300384, China)

Pipeline robot detection technology can quickly, accurately and intuitively identify the structure and hidden functional troubles of pipeline. However, due to the restriction of the pipeline environment, the detected images have problems such as uneven illumination, low contrast and blurred details. Therefore, an enhancement technique for detected image of pipeline robot is proposed. First, the contrast limited adaptive histogram equalization(CLAHE) and homomorphic filtrate(HF) are applied to deal with the problem of uneven illumination and low contrast, and the result images of the two methods are fused. Secondly, the fusion images are transformed by the Nonsubsampled Contourlet Transform(NSCT), and the improved Bayes-Shrink threshold is used to remove the noise of the high frequency coefficient. Finally, the nonlinear mapping function is used to enhance the details, and the NSCT inverse transform is used to get the final enhanced image. In order to verify the effectiveness and superiority of the method for pipeline robot detection image, 5 typical pipeline robot detection images were selected and enhanced by this method, and compared with 4 common image enhancement technologies. The results show that image enhancement method for pipeline robot detection image by using image fusion and improved threshold can effectively improve the overall and local contrast image, and effectively enhance the image details. It can solve the main problems in pipeline robot detected image effectively.

pipeline robot; image fusion; nonsubsampled contourlet transform(NSCT); homomorphic filtering(HF); contrast limited adaptive histogram equalization(CLAHE)

TP751

A

10.3969/j.issn.1001-1986.2019.04.027

1001-1986(2019)04-0178-08

2018-08-25

深圳市水务发展专项资金科技创新基金项目(20170103)；国家自然科学基金项目(41401485)；广东省水利科技创新基金项目(2014-09)

Water Resource Science and Technology Innovation Program of Shenzhen(20170103)；National Natural Science Foundation of China(41401485)；Water Resource Science and Technology Innovation Program of Guangdong Province，China(2014-09)

袁明道，1972年生，男，博士，教授级高级工程师，研究方向为水工结构. E-mail：gzymd@qq.com

袁明道，谭彩，李阳，等. 基于图像融合和改进阈值的管道机器人探测图像增强方法[J]. 煤田地质与勘探，2019，47(4)：178–185.

YUAN Mingdao，TAN Cai，LI Yang，et al. A pipeline robot detection image enhancement method based on image fusion and improved threshold[J]. Coal Geology & Exploration，2019，47(4)：178–185.

(责任编辑 聂爱兰)