基于OTSU和区域生长的电厂管道缺陷检测与分割

彭道刚，尹 磊，戚尔江，胡 捷，杨晓伟

基于OTSU和区域生长的电厂管道缺陷检测与分割

彭道刚1，尹 磊1，戚尔江1，胡 捷2，杨晓伟3

（1. 上海电力大学 自动化工程学院，上海 200090；2. 宝山钢铁股份有限公司电厂，上海 201900；3. 上海宝信软件股份有限公司，上海 201203）

针对电厂高温管道红外图像背景复杂、干扰较多的特点，结合电厂巡检机器人系统对图像处理算法的需求，提出了基于改进二维最大类间方差法（OTSU）和区域生长法的电厂高温管道缺陷定位与分割方法。将红外图像灰度化后，通过改进二维OTSU进行预分割，提取出管道区域；基于管道区域灰度直方图，结合邻域灰度均值，实现多种子点的自动检测与定位；采用基于生长区域灰度均值和标准差的自适应阈值以及基于Prewitt算子的梯度幅值改进的生长准则完成缺陷区域的分割。实验证明，所提算法不仅能实现电厂高温管道多缺陷自动检测与定位，而且能精确地提取出缺陷区域，准确性高且具有良好的实时性。

电厂巡检机器人；红外图像；高温管道缺陷分割；改进二维OTSU；改进区域生长法

0 引言

电厂中分布着大量的高温高压蒸汽管道，一旦因管道缺陷发生高温高压蒸汽泄漏，后果不堪设想。电力巡检作为保障电厂安全生产的重要手段，主要是通过人工手持红外热像仪完成高温管道的“跑冒滴漏”检测。然而，人工巡检存在耗时长、标准化程度低、易出现误检和漏检等问题，巡检效率较低[1]。

随着智慧电厂建设的推进，通过搭载红外热像仪等设备的巡检机器人代替人工完成巡检任务，正在成为保障电厂安全生产的趋势[2]。相比于输配电网，电厂属室内环境，采集到的高温管道红外图像具有对比度低、背景复杂等特点。因此，需要机器人通过具有更高鲁棒性和准确性的图像分割和识别算法来实现电厂高温管道的缺陷自动定位与提取。

电厂高温管道出现早期缺陷时，在红外图像中表现为缺陷点附近局部区域温度快速升高[3]，且缺陷区域联通、区域内像素灰度特性相似，因此可基于区域生长法对其进行检测与分割。区域生长法是一种简单且计算速度快的目标分割与识别算法，可将图像中具有相同特征的区域分割出来并保留清晰的边界轮廓信息[4]。近年来，很多专家学者针对不同的应用场景，对传统的区域生长法进行了改进。M. M. S Jain Preetha等[5]基于纹理特征对区域生长结果进行修正，并成功应用于医学图像处理中。彭双等[6]提出了一种基于改进迟滞阈值生长法与模糊连接度相结合的肺气管树分割方法。B. Senthilkumar等[7]基于Harris角点检测对种子点选取方式进行改进，并应用于乳腺癌的诊断中。Song Lixin等[8]针对乳房肿块图像进行分析，提出基于图像梯度值的改进生长准则。倪豪等[9]综合使用最大类间方差（OTSU）、区域生长法实现了超声图像缺陷分割。李小磊等[10]采用基于滑动滤波和自动区域生长的方法对陶瓷瓦片表面裂纹进行检测和提取。施兢业等[11]提出了基于邻域均值最大像素和Sobel算子的改进区域生长法，并将其应用于电力设备的红外图像分割。但上述相关算法普适性较差，无法满足电厂巡检机器人完成高温管道缺陷检测的需求。

本文针对以上问题，提出了基于改进二维OTSU和区域生长法的电厂高温管道缺陷定位和分割方法。首先，通过灰度化处理和改进二维OTSU预分割，将管道设备从背景区域中提取出来；在此基础上，利用改进多种子区域生长法实现电厂高温管道多个缺陷区域的自动定位与分割。通过实验，验证了本文方法的有效性和准确性，算法可应用于电厂智能巡检机器人的后台图像处理系统中，实现电厂高温管道缺陷自动预警，方便故障的排除。

1 总体方案设计

电厂智能巡检机器人主要通过对采集到的设备红外图像进行分析，实现高温管道设备缺陷的早发现、早预警。

本文重点着眼于其中图像分析与处理程序的算法设计，提出一种基于改进二维OTSU和区域生长法的电厂高温管道缺陷定位与分割方法。算法的基本步骤如下：

1）原始红外图像灰度化；

2）图像预分割：通过改进二维OTSU阈值分割，将管道设备区域从电厂复杂背景中提取出来；

3）求取管道正常温度对应的灰度值：由于管道中大部分区域温度正常，故通过求取预分割后图像的灰度分布直方图，找到直方图中除灰度为0时的峰值所对应的灰度值*，以此值代表管道正常温度对应的灰度值；

4）基于改进区域生长法的缺陷检测：找到灰度邻域均值最大的像素点位置，判断该像素点灰度max与*＋(＞0)的大小，其中为正常灰度波动阈值，若max＞*＋，则证明存在缺陷，且该像素点为缺陷中心；将该点作为一个生长点，基于生长准则完成该区域的生长，并将预分割图像中对应生长区域的像素值设为0；

5）重复上一步，直至检测到所有缺陷区域中心，即已没有符合以上条件的生长点；

6）基于改进生长准则完成所有缺陷区域的分割与提取。

缺陷检测系统流程图如图1所示。

图1 缺陷检测系统流程图

2 基于改进二维OTSU的管道预分割

红外热像仪拍摄的图像是以伪彩色形式表示物体表面温度分布的图，其本质是灰度图像，温度越高的区域灰度值越大[12]。因此，为便于缺陷区域提取，将采集的红外图像转化成灰度图像。此外，为减少背景干扰、求出管道温度正常状态下的灰度范围，为后续区域生长种子点的选取创造有利条件，本文基于改进二维OTSU算法对电厂高温管道灰度图像进行预分割，实现管道设备区域的提取。

OTSU即最大类间方差法，主要包括一维OTSU和二维OTSU两种。由于一维OTSU算法仅考虑到像素点本身的灰度信息，而未考虑其周围像素点的影响，故较易造成误分割[13]。二维OTSU在其基础上引入了像素的位置信息[14]。由像素点自身灰度值与其邻域平均灰度值两个量共同作为该像素点的属性和分割的参考量，可靠性更高。但传统二维OTSU中依然存在以下问题：①联合概率密度的计算未体现灰度级大小的信息[15]；②仅保证了目标与背景的类间方差最大，未考虑类内的内聚性，故易受噪声干扰，导致求得的阈值不合理[16]。

针对以上问题，改进后的二维OTSU的原理为：在×的灰度图像中，通过坐标点(,)定义图像的像素点，每个像素点的灰度值由(,)表示，同时用表示原灰度图像的3×3邻域平滑图像，即像素点(,)的邻域平均灰度值用(,)表示，两幅图像的灰度级均为（一般为256）。

因此，可将图像中任一像素点由一个二元组(,)表示，其中和分别表示(,)和(,)，且0≤≤－1，0≤≤－1[17]。传统二元组的联合概率密度为：

式中：C为图像中二元组(,)出现的频数。

在此基础上，补充考虑灰度级大小的信息，得改进后的联合概率密度为：

改进的联合概率密度更详细全面地描述了图像的信息，使得目标和背景的差别增大，有利于得到更合理和理想的阈值，提高分割精确度。

然后，在由图像灰度(－1)×(－1)定义的正方形区域中建立二维直方图，如图2所示。设(,)为阈值点，并以此将整个二维平面切成4个部分，对角线上的区域1,3分别代表图像的目标和背景，而远离对角线的区域2,4则代表图像中的噪声等其他干扰因素。

二维OTSU的核心就是找到一组合适的阈值(*,*)，使得图像分割效果达到最佳。

图2 二维直方图

将目标区域1记为0，背景区域3记为1，则目标和背景出现的概率分别为：

目标和背景区域对应的均值矢量为：

则二维直方图总的均值矢量为：

由此可得，两区域的类间方差2为：

为进一步提高分割精度，引入类内方差对传统二维OTSU加以改进，类内方差是用以衡量背景和目标区域内聚性的指标，类内方差越小，分割结果越精确。两区域的类内方差分别为：

则两区域的类内方差为：

2(,)＝0i0＋0j0＋1i1＋1j1(10)

要使类内方差尽可能小、类间方差尽可能大，则改进阈值公式为：

(,)＝2(,)/2(,) (11)

即当(*,*)＝max{(,)}时，对应的(*,*)便是最佳阈值。通过引入类内方差，算法的抗噪性得到提升。

本文中，应用二维OTSU的目的是从复杂背景中提取管道区域。因此，预分割后的图像需保持管道设备区域灰度值不变，背景像素点灰度值置为0，若设预分割结果图像为¢，则：

3 基于改进区域生长法的缺陷检测与分割

在电厂中，高温管道缺陷在红外灰度图像上通常表现为灰度值由缺陷中心向周围区域不断降低的连通区域。此外，电厂管道分布错综复杂，同一场景下可能存在一个或多个缺陷。因此，要求算法不仅适用于连通区域的检测与提取，而且要能够实现多缺陷的自动检测。

区域生长法的优点在于简单、计算速度快，特别是不需要先验知识的帮助，也可得到较好的分割结果[4]。传统区域生长法基本流程图如图3所示。

在区域生长法的实际应用中，关键问题在于种子点选取方式和生长准则的确定[18]。针对本文所研究的问题，自动、准确地确定种子点的位置和个数是正确高效地检测和定位高温管道上所有缺陷的关键，生长准则的可靠性和稳定性则是影响缺陷分割精度的关键。传统区域生长法中，种子点一般通过人工选定，工作强度大，检测效率低[8]；生长准则通常是依据固定阈值或相关统计参数进行构建，灵活性差，无法满足本文需求。因此，本文分别从种子点选取与生长准则两个方面做如下改进。

图3 区域生长法流程图

3.1 多种子点自动选取

结合电厂高温管道红外图像缺陷区域的特征，针对预分割后的图像，提出基于灰度直方图和邻域平均灰度值的改进多种子点自动选取方法，实现同一场景中多缺陷区域的自动检测和定位。

本文多种子点自动选取的基本步骤为：

1）绘制预分割图像的灰度直方图，求除灰度值为0（即背景区域）外的直方图峰值所对应的灰度值*，即管道区域中像素点数量最多、占比最高的灰度值，将∈(*,*＋)作为管道正常温度区域的灰度范围，其中为正常灰度波动阈值，其计算公式为：

＝*×(13)

式中：为常系数，本文中取1.4。

2）遍历图像中的像素点，求出5×5邻域平均灰度值最高的像素点坐标，将其灰度值记为max；

3）若max＞*＋，则该像素点为管道缺陷的中心点，即可将其作为种子点，在预分割图像中依据生长准则完成该区域的生长，并将生长区域的灰度值置为0，其他区域灰度保持不变。

4）将上一步的输出图像作为输入图像，重复步骤2），直至不满足3）中判断条件，找到所有种子点为止。

本文多缺陷点自动选取流程图如图4所示。

3.2 改进的生长准则

传统的区域生长法一般采用固定阈值作为生长准则，需要针对不同的图片人工调整阈值，才能获得比较精确的分割区域，工作量大，无法适应不同场景、不同程度的管道缺陷。因此，本文采用基于生长区域灰度均值和标准差的自适应阈值作为生长准则[11]，同时提出基于Prewitt算子的梯度幅值作为附加生长条件。

图4 多种子点自动选取流程图

3.2.1 基于灰度均值和标准差的自适应阈值

式中：(,)为内的像素点灰度值；为中的像素点总数。

基于已生长区域的灰度均值与标准差对预设阈值a做相应的调整，计算其灰度变化自适应阈值a*为：

式中：a为反映生长条件苛刻程度的预设量。

经改进的生长准则可根据缺陷实际情况进行阈值自适应调整，灵活性得到提高，从而有效避免采用固定阈值时易出现的过分割或欠分割现象。

3.2.2 基于Prewitt算子的附加生长条件

因高温管道缺陷边缘处灰度值变化较大，即边缘像素点梯度幅值较大，故考虑基于梯度边缘检测算子进一步完善上述生长准则。Prewitt梯度算子在垂直、水平和对角线方向像素点的权重相等，满足本文问题研究需求，且结构简单，计算速度快[19]。因此，本文通过Prewitt算子计算种子点和邻域像素点的梯度幅值差，将其与设定阈值0比较，以此作为附加条件加入到生长准则中。

根据Prewitt算子，对如图5所示图像的3×3邻域做加权差分。

图5 像素3×3邻域图

中心点(,)沿方向上的梯度幅值为：

G(,)＝[(－1,＋1)＋(,＋1)＋

(＋1,＋1)]－[(－1,－1)＋

(,－1)＋(＋1,－1)] (18)

中心点(,)沿方向上的梯度幅值为：

G(,)＝[(－1,－1)＋(－1,)＋

(－1,＋1)]－[(＋1,－1)＋

(＋1,)＋(＋1,＋1)] (19)

则梯度的幅值为：

设当前种子点的梯度幅值为(,)，待生长点的梯度幅值为(¢,¢)，阈值为0，则附加限定条件表示为：

附加的梯度幅值限定条件对缺陷区域边缘十分敏感，可有效避免因缺陷区域较小时边缘模糊导致的过分割现象发生。

综合以上两点，改进的生长准则为：

当所有种子点邻域像素不存在满足要求的像素点时停止生长，图像分割完毕。

由于有了附加生长准则，阈值a*可适当增大，即a可取较大值，以防止因灰度变化导致的欠分割现象。对于灰度级为[0,255]的图像，a的取值在[20,40]区间内较为合理，0的合理范围为[30,50]。

4 实验与结果分析

为验证所提基于改进二维OTSU和区域生长法的缺陷检测与分割方法的有效性，本文基于OpenCV4.1.0工具在Visual Studio 2015平台下采用C＋＋语言完成算法实现，并选取3幅不同场景、不同特点的电厂高温管道红外图像（见图6）进行缺陷检测。同时，采用人工选定种子点和固定生长阈值的传统区域生长法以及文献[10]中提出的自动区域生长法对实验图像进行缺陷检测和提取，对比验证本方法多种子点自动选取的准确性和缺陷区域分割的精确性。

实验所用电脑的配置为64位Windows 7操作系统，4GB内存，CPU型号为Intel Core i5-4200M，其主频为2.5GHz。

图6 电厂高温管道红外图像

图6为原始红外图像，(a)、(b)、(c)三幅图像中管道区域分别有1、2、4个明显的缺陷区域，可以看出(a)和(c)的背景较为复杂、干扰较多，且(c)的管道结构也比较复杂，(b)的图像背景环境虽然比较简单，但管道左侧部分边缘较为模糊。在实验中，设定初始生长阈值a＝30、梯度阈值a＝35，对实验图像依次完成灰度化、管道区域预分割以及多缺陷点的自动选取和缺陷区域提取，实验结果如图7所示。其中，(a1)～(a3)依次为3个场景的灰度图像、(b1)～(b3)为对应的管道预分割图像、(c1)～(c3)为(b1)～(b3)对应的灰度分布直方图（不包括灰度值为0时的数据）、(d1)～(d3)为缺陷区域的提取和分割结果。

图7 本文方法实验结果图

可以看出，针对对比度低、背景复杂、边缘模糊的电厂高温管道图像，基于改进二维OTSU的预分割方法可有效去除复杂背景干扰、提取出管道区域；基于灰度直方图求出管道正常灰度值分别为76、98、90。在此基础上，经改进后的区域生长法能够实现多缺陷区域的自动检测和定位，未出现误检，且分割结果良好，无明显的过分割或欠分割。

在采用传统区域生长法进行检测时，设定固定阈值与本文方法中初始生长阈值相等，即＝a＝30。传统区域生长法、文献[10]的自动区域生长法与本文算法缺陷分割效果的对比图如图8所示，将缺陷区域的大小用像素点个数表示，如表1所示。

本文方法与其他两种算法性能对比如表2所示。

图8 3种算法结果对比图

表1 缺陷区域像素点个数表

从图8和表1中可以看出，在使用传统区域生长法时，因采用固定阈值作为生长准则导致图8(b3)存在明显的欠分割现象，而缺陷边缘模糊则导致图8(b2)存在一定程度的过分割；在使用文献[10]提出的自动区域生长法时，无明显的欠分割或过分割，但图8的(c2)和(c3)中均出现了误检现象，抗噪性略差。同时，在实验过程中发现，当缺陷区域较小时，较难通过传统区域生长法精确的定位种子点。从表2中可以看出，本文算法在实时性上优于传统区域生长法，虽较文献[10]所提方法处理时间更长，但能够满足应用需求。

表2 算法性能对比表

综上所述，本文算法不仅可自主、高效地确定图中缺陷的个数和位置，节约人工选定缺陷点的时间，并且能够较为精确地分割出缺陷区域的大小和形状，不易出现欠分割或过分割，算法的可靠性和准确性得到验证。

5 结束语

根据电厂高温管道红外图像的特点，结合巡检机器人系统对图像处理算法的自主检测能力、准确性需求，本文提出了基于改进二维OTSU和区域生长法的电厂高温管道缺陷检测与提取方法。实验结果表明，本文方法能够实现不同背景、不同特点的电厂高温管道图像的多缺陷自动检测和定位，不易出现误检；并且，能够较为精确地分割出缺陷区域，不易出现欠分割或者过分割，准确性高且具有良好的实时性。需要补充的是，本文方法尚未集成到实际机器人系统中，结合硬件平台并应用于实时巡检系统是下一步的主要工作。

[1] 王丞浩. 基于物联网的电厂智能巡检系统移动端设计与实现[D]. 吉林: 东北电力大学, 2019.

WANG Chenghao. Design and Implement ofMobile TerminalPower Plant Intelligent Patrol System Based on IOT[D]. Jilin: Northeast Electric Power University, 2019.

[2] 华志刚, 郭荣, 汪勇.燃煤智能发电的关键技术[J]. 中国电力, 2018, 51(10): 8-16.

HUA Zhigang, GUO Rong, WANG Yong. Key technologies for intelligent coal-fired power generation[J]., 2018, 51(10): 8-16.

[3] 张燕东, 田磊, 李茂清, 等. 智能巡检机器人系统在火力发电行业的应用研发及示范[J]. 中国电力, 2017, 50(10): 1-7.

ZHANG Yandong, TIAN Lei, LI Maoqing, et al. Application and development of intelligent inspection robot system in thermal power plant[J]., 2017, 50(10): 1-7.

[4] 徐蔚波, 刘颖, 章浩伟. 基于区域生长的图像分割研究进展[J]. 北京生物医学工程, 2017, 36(3): 317-322.

XU Weibo, LIU Ying, ZHANG Haowei. Research progress in image segmentation based on region growing[J]., 2017, 36(3): 317-322.

[5] Jain Preetha M M S, Padmasuresh L, Bosco M J. Firefly based region growing and region merging for image segmentation[C]//2016(), 2016: 1-9.

[6] 彭双, 肖昌炎. 结合区域生长与模糊连接度的肺气管树分割[J]. 计算机工程与应用, 2016, 52(13): 201-205.

PENG Shuang, XIAO Changyan. Segmentation of pulmonary airway tree by combining region growing and fuzzy connectedness[J]., 2016, 52(13): 201-205.

[7] Senthilkumar B, Umamaheswari G, Karthik J.A novel region growing segmentation algorithm for the detection of breast cancer[C]//2010, 2010: 1-4.

[8] SONG L, LV Y, YANG B, et al. Segmentation of breast masses using adaptive region growing[C]//, Ifost, 2013: 77-81.

[9] 倪豪, 郑慧峰, 王月兵, 等. 基于自动种子区域生长的超声B图像缺陷分割方法[J]. 计量学报, 2018, 39(6): 878-883.

NI Hao, ZHEN Huifeng, WANG Yuebing, et al. Ultrasonic B image defect segmentation Method Based on automatic seeded region growing[J]., 2018, 39(6): 878-883.

[10] 李小磊, 曾曙光, 郑胜, 等. 基于滑动滤波和自动区域生长的陶瓷瓦表面裂纹检测[J]. 激光与光电子学进展, 2019, 56(21): 49-55.

LI Xiaolei, ZENG Shuguang, ZHENG Sheng, et al. Surface crack detection of ceramic tile based on sliding filter and automatic region growth[J]., 2019, 56(21): 49-55.

[11] 施兢业, 刘俊. 基于改进区域生长法的电力设备红外图像分割[J]. 光学技术, 2017, 43(4): 381-384.

SHI Jingye, LIU Jun. Metation based on modified region growing algorithm[J]., 2017, 43(4): 381-384.

[12] 胡淋波, 姚建刚, 孔维辉, 等. 基于红外图像的高压绝缘子串自动定位方法[J]. 红外技术, 2015, 37(12): 1047-1051.

HU Linbo, YAO Jiangang, KONG Weihui, et al. High voltage insulator string automatic location method based on infrared image[J]., 2015, 37(12): 1047-1051.

[13] 宋银龙. 基于二维Otsu和模糊聚类的图像分割的研究及应用[D]. 合肥: 合肥工业大学, 2012.

SONG Yinlong. Research and application of image segmentation based on two-dimensional otsu and fuzzy clustering[D]. Hefei: Hefei University of Technology, 2012.

[14] 倪伟传, 许志明, 刘少江, 等. 复杂环境下的自适应红外目标分割算法[J]. 红外技术, 2019, 41(4): 357-363.

NI Weichuan, XU Zhiming, LIU Shaojiang, et al. Adaptive Infrared Target Segmentation Algorithm in Complex Environment[J]., 2019, 41(4): 357-363.

[15] SHAO L, ZHANG Y, LI J, et al. Research on High Temperature Region of Infrared Pipeline Image Based on Improved Two-Dimensional-Otsu[J]., 2019, 39(5): 1637-1642.

[16] 彭启伟, 罗旺, 冯敏, 等. 改进二维Otsu法和果蝇算法结合的图像分割方法[J]. 计算机应用, 2017, 37(S2): 193-197.

PENG Qiwei, LUO Wang, FENG Min, et al. Novel method for image segmentation based on improved two-dimensional Otsu and fruit fly algorithm[J]., 2017, 37(S2):193-197.

[17] 周云燕, 杨坤涛, 黄鹰. 基于最小类内离散度的改进Otsu分割方法的研究[J]. 华中科技大学学报: 自然科学版, 2007, 35(2): 101-103. ZHOU Yunyan, YANG Kuntao, HUANG Ying. Improved Otsu thresholding based on minimum inner-cluster variance[J].: Natural Science Edition, 2007, 35(2): 101-103.

[18] HUANG C, LIU Q, LI X. Color image segmentation by seeded region growing and region merging[C]//2010, 2010: 533-536.

[19] YANG L, WU X, ZHAO D, et al. An improved Prewitt algorithm for edge detection based on noised image[C]//2011 4th, 2011: 1197-1200.

Power Plant Pipeline Defect Detection and Segmentation Based on Otsu’s and Region Growing Algorithms

PENG Daogang1，YIN Lei1，QI Erjiang1，HU Jie2，YANG Xiaowei3

(1.,,200090,;2.,201900,;3.,,201203,)

In this study, we consider the complex background and high interference that adversely affect infrared images of high-temperature pipelines in power plants and the requirements of image processing algorithms for inspection robot systems.We propose a high-temperature pipeline defect detection and extraction method based on an improved two-dimensional Otsu and region growth algorithms. After grayscale conversion, a2DOtsumethodwas used to extract the pipeline area. Based on the grayscale histogram of the pipeline region and the average gray value of the neighborhood, automatic detection and positioning of multiple sub-points were realized. The segmentation of the defect area wasaccomplished using two methods.The adaptive threshold was determined based on the gray mean and standard deviation values of the growth area,while thegrowth criterion was improved using the gradient amplitude of the Prewitt operator. The experimental results show that the proposed algorithm can not only realize the automatic detection and positioning of various defects in high-temperature pipelines of power plants, but it additionallysegments the defect regions more accurately with high accuracy and good real-time performance.

power plant inspection robot, infrared image, high temperature pipeline defect detection, improved two-dimensional OTSU, improved region growing algorithm

TP391.41

A

1001-8891(2021)05-0502-08

2020-08-16；

2020-10-24.

彭道刚（1977-），男，教授，博士，从事智能发电、能源互联网、电力巡检机器人研究。E-mail：pengdaogang@126.com。