基于深度学习和超分辨率重构技术的图像缺陷诊断算法

梁翀,李程启,张彬彬,吕学宾

基于深度学习和超分辨率重构技术的图像缺陷诊断算法

梁翀1,李程启2,张彬彬1,吕学宾3

1. 安徽继远软件有限公司, 安徽 合肥 230088 2. 国网山东省电力公司电力科学研究院, 山东 济南 250003 3. 国网山东省电力公司, 山东 济南 250003

虽然深度学习在图像检测领域取得了长足进步，但是由于变电站设备巡检图像背景复杂，导致了缺陷诊断面临一定的困难。本文提出了一种基于深度学习和超分辨技术的缺陷检测算法，一方面是锁定目标区域，聚焦检测设备，去除不相关的图像信息，大幅降低了图像有效信息的损失；另一方面是对检测设备进行超分辨率重建，提升分辨率，保证用于渗漏油缺陷检测的图像质量、像素信息的完整性。通过实验数据证明，该算法识别结果较其他算法有很大的提升，从而验证了该算法的优越性。

深度学习;超分辨率技术; 图像; 缺陷检测

充油设备是变电站常见的一次设备，对于变电站的安全运行具有重要的作用，要经受较长时间的露天暴露，再加上一系列外部因素，容易导致充油设备发生渗漏油现象。一旦发生渗漏油，严重的话就会引起供电中断从而影响整个电网的安全运行。目前通过深度学习[1,2]、图像识别技术[3,4]对充油设备渗漏油等缺陷图片进行图像识别处理，从而形成缺陷诊断。但目前由于充油设备种类较多，识别难度较大，传统的深度学习图像识别方法特征提取能力不足，导致充油设备渗漏油缺陷检测效果无法满足实际业务需求，本方案针对上述问题提出了一种结合超分辨率重建技术[5-7]深度学习技术的诊断识别算法策略，减少了大量不利于缺陷诊断的特征信息，而是直接关注于充油设备的感兴趣区域，大量减少一些无效信息。采用超分重构算法对充油设备图像进行重构，提升分辨率，保证用于渗漏油缺陷检测的图像质量，保证像素信息的完整性。实验数据证明，本文方法识别结果在算法精度上有很大的提升，因此本文的方法具有一定的可行性，具备推广应用价值。

1 超分辨率重建技术

超重建卷积神经网络（SRCNN）是率先尝试结合了卷积神经网络和超分辨率重建技术的各自优势，具体是利用双立插值法将输入的低分辨率图像尺寸变成目标尺寸大小，然后再利用卷积网络的非线性拟合能力去拟合低分辨率图像与高分辨率图像之间的非线性映射关系，最后将网络输出的结果作为重建后的高分辨率图像。

高效亚像素卷积神经网络（ESPCN）与SRCNN不同之处在于ESPCN舍弃了对输入的低分辨率图像进行上采样操作，因为ESPCN中引入一个亚像素卷积层结构，它间接对低分辨率图像尺寸进行扩大。此举最大的优势就是减少计算量，大大提高了重建效率。

虽然多数情况下使用均方差作为基于深度学习的重建技术的网络训练的损失函数，这容易导致重建后的图像容易出现高频丢失的现象。而生成对抗网络（GAN）中的鉴别器结构很好的处理了高频信息丢失的问题。超分辨率生成对抗网络（SRGAN）同样采用了生成式对抗网络，利用生成式对抗网络的竞争形式：判别器越来越擅长区分真实数据和生成数据，与此同时生成器不断学习从而让判别器更难区分。通过这样不断的生成-鉴别相互对抗的过程，使得生成器能够将给定的低分辨率图像复原为高分辨率图像。

2 基于深度学习的超分辨率重构图像诊断算法

本文提出的基于深度学习的超分辨率重构图像诊断算法，首先是利用基于Faster-RCNN深度学习算法实现对充油设备的完整性检测，即先检测出充油设备，缩小目标诊断范围；其次利用改进的基于超分辨率技术的对抗网络，对检测到的充油设备进行超分辨率重构，重构目的是提升待诊断图像分辨率，使得目标特征更加清晰，有利于后期缺陷诊断；最后结合基于Mask-RCNN网络的深度学习诊断算法，实现对充油设备的渗漏油缺陷检测。

2.1 Faster-RCNN的充油设备检测

首先采用Faster-RCNN深度学习网络实现对充油设备目标的完整性诊断。

在图1所示的深度学习架构中，输入端为原始变电站巡检视频图像，输出端为巡检图像的目标检测结果。其中输入图像通过深度卷积层提取高纬度特征图。Faster-RCNN[8,9]采用局部感受野技术对图像特征从底层到高层语义特征提取，并通过Softmax层进行图像特征分类，得出识别结果。

图 1 基于Faster-RCNN深度学习网络架构

2.2 改进的ESR-GAN的图像超分辨率重建

其次，对检测到的充油设备进行超分辨率重建提高图像分辨率。ESRGAN对SRGAN网络体系结构的两个关键组成部分：对抗损失和感知损失进行改进，将残差密集块（RRDB）中的残差作为基本的网络构建单元而不进行批量归一化。此外，借用相对论GAN的思想，让判别器预测相对真实性而非绝对值。最后，利用激活前的特征改善感知损失，为亮度一致性和纹理恢复提供更强的监控。

为了进一步提高SRGAN恢复图像质量，ESRGAN为生成器G的结构做了两个改进：1）去除掉所有的BN层。2）提出用残差密集块（RRDB）代替原始基础块，其结合了多层残差网络和密集连接，如图2所示：

图 2 生成器网络结构

除了改进生成器的结构，同时对判别器进行改进。不同于SRGAN标准的判别器D，估算一个输入图像真实和自然的可能性(图3)，相对判别器试图预测真实图像x比假图像x更真实的概率。

图 3 判别器改进策略

通过ESRGAN进行图像超分重构的效果图如图4所示：

图 4 充油设备重构前（左）后（右）对比样图

2.3 基于Mask-RCNN的渗漏油缺陷检测算法

最后，利用基于Mask-RCNN的神经网络实现对超分辨率重建后图像的渗漏油缺陷检测，如图5所示。Mask R-CNN首先通过RPN网络提取候选区域，其次平行于预测类别和坐标信息，对于每个感兴趣区域（RoI），Mask R-CNN再输出一个二值Mask即0或者1，对应的就是该值是否就是RoI对应的类别，这与当前大部分系统不一样，当前这些系统的类别分类依赖于Mask的预测。最后计算的也是一个二进制损失，最后在RoI上的整体损失是：分类损失、坐标回归损失以及Mask掩膜损失之和。同时沿袭了Fast R-CNN的一些特点，它将矩形框分类和坐标回归并行的进行，这么做很大的简化了R-CNN的流程。

图 5 Mask-RCNN的深度学习网络架构

通过该方法检测出充油设备的渗漏油缺陷，并将坐标映射到原图进行检出，检测结果如图6、图7所示。

图 6 充油设备上缺陷诊断示意图

图 7 原图上缺陷诊断示意图

3 实验结果分析

3.1 评价指标

本实验采用的测试标准为平均准确率均值（Mean Average Precision，MAP）、准确率（Precision）与召回率（Recall），准确率和召回率一一对应。准确率和召回率组成的P-R曲线下方面积越大，则算法性能越好；计算所有待测目标的AP均值，也就是MAP：

在MAP的计算过程中，检测评价函数（IOU）用于衡量预测窗口和标签窗口的重叠率，检测评价函数定义为：

在公式（2）中，Detection Result表示目标的预测窗口，Ground Truth表示目标的标签窗口，IOU=1说明预测窗口与标签窗口完全重叠。本文中，当检测结果的IOU>0.5时，表明检测结果是正确的。

3.2 对比实验分析

本文分别对Mask-RCNN直接原图检测、Mask-RCNN+充油设备（不加超分辨重构）检测和Mask-RCNN+充油设备（增加超分辨率重构）检测的识别效果进行实验对比，并划分800张充油设备渗漏油缺陷样本作为训练集，200张测试样本作为测试集，实验对比效果见表1。

表 1 检测方案效果比较

由分析表1，可以得出如下结论：（1）相比在原图上直接进行充油设备渗漏油缺陷的检测，在检测出充油设备的基础上再进行充油设备渗漏油诊断的效果较好，原因是由于图像信息更丰富、语义信息提取更充分，检测精度有明显提升；（2）相比Mask-RCNN+充油设备（不加超分重构），Mask-RCNN+充油设备（加超分重构）的检测策略通过超分重构提升了连接处提取出的图像的分辨率，图像信息明显提高，对检测精度的提升具有很好的促进作用。

4 结 语

为了提升检测精度，本文利用改进的超分辨率重建结合深度学习的检测诊断算法，通过先检测充油设备，再对充油设备进行超分辨率重建，在此基础上进行充油设备的渗漏油检测。减少了大量无效图像信息的特征提取工作，让网络专注于关键区域，大幅降低了图像有效信息的损失，保证关键像素信息质量。采用超分重构算法对充油设备图像进行重构，提升分辨率，保证用于渗漏油缺陷检测的图像质量，大幅缩减有效信息的损失，保证像素信息的完整性。实验数据证明，本文方法识别结果与其他算法有很大的提升，因此本文的方法具有一定的可行性。

[1] 李卫.深度学习在图像识别中的研究及应用[D].武汉:武汉理工大学,2014

[2] 丰晓霞.基于深度学习的图像识别算法研究[D].太原:太原理工大学,2015

[3] 张浩,王玮,徐丽杰,等.图像识别技术在电力设备监测中的应用[J].电力系统保护与控制,2010,38(6):88-91

[4] 程欣.基于深度学习的图像目标定位识别研究[D].成都:电子科技大学,2016

[5] 张良培.图像超分辨率重建[M].北京:科学出版社,2012

[6] 陈晓璇,齐春.基于低秩矩阵恢复和联合学习的图像超分辨率重建[J].计算机学报,2014,37(6):1372-1379

[7] Wu ZL, Wang HX. Super-resolution Reconstruction of SAR Image based on Non-Local Means Denoising Combined with BP Neural Network [J/OL]. Computer Vision and Pattern Recognition. arXiv:1612.04755[cs.CV]. 2016-03-14

[8] Chen XL, Gupta A. An Implementation of Faster RCNN with Study for Region Sampling [J/OL]. Computer Vision and Pattern Recognition. arXiv:1702.02138v2[cs.CV]. 2017-02-08

[9] 林刚,王波,彭辉,等.基于改进Faster-RCNN的输电线巡检图像多目标检测及定位[J].电力自动化设备,2019,39(5):220-225

A Defect Diagnosis Algorithm for Images Based on the Deep Learning and Super-resolution Reconstruction Technique

LIANG Chong1, LI Cheng-qi2, ZHANG Bin-bin1*, LV Xue-bin3

1.230088,2.250003,3.250003,

Although deep learning has made great progress in the field of image recognition, it is difficult to diagnose defects because of the complex background of the patrol image of substation equipment. In this paper, a defect detection algorithm based on deep learning and super-resolution technology is proposed. On the one hand, it locks the target area, focuses on detection equipment, removes irrelevant image information, and greatly reduces the loss of effective image information;on the other hand, super-resolution reconstruction is carried out to improve the resolution of the detection equipment, to ensure the image quality for oil leakage defect detection, and to ensure the integrity of the pixel information.The experimental data prove that the recognition results of the proposed image defect diagnosis algorithm based on deep learning and super-resolution reconstruction technology are greatly improved, which proves the superiority of the algorithm.

Deep learning; super resolution technique; image; defect detection

TP520.2060

A

1000-2324(2020)03-0510-04

10.3969/j.issn.1000-2324.2020.03.024

2018-11-24

2019-01-14

国家电网有限公司科技项目:人工智能图像识别技术在辅助输变电巡视中的应用研究(B26818180232)

梁翀(1992-),男,硕士,工程师,主要从事深度学习、图像识别、语音识别、AR/VR等技术在电力行业应用. E-mail:puzhengguo@sgitg.sgcc.com.cn

Author for correspondence. E-mail:857446812@qq.com