基于深度学习的GIS腔体内部异物分割*

郭民扬，钟羽中，赵 涛，佃松宜

(四川大学电气工程学院，成都 610065)

0 引言

气体绝缘金属封闭开关设备(gas insulated switchgear)由断路器、隔离开关、接地开关、变压器、避雷器、母线、连接器和出线终端等组成[1]。GIS设备因结构紧凑、占地面积小、安全性高等特点，在电力行业得到广泛应用，对于维持电力系统的正常运行起着重要作用。随着GIS设备用量的增长，GIS设备的故障率也在逐年增加。据统计，GIS设备最大故障比例是由电气设备制造、组装和运输过程中产生的异物引起的，甚至在检修过程中也会产生异物遗落[2]。GIS中遗留下来的异物如果不及时清理，会对GIS设备安全运行造成影响，尤其是异物放电引起绝缘击穿，严重时会影响到整个电力系统行业。传统GIS设备异物检测方法，主要有超声波检测法[3]、X射线检测法[4]等。机器视觉具有廉价、快速、高精度特点，采用视觉技术进行电气设备维修检测已经成为非常重要的发展方向。

随着深度学习和计算机视觉技术发展，出现了很多深度学习图像分割算法，如FCN[5]、U-Net[6]、SegNet[7]、PSPNet[8]、DeepLab[10-13]系列等。同时也有不少研究将语义分割用于异物缺陷检测中。如杨永娇等[14]通过改进FCN用于绝缘子缺陷检测，张宏伟等[15]将U-Net网络用于衬衫缺陷检测。此外，赵鹤等[16]针对金属表面缺陷噪声大、对比度低以及缺陷尺寸差别大问题，设计一种注意力机制网络，下采样融合残差块构成全卷积网络；上采样利用位置注意力将权重图与特征图融合进行结果预测，提高了检测精度。然而传统的卷积操作在彩色图像处理中很少关注像素通道之间关系，它们更倾向于对彩色图像分通道处理，从而忽略了颜色通道之间色彩相关性。同时，在GIS腔体中，内部环境封闭，存在光照不均匀和光照强反射现象，容易造成算法对异物的检测精度下降。

针对传统卷积忽略像素通道之间空间关系、GIS腔体强反射造成的异物轮廓分割不准确、网络参数量大问题，为了实现轻量、准确的异物轮廓分割，本文提出一种融合四元数、Gabor滤波的改进DeepLabV3+网络进行GIS腔体异物检测，该算法有效保留了像素色彩通道间相关独立性，通过Gabor滤波器从图像上提取到了多方向、多尺度的特征以及Gabor滤波对光的不敏感性[17]，有效地缓解了GIS腔体环境光照不均匀造成的异物强反射现象。

1 算法的理论基础

1.1 四元数

HAMILTON[18]提出的四元数，作为一种超复数，相对于复数集合组成二维空间，四元数集合组成四维空间。因此，四元数可以形象直观地描述三维空间中的旋转。由于四元数的这种性质，它被广泛应用在计算机图形学、信号处理与机器人等领域中[19]。

四元数定义如下，它由1个实部以及3个虚部组成：

q=r+xi+yj+zk

(1)

式中，r、x、y、z是实数；i、j、k是满足下列关系的虚数运算符：

i2=j2=k2=ijk=-1

(2)

式(2)又可以写成：

(3)

RGB彩色图像可以看作一个实部为0的纯四元数矩阵。

Q=0+Ri+Gj+Bk

(4)

彩色图像通过四元数表示，在对四元数整体处理时，避免分通道处理，保留原图像的颜色信息和各颜色通道的相关性。

1.2 四元数卷积神经网络

传统的卷积神经网络通过正向卷积计算预测输出，利用反向传播调整卷积核，使得预测输出接近真实目标。但是，传统的实值卷积神经网络采用独立卷积核分通道卷积。一个好的模型，应该有效地编码输入特征的局部关系与结构关系。以四元数形式存在的特征，四元数卷积保持了颜色空间的独立性，并自然地处理通道之间的耦合。

两个四元数的乘法采取哈密顿积的形式：

Q1⊗Q2=(r1r2-x1x2-y1y2-z1z2)+
(r1x2+x1r2+y1z2-z1y2)i+
(r1y2-x1z2+y1r2+z1x2)j+
(r1z2+x1y2-y1x2+z1r2)k

(5)

因此，将哈密顿积计算式(5)嵌入到卷积计算中，即可得到四元数卷积过程：

(6)

为了便于计算，以矩阵计算的方式来表达式(5)、式(6)组成的卷积操作，其中Y、W、X分别为输出矩阵、权重矩阵和输入矩阵：

(7)

此外，相比于实值卷积神经网络，四元数卷积神经网络需要的网络参数更少[20]，图1表明实值神经网络与四元数神经网络的计算不同。

图1 两种神经网络计算过程

在实值神经网络中，4个输入神经元生成4个输出神经元，需要4×4=16个权重参数；而在四元数神经网络中，1个四元数输入神经元与1个四元数权重通过哈密顿积在输出神经元中每个分量都有权重的4个分量参与，所以仅仅需要4个参数。因此相比实值神经网络，在不改变神经网络规模(网络层数、神经元数量)情况下，四元数神经网络的参数规模是实值神经网络的1/4。

1.3 四元数Gabor卷积滤波器

Gabor滤波器是一个经典的特征描述符[21]。作为一种可调制滤波器，它可以提取多尺度、多方向的纹理特征，Gabor由于这种可调制属性以及对光的不敏感性，广泛用于人脸识别中。但是传统Gabor滤波器仍然是在图像上进行分通道处理。结合四元数表征的Gabor滤波器综合了四元数处理彩色图像的特点，又具有提取多尺度多方向特征的优势[22]。四元数Gabor滤波器[23]的形式如下：

(8)

式中，θ为方向参数；λ和γ为尺度参数，通过设置不同参数可以提取不同方向、尺度特征图。

2 QG-QDeepLabV3+

针对GIS腔体异物分割，基于DeepLabV3+算法，本文提出QG-QDeepLabV3+算法。DeepLabV3+中的空洞卷积和空间金字塔池化层，以不同扩张率空洞卷积得到不同感受野的特征图，对小目标识别效果好，适合用来分割GIS腔体中的金属等其他异物。

QG-QDeepLabV3+网络由两部分组成，图2为网络结构图。第1部分是在DeepLabv3+上引入四元数改进编解码结构QDeepLabV3+，用于彩色图像处理，保留色彩通道间相关性；第2部分是结合四元数Gabor滤波器引入的Quaternion Gabor Attention机制，通过Gabor对光不敏感特性，在原图上提取多方向、多尺度的特征来增强腔体异物边缘的分割效果。

图2 QG-QDeepLabV3+网络结构

2.1 QDeepLabV3+

由于MobileNet-V2[24]不仅采用深度可分离卷积策略，同时MobileNet-V2作为主干网络具有更少的参数量，更高的计算速度，在异物分割实时性上更有优势。所以本文选取MobileNet-V2当做算法的主干网络。MobileNet-V2在原始图像上进行低层和深层特征提取，对深层特征使用空间金字塔池化模块(atrous spatial pyramid pooling，ASPP)提取4个不同膨胀率特征和一个池化特征，对5个特征图进行融合，使用一个1×1的卷积调整通道。深层特征有强大的语义信息，浅层特征拥有丰富的细节信息。低层特征经1×1卷积通道调整与处理过的深层特征进行堆叠，利用3×3卷积进行融合，最后采用双线性插值方法进行四倍上采样得到与原图大小相同的预测结果。

将DeepLabV3+中的卷积操作与四元数结合，卷积采用式(7)计算。在不改变网络规模(网络层数、神经元数量)情况下最大程度保留图像色彩通道间相关性，进一步减少网络参数，减缓内存压力。

2.2 深度可分离四元数卷积

在DeepLabV3+中采用深度可分离卷积策略，可以减少计算量和参数量。对于提出的QDeepLabV3+，特征是以四元数形式存在，无限制分离会破坏四元数数据之间的相关性，因此引入了深度可分离四元数卷积(depthwise separable quaternion convolution)策略。与深度可分离卷积策略一样包括逐通道卷积和逐点卷积两部分，不同的是一个分离是以通道为单位，一个是以4个通道组成的四元数神经元为单位。图3和图4为深度可分离四元数卷积的计算过程。

图3 四元数逐通道卷积 图4 四元数逐点卷积

在逐通道卷积中，一个四通道组成的四元数输入被一个四元数滤波器卷积操作，生成中间四元数特征；逐点卷积与常规卷积类似，它的卷积核通道数等于中间四元数特征数量，将四元数中间特征转换成四元数输出神经元。

2.3 QG-Attention机制

Gabor滤波器作为一种可调制滤波器，可以从图像上提取多方向、多尺度的特征图，从而改善模型泛化能力[25]通过可视化说明卷积是冗余学习的，且深度卷积提取的特征与Gabor滤波提取的特征是类似的。但是，定向学习方向和尺寸能力是卷积所没有的，深度卷积神经网络需要通过复杂网络结构与大量数据才能具有较好的鲁棒性。此外，由于Gabor小波对光不敏感特性，使得对于GIS腔体内部光照变化、不均匀现象呈现出一定的鲁棒性。将四元数与Gabor滤波器融合可以使Gabor滤波器保留色彩、特征空间的相关性。因此，本文选择四元数Gabor滤波作为注意力机制。

图5为不同θ与λ的四元数Gabor卷积滤波器，将滤波器与原图像卷积后的结果堆积在一起，就可以得到图像多尺度、多方向特征图。

图5 四元数Gabor滤波提取特征图

之后提取出的多方向多尺度特征，经两次3×3大小的四元数卷积做两次2倍下采样，再经过1×1大小的四元数卷积做特征融合。设T(x)为QDeepLabV3+提取融合出来的深层和浅层特征，M(x)为四元数Gabor滤波卷积、融合之后的多方向、多尺度特征，G(x)为语义特征与纹理特征融合后的特征，则有：

G(x)=(1+M(x))⊗(T(x))

(9)

式中，⊗代表通道之间对应元素相乘，对得到的最终融合特征G(x)再做插值和预测。

3 实验

本文实验操作系统为Windows10，计算机有关参数CPU：Intel(R) Core(TM) i7-10700k；GPU：NVIDIA GeForce RTX 3070；显存大小为8 G。模型基于Pytorch深度学习框架搭建神经网络，安装了CUDA V11.1版本用于GPU加速。

3.1 实验建立

本实验所有数据来源于电气设备GIS腔体模拟环境中。通过操作GIS机器人在GIS环境中运动以及调整机器人本体上的光源强度，增加异物样本的多样性，从而得到不同光照下的异物图。经过采集之后，共有752个异物图片目标，异物以及背景一共被分为了4个类别。部分数据如图6所示，可以看到，GIS环境中存在光照不均匀现象，距离光源近的金属异物存在强反射现象，距离光源远的异物存在模糊现象。本实验将所有的异物图片按照7:1.5:1.5的比例随即划分为训练集、验证集和测试集，3个数据集中的数据相互独立。

(a) 低光照 (b) 强反射图6 部分数据集展示

3.2 评价指标

为了证明本实验采用的方法，采用mIoU、mPA、F1-Score、Weights等4个评价指标。

(1)mIoU是平均交并比，它是平均每一类预测值、实际值之间交集和并集的占比，一定程度上反映分割的轮廓效果，计算式(10)～式(11)。

(10)

(11)

(2)mPA为平均像素准确率，分别计算每个像素被正确分类比例，然后再求平均，它一定程度上可以反映分割准确率。公式为：

(12)

(13)

(3)F1-Score是综合精确率(Precision)和召回率(Recall)的一个指标，是精确率和召回率的调和平均数。它反映了分类准确率，具体如式(14)和式(15)所示。

(14)

(15)

(4)Params是整个网络模型参数的数量，它反映了网络模型的参数规模以及空间复杂度。

3.3 实验结果

3.3.1 消融实验

为了证明本文的算法，表1进行了4次消融实验。

表1 QG-QDeepLabV3+消融实验

表1显示，在将四元数与DeepLabV3+融合之后，mIoU和mPA有了较小提升，原因是在彩色图像上四元数卷积相比于实值卷积更好的保留了像素色彩通道间相关独立性，但是引入四元数并没有从根本上解决GIS腔体光照强反射问题，所以提升是微小的。同时四元数卷积使得模型权重大小由22.4 MB下降到了6.2 MB，显著降低了模型复杂度。然后在QDeepLabV3+基础上，我们将四元数Gabor注意力机制引入到网络中，mIoU提升了1.43%，mPA提升了0.92%，有了明显提升，表明了四元数Gabor对光照不敏感特性可以改善GIS腔体内部光照强反射现象，提取多方向、多尺度特征也提升了网络在异物识别上的泛化能力。最后，将Gabor注意力机制直接加入到原DeepLabV3+网络中，实验结果提升也表明Gabor滤波在GIS腔体中的有效性。Gabor滤波器中提取方向尺度数量为128，同时所有网络都采用了深度可分离四元数卷积策略来减少网络参数量与计算量。

3.3.2 方向尺度特征数量选取实验

为了选取合适的方向尺度特征数量，本文通过调整Gabor滤波器不同方向参数、尺度参数的值以及数量，来得到不同数量以及不同效果的方向尺度特征，融入QDeepLabV3+网络中进行实验。

表2取了不同数量和不同参数的方向尺度作为实验观察结果，可以看到具有128个四元数Gabor特征图的算法精度取得了最高值。同时我们观察到，进一步取256个特征图时，算法的性能出现下降趋势，原因是方向、尺度数量过多，造成了特征冗余，出现过拟合。因此，我们取了一个特征数量的较优值128进行对比实验。

表2 方向尺度特征的数量

3.3.3 与现有先进算法的比较

为进一步证明本文算法，表3与现有几种先进算法进行比较。我们的算法在mIoU上比PSPNET提升12.03%，比U-Net提升2.94%，较DeepLabV3+提升1.80%。在mPA和F1-Score上也有明显提升，同时我们的算法权重只有6.5 MB，大大降低了网络参数，减缓显存压力。表4为本文算法对不同类别分割的结果。

表3 与现有算法对比

表4 不同类别分割结果

图7是算法的部分异物分割效果展示。从图7可以看出， PSPNET出现分割不完整、轮廓过于尖锐现象，原因是PSPNET在金字塔池化模块使用卷积最后一层来做多尺度融合，丢失了底层边缘轮廓信息。U-Net的跳跃连接以及DeepLabV3+的ASPP金字塔融合深层特征与底层特征模块，在一定程度上缓解了分割不完整现象。但是受光照不均匀和强反射影响，光照反射强烈的金属异物会出现分割不完全以及将反射影子误分割的现象，同时3种算法对于分布密集异物出现了分割连续现象，无法将密集异物单独分开出来。本文算法基于DeepLabV3+的网络框架，不仅融合了深层特征与底层特征，并且通过引入了QG-Attention机制，充分利用了语义特征与纹理特征，使得分割出来的异物轮廓边缘更为清晰准确，同时Gabor小波对光照变化的不敏感性，使得本文算法在GIS封闭腔体中对于光照强反射现象具有较好的鲁棒性。

图7 部分异物分割展示

4 结束语

针对GIS腔体内部光照不均匀、嵌入式平台计算资源有限等问题，本文提出了用于GIS腔体内部异物分割的QG-QDeepLabV3+算法。该算法通过融合四元数，使网络最大程度保留了色彩通道间相关独立性；Gabor滤波器对光不敏感特性，也使得算法可以有效缓解GIS腔体内部光照不均匀现象，增强异物边缘轮廓分割效果。同时该算法有着更低的模型复杂度，缓解了嵌入式平台计算资源不足问题。通过在GIS腔体里面实验表明该算法的有效性，相比于其他先进算法，该算法有更好的分割效果和精度。Gabor算子提取的多方向、多尺度特征过多会存在冗余特征，通过改善参数和优化网络结构来提取更有效特征，是下一步研究方向。