基于深度学习的变电站机器人仪表检测研究

杨利萍, 蒋 鑫, 马 跃

(深圳市朗驰欣创科技股份有限公司， 成都 610000)

变电站作为转换电压的核心枢纽，通过分配电流和电压变换将电能输送给各个用户，其安全可靠的运行直接关系着整个电网的稳定和人们的正常生活[1]。为保障变电站的稳定运行，变电站设置了大量仪表来监测各个变电设备的工作状态。由于变电站复杂的电磁环境，变电站中大多数仪表为模拟式仪表而非数字式[2]，因此，仪表读数工作大多通过人工的方式来完成。而随着智能电网建设的不断推进，变电站仪表种类以及数量也不断增长，传统的人工读数方式由于效率低、受环境影响大、人力消耗大、易受人的主客观因素影响等问题，已经很难满足现代电网的发展需求[3]。近年来，随着机器人技术的迅速发展，变电站巡检机器人开始逐渐取代人工巡检，并取得了良好的效果[4]。对于变电站巡检机器人而言，有效的电力仪表检测及定位是其实现仪表读数的基本前提。目前，大多数巡检机器人仪表检测通过指定停靠点以及云台姿态对仪表进行粗略定位，其次通过标定或自动识别方式实现最终的仪表检测[5]。但由于巡检机器人自身存在的误差，如云台旋转误差、定点误差等，采用标定方式稳定性较差且泛化能力较低[6]。而传统的自动识别方法通常采用Shift、HOG等算法对仪表进行匹配识别，该方式受环境影响较大，并对多种类仪表检测精度较低。因此，研究一种普适性强、检测精度高的仪表检测方法对变电站机器人的巡检效率以及智能电网的建设具有巨大的推动作用。

为提升变电站仪表的检测效果，大量研究人员从不同角度分析研究了一系列解决办法。高旭等[7]采用方向梯度直方图方法提取仪表特征后通过稀疏表示方法实现仪表识别。邓欣等[8]提出了一种基于相关滤波的仪表定位算法，采用HOG为特征描述器并结合相关滤波器计算出各区域与目标的相关性，进而实现仪表检测。Belan等[9]通过镜像投影的方式以及基于Bresenham的直线算法来实现对指针式仪表盘的自动检测与识别。Zheng等[10]通过在多尺度条件下采用颜色空间的处理方法实现对仪表的检测和分割。这些方法主要通过人工提取仪表特征实现检测，其检测效率较高，但检测精度较低，而且在不同环境适应能力较差。而随着近年来深度学习技术在图像处理领域的不断突破，不少研究者将深度学习方法应用于仪表检测问题中，并取得了较好的效果。邢浩强等[5]通过改进SSD目标检测网络实现端到端的仪表检测，并根据检测框在图像中的位置和占比来调整相机，进而获取高质量图像。贺嘉琪[11]设计了MASKR2CNN卷积网络模型来提取自然环境下仪表的有效信息，实现对水平以及倾斜仪表目标的检测。基于深度学习仪表检测方法有效避免了人工设计特征的局限性，提高了检测精度以及其泛化能力，但网络对于不同尺度目标的检测效果较差。同时，由于网络参数较多，计算量大，限制了检测效率，难以满足巡检机器人实时检测的要求。

针对上述问题，本文在前人工作的基础上设计出了一种针对变电站仪表检测的轻量级卷积神经神经网络模型。该网络采用深度可分离卷积替代传统卷积的方式有效降低了网络参数，减少了网络冗余信息，进而提升了网络效率。同时，利用特征融合和空洞卷积对目标多尺度特征信息进行深入挖掘，保证了网络精度。通过公开标准数据集以及实际变电站环境中的测试结果验证了所提网络的有效性以及稳定性，并满足巡检机器人实时检测的需求。

1 仪表检测网络

1.1 网络整体框架

本文所搭建的变电站仪表检测网络整体架构如图1所示。受机器人硬件平台性能的限制，目前主流的高精度网络并不适用于变电站巡检机器人。因此，采用深度可分离卷积作为基本卷积单元，同时结合其他基本网络层搭建特征提取结构和检测结构两部分。特征提取结构通过深度可分离卷积和空洞卷积逐渐降低特征图尺寸，由浅到深地提取图像目标特征信息，提升了网络的计算效率。深度可分离卷积有效降低网络参数的冗余信息，但不可避免丢失了部分特征信息。为充分利用提取的特征，同时针对变电站仪表的多样性以及多尺度性特点，检测结构采用反卷积来融合不同维度的特征以获取目标更多的特征向量，并通过多支路空洞卷积来提取不同尺度的目标信息，最后经非极大值抑制算法(NMS)处理后输出最终的分类检测结果。网络以巡检机器人适用性为出发点，针对变电站仪表特点，结合多种网络结构搭建策略，实现巡检机器人对变电站仪表的高精度、高效率检测。

图1 网络结构框图

1.2 特征提取结构

目前，主流的目标检测网络针对不同的应用场景可大致分为高精度和高效率网络，两类网络的区别主要在于特征提取结构。高精度目标检测网络通常采用以传统卷积为基本单元，调整高精度分类网络(如VGG16[12]、ResNet[13])作为特征提取结构，如faster RCNN[14]、YOLO[15]、SSD[16]等目标检测网络；高效率网络则大多采用深度可分离卷积网络为基本特征提取单元，同时将高精度分类网络思想(如ResNet残差结构)融入特征提取结构的搭建中，如mobilenet[17]、shufflenet[18]。本文所搭建的网络主要针对变电站巡检机器人对于仪表的检测，为了满足机器人实时检测的需求，故采用深度可分离卷积为基本卷积来搭建轻量级、高效率的特征提取网络结构。深度可分离卷积如图2所示，可分为深度卷积和逐点卷积，深度卷积中每个特征通道对应一个卷积核，即输入特征通道数与输出特征通道数一致；逐点卷积采用1×1的卷积核来遍历特征图的每个点，调整特征图的通道数。深度可分离卷积相对于传统卷积尽管在特征信息的提取上略微降低，但极大减少了卷积核参数以及网络计算量。

图2 深度可分离卷积

本文所提网络的特征提取结构主要由init模块和多个stage模块堆叠而成，模块基本结构如图3所示。init模块主要通过2×2的池化操作对图像降维并减少噪声干扰，如图3(a)所示；同时，以步长为2的3×3的卷积操作来提取特征，增加特征图数量。init模块采用两种操作并列的方式尽可能地保证了有效特征的提取，同时，降低输入图像尺寸也避免了后续模块的计算量过大。stage模块借鉴shufflenet网络结构，每个stage由多个包含深度可分离卷积的小模块组成，如图3(b)所示。首先通过channel split操作将特征图均分；其次，对其中一部分特征图不做任何处理，另一部分通过可分离卷积提取特征；最后，再将两部分特征图拼接后使用channel shuffle操作混合特征之间的信息。该模块通过使卷积操作的输入通道和输出通道一致以及采用concat操作来尽量避免Eltwise操作可降低网络的时间消耗，同时特征通道混合与增强了特征表达能力。对于stage与stage之间由于特征图维度不同，故采用图3(c)所示结构进行拼接，该结构主要由(a)、(b)两种结构融合而成，其中，池化操作中保存最大池化索引信息，用于后续反卷积操作中。特征提取结构见表1，该结构在提升效率的同时尽可能地保证了特征提取的多样性。

图3 特征提取模块

表1 特征提取结构

1.3 仪表检测结构

由于变电站仪表种类多样，并且仪表在图像中的尺度也各不相同(其中小尺度目标较多)，如何充分利用特征提取结构获取的仪表局部、全局以及多尺度等特征信息，直接关系着网络最终的检测效果。鉴于此，本文搭建的检测结构受高精度网络(如FPN[19]、DeepLab[20]、Tridentnet[21]等)启发，采用融合不同尺度的特征层和改变卷积核增加感受野的方式，结合多种高精度网络搭建策略，从多个角度来充分利用提取的特征信息[22-23]。

检测模块如图4所示，主要由反卷积多通道融合和多支路空洞卷积两部分组成。反卷积多通道融合如图4(a)所示，受语义分割网络结构的启发，该结构通过深层特征图逐层反卷积，可有效扩大目标特征信息，并抑制其他背景信息。其中反卷积过程利用特征提取结构中的最大池化索引信息，尽可能地保证目标位置信息。但由于随着网络层越深，图像中的小目标越容易丢失，因此，将反卷积后的特征图与对应维度的卷积特征层进行信息融合，可有效缓解小目标丢失问题。同时再将部分浅层特征降维与反卷积后的特征图融合，进一步降低对小目标漏检的情况。多支路空洞卷积如图4(b)所示，该结构将反卷积多通道融合后的特征图作为输入，经过3条并列的空洞卷积支路后进行最后目标分类与检测。3条支路除了卷积空洞率外其他结构都一致，其空洞率分别为1、2、3，分别针对小、中、大3类目标。为保证检测效率，在实际训练和测试中，3条支路并未同时运行，在训练时，通过标注框大小来划分大中小目标，进而各自对每个分支进行优化(即小目标训练空洞率为1的支路，中目标训练空洞率为2的支路，大目标训练空洞率为3的支路)，划分方式如图4所示。同时，采用3条支路权值共享的方式来间接融合各支路信息。测试时只选择中间的支路进行预测，在效率与精度之间进行了折中。最后设置特征图每个位置输出的6个预测检测框(类似SSD)，通过非极大值抑制算法剔除重叠框后输出检测结果。从检测结构可以看出，本文针对不同尺度的目标通过多种方式进行提取，同时，在保证网络检测精度的前提下，尽可能地对网络效率进行提升。

图4 检测模块

(1)

式中：w、h分别标注框的宽和高(以像素为单位)；li、ui表示小目标和大目标界限。

2 实验与结果分析

为验证所提网络的有效性，采用COCO和KITTI公开标准数据集以及实际变电站仪表数据集，分别在搭载NVIDIA Tian Xp的台式机以及NVIDIA Jetson TX2嵌入式平台进行训练测试。实验主要是在Linux操作系统上，以Caffe深度学习框架为基础搭建本文所提网络。为了更好地与同类型网络进行对比，将网络训练时超参数主要借鉴文献[18]的参数设置。网络训练时以Adam优化方法更新网络参数；学习率的设置采用step模式，可加快网络收敛，设置初始学习率为0.01，迭代30 000次之后每迭代10 000次学习率下降一次；优化方案采用动量法，参数设为0.9；同时权值衰减系数设为0.000 5。对于网络性能的评价主要均值平均精度(mean average precision，mAP)。均值平均精度表示数据集中各个类的平均精度的平均值，通常为目标检测中最有力的度量指标[24]。

(2)

(3)

(4)

式中：C表示类别；N(TruePositives)1表示一张图像中C类目标正确预测的数量；N(TotalObject)C表示该图像中C类目标总数； PrecisionC表示该图像中C类目标检测精度；N(TotalImage)C表示包含C类目标的图像数量；APC表示所有图像中C类目标的平均精度；N(Classes)表示样本中类别数。

2.1 标准数据集

COCO数据集(Microsoft Common Objects in Context)来源于微软公司2014年出资标注的一个大规模数据库，涵盖了图像分类、目标检测、图像语义分割、实例分割等计算机视觉任务相关数据集。同时，基于COCO数据集的竞赛也是目前图像识别、检测、分割等领域最权威比赛之一。COCO数据集中包含了20多万张已标注图像，90多个类别，其中与目标检测相关的图像约45 000张。因此，本文采用该数据集对所提网络进行验证。但该数据集相对较大，并且实验条件有限，故为了快速验证网络性能，从COCO目标检测图像中挑选出包含person、car、clock、bird以及stop sign这5类目标的图像，并人工去除掉其中分类不清晰、目标占比少的图像，最终筛选出约2万张图像，归一化图像尺寸为448×448。实验随机挑选16 000张图像作为训练集，剩余4 000张作为测试集，通过在搭载Titan X显卡的PC机上使用GPU加速计算来训练及测试网络，训练时采用迁移学习的方式对网络权重进行微调。实验首先测试图4所提出的两种结构对网络精度影响。在通过统计标注框尺寸分布，分别设置li、ui为32和96，并将batchsize设置为4，经过约15万次迭代优化后，网络测试结果见表2。其次，分别测试了3个分支多尺度目标的检测效果，实验结果见表3。最后，为进一步验证网络的有效性，将本文所提网络与当前主流的目标检测网络进行对比来，不同网络对比结果见表4。其中所有的AP默认都为mAP，APs、APm、APl分别表示网络对小中大目标的检测精度。

表2 检测结构测试结果

表3 不同空洞率测试结果

表4 网络测试结果对比

根据表2测试结果可以看出，反卷积融合以及多支路空洞卷积对网络的检测精度都有一定的提升，而两者的结合提升效果最佳，有效验证了本文所提结构可行性，同时也可看出不同的结构获取的特征信息各不相同，并可以相互融合。由表3实验结果可以看出，不同空洞率的空洞卷积对不同尺度的目标检测效果不同，空洞率越大对大目标的检测效果越好，反之则对小目标检测效果更好，其中中等空洞率(即dilation=2)的支路与融合3条支路的精度最为接近，为保证检测效率，因此在实际使用中只利用了空洞率为2的支路进行检测。根据表4结果可以充分表明本文所提网络的有效性，通过深度可分离卷积和不同检测结构相结合，使网络在精度与效率都有较大的提升，同时与高精度和高效率网络相比，本文网络对精度与效率进行了有效平的衡。

2.2 变电站数据集

标准数据集对本文网络性能进行了有效验证，为了进一步验证网络在实际变电站场景中的适应能力，通过实际变电站巡检机器人采集的仪表图像对网络进行训练测试。实际变电站场景中的仪表主要分为指针式、液位式以及少量的数字仪表。实验首先对重复率高的仪表图像进行筛选，挑选出约10 000张图像，并归一化图像尺寸为512×512；然后采用LabelImg标注软件手动标注图像的不同仪表，并根据仪表形式将其分为了六类；最后构建数据集，随机挑选8 000张作为训练集，剩余2 000张作为测试集。由于变电站图像中各类别仪表图像数量不均，为避免类别不平衡对网络精度的影响，采用中值平衡的方式对各类别进行相应的加权。

(5)

(6)

式中：frequency(class)表示class类别的在训练集中的目标个数；image_count(class)表示在训练集中含有该类别图像中目标数量；median_of_f(class)为计算出的各类别f(class)的中位数。

为方便验证网络在变电站数据集上的精度及效率，网络训练采用Titan X显卡加速计算，而测试选择Jetson TX2平台来更直观地展现网络在实际应用中的效率，设置batchsize为4，训练约10万次收敛的测试结果如表5和图5所示。

图5 变电站仪表检测效果

由表5实验结果可以看出，本文所提网络可以较好的应用于变电站巡检机器人对仪表的检测中，实现高效检测。同时，与同类型网络相比，本文所提网络在保证检测的前提下，通过融合多种检测策略来提升网络精度，使网络能有效适用于变电站巡检机器人，实现高效检测。

3 结语

针对变电站仪表检测搭建了一种适用于变电站巡检机器人仪表检测的轻量级目标检测网络。该网络以深度可分离卷积为基本卷积单元提取图像特征，有效降低了网络计算量，保证了网络的检测效率。同时，通过将高层特征反卷融合低层特征以及多支路训练空洞卷积的方式来使网络获取更多有效的多尺度目标特征信息，提升网络对不同大小目标的检测精度。通过在COCO标准公开数据集以及实际变电站仪表数据集上的实验结果表明，本文所提结构在提升网络的精度以及效率时进行有效的平衡，并能较好的应用于实际变电站仪表检测，实现高效检测。

本文所提网络尽管在目前基本满足变电站巡检机器人对仪表检测的需求，但仍存在较多需要改进的地方。在后续的研究工作中，将针对网络的检测精度以及效率进一步优化网络结构；同时，对于检测任务，本文仅将该网络用于检测变电站仪表，任务相对单一，后续将结合更多变电站其他设备进行检测，加快变电站巡检机器人智能化。