基于改进YOLOv4的嵌入式变电站仪表检测算法

范新南，黄伟盛，史朋飞，辛元雪，朱凤婷，周润康

基于改进YOLOv4的嵌入式变电站仪表检测算法

范新南1,2，黄伟盛2，史朋飞1,2，辛元雪2，朱凤婷2，周润康2

(1. 江苏省输配电装备技术重点实验室，江苏 常州 213022；2. 河海大学物联网工程学院，江苏 常州 213022)

随着机器人技术的快速发展，智能机器人广泛应用于变电站巡检，针对目前目标检测算法参数量过大且嵌入式设备性能有限，难以在嵌入式平台上实现实时检测的问题，提出了一种基于改进YOLOv4的嵌入式变电站仪表检测算法。以YOLOv4为基础，采用MobileNetV3作为主干特征提取网络，在保证模型能够有效提取特征的情况下，降低运算量，提高检测速度；与此同时，将特征提取后的路径聚合网络(PANet)中的卷积运算替换成深度可分离卷积；采用迁移学习的训练策略克服模型训练困难问题；最后，利用TensorRT对改进后的模型进行重构和优化，实现快速和高效的部署推理。改进后的算法在嵌入式端NVIDIA Jetson Nano上进行了测试，实验结果表明，在牺牲了较少精度的情况下，检测速度提高了2倍，达到15 FPS，为边缘计算场景下的仪表实时检测提供了可能。

深度学习；变电站仪表；目标检测；YOLOv4；迁移学习

变电站是电力传输的枢纽，在变换电压、分配电能等方面起着重要作用。在变电站中，各类仪表显示的信息反映了设备的运行情况，需要对仪表进行监测以保证设备的正常运行。目前，人工巡检是大多数变电站采用的巡检方案，主要依靠专业技能和主观判断。但是，人工巡检存在可靠性差、巡检效率低等问题，甚至在一些极端天气或高危场所中并不具备可行性，不利于变电站的智慧化管理。近些年，国家大力推行变电站智能巡检机器人代替或辅助人工进行仪表检测，引起了人们的广泛关注，成为了研究的热点话题[1-2]。变电站中的仪表读数巡检方案已经向无人化、自动化方向升级优化。

视觉系统能否准确识别出仪表的读数是衡量智能巡检机器人能否稳定运行的标准之一[3]。变电站机器人按照事先规划好的路线进行巡检，通过拍摄变电站仪表图像，在机器人前端完成仪表信息识别或传回后台系统(在后台完成识别任务)。在视觉系统部分，仪表检测识别由2部分组成：①仪表定位，从变电站环境图像中找到仪表的位置；②仪表读数，通过计算机视觉相关技术对仪表图像进行信息提取并获取读数。仪表定位的准确性对整个检测识别任务有较大影响，定位问题本质上属于计算机视觉中的目标检测问题，但巡检机器人工作的特殊性使得该问题不同于一般的目标检测问题。变电站巡检机器人对仪表图像的采集具有定点、定向、定焦等特点，定点即巡检机器人依照事先设定好的巡检路线到达指定的图像采集区域；定向即在拍摄时固定摄像头角度，定焦即拍摄时固定摄像头的焦距。理想情况下，多次巡检任务中相同采集点的仪表位置是固定的，但由于巡检机器人的定位误差、相机的机械误差等因素，实际获取的图像和理想图像存在不可预测的误差，主要体现为较小的位置偏差，无明显拍摄角度偏差。如果能够采集到数量较多的实际仪表图像，充分学习各类不同偏移程度的特征，就可以实现较高的定位精度。

仪表定位算法主要包括传统的基于特征检测与匹配的检测算法和基于深度学习的检测算法。房桦等[4]利用尺度不变特征变换算法(scale invariant feature transform，SIFT)实现仪表表盘区域特征检测与匹配；杨志娟等[5]采用定向二进制描述算法(oriented fast and rotated brief，ORB)定位仪表表盘区域。GAO等[6]利用加速鲁棒特征(speeded up robust features，SURF)方法与模板图像匹配，从巡检机器人拍摄的图像中检测仪表区域。黄炎等[7]使用加速稳健特征算法进行图像匹配以实现仪表表盘检测。随着机器学习的发展和计算机性能的提高，机器学习在仪表定位上的应用越来越多。其中，邢浩强等[8]在SSD (single shot multibox detector)网络的基础上加以改进以适用于仪表表盘检测的任务需求；徐发兵等[9]则采用改进的YOLO9000网络快速检测仪表表盘的包围框位置，去除冗余背景信息干扰。语义分割网络在仪表表盘检测方面的应用研究也取得了一定的成果，周杨浩等[10]采用全卷积神经网络(fully convolutional networks，FCN)对仪表图像数据进行语义分割，以精确分割仪表表盘的位置。LIU等[11]借助特征对应算法和两阶段目标检测算法Faster R-CNN来检测目标仪表的位置。

针对现有算法存在网络参数量过大、检测效率低等问题，为了实现嵌入式平台的实时检测，实现变电站仪表实时检测任务，本文提出一种轻量级的变电站仪表检测算法。一般生成轻量化网络的方法包括：轻量化网络设计、模型剪枝、量化、知识蒸馏等。本文同时采用第1种和第3种，结合模型设计阶段和推理阶段同时实现网络的轻量化，并在YOLOv4的基础上进行以下改进：

(1) 针对在移动端、嵌入式端等边缘计算场景，实时性不高、检测效率低等问题，测试了多种方案后，将YOLOv4原始CSPDarknet-53 Backbone替换为MobileNetV3 Backbone，MobileNetV3经历了前两代更新后精度得已提高，检测速度也得到改善。相比CSPDarknet-53以及其他轻量级网络，参数量与计算量大大降低，为嵌入式端的变电站仪表实时检测提供了可能。

(2) 在改进了主干网络的基础上，将特征提取后的路径聚合网络(path aggregation network，PANet)中的卷积运算替换为深度可分离卷积，通过减少模型的参数、降低模型的大小，进一步提高检测速度。

(3) 为了提高在嵌入式设备上的推理效率，将其部署在嵌入式平台上，对改进后的模型采用TensorRT量化，利用TensorRT对模型进行重构和优化，达到网络加速的目的。

1 基于改进YOLOv4的嵌入式变电站仪表检测算法

1.1 YOLOv4网络

YOLOv4[12]的网络结构主要包括：输入(Input)、主干(Backbone)、特征融合网络(Neck)和头部(Head) 4个部分。

(1) 输入端。为了增强模型的鲁棒性，YOLOv4采用了SAT自对抗训练和Mosaic数据增强的方式。SAT策略使神经网络反向更新图像，在添加扰动后的图像上训练，实现数据的扩充。Mosaic数据增强利用随机缩放、随机裁剪和随机排布的方式对4张图片进行拼接，扩充检测数据集。

(2) 主干网络。YOLOv4在YOLOv3的Darknet-53基础上，利用跨阶段局部网络(cross stage partial network，CSPNet)[13]提出CSPDarknet-53特征提取网络。图1是CSPNet将Darknet中的残差块进行拆分成左右2部分，右边作为主干部分继续堆叠原来的残差块，左边部分只进行少量处理后进行直连。该方式在减少计算量的同时使梯度在不同的路径上进行传播，实现了丰富的梯度组合，避免了梯度消失等问题。

图1 CSPNet结构图

(3) 特征融合网络。YOLOv4使用了空间金字塔池化(spatial pyramid pooling，SPP)[14]模块和路径聚合网络(path aggregation network，PANet)模块，采用SPP模块的方式，相较于简单的使用×最大池化的方式，有效增加主干特征的接受范围。PANet在YOLOv3的FPN (feature pyramid network)层后增加了一个自底向上的特征金字塔，FPN层实现自顶向下传达强语义特征，而特征金字塔则自下而上传达强定位特征，从不同的主干层对不同的检测层进行参数聚合，避免在传递过程中出现浅层信息丢失的问题，提高网络预测的准确性。

(4) 头部(预测网络)。YOLOv4利用多尺度预测的方式，输出3个不同大小的feature map，分别检测小、中、大3种目标，特征图的每个网格对应3个预测框，利用预测框偏移对物体位置进行预测，同时输出目标属于每种类别的概率，整个模型网络结构如图2所示。

1.2 改进YOLOv4变电站仪表检测算法

1.2.1 主干网络结构改进

考虑到实际应用中的变电站巡检机器人大多数使用CPU平台，尽管有部分使用GPU平台，但其性能仍然有限。在实际应用中，不能只考虑模型的性能，还要解决大规模网络模型在嵌入式设备上的部署问题。YOLOv4在嵌入式平台上存在检测速度较慢，难以满足仪表实时检测的问题，由于主干网络是模型的重要组成部分，是提取仪表图像特征的关键网络，原主干网络的模型较为复杂，参数量相较过大，考虑将一种性能优异且轻量化的网络引入YOLOv4中并构成新的网络结构。相比其他轻量级网络，MobiletNetV3具有计算量小、参数少的特性，在目标检测任务取得了较好的成绩，提出使用MobileNetV3代替YOLOv4的主干特征提取网络CSPDarknet-53进行仪表检测定位，加快模型的检测速度。MobileNet[15]适合应用于设备性能有限的场景，例如移动或嵌入式等边缘计算设备。

MobileNetV3采用NetAdapt算法对每一层的核数量进行优化，获得卷积核和通道的最佳数量。在继承了V1中的深度可分离卷积，减少模型参数的同时。保留了MobileNetV2[16]中具有线性瓶颈的残差结构，线性瓶颈残差块(Bottleneck)是对residual block的拓展，将重点聚焦在残差网络各层的层数，在进入block之后通过1×1的卷积将低维空间映射到高维空间，将特征维数放大，使用轻量级深度卷积进行过滤，随后用linear bottleneck将特征投影回低维压缩表示。

图2 YOLOv4整体结构

引入基于squeeze和excitation结构的轻量级通道注意力机制[17]，对图像中的空间域信息进行空间转换提取关键信息，找到图像信息中需要被关注的区域。通过squeeze运算得到每个特征通道的权重，将该权重应用在原来的每个特征通道，学习不同通道的重要性，针对不同的任务增强或抑制不同的通道。在增加少量计算量的情况下，可以获得明显的性能提升。具体实现为：特征在上一层被输出，分为2条路径：第1条不进行任何处理；第2条首先进行squeeze操作，将每个通道的特征压缩成一维，从而得到一个特征通道向量。然后进行excitation操作，将这一列特征通道向量输入2个全连接层和sigmoid，建模出特征通道间的相关性，得到每个通道对应的权重。最后将权重通过scale乘法加权到原来的特征上，实现特征通道的权重分配。

1.2.2 引入深度可分离卷积

深度神经网络依靠巨大网络参数获得优越的性能，随着网络结构越复杂、模型层数越深，存储空间和计算损耗的压力也越来越大。在1.1节中已经介绍了YOLOv4算法的整体结构，本文在修改了主干网络的基础上，准备修改其特征融合网络，使其网络整体结构的复杂度和参数量都得到了明显的下降。在保持特征融合网络SPP模块和PANet模块基础结构不变的情况下，保证其本身的优势，只减少其参数，将深度可分离卷积引入特征融合网络PANet[18]中替换原标准卷积，进一步压缩模型参数量，使模型更容易部署到嵌入式设备上。

普通的标准卷积使用一个和输入具有相同通道数的卷积核，在整个特征通道上进行乘法和累加运算，将得到的数据作为输出，单次计算量为D×D×，其中为输入的通道数，D为滤波器的大小。当一个卷积核对输入数据进行滤波处理时，计算量为D×D××D×D，D为输入特征图的尺寸大小。在使用个卷积核运算时，计算量为D×D××D×D×，标准卷积的计算过程如图3所示。

图3 标准卷积过程

普通的卷积运算，在进行滤波的同时，都涉及了所有输入通道特征的组合，从而产生新的特征。但是，滤波和组合可以分解为2个步骤，显著降低计算成本。深度可分离卷积由逐通道卷积和逐点卷积组成，逐通道卷积将单个滤波器应用于每个输入通道，逐点卷积通过1×1卷积来组合不同深度卷积的输出，逐通道卷积的过程如图4所示，计算复杂度为D×D××D×D。

图4 逐通道卷积过程

逐通道卷积相对于普通的标准卷积效率高，但只是对输入通道做了滤波处理，并未结合各个通道的特征图生成新的特征。为了解决这一问题，将1×1的逐点卷积施加在逐通道卷积之后。逐点卷积的功能就是通过收集每个点的特征信息，使用尺寸为1×1的卷积联合逐通道卷积收集多个通道空间信息，同时在逐点卷积层后增加BN层和ReLU层可以增加模型的非线性变化，从而增强模型的泛化能力，其计算量为D×D××，逐点卷积过程如图5所示。

图5 逐点卷积过程

1.2.3 迁移学习策略

迁移学习[19]是将网络中每个节点的权重从一个训练好的网络迁移到一个全新的网络。在实际应用中，通常不会针对一个新任务从头开始训练新的神经网络，此方式效率较低，当数据集不够庞大时，要训练出泛化能力足够强的网络模型较为困难。因此本文采用迁移学习训练策略，加快网络的收敛速度，训练过程简单并且在相同的训练时间内能够得到高精度的检测模型。

1.2.4 TensorRT加速推理

TensorRT是一个可以在NVIDIA GPU硬件平台下运行的推理框架[20]。ONNX是一种用于深度学习模型的开放格式，利用该格式可以用任何的框架设计、训练和部署深度学习模型。在完成网络的改进之后，网络训练完毕后得到一个轻量化的网络，在实际推理运行前，对模型进行TensorRT量化操作。具体实现为：将训练好的Pytorch模型导出为ONNX格式，转换后的ONNX模型可能会有很多冗余操作，利用ONNX Simplifier进行简化，得到转换后的ONNX模型。借助onnx2trt工具生成TensorRT引擎，然后利用TensorRT推理引擎运行模型。TensorRT可以将训练好的模型进行分解再进行融合，融合后的模型具有较高的集合度。例如：将卷积层和激活层进行融合，提升计算速度。将TensorRT加速后的模型部署到嵌入式开发板上，能够提高吞吐量并减少推理的延迟，有着更高的推理效率。

2 实验结果与分析

2.1 数据集与实验平台

由于本文针对的是变电站仪表检测，场景较为特殊，并没有大量公开可用的专业数据集，因此在实验中采取了网上收集和自行制作的数据集。在经过筛选之后，进行图像裁剪、添加噪声、对比度处理等基本图像扩充手段，一共制作了850张图片，利用LabelImg对其进行手工标注，用于模型的训练、验证和测试，数据集中的部分图像如图6所示，本文服务器实验平台配置见表1。

图6 部分数据集图片

本文实验测试在服务器和NVIDIA Jetson Nano上同时进行，Jetson Nano作为嵌入式移动平台，是一款功能强大的小型计算机，搭载128核心GPU，包含丰富的API接口和CUDA库，支持边缘AI应用程序，能够满足边缘计算场景的有效应用。

表1 具体环境配置

2.2 模型训练设置

将训练集、验证集、测试集依照8∶1∶1的方式进行分配，为了提高训练的效率，采用迁移学习的训练策略，使用已经在PASCAL VOC数据集上训练达到收敛的MobileNetV3权重文件。实验过程中，输入之前先将图像调整为416×416，保证输入图像的统一性，采用Adam优化算法计算每个参数的自适应学习率，开启Mosaic数据增强和余弦退火衰减，最大学习率为0.001，学习率周期迭代次数为5。

整个训练过程分为2步：①为了避免MobileNet权重被破坏，冻结MobileNet网络参数，为加快训练速度将学习率设为0.001，采用小批量梯度下降法，一次输入16张图片进行训练。②解冻MobileNet参数，为了充分学习提取仪表图像的特征，更好地达到收敛效果，学习率设为0.000 1，一次性训练8张图片。

2.3 计算量与模型参数对比

为了比较本算法相对于目前其他目标检测模型的优越性，本文在硬件平台相同的情况下，以计算量来衡量算法对应的时间复杂度，模型参数大小是模型训练时的参数，对应着空间复杂度。表2为本文算法与现有算法在运算量和模型参数量大小方面的比较。从表中可以看出，在优化了模型的主干网络、引入深度可分离卷积之后，网络得到简化，提高了模型效率。因此，在浮点数计算量方面，相比与Faster-RCNN，本文算法计算量显著下降，相较于YOLOv3降低了89.2%，与YOLOv4相比减少了88.15%，相较于EfficientDet-D1下降了46.04%，同时远远低于CenterNet；而在模型规模方面，较于Faster-RCNN下降了51.47%，相比于YOLOv3减少了71.12%，比YOLOv4减少了78%，高于EfficientDet-D1，但较于CenterNet下降了56.95%。可以看出，无论是在计算量还是参数量方面，本文算法都远远小于YOLOv4，较于其他算法有明显的优势，具备部署到嵌入式等移动终端的可能。

表2 不同模型运算量对比

2.4 检测精度与检测速度对比

除了对计算量和参数量进行分析外，还将本文算法与Faster-RCNN[21]，YOLOv3[22]，YOLOv4 EfficientDet[23]和CenterNet[24]主流模型在检测速度和检测精度进行对比。本文训练环境使用的GPU型号为NVIDIA RTX 3070，但在实际变电站巡检机器人应用场景中，一般的硬件设备是普通的CPU设备或计算能力较差的GPU设备。因此，为了更好地评估算法在实际工业应用中的性能表现，本文在RTX 3070和NVIDIA Jetson Nano 2种不同的硬件条件下对模型进行检测推理分析。

本文对模型进行了检测速度测试(该时间为输入图像通过网络模型、对网络输出的解码操作和非极大值抑制运算三者的总和)，输入图像大小统一为416×416。在RTX3070上的测试结果见表3，从表中可以看出，Faster-RCNN在RTX 3070上仅达到15 FPS，本文算法相比Faster-RCNN有明显的改善，提升了233%，相较于YOLOv3提高了19 FPS，同时在YOLOv4的基础上提到了50 FPS，与EfficientDet-D1和CenterNet相比分别提高了138%和42.86%。本文算法和目前主流检测模型相比，检测效率得到了明显地提升。

表3 在RTX 3070上检测结果

在网络训练阶段，为了保证网络训练过程中的精度，使用32位浮点数，而在部署阶段，为了减少计算量、提高推理速度，采用16位浮点模型。在嵌入式平台Jetson Nano上检测，受限于硬件设备的条件和性能限制。借助于TensorRT技术，利用半精度浮点(FP16)代替全精度浮点(FP32)对模型进行重构和优化。测试结果见表4，Faster-RCNN帧率过低，YOLOv3和YOLOv4在Jetson Nano速度方面差异不大，是由于在嵌入式上进行推理测试，硬件设备的性能限制造成差异并不明显。以半精度浮点数(FP16)进行分析，本文算法与YOLOv3和YOLOv4相比，检测效率得到明显地改善，比YOLOv4提升了200%，最高可达15 FPS。在速度明显优于其他算法的同时，检测精度也得到了保障，相较于YOLOv3降低到94.72%，精度下降了3.03%，而较于YOLOv4下降了4.25%。与EfficientDet-D1和CenterNet相比时，速度有着显著地改进，同时可以保持可观的精度。可见在实际检测变电站仪表的过程中，以牺牲较小精度为代价的情况下，极大地提高了检测的速度，能够实现变电站仪表实时检测任务。

表4 在Jetson Nano上检测结果

同时，为了更好验证本算法各模块及策略的作用，进行了详尽的消融实验，本次消融实验均在RTX 3070配置的服务器下进行，具体结果见表5。从表中可以看出，在改进主干网络后，由于特征提取能力得到弱化，不能完全有效地提取图像深层次特征，精度得到明显下降，帧率提高到了47 FPS。在此基础上修改特征融合网络时，模型精度进一步下降。但在采用迁移学习的训练策略时，由于预训练模型学习并保留了大部分目标的通用特征，能够在有效缩短训练收敛时间的基础上，大幅度提高精度。本文算法精度相比YOLOv4下降了4.25%，FPS提高了16.28%，结果证明所采用的模块和策略能够在保证精度的情况下，提高检测效率。

为了直观、有效地展现本文算法的检测效果，选取单仪表和多仪表特殊应用场景下的图像进行检测效果验证，对包含仪表的多张图像进行测试，利用红色矩形框将仪表从图像中标识出来。

由于变电站场景的特殊性，变电站仪表型号相同，排列整齐有规律，且不存在遮挡或重叠等现象，图像拍摄不会造成目标之间的相互干扰。此外，变电站巡检机器人在拍摄时存在定点、定向、定焦等特点，拍摄过程中不会存在较大误差。图7和图8分别选取了多张单个仪表和多张多个仪表图像进行检测结果对比。从图7中可以看出，在面对不同型号及不同位置的仪表时，均能做出正确的检测，检测结果满足需求。从图8的检测结果可以看出，本文算法能够一次性检测出图中不同位置的多个仪表，方便后续的仪表读数等步骤。与此同时，对多个仪表同时检测比分多次检测单个仪表耗费时间更少，能够有效提高检测效率。经过上述分析，基于YOLOv4改进后的仪表检测算法能够快速准确检测变电站中的仪表，具有较好的实时性和鲁棒性，满足实际检测的需求。

表5 各模块策略消融实验结果对比

注：×表示没有采用该模块，ü表示采用该模块

图7 单仪表检测结果展示

图8 多仪表检测结果展示

3 结论与展望

针对目标检测模型参数量大、占用资源多、难以部署到嵌入式设备上的问题，本文提出了一种基于改进YOLOv4的嵌入式变电站仪表检测算法。在YOLOv4算法上进行轻量化改进，采用MobileNet V3作为主干特征提取网络的同时，引入深度可分离卷积，采用迁移学习策略进行网络训练，利用TensorRT对模型进行优化，使之更适合应用在性能有限的嵌入式设备中。实验结果表明，该算法在损失4.25%精度的情况下，模型数据保存为半精度浮点型(FP16)时，相比于YOLOv4在Jetson Nano上将检测速度(FPS)提高了约200%。其对于变电站环境下的仪表检测表现出良好的鲁棒性和实时性，能够满足变电站仪表检测任务，方便在不同变电站中迁移部署，具有很好的实际应用价值。检测之后，利用深度学习的方法根据不同类型仪表进行读数识别将是后续重点研究内容。

[1] 高旭, 王育路, 曾健. 基于移动机器人的变电站仪表自动识别研究[J]. 电网与清洁能源, 2017, 33(11): 85-90.

GAO X, WANG Y L, ZENG J. Automatic recognition of substation instrument based on mobile robot[J]. Power System and Clean Energy, 2017, 33(11): 85-90 (in Chinese).

[2] LU S Y, ZHANG Y, SU J J. Mobile robot for power substation inspection: a survey[J]. IEEE/CAA Journal of Automatica Sinica, 2017, 4(4): 830-847.

[3] WANG H P, LI J X, ZHOU Y, et al. Research on the technology of indoor and outdoor integration robot inspection in substation[C]//2019 IEEE 3rd Information Technology, Networking, Electronic and Automation Control Conference. New York: IEEE Press, 2019: 2366-2369.

[4] 房桦, 明志强, 周云峰, 等. 一种适用于变电站巡检机器人的仪表识别算法[J]. 自动化与仪表, 2013, 28(5): 10-14.

FANG H, MING Z Q, ZHOU Y F, et al. Meter recognition algorithm for equipment inspection robot[J]. Automation & Instrumentation, 2013, 28(5): 10-14 (in Chinese).

[5] 杨志娟, 袁纵横, 乔宇, 等. 基于图像处理的指针式仪表智能识别方法研究[J]. 计算机测量与控制, 2015, 23(5): 1717-1720.

YANG Z J, YUAN Z H, QIAO Y, et al. Research of intelligent recognition method of pointer instrument based on image processing[J]. Computer Measurement & Control, 2015, 23(5): 1717-1720 (in Chinese).

[6] GAO J W, XIE H T, ZUO L, et al. A robust pointer meter reading recognition method for substation inspection robot[C]//2017 International Conference on Robotics and Automation Sciences. New York: IEEE Press, 2017: 43-47.

[7] 黄炎, 李文胜, 麦晓明, 等. 基于一维测量线映射的变电站指针仪表智能识读方法[J]. 广东电力, 2018, 31(12): 80-85.

HUANG Y, LI W S, MAI X M, et al. Intelligent recognition method for substation pointer meter images based on one-dimensional measuring line mapping[J]. Guangdong Electric Power, 2018, 31(12): 80-85 (in Chinese).

[8] 邢浩强, 杜志岐, 苏波. 变电站指针式仪表检测与识别方法[J]. 仪器仪表学报, 2017, 38(11): 2813-2821.

XING H Q, DU Z Q, SU B. Detection and recognition method for pointer-type meter in transformer substation[J]. Chinese Journal of Scientific Instrument, 2017, 38(11): 2813-2821 (in Chinese).

[9] 徐发兵, 吴怀宇, 陈志环, 等. 基于深度学习的指针式仪表检测与识别研究[J]. 高技术通讯, 2019, 29(12): 1206-1215.

XU F B, WU H Y, CHEN Z H, et al. Research on pointer instrument detection and recognition based on deep learning[J]. Chinese High Technology Letters, 2019, 29(12): 1206-1215 (in Chinese).

[10] 周杨浩, 刘一帆, 李瑮. 一种自动读取指针式仪表读数的方法[J]. 山东大学学报: 工学版, 2019, 49(4): 1-7.

ZHOU Y H, LIU Y F, LI L. An automatic reading method for pointer meter[J]. Journal of Shandong University: Engineering Science, 2019, 49(4): 1-7 (in Chinese).

[11] LIU Y, LIU J, KE Y C. A detection and recognition system of pointer meters in substations based on computer vision[J]. Measurement, 2020, 152: 107333.

[12] BOCHKOVSKIY A, WANG C Y, LIAO H Y M. YOLOv4: optimal speed and accuracy of object detection[EB/OL]. (2020-04-23) [2021-08-07]. https://arxiv.org/abs/2004.10934.

[13] WANG C Y, MARK LIAO H Y, WU Y H, et al. CSPNet: a new backbone that can enhance learning capability of CNN[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. New York: IEEE Press, 2020: 1571-1580.

[14] HE K M, ZHANG X Y, REN S Q, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1904-1916.

[15] HOWARD A G, ZHU M L, CHEN B, et al. Mobilenets: efficient convolutional neural networks for mobile vision applications[EB/OL]. (2017-04-17) [2021-09-16]. https://arxiv.org/abs/1704.04861.

[16] SANDLER M, HOWARD A, ZHU M L, et al. Mobilenetv2: inverted residuals and linear bottlenecks[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2018: 4510-4520.

[17] HU J, SHEN L, SUN G. Squeeze-and-excitation networks[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2018: 7132-7141.

[18] LIU S, QI L, QIN H F, et al. Path aggregation network for instance segmentation[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2018: 8759-8768.

[19] 朱惠玲, 牛哲文, 黄克灿, 等. 基于单阶段目标检测算法的变电设备红外图像目标识别及定位[J]. 电力自动化设备, 2021, 41(8): 217-224.

ZHU H L, NIU Z W, HUANG K C, et al. Identification and location of infrared image for substation equipment based on single-stage object detection algorithm[J]. Electric Power Automation Equipment, 2021, 41(8): 217-224 (in Chinese).

[20] STEPANENKO S O, YAKIMOV P Y. Using high-performance deep learning platform to accelerate object detection[C]//International Conference on Information Technology and Nanotechnology. Samara: CEUR-WS, 2019: 26-29.

[21] REN S Q, HE K M, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149.

[22] REDMON J, FARHADI A. YOLOv3: an incremental improvement[EB/OL]. (2018-04-08) [2021-07-16]. https://arxiv.org/abs/1804.02767.

[23] TAN M X, PANG R M, LE Q V. EfficientDet: scalable and efficient object detection[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2020: 10778-10787.

[24] ZHOU X Y, WANG D Q, KRÄHENBÜHL P. Objects as points[EB/OL]. (2019-04-25) [2021-12-04]. https://arxiv.org/abs/1904.07850.

Embedded substation instrument detection algorithm based on improved YOLOv4

FAN Xin-nan1,2, HUANG Wei-sheng2, SHI Peng-fei1,2, XIN Yuan-xue2, ZHU Feng-ting2, ZHOU Run-kang2

(1. Jiangsu Key Laboratory of Power Transmission & Distribution Equipment Technology, Changzhou Jiangsu 213022, China; 2. College of Internet of Things Engineering, Hohai University, Changzhou Jiangsu 213022, China)

With the rapid development of robotics technology, intelligent robots are widely used in substation inspections. Aiming at the problem that the current target detection algorithms have too many parameters and the performance of embedded devices is limited. It is difficult to achieve real-time detection on the embedded platform. A n improved YOLOv4 embedded substation instrument detection algorithm is proposed. The algorithm is based on YOLOv4 and uses MobileNetV3 as the backbone feature extraction network. It reduces the amount of calculation and increases the detection speed while ensuring that the model can effectively extract features. At the same time, the convolution operation in the path aggregation network (PANet) is replaced with a depthwise separable convolution after feature extraction; the training strategy of transfer learning is used to overcome the difficult problem of model training. Finally, the improved model is optimized by TensorRT to achieve fast and efficient deployment reasoning. The improved algorithm is tested on the embedded NVIDIA Jetson Nano, and the experimental results show that the detection speed is increased by 2 times to 15 FPS at the expense of less accuracy. This provides the possibility for real-time instrument detection in edge computing scenarios.

deep learning; substation instrument; object detection; YOLOv4; transfer learning

TP 391

10.11996/JG.j.2095-302X.2022030396

A

2095-302X(2022)03-0396-08

2021-09-23；

2022-02-19

23 September，2021；

19 February，2022

江苏省输配电装备技术重点实验室开放研究基金项目(2021JSSPD03)

The Open Research Fund of Jiangsu Key Laboratory of Power Transmission & Distribution Equipment Technology (2021JSSPD03)

范新南(1965–)，男，教授，博士。主要研究方向为探测与成像、智能感知技术等。E-mail：fanxn@hhuc.edu.cn

FAN Xin-nan (1965–), professor, Ph.D. His main research interests cover detection and imaging, intelligent perception technology, etc. E-mail：fanxn@hhuc.edu.cn

史朋飞(1985–)，男，副教授，博士。主要研究方向为探测与成像、信息获取与处理等。E-mail：shipf@hhu.edu.cn

SHI Peng-fei (1985–), associate professor, Ph.D. His main research interests cover detection and imaging, information acquisition and processing, etc. E-mail：shipf@hhu.edu.cn