基于改进Mask-RCNN的电力线路识别方法

2022-05-24梁锐城

汕头大学学报（自然科学版） 2022年2期

陈麒，梁锐城

（1.汕头职业技术学院机电工程系，广东汕头 515041；2.汕头大学工学院，广东汕头 515068）

0 引言

无人机巡检已经成为电力线路巡检工作中的重要组成之一，该手段巡检范围广、受地形影响较小，有效提高了巡检效率[1-2].但是，目前输电线路巡检大多采取人工操作无人机拍摄线路视频，待无人机返航后再将视频导入电脑，通过人工进行隐患排查.该方法不仅加大了运维人员的工作量，还会由于不同人员飞行控制能力差异而导致巡检质量相差较大.此外，巡检过程中，无人机易受风吹干扰飞行姿态难以控制，并且为保证电力线路的安全运行，无人机需要与带电设备保持一定放电间隙距离（国家电网公司要求5 m以上）.由于上述限制，巡检影像往往因为目标识别不稳定、飞行姿态难以自由调整、拍摄距离远，以及背景干扰等导致线路巡检视频不完整等问题，进而引发影像中设备难以准确分割、识别较低的问题.因此，利用无人机实现线路自动化、智能化的高可靠巡检具有极强的工程实际意义.

目前，基于目标分割算法掩码-区域卷积神经网络（Mask-region convolutional neural network，Mask-RCNN）的目标识别方法通过使用基础网络生成特征图，再采取区域选取网络（region proposal network，RPN）基于既定规则提供感兴趣区域（region of interesting，ROI），然后利用分类网络判定目标类型，并使用掩码网络进行像素分类.这一方法将传统目标识别方案的分类、回归两个步骤进一步优化为分类、回归、分割三个任务，即通过解耦多个子任务关系的方式提高了在复杂背景下的目标识别准确率[3-5].这使得Mask-RCNN在目标识别准确度上明显优于基于灰度信息的模板匹配算法[6-8]；基于局部特征的SURF、SIFT等算法[9-12]；以及以SSD与YOLO为代表的单阶段深度学习目标检测算法[13-14].但由于解耦步骤的增加，使得Mask-RCNN在运算成本上消耗较大，即存在运算时长长、运算资源占用多等问题.

针对Mask-RCNN存在的问题，本文提出采用间接性帧减对Mask-RCNN的损失函数进行改进.具体方法为，将检测周期分为4个时刻，每次识别时，将上一时刻的识别结果作为下一时刻的背景，以变化部分为目标.该方法不仅降低了计算难度，还通过相同部分省略、不相同部分检测的形式克服了复杂背景下小型设备难以识别的问题，识别速度与准确率得到显著提高.为验证本文算法的实用性与鲁棒性，本文以目标设备不明显、环境背景复杂的导线为对象开展测试.结果表明，本文算法在较高目标识别率的前提下，较大程度地降低了运算成本.以相较Mask-RCNN出现0.325%识别准确率降低（本文算法实际识别准确率为95.775%）的代价，减少了44.4%的CPU占用率.同时，相比运算成本较低的NCC算法，本文算法以增加21.25%的CPU占用率为代价，实现了目标识别准确率提高60%的效果.

1 Mask-RCNN算法

从图1中可知，由于输电线路处于图传信号较差的山丘中，常采用类似边缘计算的方法，即无人机利用自带处理器STM32对输电线路进行目标识别.虽然基于ARM Cortex-M3内核设计的STM32具有较高的运算性能，但无人机巡检线路时产生海量的实时数据加大了计算任务，并且基于边缘计算的线路巡检对实时线路识别结果要求严苛.同时由于无人机飞行控制和线路识别均通过STM32处理，为了保证飞行安全，用于线路识别的CPU占用率不得高于50%.因此，在保证无人机在复杂环境下飞行安全的基础上，如何在降低计算代价的同时有效识别出目标成为了研究难点.如图1所示，Mask-RCNN通过引入ROIandAlign代替了FastRcnn的ROIPooling，虽然提高了常规状态下的识别精度，但是难以确定ROI中的较小特征图，以至于难以有效识别复杂背景下的小型目标.此外，当无人机受环境影响导致偏离航线时，标准的Mask-RCNN将卷积神经网络提取到输电线路最终特征在输入到RPN网络的过程中，会由于目标过小被中间隐层当作噪声过滤.针对上述问题，为提高算法的检测速度和精度、优化运算空间，本文对Mask-RCNN进行改进.

图1 无人机巡检线路时的视频截图

图2 Mask-RCNN主干示意图

标准的Mask-RCNN的ROIAlign基于以下公式选择最适合的特征图：

式中：k0、w、h分别为特征图面积、特征图宽、特征图高.不同于 Fast_Rcnn，Mask-RCNN的ROIAlign通过双线性插值法对感兴趣的区域进行量化.如图3所示，在已知A11、A12、A21、A22的前提下，Mask-RCNN通过线性插值得到B1和B2，再利用得到的B1和B2插值得到最终插值点P，即：

图3 Mask-RCNN的ROI Align双线性插值示意图

训练时，为拟合图片中的导线的ROIAlign特征分布，需通过损失函数检测目标及其位置，损失函数Lmask_rcnn可描述为：

式中：Lcls、Lbox和Lmask分别为分类误差、检测误差和分割误差.m、k、K、Pki*和Pki分别为ROI经过匹配层处理后的长、宽、模型检测目标总数、第k个目标真实掩码中第i个像素值和第k个目标预测掩码中第i个像素值.根据公式（4）和公式（5）可知，由于Lmask函数通过检测结果与标注图像逐像素对比，完成图像特征针对性学习，虽然提高了Mask-RCNN的检测精度，但是增大了运算量，检测速度难以有效保障.为此，本文利用间接性帧减法的思想进行改进，即识别一次后，将上一识别结果作为背景，下一时刻的变化作为目标，以此减少计算量.具体方法为，将一个检测周期分为一个4个时刻t0、t1、t2、t3，t0时刻为Mask-RCNN的目标预测掩码，而t1、t2、t3的则将上一采集时刻t0的真实掩码Pki′作为背景，此时的公式（7）修改为：

修改后得到的损失函数L′mask_rcnn为：

改进Mask-RCNN后一个完整周期的损失函数为：

该方法不仅降低了计算难度，还通过相同部分省略、不相同部分检测的形式克服了复杂背景下小型设备难以识别的问题，识别速度与准确率得到显著提高.

2 试验结果与分析

试验数据来源为巡线无人机搭载intelD455摄像头拍摄的影像，并采用目标识别准确率、识别时间成本以及图像处理过程中的CPU平均利用率作为评价指标.试验对象如图4所示，分别展示了在树木、灌木背景下无人机拍摄的导线情况.此处需说明，为了验证本文模型在实时巡检的优越性，采取了每分钟内平均CPU占用率p′和平均识别率q′作为评价指标，即1 min内采集6次CPU占用率，并以平均CPU占用率作为评价指标，以及60 s内输电线路出现的时间（输电线路在视频丢失，则视为识别失败）：

式中：pi为以10 s为采样周期进行采样的当前CPU占用率，tj为输电线路出现的视频时间.由于输电线路识别和飞行控制均是实时进行，为了保证飞行安全本文实验的识别部分CPU占用率不高于40%，为了直观的以100分制进行性能评价，公式（11）的pi需除以40%.

由于导线线径小、且无人机与导线距离保持5 m以上，被识别物体的尺寸与拍摄距离共同导致了难以裸眼直接观测得到巡检图像中的全部导线位置.从图4中可知，RPN网络的特征选取策略较好地保留了导线特征，在即使因为地形起伏、环境复杂等因素影响无人机航线的情况下，本文方法依然保持了较高的识别准确率，基本与Mask-RCNN保持在相同水平.

图5可见，在图4中的4种场景下，本文算法最低识别率为95.775%，虽然相较Mask-RCNN算法低0.325%，但在CPU占用率这一数据上明显占优，仅为后者地55.6%.此外，本文方法的CPU占用率虽然比NCC高出了21.25%，但是复杂背景情况下的识别率却高出了60%.并且，由于采取了间接性识别的方法，识别速度也比SURF提高了43%.此外，在现实巡检中发现，当出现图5（1）中t2时刻的情况，并且长时间处于100%占有率时，系统会由于视频输入与目标识别时差不断增大而导致部分巡检视频丢失.而本文方法在保证识别准确率保持95%以上的基础上，分配的CPU平均占用率均在60%以下、总的CPU占有率24%以下，不仅较好的完成巡检任务，还可将富余的CPU计算力用于飞控模块，提高了飞行安全.