变电站多尺度异常入侵目标轻量化检测方法

摘 要：智能电网的建设思路决定了远郊变电站异常入侵监测的无人化趋势，促进了变电站异常入侵智能检测方法的快速发展。现阶段尚未拥有该场景下异常入侵目标数据集，且现有的目标检测方法也未针对变电站边缘计算端进行轻量化优化设计，不适用于需要全天候实时监测的变电站边缘设备。针对上述问题，从实际应用需求出发，构建变电站异常入侵目标数据集（Ｄａｔａｓｅｔ ｆｏｒ Ａｎｏｍａｌｙ Ｉｎｖａｓｉｏｎ Ｔａｒｇｅｔｓ ｉｎ Ｓｕｂｓｔａｔｉｏｎｓ，ＳＡＩＴＤ），基于ＹＯＬＯｖ５ｓ 模型提出适用于变电站边缘检测设备的轻量化异常入侵目标检测网络ＹＯＬＯｖ５-Ｓｕｂｓｔａｔｉｏｎ。添加微小尺度目标特征提取层与上采样轻量化算子ＣＡＲＡＦＥ，在扩大感受野的同时，充分保留特征图中多尺度目标的语义信息，从架构端提高原有模型的检测精度。基于知识蒸馏模型，使用网络剪枝（Ｎｅｔｗｏｒｋ-ｓｌｉｍｍｉｎｇ） 策略对原有模型进行轻量化改进，在保证原模型检测精度的同时，加速模型推理。仿真实验表明，轻量化后的边缘端计算模型精度相较于ＹＯＬＯｖ５ｓ 提高了３． ３％ ，推理速度提升了４１． ９％ ，可为智能电网的全速运行提供强有力的数据基础、技术支撑与安全保障。

关键词：异常入侵目标检测；网络剪枝；知识蒸馏；边缘计算平台；轻量化模型

中图分类号：ＴＰ３９１． ４ 文献标志码：Ａ 开放科学（资源服务）标识码（ＯＳＩＤ）：

文章编号：１００３－３１０６（２０２４）０６－１５８４－１１

０ 引言

我国“十四五”规划明确提出建设智能电网［１］，无人值守变电站在构建智能电网中起到了至关重要的作用。无人值守变电站多建于距离城市较远的野外环境中，因此常有各类动物入侵变电站导致变电站设备严重故障甚至发生火灾，极大地影响了社会稳定和经济发展。伴随视觉监控系统的广泛应用，利用变电站内安装的摄像头，加载异常入侵目标检测算法，对其进行全天候智能化监测是大势所趋［２］。然而，目前尚未拥有针对变电站场景下的完整异常入侵目标数据库，且现使用的目标检测算法模型也未针对此场景进行轻量化改进设计，并不适合部署在对检测速度要求极高的变电站边缘检测设备上。

现阶段的异常入侵目标检测方法可分为传统检测方法与基于深度学习的异常入侵目标检测方法。传统的异常入侵目标检测方法一般采用背景模板与图像对比来进行异常目标检测。Ｓｔａｕｆｆｅｒ 等［３］提出了高斯混合模型来检测前景目标，但高斯分布并不能充分的概括表达背景特征，限制了该算法的使用场景和检测精度。Ｌｉｎ 等［４］提出了一种基于特征匹配的局部运动稳定算法减少检测前景中由树木和花草引起的误报，但本质上仍然依赖于手工设计的特征，在复杂环境下依然会存在较多误检。传统检测方法计算复杂度通常较低，检测速度较快，无需大量先验信息和监督，但易受光影变化、风吹草动等环境噪声的干扰。遂开始研究基于深度学习的异常入侵目标检测方法。Ｌｉｍ 等［５］提出了一种基于多尺度编解码网络的ＦｇＳｅｇＮｅｔ 模型，但这种方法时常漏检较小尺寸的异常入侵目标。Ｂｒａｈａｍ 等［６］提出了一种基于背景补丁的训练方式，可以在同一段训练视频数据中获得良好的检测效果，但由于数据高度冗余计算量过大，无法实时检测异常入侵目标。以上提及的基于机器学习的异常入侵目标检测方法和基于深度学习的检测方法，在变电站这一特殊场景下均无法较好地兼顾模型轻量化与检测准确率。

目前常见的异常入侵目标检测与识别技术都集中在主机平台上，伴随着移动互联网的崛起和边缘计算的发展，许多研究者结合边缘计算，开始研究移动设备上的目标检测技术。Ｃｈｅｎ 等［７］ 开发了Ｇｌｉｍｐｓｅ 系统通过卸载部分计算任务在手机上执行目标检测任务。Ｌｉｕ 等［８］等在边缘计算协助下为增强现实系统设计了目标检测系统。Ｒｅｎ 等［９］提出了一种分布式的边缘计算场景下的目标检测解决方案。由于在移动设备执行高性能目标检测算法有着极为广阔的发展前景，大量研究者投身于此。但是这些研究很少能在工业场景下实现落地，并且在变电站场景下的相关应用更是稀缺，基本没有利用边缘计算平台针对此应用场景开展异常入侵目标检测与识别研究，因此这个领域整体仍处于研究的早期阶段。

现有的异常入侵目标数据集，大部分是针对公路、铁路或轨道等场景建立异常入侵目标数据集，例如王瑞等［１０］针对铁路周界异常入侵目标泥石流、落石等进行研究。郭保青等［１１］细化铁路异常入侵目标分类，针对铁路内部的行人进行研究。何文玉等［１２］将研究重心放在轨道上的异常入侵目标，如塑料瓶、行人、自行车和汽车等。然而，通过实地考察，可能会对变电站产生安全隐患的异常入侵目标主要是尺寸相差较大的鸟、猫、狗、人、蛇、鼠和松鼠等。不同的应用场景、不同异常入侵目标类别与不同于常见数据集的目标尺度均无法对变电站场景下的异常入侵目标检测提供助力。

针对上述问题，本文以ＹＯＬＯｖ５ｓ 模型为基础，首先引入微小尺度目标特征提取层与上采样轻量化算子ＣＡＲＡＦＥ，充分利用特征图中多尺度目标的语义信息，从架构端提高原有模型的检测精度；其次，使用网络剪枝（Ｎｅｔｗｏｒｋｓｌｉｍｍｉｎｇ）策略和知识蒸馏对原有模型进行轻量化改进，在保证原模型检测精度的同时加速模型推理，满足变电站场景下异常入侵目标实时检测需求。

１ 基于ＹＯＬＯｖ５ｓ 改进的多尺度异常入侵目标轻量化检测方法

ＹＯＬＯｖ５ 目标检测模型由于较高的检测精度和强大的泛化能力，备受工业界青睐。根据应用场景和应用需求的不同，ＹＯＬＯｖ５ 共有５ 种不同大小的网络模型供以选择，从小到大分别是ＹＯＬＯｖ５ｎ、ＹＯＬＯｖ５ｓ、ＹＯＬＯｖ５ｍ、ＹＯＬＯｖ５Ｌ、ＹＯＬＯｖ５ＸＬ。每个版本的模型结构均一致，唯一区别在于网络的深度和宽度不尽相同。鉴于ＹＯＬＯｖ５ｓ 在模型检测性能和模型计算量两方面较为均衡，本文选择ＹＯＬＯｖ５ｓ作为应用于变电站场景下实时检测的基础模型。在此基础上不断优化改进，获得轻量化的网络模型，便于部署在边缘计算平台上进行实时快速准确检测。

多尺度异常入侵目标轻量化检测方法框架如图１ 所示。首先，在模型颈部添加１６０ ｐｉｘｅｌ ×１６０ ｐｉｘｅｌ 的特征提取层，增加的检测头用于检测微小尺度异常入侵目标，再结合ＹＯＬＯｖ５ｓ 原有大、中、小３ 种尺度检测头，实现多尺度异常入侵目标检测；其次，引入ＣＡＲＡＦＥ 上采样轻量化算子替换ＹＯＬＯｖ５ｓ中原有的最近邻上采样，在不引入过多参数量前提下，扩大感受野，充分利用多尺度特征图中原本被忽略的丰富语义信息；最后，使用Ｎｅｔｗｏｒｋ-ｓｌｉｍｍｉｎｇ 方法与知识蒸馏对改进后的网络模型进行剪枝压缩和蒸馏，对于多尺度异常入侵目标，在保证了较高检测精度的同时有效地降低了网络参数量和计算量。

１． １ 多尺度特征提取层

ＹＯＬＯｖ５ｓ 网络模型检测头部分本身涵盖３ 个不同尺度的目标检测头。假设图片输入尺寸为６４０ ｐｉｘｅｌ×６４０ ｐｉｘｅｌ，则颈部提取出的浅层特征图尺寸为８０ ｐｉｘｅｌ×８０ ｐｉｘｅｌ，其包含比较多的浅层级信息，适用于检测小目标；尺寸为２０ ｐｉｘｅｌ×２０ ｐｉｘｅｌ 的深层特征图，容纳了更丰富的深层次信息，例如环境信息、外貌特征等，适用于检测大目标；而尺寸介于二者之间的４０ ｐｉｘｅｌ×４０ ｐｉｘｅｌ 特征图，则适合用于检测中等大小的目标。由于变电站实际场景中常出现尺寸差异较大的异常入侵目标，而目前已有的目标检测方法时常漏检较小尺寸的目标。因此，修改网络中的特征提取层，在网络模型的颈部连续３ 次下采样，使得底层特征图放大至１６０ ｐｉｘｅｌ×１６０ ｐｉｘｅｌ，含有更多且更丰富的底层特征信息。在添加小尺度特征提取层的同时，也在检测头部分添加对应小尺寸检测头，如图２ 所示。

新添加的小尺寸检测头对于微小目标会更加敏感，需重新分配锚框来解决小尺度目标漏检问题。ＹＯＬＯｖ５ｓ 初始锚框大小的设置是基于ＭＳ ＣＯＣＯ 数据集目标尺寸预设。在训练时，模型会基于初始锚框输出预测框数值，再将其与真实框数值相减后，反向更新，以此不停迭代网络参数。由于变电站异常入侵目标与ＣＯＣＯ 数据集目标尺寸差异较大，本算法将关闭ＹＯＬＯｖ５ｓ 的自动计算锚框功能，采用Ｋ 均值（Ｋ-ｍｅａｎｓ）聚类方法重新获取更加适配于变电站异常入侵目标尺寸的锚框，使改进后的网络模型对于不同尺度的异常入侵目标检测效果更佳。锚框大小分配如表１ 所示。

１． ２ 轻量化上采样算子ＣＡＲＡＦＥ

ＹＯＬＯｖ５ｓ 采用最直接的上采样方法———最近邻插值，也称为零阶插值，其核心思想是使得图像变换后，某像素的灰度值与其距离最近的输入像素灰度值相同。这种上采样方法仅以像素点的空间位置作为决定上采样核的唯一元素，完全忽略特征图中丰富的语义信息，感受野也被严重限制在１×１ 的范围内。基于上述原因，引入Ｗａｎｇ 等［１３］提出的ＣＡ-ＲＡＦＥ 上采样算子，在不引入过多参数量和计算量的前提下，带来较大的感受野，同时充分利用各层次特征图中的语义信息进行上采样。ＣＡＲＡＦＥ 由上采样核预测模块和特征重组模块两部分组成。假设给定上采样倍率为σ（设σ 为整数），输入特征图χ 尺寸为Ｈ×Ｗ×Ｃ，ＣＡＲＡＦＥ 将产生尺寸为σＨ×σＷ×Ｃ 的新特征图。对于χ′中的任何目标位置ｌ′＝ （ｉ′，ｊ′），在输入特征图χ 中都有与其对应的源位置ｌ ＝ （ｉ，ｊ），其中ｉ 与ｊ 的关系如式（１）和式（２）所示：

ｉ ＝ ｜ｉ′／ σ｜ ， （１）

ｊ ＝ ｜ｊ′／ σ ｜。（２）

Ｎ ＝ （χｌ，ｋ）表示在χ 中以ｌ 为中心的ｋ×ｋ 范围的邻域。

ＣＡＲＡＦＥ 上采样算子示意如图３ 所示。第一步，上采样核预测模块Ψ 基于χｌ 的邻域为每个位置预测重组核ｗｌ′，如式（３）所示；第二步，特征重组模块Φ 利用上一步预测出的核ｗｌ′ 重组特征，输出特征图χ′，如式（４）所示：

ｗｌ′ ＝ Ψ（Ｎ（χｌ，ｋｅｎｃｏｄｅｒ ））， （３）

χ′ｌ′ ＝ Φ（Ｎ（χｌ，ｋｕｐ ），ｗｌ′ ）， （４）

式中：ｋｕｐ 表示内核的尺寸，ｋｅｎｃｏｄｅｒ 表示内容编码器中卷积层内核的尺寸。

上采样核预测模块负责以内容感知的方式生成重组内核，主要由通道压缩模块、内容编码器和归一化模块３ 个子模块组成。首先是通道压缩模块，为减少计算量，Ｈ×Ｗ×Ｃ 的特征图会经过通道压缩变为Ｈ×Ｗ×Ｃｍ 。其次是内容编码器将压缩的特征图作为输入，使用内核大小为ｋｅｎｃｏｄｅｒ 的卷积层在输入特征的内容基础上预测新上采样核。ｋｅｎｃｏｄｅｒ 的大小与感受野的大小呈正相关，越大的ｋｅｎｃｏｄｅｒ 可以利用越大范围内的上下文信息。但是，模型整体的计算复杂度也会伴随ｋｅｎｃｏｄｅｒ 的增大而增加。经过实验证明，当ｋｕｐ ＝ ３，ｋｅｎｃｏｄｅｒ ＝ １ 时，模型在性能与计算量之间取得了一个较好的折衷。最后，将通道维在空间维展开，得到σＨ×σＷ ×ｋ２ｕｐ 的上采样核然后利用归一化指数函数将其进行归一化处理，使得卷积核权重和为１。在特征重组模块中，将输出特征图中的每个像素都映射回初始输入的特征图中，取出以ｌ ＝（ｉ，ｊ）为中心点的对应Ｎ ＝ （χｌ，ｋｕｐ ）区域，并与在上采样核预测模块中得到的预测该像素点的上采样核ｗｌ′作点积操作，加强了特征图的语义信息，如式（５）所示，最后得到输出为σＨ ×σＷ ×Ｃ 的特征图χ′。

将ＣＡＲＡＦＥ 上采样算子替换原有的最近邻上采样算子后，网络模型对于图像特征提取和融合的能力得到了一定的提升，有效地保留了多尺度异常入侵目标的特征信息，同时也并未引入过多的计算量，使融合后的多尺度特征具有了更为丰富的表达能力。整体优化改进后的网络结构如图４ 所示。

１． ３ Ｎｅｔｗｏｒｋ-ｓｌｉｍｍｉｎｇ 策略

添加了新的特征提取层和ＣＡＲＡＦＥ 上采样算子的网络模型在训练好后，仍然存在大量冗余的参数，因此无法移植部署至边缘计算平台上，实现实时检测异常入侵目标的功能，如何对改进后的模型剪枝是轻量化模型的关键所在。本算法采用Ｎｅｔｗｏｒｋ-ｓｌｉｍｍｉｎｇ 策略［１４］实施剪枝，由于每个尺度参数与卷积通道是一一映射的，因此，批归一化（Ｂａｔｃｈ Ｎｏｒ-ｍａｌｉｚａｔｉｏｎ，ＢＮ）使用比例因子对归一化后的特征通道进行整体缩放，而缩放范围在一定程度上反映了通道的重要性，可以根据比例因子的绝对值对通道重要性进行评估，将重要性相对较低的通道进行剪枝，从而减少网络参数量，获得一个更加紧凑的网络模型，图５ 展示了模型参数剪枝策略的基本流程。设ｚｉｎ 与ｚｏｕｔ 分别表示ＢＮ 层的输入和输出，Ｂ 表示当前的最小批，ＢＮ 层将执行以下变换：

式中：μＢ 和σＢ 表示Ｂ 的平均值和标准偏差值，γ 表示每个通道的比例因子，β 表示可训练的仿射变换参数。通过式（７）可以看出每个通道的ｚｏｕｔ 与比例因子γ 呈正相关。

在网络中ＢＮ 层的比例因子都具备一定的绝对值大小，这意味着每个通道都具有不可忽略的重要性，因此在稀疏训练中对尺度参数添加Ｌ１ 正则化，稀疏化部分通道。因此，剪枝流程整体为首先使用每个通道的比例因子γ 乘以该通道的输出；其次，联合训练网络权重，并为通道添加稀疏正则化；最后，剪去比例因子较小的，贡献较少，并微调剪枝后的网络，损失函数由下式给出：

式中：（ｘ，ｙ）表示训练输入和执行目标，Ｗ 表示可训练的权重，第一个求和项表示卷积网络的正常训练损失，ｇ（·）表示计算Ｌ１ 范数对比例因子的损失。

本文采用Ｆａｎｇ 等［１５］提出的Ｔｏｒｃｈ-Ｐｒｕｎｉｎｇ 工具，一种通用的结构化剪枝库，可快速实现Ｎｅｔｗｏｒｋ-ｓｌｉｍｍｉｎｇ 策略，降低模型推理成本。当网络模型通过一次完整的稀疏化训练、剪枝、微调后，还可以多次遍历重复该流程，如图６ 所示，以此获得更为紧凑的模型，运行占用内存和计算操作也会相应地大大减少。

１． ４ 知识蒸馏微调

经过剪枝后的模型虽然网络参数量和计算量都大大减少，但是检测精度劣化是一个难以避免的情况。为了克服此困难，本小节将知识蒸馏（Ｋｎｏｗｌｅｄｇｅｄｉｓｔｉｌｌａｔｉｏｎ）［１６］与模型微调有机充分结合，尽可能消除网络模型剪枝后所带来的负面影响。知识蒸馏使用教师－学生训练模式，由完成预训练的大型教师模型对小型学生模型进行知识蒸馏，以轻微的性能损失为代价，将非常复杂的教师模型中的知识完全迁移到学生模型中，不但学习了教师模型的泛化能力，也获得了近似于教师模型的性能。其中，蒸馏损失函数式（９）将计算教师模型与学生模型预测结果的差异：

Ｌ ＝ δＬｈａｒｄ ＋ （１ － δ）Ｌｓｏｆｔ， （９）

式中：Ｌｈａｒｄ 为使用真实值训练输出的硬样本损失函数，Ｌｓｏｆｔ 为教师模型预测的软样本损失函数，δ 为平衡软、硬样本二者损失函数的参数。

图７ 全面展示了本文网络模型知识蒸馏过程。教师模型采ＹＯＬＯｖ５ＸＬ 网络，是ＹＯＬＯｖ５ 系列中性能最好、模型参数最大的网络，学生模型则使用改进并剪枝后的ＹＯＬＯｖ５ｓ 模型。

２ 实验数据集及评估指标

２． １ 变电站异常入侵目标数据集

现有的异常入侵目标数据集，均不适用于变电站场景下的训练与测试，理由有以下３ 点：

（１）独特应用场景

具有实际应用场景的数据集是网络模型训练测试的关键，而目前现有的异常入侵目标数据集并没有针对变电站这一特殊场景建立。

（２）独特异常入侵目标

常见异常入侵目标数据集多数针对铁路或轨道中的泥石流、落石、行人、汽车和自行车等异常入侵目标建立。然而本文所提出的数据库是针对变电站场景下专有的异常入侵目标：鸟、猫、狗、人、松鼠、鼠和蛇，与现有的异常入侵数据集中的类别并无关联。

（３）独特异常入侵目标尺度

经过实地勘探发现，变电站异常入侵目标的尺寸相较于铁路场景下的入侵目标尺寸差距较大，如图８ 所示。

由于变电站场景下的异常入侵检测目标类别和尺寸均与普通异常入侵目标差异较大，并且检测场景也完全不同，因此，现有的异常入侵目标数据集不能用于变电站的异常入侵检测。本文在变电站实际场景下收集数据建立了一个变电站异常入侵目标数据集（Ｄａｔａｓｅｔ ｆｏｒ Ａｎｏｍａｌｙ Ｉｎｖａｓｉｏｎ Ｔａｒｇｅｔｓ ｉｎ Ｓｕｂｓｔａ-ｔｉｏｎｓ，ＳＡＩＴＤ），以保证后续实验研究结果具有较高的可靠性。

ＳＡＩＴＤ 通过在变电站实际场景下安装摄像头拍摄的真实视频，通过Ｐｏｔｐｌａｙｅｒ 软件跳帧剪成共２ ３１０ 张图片，每张图片尺寸为６４０ ｐｉｘｅｌ×６４０ ｐｉｘｅｌ，共涵盖７ 类目标，分别为鸟（ｂｉｒｄ）、狗（ｄｏｇ）、猫（ｃａｔ）、人（ｐｅｒｓｏｎ）、蛇（ｓｎａｋｅ）、松鼠（ｓｑｕｉｒｒｅｌ）和鼠（ｍｏｕｓｅ）。异常入侵目标类别及对应数量如表２所示。

按照８ ∶ １ ∶ １ 的比例将ＳＡＩＴＤ 划分为训练集、验证集和测试集。

２． ２ 性能评价指标

由于改进后的算法可根据需要实地部署在变电站场景中，应从检测准确度、模型复杂度、计算量和检测实时性等方面评估算法性能。因此，本实验采用交并比阈值为０． ５ 的平均精度均值（ｍｅａｎＡｖｅｒａｇｅ Ｐｒｅｃｉｓｉｏｎ，ｍＡＰ）、单张图片推理时间、模型计算量（ＧＦＬＯＰｓ）和模型参数量（Ｐａｒａｍｅｔｅｒｓ）等性能评价指标从多维度评估算法。

３ 实验及结果分析

３． １ 实验环境

本算法在服务器上运行训练，在英伟达ＪｅｓｔｏｎＮａｎｏ 开发板上部署测试，具体如图９ 所示。英伟达Ｊｅｓｔｏｎ Ｎａｎｏ 操作系统为Ｕｂｕｎｔｕ ２０． ０４，ＧＰＵ 为Ｍａｘ-ｗｅｌｌ２． ０，网络模型是基于ＰｙＴｏｒｃｈ１． １１． ０ 版本深度学习框架进行搭建，ＣＵＤＡ 版本为１１． ６，Ｐｙｔｈｏｎ 语言版本为３． ７。

３． ２ 模块对比实验分析

为了验证改进模型算法的可行性和有效性，针对改进模块和知识蒸馏进行横向对比实验，在保持模型其余部分不变的基础之上，对相同位置不同改进点或不同教师模型进行对比实验。所有实验均在ＹＯＬＯｖ５-６． ０ 版本基础上进行改进，迭代次数为３００。

３． ２． １ ＣＡＲＡＦＥ 中ｋｕｐ 与ｋｅｎｃｏｄｅｒ 取值对比

由于内容编码器需要较大的ｋｅｎｃｏｄｅｒ ×ｋｅｎｃｏｄｅｒ 感受野来利用更大范围内的上下文信息预测上采样核ｗｌ′，所以ｋｕｐ 的大小需要对应增加。但是，模型整体的计算复杂度也会伴随ｋｅｎｃｏｄｅｒ 的增大而增加。

为了使得模型能够兼顾更快的检测速度和较高的检测精度，针对ｋｅｎｃｏｄｅｒ 和ｋｕｐ 的不同取值进行模型性能对比。设定一般场景下：ｋｅｎｃｏｄｅｒ ＝ ｋｕｐ －２。实验结果如表３ 所示，模型计算量和参数量随着ｋｅｎｃｏｄｅｒ 的增大而逐渐增加，当ｋｅｎｃｏｄｅｒ ＝ １，ｋｕｐ ＝ ３ 时，模型能在保证较高ｍＡＰ 的情况下，获得较少的参数量和计算量开销，更有利于轻量化模型的构建和部署。

３． ２． ２ 不同上采样算子对比分析

将ＣＡＲＡＦＥ 上采样算子替代模型原有的最近邻插值法，并同时与双线性插值法（Ｂｉｌｉｎｅａｒ Ｉｎｔｅｒｐｏｌａ-ｔｉｏｎ）转置卷积法（ｃｏｎｖＴｒａｎｓｐｏｓｅ２ｄ）这２ 种上采样方法进行对比，实验结果如表４ 所示。可以看出，ＣＡ-ＲＡＦＥ 上采样算子相较于其余上采样方法对于改进后的模型贡献更大，在计算量与参数量增加不多的前提下，检测精度提升最多。引入的ＣＡＲＡＦＥ 上采样算子可以充分利用不同尺寸特征图中的语义信息，扩大感受野，使小尺寸异常入侵目标的特征更为明显，位置信息更加清晰，能够更好地融合多尺度特征。

３． ２． ３ 知识蒸馏对比分析

为了验证使用ＹＯＬＯｖ５ＸＬ 模型作为教师模型的有效性，针对知识蒸馏微调模型中使用不同的教师模型进行实验对比分析。分别使用ＹＯＬＯｖ５Ｌ、ＹＯＬＯｖ７ 两种中大型网络模型作为知识蒸馏中的教师模型，实验结果如图１０ 所示。使用ＹＯＬＯｖ５ＸＬ作为教师模型对改进且剪枝后的网络模型进行蒸馏，模型计算量下降了３２． ０８％ ，检测精度提升了１． ８％ ，证明该教师模型可使学生模型在保障模型复杂度较低的前提下，获得更好的检测性能。

３． ３ 消融实验分析

为了验证模型改进的有效性，本节对模型改进处在ＳＡＩＴＤ 上进行消融实验。实验结果如表５ 所示，ＹＯＬＯｖ５ｓ 加入新的特征提取层后，对于小尺度异常入侵目标漏检的情况有明显改善，相较于基准模型平均检测精度提升了１． ３７％ ，相应的参数量和计算量都有一定的增加。在此基础上引入了ＣＡＲＡＦＥ 算子后，模型参数量明显增多，检测精度提升了２． ２％ 。使用Ｎｅｔｗｏｒｋ-ｓｌｉｍｍｉｎｇ 策略对改进后的模型进行剪枝，由图１１ 可说明，参数量直线下降了约４９． ２％ ，证明剪枝策略效果较好，但会损失一定的检测精度作为剪枝压缩模型的代价。使用知识蒸馏微调模型后，不但保持了较低的参数量和计算量，还恢复了一定的检测精度。实验证明，所提改进模块在ＳＡＩＴＤ 上展示的性能均有一定幅度的提升，ＹＯＬＯｖ５-Ｓｕｂｓｔａｔｉｏｎ 在保证较高检测准确度时，也具有较快的检测速度，实现了轻量化实时检测异常入侵目标的功能。

３． ４ 模型对比实验分析

使用ＹＯＬＯｖ５ｎ、ＹＯＬＯｖ７［１７］等５ 款主流模型与ＹＯＬＯｖ５-Ｓｕｂｓｔａｔｉｏｎ 在ＳＡＩＴＤ 上进行对比实验。分别从ｍＡＰ、模型计算量、模型参数量和单张图片推理时间４ 个维度来评估６ 个模型的性能。实验数据结果如表６ 和图１２ 所示，可视化结果如图１３ 所示。ＹＯＬＯｖ５ｎ 虽然是６ 种网络模型中最轻量、推理时间最快的模型，但是检测精度却非常不理想，出现漏检场景里出现的小尺寸异常入侵目标的情况。ＹＯＬＯｖ５Ｌ、ＹＯＬＯｖ５ＸＬ、ＹＯＬＯｖ７ 作为中大型模型，相比于轻量化模型，中大型模型的检测精度展示出了较高标准，但由于模型整体计算开销和占用内存较大，并不适合部署于边缘计算平台上。改进后的ＹＯＬＯｖ５Ｓｕｂｓｔａｔｉｏｎ 极大地改善了其余模型漏检较小尺寸异常入侵目标的情况，相比于ＹＯＬＯｖ５ｓ，有效提高了多尺度目标检测精度，减少了近２６％ 计算开销，拥有了更为轻量化的模型参数，能够满足无人值守变电站下实时检测的需求。

４ 结束语

本文针对无人值守变电站场景下异常入侵目标检测方法无法兼顾检测精度与实时性能的问题，从实际应用需求出发，基于ＹＯＬＯｖ５ｓ 模型提出适用于变电站边缘检测设备的轻量化异常目标检测网络ＹＯＬＯｖ５-Ｓｕｂｓｔａｔｉｏｎ。有效缓解了小尺度目标漏检问题，在保证模型对于多尺度目标较高检测精度的同时，加速模型推理，使得轻量化后的边缘端计算模型推理速度相较于原有ＹＯＬＯｖ５ｓ 提升了４１． ９％ ，ＳＡＩＴＤ 的建立也为后续研究变电站异常入侵目标提供了强有力的数据支撑，为智能电网的建设提供了切实可行的方法。

参考文献

［１］ 新华社． 中华人民共和国国民经济和社会发展第十四个五年规划和２０３５ 年远景目标纲要［ＥＢ ／ ＯＬ ］．（２０２１－０３－１３）［２０２３－０８－２７］． ｈｔｔｐｓ：∥ｗｗｗ． ｇｏｖ． ｃｎ ／ｘｉｎｗｅｎ ／ ２０２１－０３ ／ １３ ／ ｃｏｎｔｅｎｔ＿５５９２６８１． ｈｔｍ．

［２］ ＴＡＮＧ Ｗ Ｊ，ＣＨＥＮ Ｈ Ｇ． Ｒｅｓｅａｒｃｈ ｏｎ ＩｎｔｅｌｌｉｇｅｎｔＳｕｂｓｔａｔｉｏｎ Ｍｏｎｉｔｏｒｉｎｇ ｂｙ Ｉｍａｇｅ Ｒｅｃｏｇｎｉｔｉｏｎ Ｍｅｔｈｏｄ［Ｊ］．Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｅｍｅｒｇｉｎｇ Ｅｌｅｃｔｒｉｃ Ｐｏｗｅｒ Ｓｙｓｔｅｍｓ，２０２１，２２（１）：１－７．

［３］ ＳＴＡＵＦＦＥＲ Ｃ，ＧＲＩＭＳＯＮ Ｗ Ｅ Ｌ． Ａｄａｐｔｉｖｅ ＢａｃｋｇｒｏｕｎｄＭｉｘｔｕｒｅ Ｍｏｄｅｌｓ ｆｏｒ Ｒｅａｌｔｉｍｅ Ｔｒａｃｋｉｎｇ［Ｃ］∥１９９９ ＩＥＥＥＣｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄＰａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． Ｆｏｒｔ Ｃｏｌｌｉｎｓ：ＩＥＥＥ，１９９９：２４６－２５２．

［４］ ＬＩＮ Ｙ Ｗ，ＴＯＮＧ Ｙ，ＣＡＯ Ｙ，ｅｔ ａｌ． ＶｉｓｕａｌａｔｔｅｎｔｉｏｎｂａｓｅｄＢａｃｋｇｒｏｕｎｄ Ｍｏｄｅｌｉｎｇ ｆｏｒ Ｄｅｔｅｃｔｉｎｇ Ｉｎｆｒｅｑｕｅｎｔｌｙ ＭｏｖｉｎｇＯｂｊｅｃｔｓ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ，２０１７，２７（６）：１２０８－１２２１．

［５］ ＬＩＭ Ｌ Ａ，ＫＥＬＥＳ Ｈ Ｙ． Ｆｏｒｅｇｒｏｕｎｄ Ｓｅｇｍｅｎｔａｔｉｏｎ Ｕｓｉｎｇ ａＴｒｉｐｌｅｔ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｆｏｒ Ｍｕｌｔｉｓｃａｌｅ Ｆｅａｔｕｒｅ Ｅｎｃｏｄｉｎｇ ［ＥＢ ／ ＯＬ］． （２０１８ － ０１ － ０７）［２０２３ － ０８ －２７］． ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ ／ ａｂｓ ／ １８０１． ０２２２５．

［６］ ＢＲＡＨＡＭ Ｍ，ＤＲＯＯＧＥＮＢＲＯＥＣＫ Ｍ Ｖ． Ｄｅｅｐ ＢａｃｋｇｒｏｕｎｄＳｕｂｔｒａｃｔｉｏｎ ｗｉｔｈ Ｓｃｅｎｅｓｐｅｃｉｆｉｃ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ［Ｃ］∥２０１６ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｙｓｔｅｍｓ，Ｓｉｇｎａｌｓ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ． Ｂｒａｔｉｓｌａｖａ：ＩＥＥＥ，２０１６：１－４．

［７］ ＣＨＥＮ Ｔ Ｙ Ｈ，ＲＡＶＩＮＤＲＡＮＡＴＨ Ｌ，ＤＥＮＧ Ｓ，ｅｔ ａｌ．ＧＬＩＭＰＳＥ：Ｃｏｎｔｉｎｕｏｕｓ，Ｒｅａｌｔｉｍｅ Ｏｂｊｅｃｔ Ｒｅｃｏｇｎｉｔｉｏｎ ｏｎＭｏｂｉｌｅ Ｄｅｖｉｃｅｓ ［Ｃ ］ ∥ １３ｔｈ ＡＣＭ Ｃｏｎｆｅｒｅｎｃｅ ｏｎＥｍｂｅｄｄｅｄ Ｎｅｔｗｏｒｋｅｄ Ｓｅｎｓｏｒ Ｓｙｓｔｅｍｓ． Ｓｅｏｕｌ：ＡＣＭ，２０１５：１５５－１６８．

［８］ ＬＩＵ Ｌ Ｙ，ＬＩ Ｈ Ｙ，ＧＲＵＴＥＳＥＲ Ｍ． Ｅｄｇｅ Ａｓｓｉｓｔｅｄ Ｒｅａｌｔｉｍｅ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｆｏｒ Ｍｏｂｉｌｅ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ［Ｃ］∥Ｔｈｅ ２５ｔｈ Ａｎｎｕａｌ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｏｂｉｌｅ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｎｅｔｗｏｒｋｉｎｇ． Ｌｏｓ Ｃａｂｏｓ：ＡＣＭ，２０１９：１－１６．

［９］ ＲＥＮ Ｊ，ＧＵＯ Ｙ Ｄ，ＺＨＡＮＧ Ｄ Ｙ，ｅｔ ａｌ． Ｄｉｓｔｒｉｂｕｔｅｄ ａｎｄ Ｅｆｆｉｃｉｅｎｔ Ｏｂｊｅｃｔ ｉｎ Ｅｄｇｅ Ｃｏｍｐｕｔｉｎｇ：Ｃｈａｌｌｅｎｇｅｓ ａｎｄＳｏｌｕｔｉｏｎｓ［Ｊ］． ＩＥＥＥ Ｎｅｔｗｏｒｋ，２０１８，３２（６）：１３７－１４３．

［１０］ 王瑞，李霄峰，史天运，等． 基于视频深度学习的铁路周界入侵检测算法研究［Ｊ］． 交通运输系统工程与信息，２０２０，２０（２）：６１－６８．

［１１］ 郭保青，王宁． 基于改进深度卷积网络的铁路入侵行人分类算法［Ｊ ］． 光学精密工程，２０１８，２６ （１２ ）：３０４０－３０５０．

［１２］ 何文玉，杨杰，张天露． 基于深度学习的轨道异物入侵检测算法［Ｊ］． 计算机工程与设计，２０２０，４１ （１２ ）：３３７６－３３８３．

［１３］ ＷＡＮＧ Ｊ Ｑ，ＣＨＥＮ Ｋ，ＸＵ Ｒ，ｅｔ ａｌ． ＣＡＲＡＦＥ：Ｃｏｎｔｅｎｔａｗａｒｅ Ｒｅａｓｓｅｍｂｌｙ ｏｆ Ｆｅａｔｕｒｅｓ［Ｃ］∥２０１９ ＩＥＥＥ ／ ＣＶＦ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ． Ｓｅｏｕｌ：ＩＥＥＥ，２０１９：３００７－３０１６．

［１４］ ＬＩＵ Ｚ，ＬＩ Ｊ Ｇ，ＳＨＥＮ Ｚ Ｑ，ｅｔ ａｌ． Ｌｅａｒｎｉｎｇ Ｅｆｆｉｃｉｅｎｔ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｔｈｒｏｕｇｈ Ｎｅｔｗｏｒｋ Ｓｌｉｍｍｉｎｇ［Ｃ］∥ ２０１７ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ （ＩＣＣＶ）． Ｖｅｎｉｃｅ：ＩＥＥＥ，２０１７：２７５５－２７６３．

［１５］ ＦＡＮＧ Ｇ Ｆ，ＭＡ Ｘ Ｙ，ＳＯＮＧ Ｍ Ｌ，ｅｔ ａｌ． Ｄｅｐ Ｇｒａｐｈ：Ｔｏｗａｒｄｓ Ａｎｙ Ｓｔｒｕｃｔｕｒａｌ Ｐｒｕｎｉｎｇ［Ｃ］∥ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． Ｖａｎｃｏｕｖｅｒ：ＩＥＥＥ，２０２３：１６０９１－１６１０１．

［１６］ ＨＩＮＴＯＮ Ｇ，ＶＩＮＹＡＬＳ Ｏ，ＤＥＡＮ Ｊ． Ｄｉｓｔｉｌｌｉｎｇ ｔｈｅＫｎｏｗｌｅｄｇｅ ｉｎ ａ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ［ＥＢ ／ ＯＬ］． （２０１５ － ０３ －０９）［２０２３－０８－２７］． ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ ／ ａｂｓ ／ １５０３．

［１７］ ＷＡＮＧ Ｃ Ｙ，ＢＯＣＨＫＯＶＳＫＩＹ Ａ，ＬＩＡＯ Ｈ Ｙ Ｍ． ＹＯＬＯｖ７：Ｔｒａｉｎａｂｌｅ Ｂａｇｏｆｆｒｅｅｂｉｅｓ Ｓｅｔｓ Ｎｅｗ Ｓｔａｔｅｏｆｔｈｅａｒｔ ｆｏｒＲｅａｌｔｉｍｅ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｏｒｓ ［Ｃ ］∥ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． Ｖａｎｃｏｕｖｅｒ：ＩＥＥＥ，２０２３：７４６４－７４７５．

作者简介

潘 磊 男，（１９８２—），博士，副教授，硕士生导师。主要研究方向：智慧民航、计算机视觉和情感计算等。

（*通信作者）赵枳晴 女，（１９９７—），硕士研究生。主要研究方向：运动目标检测、小目标检测。

傅 强 男，（１９６９—），硕士，研究员，硕士生导师。主要研究方向：计算机技术与民航行业应用。

郑 远 男，（１９９３—），博士，讲师。主要研究方向：计算机视觉、轨迹规划等。

田 俊 男，（１９９８—），硕士研究生。主要研究方向：图像增强、目标检测。

基金项目：中国民用航空飞行学院智慧民航专项（ＺＨＭＭ２０２２－００５）；民航飞行技术与飞行安全重点实验室开放基金（ＦＺ２０２２ＫＦ１０）；民航飞行技术与飞行安全重点实验室自主研究项目（ＦＺ２０２２ＺＺ０６）；中国民用航空飞行学院重点面上项目（ＺＪ２０２１－１１）；中国民用航空飞行学院２０２３ 研究生创新项目（Ｘ２０２３－２９）