基于OpenVINO模型优化的变电站压板状态识别

2021-05-06孙小磊孙子昌张海华

湖北电力 2021年1期

孙小磊，陈昊，孙子昌，张海华

（国网江苏省电力有限公司检修分公司，江苏南京211102）

0 引言

随着社会经济的不断发展，电网安全稳定运行的重要性日益凸显，这对变电站的精益化运维管理提出了更高的要求。变电站二次设备作为对一次侧进行测控和继保操作的重要设备，目前对其硬压板的核对检查工作主要由人工巡视完成，存在耗时长、任务重和容易出错等问题。在电网公司推行变电站少人化、无人化值守的趋势下，亟需对二次设备硬压板核对检查的智能化解决方案，以推进电网公司智能化运检体系的建设［1，2］。

现有变电站硬压板状态识别方法主要分为传感器监测［3-7］和图像识别［8-12］两大类。其中，传感器监测一般是在原有压板基础上新增监测装置，增加了变电运维人员操作难度和运维风险；图像识别方面，目前主要采用OpenCV进行图像处理，辅以智能算法，但这类算法准确率较低，且对压板图像的光照、视角要求较高。目前已有研究人员将深度学习算法应用到变电站压板识别中［13-18］，但存在推理速度慢，泛化能力弱等问题。为此，本文提出一种基于SSD_Inception 目标检测模型，并经OpenVINO 工具套件优化加速的变电站压板识别方法。

1 SSD_Inception目标检测模型

1.1 SSD模型介绍

文献［13］提出的SSD（SingleShotMultiBoxDetector）网络是一种端到端的单次多框实时检测的深度神经网络模型［19］，强调在多尺度特征图上通过滑动窗口的形式产生多个不同尺度和宽高比的候选框然后进行分类回归的方法进行目标检测，因其兼顾良好的时效性与准确性的优势，被广泛应用到多个目标检测应用领域中，如视频中的行人检测、车辆检测等。SSD网络的基础网络层采用经典的VGG16 进行特征提取，并把VGG16 中的两个全连接层FC6、FC7 采用空洞卷积的方式转换为Conv6、Conv7 层，在不增加参数量和模型复杂度的条件下，指数级扩大卷积的感受野，然后删除FC8层和Dropout层，使用改造后的VGG16网络对输入图像做特征提取，并选取VGG16 中的Conv4-3 层和转换后的Conv7 层作为目标检测的特征图，并在后面新增了4 对尺寸逐层减半的特征图（10×10，5×5，3×3 和1×1的卷积层），构成特征金字塔网络结构［20］。其结构图如图1所示。

图1 SSD模型网络结构Fig.1 SSD model framework

1.2 嵌入改进的SSD_Inception模型

为进一步提高SSD 模型的计算能力，不少研究人员提出将Inception 模块嵌入至SSD 网络中［21-23］。Inception结构是GoogleNet中的一个模块［24］，其最大的优点就是采用不同尺度的卷积核并行运算，通过多分支并行不同尺度卷积核提取特征相融合的方式，有效地提升了各尺度目标特征的语义性，尤其是可以照顾到较小的目标，同时也减少了参数量和计算量。Inception 结构具有密集矩阵的高性能特点，同时还保持着网络稀疏结构，Inception 模块原始结构图如图2所示，其结构中使用了3个尺寸不同的滤波器（1×1，3×3，5×5）以对应不同级别的特征图片，1×1 卷积也能够在保持原结构的前提下增强非线性，最后将相同维度的特征进行跨通道的聚合。

图2 Inception模块结构图Fig.2 Inception block framework

嵌入了Inception 模块的SSD 网络结构图如图3所示。

2 OpenVINO推理优化工具

OpenVINO 为英特尔公司开发的一个快速开发高性能计算机视觉和深度学习视觉应用的工具包，支持英特尔架构的处理器、核显、神经计算棒、视觉计算加速卡等设备，增强视觉系统功能和性能［25-30］。

2.1 OpenVINO推理优化原理

OpenVINO 工具套件通过其中的模型优化器（Model Optimizer）实现加速推理。模型优化器通过将预训练的神经网络模型导入到内存中并读取，生成内部表达（Internal Representation）并对其进行优化，最终生成一个可用推理引擎（Inference Engine）读取的中间表示（Intermediate Representation）文件，即IR文件。IR文件由*.xml 格式和*.bin 格式文件组成，其中*.xml 文件记录了模型的网络拓扑结构，*.bin文件则是记录卷积权重值的二进制文件。经过模型优化器优化后的模型，在不影响精度的情况下，在英特尔的多平台硬件上可以更快执行。

图3 SSD_Inception 模型网络结构图Fig.3 SSD_Inception model framework

模型优化器的优化方式有：线性操作融合，ResNet 优化和分组卷积融合（针对TensorFlow 模型）等方式。

以线性操作融合为例，模型优化器将一般卷积神经网络中常用到的批标准化（Batch Normalization）层和缩放平移（Scale and Shift）层作为一个由加法和乘法构成的计算序列，融合至临近的卷积层中，减小内存拷贝计算量，从而加速模型推理。原理如图4所示：模型中序列1 的批标准化层res_conv1_bn 和缩放平移层res_conv1_scale 被融合至临近的卷积层res_conv1 中，序列2同理。

图4 线性操作融合Fig.4 Linear Operations Fusing

2.2 OpenVINO典型开发流程

以TensorFlow模型为例，当模型训练完成后，可以导出为模型冻结图文件（*.pb 文件），接着使用OpenVINO 工具套件中的模型优化器优化冻结图模型，生成中间表示IR 文件。获得IR 文件之后，就可以在用户的应用程序中通过调用推理引擎Inference Engine 来完成推理计算。 Inference Engine 是OpenVINO 工具套件的重要组件，包含C++/Python API函数，用于完成初始化AI 计算硬件、装载模型和执行推理计算，并返回计算结果，其典型开发流程如图5所示。

图5 OpenVINO典型开发流程Fig.5 OpenVINO typical development process

3 算例应用及分析

3.1 数据

选取某变电站保护室保护装置屏柜不同视角下压板照片60 张，共包含压板样本2 033 个。通过选取不同视角下的压板照片作为训练集，模拟移动机器人或无人机现场采集的图片，以期提高模型训练结果的泛化能力。

图6 不同视角下压板照片Fig.6 Photos of platen under different viewing angles

通过labelImg 工具对图片上的压板状态进行人工标注，分为投入（Close）、退出（Open）和备用（Standby）三种状态。将这些标注后的图片按8∶2的比例分为训练集和评估集。

3.2 模型训练

本算例运行平台为Win10，具体配置如表1所示。

表1 运行平台参数Table 1 Experimental platform parameters

在深度学习模型的训练中，要想使模型收敛并得到理想的结果，需要耗费巨大的资源，因此要使用迁移学习技术。迁移学习核心思想是将在A任务训练得到的模型移植到B 任务上来，因此本算例在TensorFlow官方提供的用于目标检测的SSD_Inception_V2预训练模型基础上进行迁移学习，从而获得更快的训练速度和损失率Loss 下降速度。在本算例中，设置训练次数为10 000次，批大小（Batch Size）为2，其损失率曲线通过TensorFlow 工具的TensorBoard 组件获得，平滑率的经验值为0.5，如图7所示。

图7 损失率曲线Fig.7 Loss rate curve

3.3 模型优化与对比

通过迁移学习，将训练结果保存为TensorFlow 冻结图*.pb 文件，再使用OpenVINO 工具套件的模型优化器对其进行优化，得到该模型的中间表示IR文件（*.xml和*.bin文件），最后通过调用Inference Engine 的相应API接口即可进行推理测试。测试环境参数同表1。为比较OpenVINO 对模型计算性能优化程度，本算例采用通过TensorFlow 原生API 载入冻结图*.pb 文件和通过Inference Engine API 载入IR 文件两种方式对相同测试数据集进行推理，测试图片共20 张，置信度设为0.5，测试结果如图8所示。

图8 不同推理方式结果对比Fig.8 Comparison of results of different inference methods

3.4 模型评价指标

为检测模型计算效果，本算例采用精确度（Precision）和召回率（Recall）作为评价指标，其计算公式如下：

在式（1）和式（2）中，TP为正样本被正确识别为正样本的数量，FP 为负样本被错误识别为正样本的数量，FN为正样本被错误识别为负样本的数量。具体到本算例中，规定TP为模型检出并正确判断状态的压板数量，FP为模型检出但判断错误的压板数量，FN为模型未检出的压板数量。由此可知精确度表示模型对所有判断为正样本的查准率，召回率表示模型对所有正样本的查全率。

不同推理方式的相关性能对比结果如表2所示。

从表2 可以看出，对同一模型而言，经过OpenVINO 工具套件模型优化器优化后，模型可以在保证推理准确率的前提下，使得召回率有大幅提升，从而保证压板目标有更高的检出率；优化后的模型在推理时间和帧率方面也有大幅提升，平均每张照片的推理时间在30 ms 左右，可以满足计算模型对实时性的要求，适用于部署在移动机器人或无人机等边缘移动计算平台上。

4 结语

变电站无人化值守是电网智能化发展的趋势，对于变电站压板的检查核对工作亟需智能化的解决方案，从而提高巡检效率，减轻人员工作负担。所提出的基于SSD_Inception 模型的变电站压板识别方法，通过迁移学习减轻训练负担；基于Intel AI模型优化工具套件OpenVINO 对模型进行了优化，有效提高了模型的各项计算性能，使得模型具备部署在边缘移动计算平台（如各类巡检机器人与无人机）上的能力，进一步提高变电巡检的自动化水平。