继保压板状态图像识别嵌入式方案设计与应用

2023-11-23李新海范德和孟晨旭曾令诚袁拓来

电气传动 2023年11期

李新海，范德和，孟晨旭，曾令诚，袁拓来

（广东电网有限责任公司中山供电局，广东中山 528401）

变电站内继保室压板数量巨大，传统压板巡检核对方法分为人工巡视核对和轨道机器人巡检核对。由于压板数量巨大，操作现场人工逐一核对工作效率低下；而指定轨道行驶的机器人巡检则会受到玻璃门反光、异物阻挡、角度盲区等影响，产生压板无法正确识别的困扰；此外，目前使用的压板图像识别方法需庞大的后台计算架构，巡检人员无法在操作现场即刻获取核对信息，极大影响了工作效率[1-4]。

针对上述问题，本文提出了一种基于嵌入式的手持终端解决方案，该终端采用柯达PixPro SL10微型智能高清相机，实现了对压板屏柜多角度拍摄，有效地解决了由于玻璃门反光、异物阻挡、角度等妨碍拍摄的问题；此外，本文提出了一种基于嵌入式及只需要浏览一次就可以识别出图中物体的类别和位置的YOLO Nano 算法的继保压板状态现场识别方法，并选用六核Cortex-A系列高性能计算核心和专用视觉识别模块Mali-T860作为硬件平台，通过读取预存在终端上的调度压板方式表进行压板核对，避免了庞大的后台架构，实现了操作现场对压板状态批量识别与核对，解决了操作现场人工逐一核对工作效率低下的问题[5-11]。

将本文所提方法用于某220 kV 变电站继保室（300 面屏柜，7 088 块压板）进行继保压板状态现场核查，设备性能和算法效率均达100%，压板识别准确率达到100%。所提方法摆脱了巡检机器人受到玻璃门反光、异物阻挡、角度盲区等限制而对压板无法正确识别的困扰，提高了工作效率和压板状态的识别与核对的准确率，避免了人为错误，易于推广使用。

1 研究思路

为了实现继保压板操作现场的投退状态识别与核对，本文提出了一种基于嵌入式的手持终端解决方案，研制了基于先进的精简指令集微处理器（advanced reduced instruction set computer machine，ARM）嵌入式硬件平台的手持终端、设计了适合本研究硬件平台的YOLO Nano算法模型，设计开发了手持终端应用软件。该方案包括手持终端硬件平台和固件程序软件两部分，如图1所示。

图1 继保压板状态识别系统总体结构Fig.1 Overall structure of the relay platen status recognition system

嵌入式硬件平台核心为图像识别嵌入式单元，由图像采集模块、图形处理模块、人工智能（artifical intelligence，AI）计算模块和显示模块组成。

本研究利用YOLO Nano 网络的特点，设计了基于YOLO 的基础网络模型，通过与嵌入式设备结合的方式对网络进行训练和调整，最终获得适合本研究提出的硬件平台运行的识别模型。并根据变电站压板核对业务流程设计开发了基于ARM 嵌入式终端的软件，该软件利用YOLO Nano识别模型对拍摄的压板照片进行识别，获得现场屏柜压板开合状态。

操作现场压板识别核对流程如图2所示。压板状态巡检识别流程如下：

图2 压板状态识别核对流程Fig.2 Platen status recognition verification process

1）使用图像采集模块对压板屏柜进行拍摄，采集压板图像；

2）图像采集模块通过Wi-Fi 接口将图像传送到手持终端进行存储；

3）基于计算机视觉和YOLO Nano 目标识别算法，利用图形处理模块及AI计算模块硬件资源对压板图像进行处理和识别；

4）通过显示模块显示识别结果和核对报告；

5）通过Wi-Fi 网络、通用串行总线USB 接口将数据传输至服务器保存。

2 压板状态现场识别与核对手持终端结构

继保压板状态现场识别嵌入式手持终端核心为图像识别嵌入式单元，由图像采集模块、图形处理模块、AI 计算模块和显示模块组成，如图3所示。

图3 继保压板状态识别手持终端硬件结构Fig.3 Relay platen status recognition handheld terminal hardware structure

2.1 图像采集模块

图像采集模块包含了可10倍变焦镜头，焦距涵盖广角到远焦视角范围，焦距为28～280 mm，相当于35 mm等焦距。模块最大优点如下：1）该模块可与手持终端主机分拆；2）该模块为一款微型智能相机；3）可实现高清拍照；4）可应用于多种便携式设备；5）携带方便。该模块集成一个16.35 MP 1/2.3英寸BSI CMOS传感器，实现了高分辨率拍摄、增强了低光性能和质量，达到ISO3200敏感度。

模块具备光学图像稳定性，可最大限度地减少相机晃动，从而提供更清晰的照片。模块利用内置Wi-Fi 连接，利用近场通信（near field communication，NFC）对设备进行配对，核心主机可对其进行设置控制和拍摄，通过Wi-Fi 将照片传输至手持终端主机上。

2.2 存储模块

由于拍摄照片为高清图片，照片文件比较大，且需要快速读取。为了保证系统运行效率和传输效率，存储模块采用高速嵌入式多媒体卡作为存储介质，容量128 GB 以上。同时，支持微型安全数字记忆卡（micro secure digital memory card，MicroSD Card）扩展和外围互联部件扩展（peripheral component interconnect express，PCIE）接口的固态硬盘扩展。解决了系统存储空间不足的问题，实现存储空间的灵活扩展。

2.3 图形处理AI计算模块

图形处理AI 计算模块采用服务器级双核Cortex-A72+四核Cortex-A53 的大小核构架，结合四核ARM Mali-T860 MP4 GPU 实现对拍摄的图像处理、卷积计算、目标识别和各模块数据交互功能。由于Mali-T860 采用了基于128 bit向量的Midgard 架构，在应用于图像卷积计算时，效率比六核big.LITTLE 的CPU 快2～4 倍。采用的六核Cortex架构，具备更高的接口标准、更快的传输速度，为终端提供了更快的计算速度和更好的视觉效果。

2.4 显示模块

显示模块的核心为高清电容触控屏。显示模块支持HDMI2.0，DP1.2，MIPI-DSI 和eDP 等高性能显示接口，具备强大的显示扩展能力。

2.5 通信模块

通信模块支持的接口有：Wi-Fi（2.3 GHz/5 GHz），BT4.1，千兆以太网和USB3.0。通信接口的传输速率可达5 Gbps。

手持终端拍摄的继电保护压板图片、压板状态识别结果和核对结果，可通过使用任意一种通信接口上传至服务器主站，由服务器主站对上传信息进行存储和归档。同时，服务器主站可把关系数据信息及算法模型下发到手持终端。

3 压板状态现场识别与核对嵌入式软件设计

本文所提系统固件程序包括操作系统和压板状态识别软件两部分。操作系统固件包括显示驱动、Wi-Fi驱动、蓝牙驱动、USB驱动和操作系统移植模块。压板状态识别软件包括压板台账信息管理、压板图像采集、压板状态图像识别、压板识别核对报告和异常信息模块。固件程序结构如图4所示。

图4 固件程序结构Fig.4 Firmware program structure

3.1 嵌入式Linux操作系统固件

嵌入式操作系统负责嵌入式系统软件和硬件资源的分配、任务调度与控制、协调并发活动。系统由底层驱动程序、系统内核、设备驱动程序、通信协议等组成。嵌入式Linux 操作系统的特点是内核小、专用性强、系统指令简单、具备较高实时性，是一个多任务的操作系统。

系统移植需要针对特定设备通过交叉编译的方式，才能移植到硬件主板上。系统移植方法有三种，分别是uboot，bootloader和kernel方法，本文所述的RK3399 硬件平台系统移植采用uboot方式，使用交叉编译方式编译嵌入式Linux 系统，并将系统进行镜像封装，通过uboot 移植工具，将系统镜像写入RK3399硬件平台。

显示驱动用于驱动高分辨率有电激光显示屏（organic light emitting diode，OLED）显示和触摸功能。Wi-Fi驱动和蓝牙驱动用于驱动Wi-Fi和蓝牙设备，实现图像采集模块进行数据传输通信。USB驱动用于驱动与第三方平台的数据传输通信。

3.2 压板状态识别软件

压板状态识别软件实现了基于YOLO Nano算法的嵌入式固化与相关信息的管理，提供友好图像界面，方便用户操作使用，软件使用Java 平台搭建和开发。软件功能模块包括：压板图像采集模块、压板台账信息管理模块、压板状态图像识别模块、压板识别核对报告模块和异常信息模块。

压板台账信息管理模块用于管理设置手持终端上存储的主控室压板台账信息，可查看主控室各屏柜台账信息和压板状态原始状态信息。

压板图像采集模块通过控制图像采集模块对压板屏柜进行拍照，获取压板状态照片，并对照片进行存储管理。

压板状态图像识别模块通过使用TensorRT平台搭建YOLO Nano 网络模型，并对模型进行训练，移植至嵌入式平台，本模块通过调用算法对存储在设备上的压板照片进行图像识别，得到各压板开合状态信息。

压板识别核对报告模块对压板状态图像识别结果进行整合，形成易于理解和直观的压板识别核对报告。

异常信息模块显示压板图像识别后存在异常的压板名称信息。

4 继保压板状态现场识别YOLO Nano算法

由于嵌入式设备计算资源的局限性，为了最大程度发挥图像识别算法的效能，要求部署在嵌入式设备上的算法须具备准确率高、实时性好、开发难度低、网络模型小、占用内存低等特点。目前已有的目标检测网络，如单次检测器算法（single shot multibox detector，SSD）、掩膜基于区域的卷积神经网络（mask region based convolutional neural networks，Mask R-CNN）由于受到嵌入式设备计算和内存的限制，无法在嵌入式设备上发挥其应用的性能[12-14]。

YOLO Nano 网络以单阶段目标检测网络架构作为原型，将原型和机器驱动的设计探索策略相结合，创建一个简单紧凑的网络结构，其最大的特点就是该网络针对嵌入式和边缘设备而设计。该网络基于YOLO 系列设计，继承了YOLO算法优秀的目标检测性能，网络模型比Tiny YOLOv3 小8.3 倍，运行速度比SSD 和Retina Net分别提高了3 倍和3.8 倍，支持在嵌入式图形处理器（graphics processing unit，GPU）上实现目标检测[15-17]。

YOLO Nano 通过利用一种人机协助的设计策略来设计一种深度卷积神经网络，该网络高度紧凑。YOLO Nano 网络属于一种针对嵌入式设备高度定制化的网络，其创建过程包含两个步骤：1）基于YOLO系列网络创建原型网络；2）根据原型网络通过机器驱动探索策略获得最终网络。

基于原型网络创建，原型网络（记为φ）由特征表示模块堆栈组成，模块之间的快捷连接与YOLOv3 一样。特征表示模块类似金字塔网络，使得网络能在三个不同维度上表示特征。通过在特征模块之后增加卷积层输出bounding box 的三维张量，以及三个不同尺寸大小的分类预测，实现了高效和多尺度的目标检测。

机器驱动探索阶段设计网络，以原型网络、数据及嵌入式设备需求为指导，通过利用机器驱动探索策略确定YOLO Nano 的宏观架构和微观架构，最终获得YOLO Nano 网络结构。该阶段定义网络生成器g，通过给定的种子集合S，生成函数u的网络{Ns}，该网络满足了指标函数lr(·)的定义和约束要求，其表达式如下式所示：

通过迭代优化算法求近似解，而g0由φ，u和lr(·)作为引导，在lr(·)的约束下逐步更新，获得一个连续的gk，如(g1,g2,g3,…,gk,…)，利用最终的近似值ĝ创建YOLO Nano网络。

网络结构如图5所示。它由残差投影-扩展-投影（projection-expansion-projection，PEP）宏体系结构的模块，以及扩展-投影（expansion-projection，EP）宏体系结构组成。残差PEP 宏架构包括：1）第1 层为1×1 卷积构成的投影层，将输出通道映射为一个维度较低的向量；2）第2 层为1×1 卷积构成的拓展层，将通道数增大为较高的维度；3）第3 层为3×3 的深度卷积层，对拓展层的每一个输出通道用不同的滤波器进行空间卷积；4）第4 层为1×1 卷积构成的投影层，将输出通道映射为一个较低维度的输出向量。残差PEP 结构极大地降低了计算复杂度和模型复杂度，并且保留了模型的预测能力。其中全连接注意力层（fullyconnected attention，FCA）由两个全连接层构成，学习各通道间动态的、非线性的相互依赖关系，通过channel-wise 相乘来产生各通道的权重。

图5 YOLO Nano网络结构Fig.5 YOLO Nano network structure

5 系统实现

5.1 系统硬件平台实现

根据本文所述方案，采用瑞芯微的RK3399作为核心模块，搭载基于ARM 的Linux 操作系统，设计和研制用于继保压板状态识别手持终端。手持终端硬件核心板大小尺寸为124 mm×93 mm，符合嵌入式手持终端便携的设计要求。

手持终端外壳设计为可手持和挂带相结合，手持终端在两个侧面分别设计了图像采集模块安装卡扣，使得智能相机镜头通过自带的卡扣可安装于手持终端主机上，实现使用的多样化，外壳采用3D打印，实现效果图如图6所示。

5.2 系统软件及算法实现

压板状态识别软件基于Java 平台搭建和开发。在上位机通过使用TensorRT 框架搭建适合嵌入式设备的YOLO Nano 网络，使用标注好的数据集对网络进行训练，得到预测模型和参数，模型和参数嵌入识别软件中。通过软件安装部署到嵌入式手持终端中，在使用过程中调用算法模型对压板图像进行识别，软件部分功能实现效果如图7所示。