智能终端图像识别模型测评装置的研制与应用

2022-01-10姬艳鹏刘良帅赵百捷冯海燕

河北电力技术 2021年6期

姬艳鹏，陈泽，刘良帅，赵百捷，冯海燕

（国网河北省电力有限公司电力科学研究院，河北石家庄 050021）

0 引言

随着人工智能技术的蓬勃发展，电力运检、安监、营销等应用领域对图像识别等技术的需求愈发强烈，亟需将智能图像识别技术的先进研究成果应用于电力领域，达到降本增效的目标[1-2]。基于云端分析和处理的图像识别方法，需要消耗大量的通信资源、云端算力、存储能力等资源，其实时性较差、成本较高，因而图像识别方法逐渐由云端集中处理模式向终端分布式处理的模式转变。智能终端图像识别技术一般需要图像预处理、图像特征提取和目标检测等流程[36]实现图像目标识别，其结果直接影响了电力的精益化运维水平，因而有必要对图像识别模型进行质量评估，保障入网终端的应用效果。当前具备边端图像识别能力的智能终端[7]，其评估规范出台相对滞后，测评技术和装置兼容性差，测评压力巨大。以智能可视化监测终端为例，其图像识别能力测评方式主要包括以下2种:模型提取式的能力测评，该方法将待测模型与终端解耦，可以验证算法本身的有效性，但无法检测出模型在终端实际应用中的效果；手动导入式的能力测评，该方式通过SD 卡或移动存储工具手动导入测试用例，不能直接调用样本库，导致测试效率较低，同时该方式也无法对终端的功耗情况进行评估。因此，亟需开发一种智能终端图像识别模型测评装置，建立必要的测评数据集，完善和细化测试流程，对以智能可视化监测终端为主体的智能终端图像识别能力进行综合评估。

结合当前业务痛点与需求，智能终端图像识别模型测评装置需具备以下条件:一是，能够将算法模型与终端进行一体化测评，测评结果能够直接反应电网应用场景的实际情况，有效保证终端的识别质量，减少人工智能技术应用的成本投资。二是，采用前后端分离的方式进行开发，前端可以忽略后台的工作，并通过API直接调取后端数据（如样本库管理平台），自动化开展测评工作，显著提高工作效率。三是，依托前端APP 或微应用，通过识别被测终端上的二维码，获取被测终端的参数信息并对照测评标准体系进行测评，实现对智能终端图像识别能力的评估与统一管理，助力业务应用的智能化水平更上新台阶。四是，具备可扩展性，当前图像识别技术在运检、安监和营销等专业应用广泛，除对以上专业现有模型具备测评能力外，应对迭代升级模型、新场景识别模型具备测评能力。

1 智能终端图像识别模型测评总体架构

基于对业务痛点和需求的深入分析，重点介绍智能终端图像识别模型测评的总体架构，如图1所示，包含数据层、接口层和业务层。

图1 总体架构示意

1.1 数据层

数据层包括终端数据、日志数据以及样本数据等数据库，为智能终端的模型测评提供数据支撑，文中样本数据库主要指公司建成的样本库管理平台。样本库管理平台中的样本管理模块对样本进行多级标签筛选，形成用于模型训练的训练集或用于模型验评的验证集，两集合内容互不重叠。样本库管理平台通过接口与业务层进行交换，实现验证集信息的一键推送。

在众多样本中，测评选取了具有代表性的部分样本组成验证集。以输电通道中吊车、塔吊、施工机械、烟雾山火和异线异物5个场景为例，阐述了样本集构成。5类场景中，除异线异物外，每个场景包括350张缺陷样本、150张无缺陷样本，异线异物场景包括280张缺陷样本、120张无缺陷样本。

在缺陷样本集中，吊车、塔吊、施工机械的选取规则包含了大缺陷特征、小缺陷特征、特殊角度（俯视、侧方以及边缘）、光线暗/逆光等四方面，具体数量见表1。

表1 吊车、塔吊和施工机械缺陷样本集构成

烟雾山火的选取规则包含了大缺陷特征、小缺陷特征、光线暗/逆光三方面，具体数量见表2。

表2 烟雾山火缺陷样本集构成

异线异物的选取规则包括了塑料薄膜、风筝、其他等三方面，具体数量见表3。

表3 异线异物缺陷样本集构成

1.2 接口层

接口层通过开发数据服务接口、AI能力计算及测试数据接口等实现数据层和业务层的数据交互，并具备用户认证和权限管理能力，保证数据交互的安全可靠。

1.3 业务层

业务层包括智能终端图像识别模型测评装置的硬件系统和软件系统，其中硬件系统输出可调电压，为待测智能可视化监测终端正常运行提供电源，同时可以对待测智能可视化监测终端电压和电流进行监测，分析终端在实际运行中的功耗情况。软件系统包括待测终端管理、系统基础管理以及样本数据管理，此外可通过VPN/内网实现各种业务操作，支持结果推送和查询。

1.3.1 硬件组成

智能终端图像识别模型测评装置的硬件组成包括电源模块、工控机、可调电源、8 路电流监测仪、交换机等，如图2所示。

图2 硬件组成

（1）电源模块是智能终端图像识别模型测评装置的能量来源，输入为AC 220 V 市电，经过交直流变换后为工控机、可调电源和8路电流监测仪供电。

（2）工控机是软件系统的载体，是实现待测智能可视化监测终端与数据库/样本库管理平台沟通的桥梁，也是测试人员与所研制装置交互的纽带。工控机控制可调电源的输出，为待测智能可视化监测终端提供稳定的电源；同时实时收集8路电流监测仪的电流值，在屏幕上实时展示终端的功率信息。

（3）可调电源可输出6～18 V 的直流电压，最大误差为0.1 V，支持为多种类型的待测终端提供所需电源。

（4）8路电流监测仪实现测试过程中电流的监测，对采集到的模拟量信息进行滤波和模数转换后实时传输给工控机。

（5）交换机实现工控机、可调电源、8路电流监测仪和待测智能可视化监测终端的组网，实现控制信号、数据信息的多方交互。

1.3.2 软件系统

智能终端图像识别模型测评装置软件系统主要包括待测终端管理、系统基础管理以及样本数据管理3个主要模块。

（1）待测终端管理包括待测厂商管理、待测终端管理、测评管理和测评结果查询4个主要功能。待测厂商管理，测试人员对被测厂商信息进行登记，支持查阅、添加、删除、修改所有测评对象的厂商具体信息，支持按被测终端的状态和数量等条件对厂商进行筛选。待测终端管理，测评人员将厂商提交的待测终端和相关资料存入数据库中，在待测终端上贴上对应的二维码并入库，同时为厂商提供已接收待测终端的纸质版凭证。测评完成后，由厂商出示纸质版的凭证取回被测终端。测试管理，测评人员取出已入库的终端进行测试，识别被测终端上的二维码获取被测终端的参数信息并对照测评标准体系进行测评，测评结果保存到数据库中。详细测评流程将在第2部分进行阐述。测评结果查询，测评完成后，可将检测结果进行自动化分类展示，同时可向厂商预留的邮箱中发送测评结果报告，厂商也可使用自助报告机扫描二维码打印测评报告。

（2）系统基础管理包括用户管理、资源管理和日志管理3个主要功能。用户管理主要实现新用户注册、修改密码、密码找回、权限设置等功能；资源管理主要实现装置的软硬件资源分配，包括算力、存储、接口等；日志管理主要完成装置运行日志的生成及自动审计功能，对异常日志记录及时上报。

（3）样本数据管理包括数据接收、数据管理和数据导出3个主要功能。数据接收主要实现从样本库管理平台接收测试样本，进而按照测试场景进行分类存储，在进行测试的过程中将测试样本逐张发送至待测智能可视化监测终端。

2 智能终端图像识别模型测评装置测试

基于总体架构、硬件组成和软件系统的设计思路，本文研制了智能终端图像识别模型测评装置样机，如图3所示。其中工控机具备显示功能，支持测试人员操作和测试过程的实时展示；将可调电源和8路电流监测仪合二为一，在输出可调稳定电压的同时监测8路待测终端的电流信号。

图3 智能终端图像识别模型测评装置样机

2.1 测试流程

图4展示了智能可视化监测终端的详细测试流程，在启动智能终端图像识别模型测评装置后，通过扫码枪扫描终端上的二维码，获取终端厂商、型号和测试场景等信息。确定需要测试的场景，工控机通过API向样本库管理平台请求测试样本。样本库管理平台响应请求，下发对应场景测试样本。智能终端图像识别模型测评装置存储测试样本，以单张样本为单位，下发至待测终端。待测终端识别图像中的目标，并反馈识别结果（包括是否成功，目标的位置信息等）至智能终端图像识别模型测评装置。智能终端图像识别模型测评装置通过API向样本库管理平台获取测试样本的标注信息，将两者结果进行计算分析得出模型测评结果，最终生成终端测评报告。

图4 测试流程示意

2.2 测试实例

以输电智能监拍装置[89]作为待测智能可视化监测终端，如图5所示，考察其在吊车、塔吊、施工机械、烟雾山火和异线异物5个场景的人工智能图像识别模型性能。

图5 输电智能监拍装置

输电智能监拍装置采用人工智能图像识别技术，以“拍照”为主、“视频”为辅的工作方式对输电线路通道中出现的可能威胁到电网安全稳定运行的物体进行识别，并在线路端和统一视频监控平台进行报警提示，驱离威胁人员或车辆，运维人员及时进行线路消缺，避免故障发生[1011]。

表4是某厂商输电智能监拍装置人工智能图像识别模型的验评结果，交并比阈值为50%。可以看出，模型对不同场景的识别能力有一定差距，其中吊车、塔吊和施工机械的识别准确率均在90%以上；异线异物由于物体形状不规则、种类多样等因素，识别准确率相对较低。单张样本的平均识别时间在2～3 s，主要花费在样本传输、图像识别和分析方面。单张样本的平均功耗在5.5～6.5 J，是待测终端除通信外消耗能量较多的环节。