基于Triple-Gan模型视觉平台的建设探析

邹帅 钟方伟

关键词：Triple-Gan；视觉；平台

0 引言

随着电网设备规模大幅增长，新设备处于不稳定期，老旧设备基数大、隐患多，发生设备事故的风险依然存在。人身安全事故未能杜绝，业务外包和劳务分包比例不断扩大，作业人员素质整体偏低，安全管控能力与建设发展的强度不适应。生产任务与一线作业人员不足，生产承载力不足、业务空心化和员工技能退化等问题日益凸显。亟须通过自动化、数字化、智能化技术手段，聚焦基层、紧盯现场，着力抓好防触电、防感应电和防误操作等安全管理，提升运检质效。本文通过应用Triple-Gan 网络模型、YOLOv5s 加速技术、视觉技术、云计算等技术，通过场景识别的逐步下沉，实现对一些较为复杂的违章行为进行精确识别，不仅减轻网络带宽和后端服务器计算压力，同时也提高了现场违章识别的同步性和实时性。

1 研究意义

针对当前电网规模的日益剧增，各类技改、大修、停电、不停电、带电作业、异常处理现场较多而复杂，一线运维人员与现场安全管控精益化管理要求不匹配等矛盾日益凸显的现状。基于Triple-Gan 网络模型、深度视觉、行为识别、便携式终端图像采集报警、边缘计算终端加速处理等技术应用，形成“便携式终端-分析平台-边缘计算终端”的分布式信息采集、处理及可视化展示的研发及场景应用。通过“三位一体”的协同模式，实现对生产现场作业安全风险识别并有效进行管控，支撑现场作业本质安全水平的有提升，促进规范作业流程，有效形成违章预警及报警的双重应用，杜绝违章行为的发生，强化作业过程管控，保障人身安全可控在控能控制的目标，解决现场作业实际问题。同时，实现检修作业、运维操作、带电作业等现场可视化全覆盖，结合计划任务和两条工单，实时进行“1 对N”作业现场质量和进度督察，对作业关键点进行管控，通过云网融合、业务管控与视觉技术的融通共享，实现作业的全程“身临现场”可视感知，达到“现场行为工作票”的目的。

2 技术路线

2.1 面向YOLOv5s 的DCNN 优化算法应用

基于ASIC 的可压缩、基于小样本学习且可移植的DCNN 模型，应用YOLOv5s计算策略，将DCNN 算法经过卷积层滤波计算和池化层采样后，生成新的卷积层，继续交替进行，经过若干层计算后，最终通过连接层输出特征提取结果，进行作业现场的图像信息的直接监控和分析，判断作业现场人员行为风险因素；同时，通过将基础数据进行二次挖掘，建立违章数据模型库，判断现场安全生产工作的潜在影响和风险。

2.2 基于视觉技术的作业计划任务联动应用

通过实时抽取从PMS2.0 同步工作票、操作票、巡视任务等信息到智能视觉平台，根据不同任务的类型形成相应的工作任务单，根据工作任务受理的班组对任务进行班组下发，通过计划任务管理服务，对日计划和两票工单进行统一管理，加强现场作业的安全管控。

2.3 基于云计算的图像智能分析识别应用

融合云资源及公司系统内部专用网络，形成“云- 管-边-场-端”网络架构。系统通过安全接入平台接入生产内网，将视频数据、物联网卡数据与工作任务数据自动关联，直接实现移动终端任务创建、任务下发、视频上传、视频违章查纠等功能。

2.4 数字化全过程分析管控应用

通过视觉平台应用，规范现场作业，形成现场作业标准化，形成数据采集评价流程，建成数字化监管的技术路线，实现现场作业管控制趋向成熟化。利用数据分析技术，统计违章分布的类型、班组、人员制定相应的培训策略，纠正违章行为，完成现场作业痕迹、追溯技术支撑。

3 设计思路

利用人工智能、边缘计算、云计算等技术，通过现场布置布控球、相关人员佩戴单兵安全帽、远程无人机实现作业现场安全监察、违章识别，在前端移动智能终端设备实现边缘计算-违章行为检测，即在终端设备上加入边缘计算模块对作业人员违章行为进行自动、及时的识别，同时在现场安装声光报警等警示设备、消息推送等方式及时提醒作业人员的违章行为，从而实现智能化的作业现场违章行为检测，对人员行为违章、安全文明作业措施未落实等进行及时报警和现场监督管控。

3.1 平台设计

总体设计包括物理层和虚拟化層、云服务层及云组件，为提供平台硬件资源基础管理，基于硬件来构建池化的虚拟资源，包括服务器虚拟化、存储虚拟化、网络虚拟化和监控/运维系统等[1]。并向管理员/用户提供云平台服务，包括云主机服务、网页交互、API接口、监控系统、弹性网络、VPN隧道、账户管理、计费模块、负载均衡和端口转发等服务。

3.2 系统架构设计

通过“云、管、边、端” 技术架构实现生产现场的实时监督管控及生产过程行为的历史追溯管理。利用工作记录仪、移动布控球等设备对作业现场的图像、音频、定位、业务处理等进行实时采集和回传。通过虚拟无线专网VPN建立通信通道。基于云网融合技术建立专网和内网可视化监控云平台，通过安全接入平台实现数据交互。基于PMS2.0两票和计划任务，通过视频专网进行远程实时监督，实时点检以及现场喊停等应用，通过信息内网进行历史数据回放、违章标记、自查互查等应用。

3.3 平台网络设计

建设基于电网网络信息安全要求，内外与专网的信息交互通过安全接入平台实现，前端采用4G现场工作记录仪，通过虚拟无线网络，在专网视频监察系统查看实时现场工作视频，同时将历史录像数据在前置服务器加密后通过安全接入平台传输至信息内外，实现录像数据与PMS任务数据的相互关联。

生产作业可视化监控平台采用两级分布式部署模式，通过虚拟无线专网接入工作记录仪和安全接入平台进行数据交互，形成“云-管-边-场-端”架构，基于云网融合技术和标准化接口实现终端的多样性接入和平台的能力共享。

3.4 终端FPGA 设计

通过各个硬件模块输入输出的相互连接，结合FPGA 所提供的流水结构，将CNN算法进行匹配，充分利用算法网络结构内部的并行性，在提高运算速度。将现场作业可视化图像数据是以数据流的方式进行输入，在每个时钟周期内传入一个图像的像素点，基于28×28个时钟周期，完成对单幅图像的运算。在CPU端，读取输入的训练数据图像集，对输入图像做归一化预处理之后，通过PCIE总线传输给Dataflow Engine，通过CNN将参数w和参数b是在CPU中进行初始化，通过 PCIE 传输到 DataflowEngine 的 Fast Memory中，实现2个卷积层和1个softmax全連接层加快卷积运算取参数过程，数据通过Dataflow Engine，生成图像分类，并将结果推送至CPU。

3.5 安全接入设计

1） 安全接入平台应部署在信息内网和专网之间，采用类VPN技术和数据隔离技术实现数据的安全接入。工作记录仪采用虚拟无线专网通过防火墙接入专网前置服务器，前置服务器安装安全接入通信组件和国密PCIE加密卡连接安全接入平台，接入信息内网（如图4所示）。

2） 业务安全接入体系由四部分组成：工作记录仪、前置服务器、安全接入平台和信息内网。其中工作记录仪采用虚拟专网技术在GPRS APN/WCDMA VPDN上建立的虚拟隧道，前置服务器是经过安全加

3） 业务安全接入总体架构分为安全接入终端层、安全传输通道层、安全接入平台层和业务访问层四层，由安全接入终端、安全传输通道、安全接入平台和PKI证书服务系统组成。

4） 业务安全接入防护体系从接入终端、网络环境、边界和应用四个层次进行安全防护，体现层层递进、纵深防御的设计思想。通过四层的安全防护模式，实现了对业务过程中数据交互的全面安全防护，保证了电力信息内网的安全。

4 技术架构

4.1 流程设计

平台由PMS2.0定时同步的任务数据发起，通过安全接入平台将任务数据下发，在视频专网中进行视频实时查看，工作任务结束后工作记录仪自动通过虚拟无线专网将视频历史数据回传至信息内外，并与PMS2.0中的任务自动关联。

4.2 智能分析设计

通过执法仪拍摄的视频进行分析，提取其中的目标信息，完成对视频的结构化描述。本文围绕对人的安全管理，利用智能分析算法[2]检测五类目标，首先要检测视频中是否有人出现，并能检测到每个人在视频中的位置，在此基础上，在单个人的特定区域内检测其他属性目标。通过五类属性目标要进行检查，分别是安全帽、袖章、绝缘手套、工作服和两票。这五类目标并不一定同时出现在某个人身上，而是根据具体的任务，在人身上检测某个属性目标，以判定是否符合任务规范。

针对以上目标，实现多路视频的实时监控，系统能保持高并发性和反应敏捷性；系统对工作任务进行灵活分解和配置，完成对执法视频的语义分析；对于存量视频，可以进行后期分析，浓缩视频内容，形成视频摘要，方便对视频进行事件检索。根据任务要求，选目定标要素，分析视频中是否检测到了目标要素，也即在返回的视频中要先检测到人，再在人的身上检测是否戴有安全设备，如果视频中以一定比例检测到了这些目标要素，则认为这个视频符合任务规范。

5 功能设计

系统分为专网及内网运行环境，实现实时视频监控、语音对讲、设备管理、人员管理、定位管理、视音频预览及通信指挥、违章识别等主要功能。

5.1 实时视频监控

通过无线接入网络，方便地实现视频传输。采用高效的H264、H265视频编解码技术，支持1080P高清视频上传，灵活的网络自适应调整技术、可靠的网络传输纠错，在有限带宽下保障视频数据的流畅传输。

5.2 语音对讲

支持双向的音频功能，通过配置声音采集和输出设备，实现监控点与平台之间的双向语音，同时支持双向语音的录制，实现全过程的音视频记录。

5.3 设备管理

平台的设备管理包括可以远程实时查看移动现场工作记录仪的工作状态，包括电池电量、存储信息、录像状态等，同时可以远程控制所有安全生产人员的移动现场工作记录仪开启或停止录像。

5.4 人员管理、定位管理

移动现场工作记录仪设备定位管理，可实时接收定位数据，并在地图上展现出来，方便调度员观看、调度。

5.5 视音频预览及通信指挥

通过地图界面或设备列表资源，可以远程调用现场工作记录仪拍摄的图像画面，能够实时回传现场视音频画面，达到对现场情况的把控。

5.6 违章识别

通过视频实时识别违章作业，并进行截图，将违章视频进行统一资源管理，联动工作票信息，记录违章时间、人员、类型等信息。查询归档的违章记录。违章记录的详细内容包括：票号、任务类型、风险等级、工作班组、工作负责人、任务内容、违章时间、违章类型、发现类型、违章内容、违章图片、播放视频的操作。可以按照部门、票号、违章类型、任务类型、风险等级、发现类型、负责人、违章内容、开始时间、结束时间设置查询条件进行查询。

6 关键技术

6.1 面向Triple-Gan 网络模型的视觉聚类算法

基于大量的生产现场作业图像数据，将一定数量的训练样本训练生成器，以达到学习到真实样本的分布的目标，实现自我生成训练样本，使判断器可以学习到真实样本和生成样本的数据特征。一是构建改进后的半监督图像分类模型，包括生成器、判断器和一组子判断器，一组子判断器包括若干个子判断器；二是训练改进后的半监督图像分类模型[3]；三是将待分类的图像输入至训练好的、改进后的半监督图像分类模型，得到图像分类结果，形成现场作业违章智能识别场景的样本学习训练的有效应用，提高平台整体识别分析效率和准确率。

6.2 基于终端AI 处理的DCNN 网络模型YOLOv5s加速策略

本成果针对目标检测算法图像预处理、损失函数的算法优化，并在终端处理器内部署时采取特定的量化算法来减少参数和数据带宽，完成YOLOv5s的边缘计算的优化和处理。利用图像数据的余弦退火，Mo? saic数据增强、自适应锚框计算和图片缩放[4]，平滑滤波等方法实现异构加速，实现终端有效的进行图像处理、裁剪、量化、压缩、加速处理，将Focus结构主干网络实现相交尺度衡量计算，并利用边界框中心点距离信息进行边界框宽高比的尺度计算，缩小现场作业违章预警数据的框差，提高预警准确性。

6.3 基于对数域内快速卷积计算模型的应用

通过对生产现场作业采集的图像的特征大小以及卷积核大小进行计算，根据对数运算性质，建立存储图像特征的空间平面模型。根据卷积核大小，建立卷积核空间平面模型[5]。再将卷积核与生产现场作业图像特征中的元变换到对数域中，即从整数到对数，将对应元做相加处理，将相加结果转换到整数域，即从对数到整数，最终将所得计算结果载入空平面模型，计算出基于卷积核的图像特征图，产生更加清晰、真实的现场作业目标检测样本，并有效降低图像处理内存空间，加快了计算速度，节约了训练时间，解决在复杂作业场景下的学习训练性能匮乏而造成的图像识别率较低的问题，提高了现场作业图像数据智能分析效率和准确率。

7 结束语

本文针对基于Triple-Gan模型视觉平台进行综合阐述，通过深度视觉、便携式终端图像采集报警、边缘计算终端加速处理的“三位一体”的协同模式，构建了生产作业现场安全态势管控的“大整合、高共享、流程化”的信息采集、管理、共享平台，解决了传统的监控方式下电网施工质量控制与安全管理人力耗费大、质量控制容易出现偏差和遗漏等问题。同时，为现场作业标准化检查提供了数据依据及安全责任分析的数据佐证，也为现场作业人员安全违章事件提供预警提示，有效地支撑现场违章作业的行为、设备及作业标识的智能化识别。