基于网络的无人机巡检作业仿真培训交互系统设计与开发

林厚飞 叶 静 林权威

（国网浙江省电力有限公司平阳县供电公司，浙江 温州 325000）

0 引言

无人机巡检作业作为一种新的巡检方式，目前，在输配电架空线路、变电站等电力行业领域得到了广泛的应用，其通过搭载不同的辅助设备可以完成如现场照片、温度、三维激光点云等数据的收集。与人工巡检相比有很多优点。人工巡检不仅劳动强度大，且巡视周期长，巡检结果也无法及时反馈。而无人机巡检不仅能降低人员的劳动强度，还能巡视到人工无法巡检的位置，提高了巡检的效率及准确性。当前，从事无人机巡检作业工作，需要在上岗前进行大量的理论、实操培训，并通过AOPA（中国航空器拥有者及驾驶员协会）或电力行业无人机巡检作业培训考核之后才能持证上岗。但取得证书后，在实际飞行过程中，依然有坠机、飞行故障等情况发生，故需开发一种与实际飞行效果相同的培训软件，用于学员在日常培训中掌握无人机巡检作业的相关规范以及无人机飞行技能、技巧。

沉浸式仿真技术是电力系统技能培训的重要工具[1，2]，在线路巡线检修、变电站操作、电力安全培训应用中发挥了重要作用。通过建立电力培训仿真平台，构建电气运行设备三维场景来模拟真实的现场作业环境，使受训学员模拟近乎真实的操作体验。文献[1]采用3DMax技术搭建虚拟电力培训平台，并结合OpenGL读取功能增强系统的可交互性；文献[2]设计出一套沉浸式变电站仿真培训系统，并在广东省电力公司培训实现应用。

随着我国电力系统向广泛互联、智能互动、灵活柔性、安全可控的新一代电力系统方向发展，智能可穿戴装置在电力系统中的应用大幅提升[3，4]，使用户能与三维场景中的虚拟设备进行互动，受训人员能够在不受安全威胁的情况下，高效地完成各种作业流程的培训任务，从而大大缩短培训时间、减轻现场作业负担、规范电力操作流程、提升现场作业效率。然而目前未见人机交互装置在无人机巡检作业培训中的具体应用。

本文以输电线路无人机巡检作业基础知识、实际操作为基础，采用网络、数据库、三维仿真、虚拟现实、人机互动等技术，阐述了基于网络的无人机巡检作业仿真培训交互系统设计及开发方案。系统完成后能够实现个人及班组的输电线路无人机巡检作业项目的仿真培训，强化互动性培训过程，提升培训的生动性、实践性，为无人机巡检作业培训提供了一种新颖可靠的途径。

1 基于网络的输电线路无人机巡检作业仿真培训交互系统设计方案

1.1 设计原则

（1）系统具备良好的可扩展性、实用性、可靠性、易用性以及安全性，便于投入使用后的学习、使用、维护以及升级等工作。

（2）系统尽可能地呈现出物理信息融合的特点，物理上实现视觉、听觉、触觉上的功能模拟，又有信息上的多类别、多层面的协调功能，提供海量在线作业标准、规程和示范信息。

（3）实现网络互联，充分利用培训平台和后台反馈数据，形成学员互助共享的技术库和素材库，重点关注对学员用户的持续跟踪和交流专区的建立。

1.2 系统功能需求

系统功能构架如图1所示。

图1 系统功能构架

系统采用理论培训与交互操作训练相结合的方式实现大规模的输电线路无人机巡检作业集中式教学。理论培训模块涵盖了无人机基础训练、精细化巡检等项目作业流程、技术规程、作业指导书、工器具资料、项目资料等内容；交互操作训练模块具备手势交互、语音交互、虚拟融合显示、空间定位、无线通信等功能；培训管理功能模块实现对整个系统运行的监督和记录，并对实时分析考核结果、反馈评价意见。

2 系统的构建

2.1 网络架构

目前，提供共享文件服务的应用大多基于C/S结构[5]。C/S模式的服务器多采用集群式并发架构，以充分保证服务器的效率和安全。这种方式对服务器的稳定性要求高，服务的资源也受到限制[6]。本文系统将服务器集群按功能划分为以下五种：（1）登录服务器；（2）网关服务器；（3）数据库服务器；（4）UDP服务器；（5）作业项目服务器。在具体实施中可能加入其他不同功能的服务器，共同组成服务器集群。为用户提供丰富的培训内容，满足无人机巡检作业培训需求。

由于无人机巡检作业技能培训本身的特殊性和专业性，本系统采用C/S模式与P2P模式相结合的网架结构，通过P2P文件共享子系统，收集整理组内所有用户端的共享文件信息，供所有学员查询使用。充分利用C/S模式的中心服务器来管理视频、音频、文本等培训资料，同时利用P2P技术来开拓协同学习和互助学习等领域，用于学员之间的沟通交流互动。

如图2所示，在本系统中，服务器和客户端之间采用C/S模式，客户端之间根据房间的不同划分为多个小的P2P网络。基于此，客户端之间实现了数据缓存的共享，从而减少对服务器的访问，降低了系统阻塞的可能性。结构示意图如图2所示。

图2 C/S和P2P混合模式结构示意图

2.2 系统硬件平台构成

本系统开发了一套无人机巡检作业仿真培训系统硬件，用于增加学员培训时的真实感和沉浸感，包含操控台、虚拟现实眼镜、人员定位模块、飞控模块、模拟遥控器等，给学员提供了交互式的学习、认知和培训体验。系统硬件平台如图3所示。

图3 系统硬件平台

硬件平台构成运行方式如下：将培训管理数据库存储至系统主机，操控台与系统主机连接，构建与数据库中无人机巡检作业环境相匹配的虚拟模型投射于显示屏上；受训者佩戴虚拟现实眼镜，并根据语音或文字指示使用模拟遥控器进行操作，飞控模块解析模拟遥控器发送的相关指令，并将解析后的指令后传递给系统主机，显示屏上实时显示受训者虚拟环境下的受训画面；人员定位模块用于匹配虚拟环境下受训人员的作业位置，保证受训者在虚拟环境下处于正确位置，受训者使用模拟遥控器发送相关指令，按照相关规程规范完成无人机巡检作业的所有步骤。

2.3 系统软件平台构成

2.3.1 软件支撑平台

本系统开发主要采用以下支撑软件：3Dmax、Unity3D、VC++等。其中，3Dmax主要用于建立工器具和人物模型。Unity3D具有开发成本低、应用程序稳定、开发周期短的优势，主要用于三维虚拟现实开发。VC++是开发程序，具有稳定性好、完全支持面向对象编程的特点，主要用于底层代码的编写。本文系统的开发环境如表1所示。

表1 软件支撑平台

为加快项目开发进度，在软件开发过程中，采用循环开发和并行开发的模式。系统开发过程如图4所示。

图4 软件开发过程

2.3.2 模型与场景设计

模型和场景设计主要应用3DMax、Maya、Photoshop和Zbrush软件。设计流程如下：（1）根据输电线路无人机巡检作业具体项目确定模型或场景的要求；（2）到无人机巡检作业现场拍摄照片；（3）综合现场照片和设备尺寸在3DMax或Maya中制作无人机、铁塔等模型；（4）依据现场照片，通过Photoshop制作模型精细贴图；（5）使用Zbrush制作精细化人物贴图；（6）在3DMax中制作并输出模型文件，将模型导出为系统开发需要的格式模型，作为最基本元素被读入系统，根据系统开发需要，构建与实际环境相符的输电线路通道环境进行渲染完成用户需求的三维场景。

三维场景搭建流程如图5所示。主程序信息脚本和场景构造脚本都是文本文件格式的自定义脚本文件，主程序信息脚本主要包括程序初始化信息；场景构造脚本针对不同的需求具有不同的脚本文件，可根据用户需要开发多个场景构造脚本文件。

图5 三维场景的搭建流程

2.3.3 基于Airsim+Pixhawk飞控的半实物仿真

研究基于AirSim的飞行模拟器，系统采用Airsim+Pixhawk飞控模拟无人机飞行的真实物理状态，并采用真实的无人机遥控器进行控制，逼近真机的操作感，飞行操控涵盖目前常用的四旋翼、六旋翼、八旋翼机型。

飞控模块主要通过解析遥控器发送到程序中的通道数据，组成一套特定范围内的变量，通过变量来控制VR程序中无人机的各项飞行参数，再在参数基础上使用特定的算法模拟无人机真实飞行姿态，从而实现对无人机飞行的控制。

（1）基于AirSim的飞行特性模拟

系统基于微软开源的AirSim模拟器进行开发。通过AirSim创造一个高还原的逼真输电线路通道虚拟环境，并模拟现实世界中阴影、反射等容易干扰的环境因素，让无人机不同经历真实世界的风险就能进行训练。AirSim半实物仿真实现过程如图6所示。

图6 Air Sim半实物仿真实现

（2）基于pixhawk的飞行姿态模拟

pixhawk是3DR、DIYDrones和瑞士PX4团体联合开发的新一代产品，如图7所示。Pixhawk是第三代飞行控制系统（第一代为APM，第二代为PX4），主控制器采用32为STM32F-427处理器，可外接不同的传感器，如加速度计、GPS传感器、陀螺仪、磁力计、气压计等，可扩展的I/O接口和各种专用接口，支持CAN总线、I2C总线、S.BUS总线和UART通信。micro SD存储卡用于存储数据日志。

图7 Pixhawk构成

Pixhawk主要由硬件和配套软件构成，整体架构如图7所示，硬件部分主要整合了PX4-FMU控制器和PX4-IO，软件部分主要包括NuttX实时操作系统、PX4中间件和PX4飞行控制栈三部分。

2.3.4 数据库的设计

本仿真培训系统利用MySQL数据库管理以下数据： 人 员 档 案 信 息 （User_Info）、 考 试 题 目 库（ExamQuestion_Info）、外部引用文件信息（EXEINFO）、模型数据库等。各种模型、场景数据存储在电脑硬盘中，在数据库中记录文件路径，数据调用通过数据库查询数据文件路径实现。

3 系统应用案例

3.1 案例展示

系统界面是实现人机交互的重要窗口。学员在系统界面进行操作，并及时地把相关信息反馈给学员，引导学员完成相应的学习任务。在系统界面中，功能按钮包括：系统界面、基本训练、天气选择、场景选择、机型选择、操作方式等（见图8）。通过功能按钮的操作，明确受训人员接下来的受训任务，如基础飞行训练、精细化巡检训练、应急处置训练的鞥。本系统主要实现无人机培训训练的演示与模拟飞行功能。重点涉及飞行环境的选取，不同方式的动画演示以及相配套的文字和声音的添加，不同视觉方位的切换，这些逻辑通过VRP的脚本编辑器和事件编辑器来完成。在脚本编辑器中，运用软件自带的脚本命令完成各种交互功能的实现。

3.1.1 基础技能培训

根据无人机基础技能训练内容，设计基础技能操作（见图9），进阶飞行技能操作并根据AOPA或电力行业无人机培训取证要求，设计无人机基础飞行技能培训模块，满足学员由基础飞行技能训练、进阶飞行技能训练以及AOPA考试训练的培训需求，学员可在岗完成学习训练，提升培训效率的同时极大地降低因训练失误导致的炸机损失。详情如下：

AOPA：具备无人机起飞、降落、悬停、360°自旋、8字飞行等AOPA飞行技能。

基础操控：支持GPS飞行模式/姿态增稳模式；支持起飞降落、静止悬停、多高度悬停、水平移动、45°角悬停、90°侧向悬停、对角悬停。

进阶操控：支持GPS飞行模式/姿态增稳模式；支持定向水平圆周飞行、机头向外圆周飞行、短距自由飞、中远距返航行、机头定向8字飞行；支持第一人称视角飞行；支持机头向心圆周飞行。

图8 软件启动界面

图9 基础飞行训练界面

3．1．2 无人机巡检作业

根据温州电网线路特点将真实场景中的杆塔、绝缘子以及金具等器件按照比例及样式布置等真实的在虚拟场景中建模。根据温州典型地形特点，使用现有数据进行实景三维地形地貌还原，真实模仿温州的气候、植被和地形等细节。在场景选择上包含在电力巡线过程中常见的直线、耐张、同塔多回等常见杆塔类型，根据温州当地实际情况进行数据采样和建模。选择具有代表性的500 kV输电线路（5 km），对其进行三维场景及杆塔建模、及标准化巡线模式定制。

还原真实输电线路巡线场景（见图10），制作仿真度极高的应用场景，包括500 kV的直线、耐张等常见铁塔类型。深入实地调研，设计温州输电线路仿真巡视流程。这些巡线流程会被加入仿真培训系统中，显著提升培训的实用性。

图10 精细化巡检界面

3．1．3 无人机应急处置

在软件功能模块中选择任务无人机故障体验后进入场景，即可开始无人机故障体验功能，目前故障体验有三个方面：（1）信号干扰；（2）动力失效；（3）起降点不平。学员可以在进入场景后选择相应的故障来体验不同的突发状况。可以通过特定按键来重新选择需要体验的故障或者恢复无人机故障。应急处置界面如图11所示。

图11 应急处置界面

3.2 交互操作与测试

实际的无人机巡检作业仿真培训交互系统布置如图12所示，系统构建了1台操控台、2台显示设备、1套虚拟现实眼镜、1套无人机模拟遥控器以及网络仿真训练所需要的交互设备。学员可分别扮演班组中不同的作业人员，单人或共同完成作业项目，实现多用户、跨区域的无人机巡检作业仿真训练。另外，视觉、听觉、触觉结合的三维立体培训情境能全面提升无人机巡检作业培训的学习、认知及培训效果。

图12 仿真培训交互系统布置

4 结论

本文设计的基于网络的无人机巡检作业仿真培训交互平台采用“理论学习—交互操作—反馈”的方式实现输网无人机巡检作业培训教学，一是结合输配电网无人机巡检作业标准化作业方法完成课程学习，并进行网上测评；二是通过人机互动装置打造立体化的仿真操作演练区，充分展示无人机巡检作业仿真环境、操作流程和作业方法，供用户发现操作流程中的薄弱环节并熟悉预警机制，掌握标准化输配电线路运行检修作业技能，使培训效果达到最优。实际应用案例表明，本系统在在无人机巡检作业培训中具有较好的发展前景。