基于多人协同操作的无人机巡检作业仿真培训系统研究

杨 迁 胡 元 林易乐

（浙江图盛输变电工程有限公司温州科技分公司，浙江 温州 325000）

输电线路无人机巡检作业是保证电网安全稳定运行的重要手段，开展专项操作技能培训对于线路运维作业的顺利开展具有重要意义。无人机巡检作业有时需要由2人及以上人员构成的班组协同完成。实际培训通常是由专家或有经验的教师先进行理论讲授，再开展实操训练。通过对注意事项、职责任务、配合要点等内容进行讲述的方式，作业人员对协同操作过程和要领的体会往往不够深刻。在理论讲解后直接在实际线路上进行操作训练，容易出现操作配合不到位的情况，存在较大的安全风险。综合采用虚拟现实、人机交互和网络技术，构建一个沉浸式作业环境和可自由操作的仿真培训平台，让多名作业人员通过不同岗位角色参与到作业过程中，体验如何配合、协同完成线路设备的巡检检修操作，将有效解决当前无人机巡检作业培训中所面临的问题。

目前，仿真培训已广泛应用于军工、教育等多个行业的操作训练，协同操作仿真在航天、装配、空战仿真等多个领域中得到了应用。结果表明；该方式不仅能够在经济上带来较大效益，而且能够有效提升训练水平[1-3]。仿真培训在线路运维培训领域应用最初是通过采用三维仿真技术还原线路运维场景和标准化操作过程，通过形象直观地讲解项目的作业方法、人员组合、工器具配备、作业步骤、安全措施等内容，提升教学培训效果。近年来，随着虚拟现实技术的发展，虚拟现实头盔、手柄、传感器等多种设备逐步应用于线路运维的培训中，实现了线路运维过程的人机交互和沉浸式体验，有效增强了培训效果，并且使得基于虚拟场景的线路运维技能培训成为可能[4-6]。但目前仅能够用于单人、单流程的模拟操作训练，还不能用于多人协同操作。

协同仿真训练是以虚拟现实技术为基础，在由计算机生成的包含了作业场景与作业人员动作过程的三维虚拟场景中，不同人员通过各自的终端进行实时操作信息交互，驱动协同虚拟环境中的人体模型来完成整个作业过程的仿真操作。实现虚拟协同操作需要解决两个关键问题：一是如何对多用户的并发维修行为进行控制，防止冲突发生；二是如何保证多个不同客户端中仿真作业场景的一致性。基于此，本文重点研究了线路运维多人协同操作模型的构建方法，通过对基于多人协同操作的系统构成、体系架构和网络拓扑结构进行设计，采用Unity 3D、3DMax、VC++、数据库管理系统软件等基础开发平台，实现了线路运维多人协同仿真操作和对作业过程的监控和管理，解决了多用户并发操作冲突控制和虚拟仿真场景的一致性的问题。

1 多人协同操作模型

1.1 协同操作流程设计

线路运维多人协同仿真操作过程中，各作业人员分别使用虚拟现实交互设备进入同一作业场景中进行作业任务的仿真操作，多人协同过程中涉及大量的并发操作可能导致冲突的出现。因此，对多用户的并发操作行为进行控制，防止冲突发生是实现线路运维虚拟协同操作训练首先需要解决的问题。由于线路运维协同操作过程比较复杂，且涉及的作业工具和线路设备比较多，因此本文采用令牌机制和动态权限分配方法[7-9]对作业项目的操作流程进行规划，通过主动分配操作令牌，引导每个环节的操作过程，防止多人操作中冲突的发生。

根据线路运维项目的实际操作需求，每个作业项目的操作过程都可以分为并行操作过程和多人同步操作过程。每个角色设定序号、岗位、权限和状态四个特征量，各角色的岗位根据实际操作要求分配，设置等待和操作两种状态。根据实际作业要求设计各个步骤的操作内容和岗位角色，在各步骤开始时动态分配操作权限，在步骤结束处设置提醒标志，作业人员在各操作步骤结束收到提醒标志后的释放操作权限，在下一步骤开始前重新进行权限分配。例如，假设某项运维作业由K名人员参与，作业任务由M个操作步骤组成。仿真操作任务启动后，系统首先根据实际作业要求将不同权限（1～K）分配给不同的角色，然后由权限最高的角色负责完成操作具体操作动作，其他多人角色进行协助。当最高权限的角色出现操作异常时，系统会自动将操作令牌分配给权限最高的等待作业人员，通过实现操作权限的动态分配避免并发冲突，保证整个过程的顺利进行和系统的正常运行。

1.1.1 并行操作过程

线路运维协同操作过程中存在多人在同一时段分别独立开展各自任务的情况，本文称之为并行操作过程。并行操作流程如图1所示，系统首先对作业人员进行分流，将作业人员划分为互不相关的N个串行操作小组。对某一组内作业人员来说，系统根据线路运维实际操作要求对组内所有参与操作的人员进行权限分配，获得最高优先级的作业人员按照单人串行模式进行操作，当该人员出现网络掉线、退出等异常情况时，系统将主动从等待状态的人员中挑选一名候补人员继续进行操作。所有作业人员在每个步骤完成后均将操作权限释放，在进入下个环节后获得系统重新分配的权限。由于在线路运维中有严格的操作标准，当两路作业人员还有一人未完成设定任务，则需等待另一人员完成后才能共同进入到下一类型的操作步骤中。

1.1.2 多人同步操作过程

无人机巡检操作中存在需要多人协同操作才能完成的任务，例如无人机飞行控制、无人机云台控制等，为了保证操作的正确性和有效性，系统需要对操作权限进行设置。多人协同操作流程如图2所示，首先根据权限递减次序选出两名作业人员，然后系统会向两名作业人员发布协作指令，当两名作业人员都回复同意时，操作正式开始。操作过程中，系统时刻监控是否有作业人员掉线、退出等特殊情况，如出现此类情况，系统及时将操作指令按照权限递减次序发布给下一作业人员，以保证操作顺利执行完毕。作业人员在完成各步骤的任务后主动释放操作权限，即进入下一个操作步骤。

图1 并行操作流程图

图2 多人协同操作流程图

1.2 仿真任务建模

1.2.1 层次化任务结构

实现输配电线路无人机巡检作业的多人协同操作过程的仿真，首先要能够全面、清晰地描述所有可能的操作任务，并能够真实、流畅地还原各项具体操作动作。将无人机线路巡检作业仿真操作任务进行层次化分解，实现对线路运维操作任务的建模与封装，可以更灵活地操控虚拟人以及虚拟无人机执行指定的操作动作，实现对线路巡检仿真过程的准确实时控制。因此，任务分解是实现操作过程仿真的关键，本文将操作任务分解与人体活动仿真相结合，设计以人体活动为核心的操作任务分解模型，作业人员完成某一任务的具体操作过程如图3所示。

图3 操作过程

以操作过程中的人体活动为依据，实现每个具体操作的仿真是完成整个仿真操作过程的基础，因此任务分解应将完整的过程分解至完成操作的所有运动及动作信息的层次，并实现对这些具体动作信息的准确表达。本文基于过程和分层的设计思想[12]，认为各项复杂的操作任务由若干子任务构成，而每项子任务由互不相关且易于描述的多个基本动作构成。根据动作类型和任务的抽象程度，本文将线路运维操作活动由上到下分为三层：业务相关的检修任务层、面向较小作业目标的作业单元层、任务无关的基本动作层。任务分解模型如图4所示。

图4 任务的层次分解

（1）基本动作层：参数化的基本动作层与具体操作任务无关，具有通用语义，例如作业人员行走、弯腰、转身、拿放工具等不同的基本动作形式。

（2）作业单元层：作业单元层用来描述虚拟作业人员完成某一作业任务而需要开展的各项操作，是对所要实现检修任务层过程的细分，各单元内容通过基本动作组合得到。

（3）检修任务层：最终要实现的目标，由作业单元的顺序组合来完成，例如无人机起飞、悬停、拍照等任务。通过检修任务层—作业单元层—基本动作层三个层次不仅可以完整地描述任意作业任务，还可以为作业过程的评价和分析提供信息支撑。

1.2.2 动作库的建立

根据上述对作业任务进行层次化分解，当作业人员对虚拟场景中的仿真对象进行操作时，通过调用动作库中的基本动作，组合成一个操作行为完成单元操作任务，再通过完成多项单元任务可最终实现检修任务目标。因此，基本动作库应具备不相交性、完整性和可重用性，涵盖一整套可以描述实际作业所需的各种操作且能被重复使用的基本动作。为了便于实现线路运维中各项操作的建模和仿真，本文根据结合实际线路运维的操作内容和特点，定义了一套基本动作作为描述各种操作行为的标准，并通过设定指令实现对基本动作的调用，例如：

（1）Worker Gesture（gesture1：手部操作；gesture2：身体姿态）：虚拟人从当前姿势调整到所希望的手部操作及合适的身体姿态。

（2）Target Location（location：作业位置）：通过传递位置参数，虚拟人可到达执行操作任务的作业位置。

（3）Use Tool（name：工器具名称；gesture1：手部操作；gesture2：身体姿态；equipment：操作对象）：虚拟人获取场景中的设备对某设备进行操作。

（4）Operation（equipment area：设 备 区 域；action：操作动作）：对某一设备执行具体的巡检操作。

（5）Release（equipment：释放设备名称；gesture1：手部复原状态；gesture2：身体复原姿态）：虚拟人完成操作后，释放设备，手部和身体均恢复到初始或某种指定状态。

本文综合采用关键帧动画仿真和逆向运动计算方法对虚拟人的基本动作进行表达。采用关键帧方法实现相对固定的动作，首先建立由关键帧动画构成的基本动画库，通过调用数据库中的关键帧动画实现虚拟作业人员的操作行为。对于一些难以用固定动作表示的动作，例如操作大小不同的物体，抓取时手部张开的范围和姿态存在一定差异，此类情况则采用逆向运动学方法实现真实的交互，例如通过获得初始手型的位置和方向以及目标手型的位置和方向，则可以计算出完成从初始手型到目标手型的转换所需要的时间步数，实现对非固定动作的模拟。

1.3 三维仿真资源建模

1.3.1 模型定义

为了实现虚拟作业人员与虚拟场景中的对象的动态交互和展示，线路运维仿真环境中的部分三维物体是非静态的。为了便于进行动画控制，提高仿真过程中虚拟作业人员与仿真对象之间的交互效率，本文基于特征建模思想建立一个预定义的对象描述，对非静态的三维物体用于交互的特征和属性进行定义，不仅描述设备的几何特性，还对功能特征和执行任务进行描述。通过预先存储与物体进行交互相关的信息，并为所创建的动作库中的基本动作提供参数，使虚拟作业人员能够快速调用相关信息和基本动作实现指定任务的交互操作。通过综合交互对象部位、交互操作位置、设备状态变化等信息，可以实现虚拟作业人员与物体直接任意可能的交互行为仿真。本文根据线路运维项目的操作特点将交互特征进行了细分，如表1所示。

表1 交互特征列表

1.3.2 三维建模

为了构建真实的线路运维虚拟操作环境，需要建立基本的线路运维资源模型，主要包括线路设备的三维模型、缺陷模型、人物模型以及作业环境。本文采用参数化建模软件3DMax建立线路运维虚拟作业过程中涉及的三维模型，建模流程如图5所示，最后将发布的模型文件导入到虚拟现实开发平台Unity3D中进行线路运维仿真场景的构建。

图5 三维建模流程

2 系统设计

2.1系统构成

本文将无人机巡线仿真培训系统的功能分为学员端和教员端，其中学员客户机主要实现线路运维操作过程的多人协同操作，多名学员可以通过不同的硬件设备参与到同一个线路运维项目中，通过手柄、头戴式立体眼镜进行作业过程交互操作和沉浸式体验；教员通过控制台实现对多人同时训练过程的监控、记录和管理。目前，多台计算机的网络协同组建方法主要包括分布式协同和集中式协同。分布式协同通过网络节点接收信息并进行关键性的信息处理后，再将结果发送给服务器或其他网络节点进行仲裁，该方式负载分配合理，但控制算法比较复杂，适合具有大规模节点的分布式协同任务。集中式协同则是由服务器统一接收当前各个网络节点的输入信息，并统一计算处理后回发各节点，该方式容易处理冲突，控制简单，但是对服务器要求比较高，适合网络节点较少的应用系统。线路运维的协同操作培训一般由培训中心组织在局域网开展，单次协同训练的人数在2～4名，集中式协同比较符合线路运维协同仿真培训的实际需求，因此本文采用集中式协同构架组建本仿真培训系统，如图6所示。

图6 协同操作仿真培训系统组成

系统由1台仿真计算服务器、多台用于线路运维训练的学员客户机、1台教员机、1套立体投影监控系统和网络交换机组成。其中，线路运维学员佩戴虚拟现实输入设备（如手柄、位置跟踪仪等）和反馈设备（如立体头盔、力反馈装置等）进行线路运维的协同操作仿真训练，客户机采集和处理虚拟现实输入设备的数据，并根据仿真计算服务器计算结果生成该线路运维人员第一视角的三维作业场景、驱动力反馈装置使得线路运维人员感知操作结果。仿真计算服务器接收各线路运维人员操作数据后执行仿真计算，进行三维虚拟场景仿真、碰撞检测计算、抓持仿真、人体和物体动力学仿真以及协同仿真处理，最后把计算结果分别发送给客户机和教员机，并且实现过程记录、操作回放和多视角观看功能。教师可以通过教员机发送仿真培训项目训练的控制指令，通过立体投影系统观察和监视各线路运维人员的操作过程及协同完成任务情况。

2.2 体系结构

针对输配电线路无人机巡检作业多人协同仿真培训系统的功能需求，本文采用基于数据建模的方法来构建系统的体系结构，包括表现层、逻辑层、数据层和支撑层，如图7所示。

图7 系统体系结构

2.2.1 表现层

表现层通过不同的硬件终端设备为教员、学员等不同用户提供人机交互操作界面，获取并显示协同操作过程中生成的数据。

2.2.2 逻辑层

逻辑层是整个协同操作仿真培训系统的核心，实现对业务逻辑的处理、系统管理及配置管理，包括仿真操作训练、仿真操作考核、权限设定、培训监控和信息管理等模块。本系统在协同仿真操作模块中，将线路运维的具体操作分解为检修任务层、作业单元层和基本动作层，根据协同操作流程设计驱动虚拟场景并控制整个仿真操作过程。

2.2.3 数据层

数据层封装线路运维仿真中涉及的各项资源，包括三维模型库、设备信息库、试题库、用户信息库等，其中三维模型库又分为场景模型、人物模型、工器具模型、动作模型等。

2.2.4 支撑层

支撑层主要为系统软件技术开发平台和网络协议，软件平台包括主要采用Unity 3D、3DMax、VC++、数据库管理系统软件，为仿真作业视景驱动与程序控制提供基础开发平台。网络平台支持TCP/IP、IPX、DirectPlay、视频协议等，实现组网和网络传输功能，保证大数据量的吞吐。

2.3 网络结构

线路运维协同仿真系统是一个多计算机、多显示设备的协同训练仿真环境，在协同操作过程中，各个作业人员通过虚拟现实设备与虚拟场景交互，只有当各作业人员在本地看到的场景与其他作业人员看到的场景一致时，才能保证协同操作过程的顺利进行。在多名作业人员进行协同操作的过程中，仿真系统必须保证虚拟场景的一致性，包括构成虚拟场景的元素、仿真对象的位置和状态、仿真对象之间的约束关系等。场景、角色、脚本和通信需要频繁地与数据服务器进行数据交换，保证各名作业人员之间数据同步也是协同作业实现的关键。为保证各客户机之间数据同步的实时性和可靠性，本文采用数据同步技术设计协同仿真系统网络拓扑结构，如图8所示。

图8 协同操作仿真培训系统拓扑结构图

在协同仿真作业系统中设置一个公共数据服务器创建一个虚拟场景元素数据同步中心，每个各作业人员客户机以C/S方式直接访问公共数据服务器上存放的公共信息。系统运行前，各客户机下载一份虚拟场景元素数据，通过修改虚拟场景元素数据库，各台学员客户机即可更新本地的虚拟场景。系统在运行中不通过网络传递整个虚拟场景数据，仅传递虚拟场景中各物体的位置、姿态数据和相互关系等数据，各台学员客户机接收这些数据，并在本地更新场景以及虚拟人和反馈装置的执行信息，协同操作仿真流程如图9所示。通过尽量减少网络传输带宽，保证数据交互的实时性，实现训练过程中各作业人员客户机虚拟仿真场景一致性。

图9 协同操作仿真系统流程图

3 系统实现

3.1 视景仿真

构建虚拟的线路运维场景是实现多人协同操作训练的基础，本文采用Unity 3D虚拟现实基础开发平台首先搭建了用于线路运维场景仿真的三维动态仿真平台，再借助三维仿真模型库和三维动态仿真平台，通过自定义脚本分析方法、导入设备文件的方式，即可简单、快速搭建动态三维作业场景，如图10所示。

图10 三维动态仿真平台操作示例图

3.2 功能实现

本系统首先利用三维动态仿真平台对实际的线路运维环境进行三维还原，然后通过虚拟现实输入设备实现人机交互操作。多名学员借助不同的客户机可分别进入到同一作业环境中，以不同角色进行协同操作，按照系统预设的操作流程完成各个作业步骤。以500 kV单回耐张塔巡检作业为例，一人操作遥控器、一人操作地面站，即操控手和程控手，操控设置以及显示视角应与实际巡检操作完全一致，也可使用配套的VR眼镜进行训练。

图11 作业点巡检流程

2#操控收负责将无人机操控至指定位置悬停，1#程控手负责调整云台，操控无人机相机对准待巡检位置处完成符合作业规范的照片拍摄，协同完成一个任务后，两名作业人员协同进入下一巡检点的拍摄任务。此环节按照多人同步操作过程执行。此过程除规定的作业任务，不限制学员进行其他操作。

图12 巡检操作的仿真示例图

通过局域网将各台学员客户机、教员机与服务器互联构建一个协同仿真培训系统，多名学员可按照线路运维实际要求组成一个班组，按照各自岗位扮演不同作业角色，在同一个虚拟工作环境下进行同一个线路巡检项目的协同操作训练，如图13所示。借助虚拟作业环境，各学员以第一人称体验视角在虚拟场景中根据实际作业要求通过相互配合，进行线路运维过程的自由模拟操作，并且可以在真实空间中进行自由沟通交流。通过真实感受各自岗位的作业工况和操作职责，强化对多人协同作业能力和操作要领的训练。

图13 多人协同训练（第一人称体验视角）

在多人协同操作的过程中，教师可以通过教员机以一个可以自由控制的第三人称视角观看整个操作过程，如图14所示。可以通过投影幕进行展示，便于其他人员进行现场观摩和技术交流。

图14 第三人称观看视角

4 结论

（1）采用令牌机制和动态权限分配方法设计了线路运维中的并行操作过程和多人同步操作过程，采用层次化任务结构对线路运维任务进行了层次化分解，采用特征建模思想描述非静态三维物体的特征，通过建立线路运维资源模型和基本动作库构建了线路运维多人协同操作模型，解决了多人操作中的冲突问题，可有效保证系统运行的稳定性。

（2）通过局域网将各台学员客户机与教员机、服务器互联构建了无人机巡线仿真训练系统，采用数据同步技术搭建了协同仿真系统网络拓扑结构，通过保证各客户机之间数据同步的实时性和可靠性，实现了训练过程中各作业人员客户机虚拟仿真场景一致性。

（3）采用Unity 3D、3DMax、VC++、数据库软件等基础开发平台，实现了线路运维协同仿真培训功能，多名学员可以通过不同客户机参与到同一个线路运维项目中进行协同操作，各学员通过头戴式立体眼镜和交互设备实现了作业过程的沉浸式体验和交互操作，通过教员机实现了对多人训练过程的监控、记录和管理。结果表明，该系统运行稳定可靠，可以为线路运维的协同训练提供了一种先进、有效的培训手段，可以用于线路运维专项技能训练和实际操作之前的模拟演练。