基于VR/AR的无人机操控培训系统

2021-11-08林一平

无人机 2021年7期

林一平

随着无人机迅速发展，大量新机陆续装备，各单位普遍缺乏合格的无人机操控人员。在短期内培养出大批合格的操控员，须要运用高科技手段加强人员培训和考核，而VR/AR技术运用其中能取得事半功倍的实效。

当代高科技发展带动了VR/AR技术在无人机领域的应用，尤其是操控培训领域，使用者能获得沉浸式学习体验、掌握高难和复杂的操控技能、降低风险、缩短培训周期、节约成本、富有实效。

随着世界无人机市场迅速发展，用户购置的各种无人机在短时间内纷纷到货，装备机队后引发了操控员短缺问题。而合格和有丰富经验的操控员又不能在短期内培养出来，而且培训成本相当昂贵。为此，客观上须要寻求一种行之有效的解决方法，而VR/AR技术的运用则发挥了事半功倍的作用。

现代无人机技术具有实践性、实用性和探索性。为了降低技术风险性，科技人员须要进行一系列模拟仿真试验，以获得海量数据，进而对在研项目进行分析研究，对新课题进行预研，对未知领域进行探索，而VR/AR技术的出现与应用，可为科技人员提供有力支持。

应用领域

当前VR/AR技术在多个领域均有实际应用。国外已将VR/AR技术应用于航空航天领域，如在地面模拟太空环境，对航天器进行飞行测试。外国汽车制造公司则将该技术应用于汽车驾驶测试，模拟人员的真实驾驶感受。在飞机部件装配过程中，国外相关单位也在尝试其在飞机总装工序中的应用。

我国相关单位已对VR/AR技术进行了一段时间的探索和研究，在应用领域取得了成绩，尤其是教育培训领域，如仿真系统和虚拟教学场景建立，飞行模拟，汽车驾驶、地铁驾驶、船舶驾驶，火灾逃生模拟，电工安全培训，起重运输机械驾驶培训等。目前，我国正着手将VR/AR技术应用于无人机飞行动作解析，并用于无人机飞行力学、仿生学、人工智能等方面的研究。

实践表明，VR/AR技术应用于无人机系统飞行模拟和演示，具有广阔前景且操作简单。由于无人机使用受许多条件限制，在传统操控培训中，学员不可能经常在外场练习飞行操控。但是，学员利用VR/AR技术，可以重复模拟飞行；另外，VR/AR技术可适时记录并演示每个学员的操控过程，当场纠错和指导，提升学员的操控熟练度和技能，在实操过程中，降低因失误造成的坠机风险，减少损失。

图1 国外已将VR/AR 技术应用于制造业。

建模与交互实现

VR/AR技术用于无人机操控培训离不开建模，其全程技术演示需要交互。其中无人机尺寸参数测量、精细模型建立、飞行程序编制、头盔数模接入、虚拟现实交互实现等各环节均不可或缺。

建模编程

（1）无人机尺寸参数测量

首先须要对无人机各部件进行精确测量。为了精确测量各型无人机及各部件实物尺寸参数，可利用扫描仪等工具进行精确测量，并对照无人机手册中的详细数据，为建模提供原始记录。

（2）精细模型建立

目前用于建模的软件众多。例如，3DSMAX软件可建立模型，采用Unity3D及Visual Studio 2017软件进行C#语言编程等。在软件中通过点线连接、多边形编辑等方法，将无人机模型做得更精准。但也要注意数字模型不宜太精细化，不然会占据过多计算机内存，降低运行速度，还容易导致影像卡顿，故可使用减面软件工具PolygonCruncher8.03来减面。

（3）飞行程序编制

在编制程序前，需要了解无人机的飞行控制系统，掌握其飞行性能和在飞行过程中须要遵守的注意事项，明确飞行流程及相关步骤，为后续创建无人机数字模型，编写飞行程序和飞行手册奠定基础。

虚拟现实交互

（1）无人机数模接入数字头盔

将文件格式改为FBX，并导入Unity3D软件中。在场景中添加地面、山河、草原、公路、高铁、高楼、小区、学校、广场等背景，再添加灯光，融入影像让无人机出现在VR/AR头盔中，经材质球对模型进行渲染，使无人机在VR/AR头盔中的展现更为逼真。当然，也可根据实际需要对无人机模型进行完善、改进和升级，使之更科学、合理，适用性更广。

（2）虚拟现实交互实现

在培训过程中，通过撰写代码，调试飞行软件，改进动作细节，实现无人机飞行环境的虚拟现实交互。VR/AR技术可模拟无人机的真实飞行场景和操控过程，方便教学讲解和演示，便于纠正学员的操控错误。

配套装备

基于VR/AR技术的无人机操控系统配套装备通常有数字头盔、遥控器等。

（1）数字头盔

头盔须戴在操控者的头部，头盔上的两个显示屏分别向双眼提供影像，该影像由计算机驱动，有细微差别，类似于人的双眼视差。头盔显示器提供的VR沉浸感胜过立体眼镜好多倍，而AR的增强效果则更优。头部实时跟踪使用现成的头盔显示器（HMD）和三维空间传感器。

（2）遥控器

遥控器是VR/AR操控系统的主要装备之一。学员使用遥控器对无人机飞行进行操控，涵盖飞行控制指令下达、变更、执行等。

图2 美国空军利用VR 技术开展军机维修。

图3 爱好者使用VR/AR 头盔和遥控器操控无人机飞行。

图4 一位学员正在体验沉浸式无人机飞行场景。

遥控器使用

掌握遥控器的使用方法是进行VR/AR沉浸式操控的一个主要环节。首先要了解遥控器的各个功能区，然后熟悉功能区中的功能键和推杆的作用，再学习操控要领，熟悉后再反复练习，提高使用熟练程度，降低失误，确保高准确率。

遥控器与VR/AR头盔联机后，使用者可逐步获得沉浸式环境中的多种无人机操控体验，感受“眼-脑-手”三者间的响应和动作连贯性与协调性，反复体验不同的手感。期间，尤其要注意遥控器操纵的切换动作要准确无误、自然连贯，推杆调整动作要柔和，切不要贪快、动作过猛，更不能动作粗暴。

无人机地面控制站

地面控制站可以同时管控多架无人机的同框飞行。通过接收遥控信号，把无人机飞行中的外界三维测量、物理空间定位和方位测定、运动跟踪等数据传输给计算机处理。这些数据经计算机识别、运算处理后，得到空间坐标及运动轨迹、动态参数，并在显示屏上显示，供教员全程跟踪、全面掌握，对空中飞行的多架无人机进行集中控制。

基于VR/AR的操控培训

在操控培训中，根据飞行教学大纲要求，学员应结合课程，分阶段利用VR/AR沉浸式操控方法，学习单项飞行操控、多项飞行操控、综合飞行操控、定点飞行操控、航线飞行操控、任务飞行操控。由于VR/AR系统融合了自然环境及地形地貌，学员能身临其境，获得逼真的动感，增强了学习主动性，较快地检验学习效果。

无人机的基本操控练习是基础，包括定点起降、爬升、下降、前进、后退、悬停、左转弯、右转弯、左侧和右侧飞行、打转克服等。在经过足够的练习后，可尝试沿目标周边绕飞和对准目标做交叉及正交飞行练习。

四旋翼无人机操控培训

当学员戴上VR/AR头盔，练习四旋翼无人机爬升、下降飞行操控时，在数字头盔中可见自己把遥控器左操纵杆向上推，这时旋翼转速增大，无人机便上升飞行；当向下推左操纵杆，旋翼转速减慢，无人机便下降。

当学员戴上VR/AR头盔，练习四旋翼无人机前进、后退飞行操控时，在数字头盔中可见自己把遥控器右操纵杆向上推，这时无人机向前飞；当向下推右操纵杆，无人机向后退。

当学员戴上VR/AR头盔，练习四旋翼无人机左转、右转飞行操控时，在数字头盔中可见自己把遥控器左操纵杆向左推，无人机便向左转；当向右推左操纵杆，无人机向右转。

当学员戴上VR/AR头盔，练习四旋翼无人机左侧和右侧飞行操控时，在数字头盔中可见自己把遥控器右操纵杆向右推，无人机便向右侧飞行；当向左推右操纵杆，无人机向左侧飞行。

当学员戴上VR/AR头盔，练习克服四旋翼无人机打转操控时，在数字头盔中可见无人机出现向左打转时，此时应连续按右微调按钮，直到无人机不打转为止。反之，当无人机出现向右打转时，须连续按左微调按钮，直到无人机不打转为止。

为保持四旋翼无人机的悬停状态，学员在数字头盔中可见自己操纵遥控器进行适时调整的各种响应。下面说明具体操控方法。

如果无人机向右侧飞，学员应连续推动遥控器左侧飞微调按钮，直到无人机不再向右移动为止。

如果无人机向左侧飞，学员应连续推动遥控器右侧飞微调按钮，直到无人机不再向左移动为止。

如果无人机向前飞，学员应连续推动遥控器后退微调按钮，直到无人机不再向前移动为止。

如果无人机向后飞，学员应连续推动遥控器前进飞微调按钮，直到无人机不再向后移动为止。

学员在完成上述无人机基础操控训练并巩固后，可逐步升级到特技飞行操控。在练习无人机特技飞行操控时，学员应操控无人机上升到3m以上高度，再点击翻滚键，并将右操纵杆（方向舵）向一个方向推动，此时无人机可实现此方向的前翻、后翻、左翻、右翻等翻滚动作。

由图5可见，基于VR/AR的无人机操控须经历包括垂直起飞、爬升、巡航、任务执行、返航、下降、垂直降落在内的整个飞行过程。其中，巡航阶段的飞行大都为超视距飞行，在以前的教学中，学员仅凭肉眼很难观察到无人机超视距飞行，更难体验任务执行的过程。现在，学员应用VR/AR技术，能同步观察和体验沉浸式飞行细节，实训效果非常理想。在操控过程中，学员能熟悉电力巡检、物流运输、高楼消防、快递件投放、农作物植保等各种任务场景，体验无人机搭载重物如何起降、规避风险、平稳飞行、延长续航时间等。

图5 多旋翼无人机的典型任务剖面。

无人机集群操控培训

无人机多机编队飞行用途广泛，但其飞行操控技术具有更高的要求。以节日夜晚的“灯光秀”为例，无人机集群升空后各单机不仅须要正确定位，而且还要在动态飞行中互相配合，以完成整体队形的变化。在诸多变化中，相邻单机之间须保持上下、左右、前后间距，以确保同台表演动作准确、精彩及飞行安全。在表演结束后，无人机集群中的单机需要严格按程序分批退场，降落地面。常规无人机集群人工操控非常复杂、操控工作量大、耗时长，且不允许出现失误。如果采取VR/AR沉浸式操控培训，整个无人机集群矩阵变化过程历历在目，而且能随时发现问题、及时纠正错误，从而提高操控练习的质量、缩短培训时间、提升培训效率，最终确保任务顺利完成。

VR/AR 操控培训是系统工程

基于VR/AR的无人机操控培训是系统工程，关系到技术运用、在线培训、考核评定、综合教学管理等方面。

技术运用

从理论到实践，学员获得无人机系统知识，正确理解无人机飞行原理，熟悉操控要领，纠正错误操控方法，减少失误，把握正确的操控流程，养成良好操控习惯，确保无人机飞行安全。

在线培训

在线培训应按运行规则、无人机型号、飞行手册等要求，对新学员进行具体指导和技术培训，注重培养操控的正确性、准确性和熟练程度。

考核评级

按运行规则及无人机型号要求，定期或不定期对操控员的业务能力和技术水平进行考核，并做出客观、公正的评级。

教学综合管理

对操控员、设备、器材、仓储、物流等进行科学管理。

图6为VR/AR无人机操控培训系统的若干层面，主要涉及基础层、技术层、应用层和网络层。其中，与基础层有关的是数字模型和算法框架。与技术层有关的是结构仿真、系统仿真和人工智能。应用层面向操纵和飞行场景，以解决实际问题为主旨。网络层通过互联网面向行业内外开展飞行业务沟通，扩大安全飞行范畴。

图6 VR/AR 无人机操控培训系统架构图。

用户评价

国内VR/AR技术目前主要用于无人机教学和操控培训。VR/AR系统能够为学员提供生动、逼真的学习环境。在广泛的飞行操控科目中，为学员提供无限的虚拟体验，从而加速并巩固学员所学的专业知识。与在课堂听教师讲授理论课相比，学员亲自、主动感受人-机交互操控，获得了实践性学习机会。利用VR/AR技术，相关单位可以建立各种虚拟现实飞行试验室，开展多种沉浸式技术培训、演练，具有传统培训方法难以比拟的优势。