载人月球探测混合现实遥操作控制总体方案研究

王鹏基， 邢 琰， 孙赫婕， 王 硕

(1.北京控制工程研究所， 北京 100094； 2.空间智能控制国家级重点实验室， 北京 100094)

1 引言

遥操作巡视探测是月球探测的重要方式，具有代表性的是苏联的Luna 系列[1]。 由于地月之间距离传输时延和传输带宽的限制[2]，在轨数据难以实时传输到地面上，地面操控人员无法直接根据图像数据实时操控月面移动机器人。 而月面地形环境复杂未知，且存在较大的不确定性，给月面移动机器人的遥操作任务带来较大的挑战。

苏联共开展了2 次月面无人巡视探测任务，于1970 年发射的Luna17 首次使用月球车(Lunokhod1)在月面巡视探测，1973 年发射的Luna21中的月球车2 号工作了约4 个月，行走里程达37 km[3]。 中国的玉兔1 号于2013 年底抵达月球正面虹湾地区，玉兔2 号于2019 年1 月3 日开始在月球背面南极-艾特肯盆地的冯·卡门撞击坑开展巡视探测，已经成为在月面工作时间最长的月球车。

苏联的月球车系列主要采用移动—等待的遥操作控制策略[4]，确保地面获取了完整的在轨图像信息，遥操作指令经地面充分验证后才上传到天上执行，从而确保月面探测的安全性。 与苏联的Luna 系列月球车类似，中国的玉兔号月球车也主要采用移动—等待的地月遥操作探测方式，所不同的是，玉兔号还具备局部的自主避障探测能力。 但这种走走停停的探测方式导致探测效率较低，对于未来载人月球探测大范围未知月面空间来说显然是不够的。 若能在地面上将地月时延间隔内移动机器人的未来运动状态进行准确预测[5]，并利用混合现实人机交互仿真技术[6]在地面控制中心逼真再现月面操作现场的任务场景，实现月面物理场景和操控人员面前虚拟场景的准平行，操控人员就可在高沉浸感的虚拟场景下实时驱动虚拟机器人，以达到对月面移动机器人连续遥操作控制的目的，从而提高移动机器人的探测效率和安全性。

本文提出一种基于运动预测修正和混合现实场景仿真的月面遥操作控制总体方案，地月传输时延过程的月球车运动状态通过预测得到，并利用混合现实仿真技术进行虚拟场景更新和显示，实现月面物理场景和操控人员面前虚拟场景的准平行，从而使操控人员可以在地面控制中心、月轨空间站或月面居住舱内完成月球车的实时遥操作探测，提高月面探测效率。

2 载人探月遥操作任务分析

2.1 载人探月遥操作方式

根据遥操作人员所处的位置，中国未来载人月球探测遥操作方式大致可分为地面遥操作、月轨遥操作和月面遥操作3 类。 其中，月面遥操作又包括操作人员在月面居住舱内的短期月面遥操作、操作人员在舱外跟随机器人的月面伴随遥操作及操作人员位于月球基地控制中心内的月球基地遥操作3 种形式。

图1 给出了载人探月巡视探测任务可能采取的遥操作控制方式。 载人探月遥操作分为上中下3 层。 中层为月面上的遥操作，上层为操控人员位于月轨空间站中的遥操作，下层为操控人员在地面控制中心的遥操作。 上中下3 层遥操作方式可同时存在，协同工作。 根据技术发展水平，在某个探测阶段，以其中一种遥操作方式为主，其他遥操作方式为辅。

2.2 载人探月遥操作发展阶段

按照中国载人探月工程的技术发展水平，遥操作大致可分为以下4 个阶段:

1)地面遥操作阶段。 月球基地尚未建立，着陆器和居住舱的生保条件和遥操作能力有限，考虑安全性，航天员直接出舱进行伴随遥操作的可能性也不大。 因此，以操作人员位于地面控制中心进行地面遥操作为主，着陆器、居住舱或月轨空间站里的航天员对遥操作过程进行监视，必要时可参与操作。 该阶段遥操作时延最大，但计算资源最强。

2)月面遥操作初期阶段。 操作人员留在着陆器或居住舱内，或者出舱跟随移动机器人进行伴随遥操作。 通过月面上的远程或者近程无线通讯链路进行指令通讯和数据传输，操作移动机器人实现月面环境巡视和采样等探测活动。 该阶段遥操作的优势是通讯和传输延时较小，不足是着陆器/居住舱或航天员自身的生保系统受限，难以实施长期遥操作探测任务，且计算资源有限。 该阶段下，地面控制中心和月轨空间站的遥操作为辅助，必要时可参与操作。

3)月轨遥操作阶段。 在构建起月轨空间站和中继卫星、解决了月轨通讯问题后，月轨空间站遥操作就具备了一定优势:比地面遥操作延时更短，指令通讯和数据传输速率更快，实时性更好；比月面遥操作计算能力更强，实时遥操作的可实现性更高，月面探测的时间更长。 该阶段下，着陆器和居住舱的航天员或地面控制中心的操控人员对遥操作过程进行监视，必要时可参与操作。

4)月面遥操作高级阶段。 待在月面上建立起长期值守的月球基地后，操作人员位于月球基地控制中心进行的遥操作与其他遥操作相比具备更大的优势:遥操作指令通讯和数据传输相较于地面或月轨空间站遥操作方式延时更小，实时遥操作的可实现性更好；操作环境更舒适，大大降低人的疲劳程度；计算资源相对更丰富，生存条件更好，可长期执行遥操作探测任务。 若配合月轨空间站或中继卫星，可实现全月面任意位置的遥操作巡视探测。 该阶段下，地面操控人员或月轨空间站的航天员对遥操作过程进行监视，必要时参与操作。

2.3 遥操作时延分析

无论采取哪种遥操作控制方式，或多或少都会受到时延影响，其中最为突出的是数据传输时延，包括距离传输时延和链路带宽时延。

对于地月距离传输时延，其大小是由无线电传输速度决定的，无论载人探月发展到哪个阶段，地月距离传输时延都是存在的，且不会随着技术的发展而缩短。 按地月距离380 000 km 估算，传输时延单程大约为1.5 s。

链路带宽时延主要针对图像等大容量数据的传输情况，受传输链路的带宽限制较大。 带宽提高，同样的数据量，其传输过程所用时间就相应减少，该类时延大小会随着载人探月技术的发展而大大缩短。 另外，图像压缩会减小下传的数据容量，同样可缩短地月数据传输时间。

2.4 下传数据需求分析

对于载人探月遥操作任务，尤其是时延较大的地月遥操作任务来说，下传的测量数据按下传速度可分为短周期时延数据和长周期时延数据。

1) 短周期时延数据。 主要指月面移动机器人的位姿数据。 这类数据容量很小，通常只考虑距离传输时延，由安装在移动机器人上的导航敏感器直接测量得到，适用于对时延要求比较高的遥操作路径规划制导和预测任务。

2) 长周期时延数据。 主要指月面移动机器人周围的月面地形数据，包括双目图像、激光点云等。 这类数据通常容量较大，受链路带宽限制也较大，由安装在移动机器人上的各类感知敏感器(如导航/避障相机、监视相机、激光雷达等)获取。 随着载人探月技术的发展，还可以充分利用月轨空间站或着陆器/居住舱上的高分相机精确获取月面操作现场的大范围地形数据。 该类数据虽然下传周期较长，但测量精度比较高，可对移动机器人进行精确定位定姿，对利用惯导数据进行的移动机器人位姿预测结果进行修正。

3 地月准实时遥操作方案

地月遥操作是载人月球探测初期的主要遥操作方式，且与其他形式的遥操作相比，其通讯和数据传输延时最大，克服时延实现实时遥操作的难度也最大，因此研究地月遥操作最具有代表性。本文重点针对地月遥操作控制进行方案研究，突破该方式下较大时延预测修正和显示等关键技术，实现准实时遥操作，提高探测效率。 载人月球探测混合现实地月准实时遥操作控制的基本过程如下:初始化阶段，由混合现实仿真子系统根据提前获取的月面图像进行大范围三维重建和地形特征的增强信息显示，形成静态虚拟月面任务场景，包括虚拟移动机器人。 之后，由操作人员根据重建的虚拟月面任务场景操控虚拟移动机器人运动，从而生成遥操作指令；将指令连续上传至月面的真实移动机器人，在指令执行之前提前预测移动机器人的运动状态；利用延时下传的性能测量单元(Inertial Measurement Unit，IMU)等测量数据进行短周期预测修正；待月面图像延时下传后，由预测修正子系统解算得到更为精确的机器人位姿结果，并进行长周期预测修正，以达到预测轨迹逼近移动机器人真实运动轨迹的目的。 与此同时，混合现实仿真子系统根据移动机器人的位姿预测结果和延时下传的月面图像数据对任务场景进行动态实时更新与增强显示，为操控人员提供高临场感且与月面操作现场延时同步变化的虚拟现实任务场景。

由此循环进行指令上传、位姿预测、定位定姿、预测修正和场景更新显示，从而构成地月时延下混合现实遥操作闭环控制系统。 如图2 所示，载人月球探测混合现实地月准实时遥操作系统包括3 部分:地面控制中心、月面任务操作现场和地月通讯链路。

图2 载人月球探测混合现实地月准实时遥操作系统方案及组成框图Fig.2 Scheme and block diagram of Earth-Moon quasi-real-time mixed reality teleoperation system for manned lunar exploration

3.1 地面控制中心

地面控制中心是混合现实遥操作的核心，其主要功能是由地面操控人员根据三维重建和增强的数字任务场景完成人机交互遥操作，生成并上传遥操作指令，实现对月面移动机器人的遥操作控制。 地面控制中心包括3 个子系统:遥操作预测修正子系统、混合现实仿真子系统和人机交互子系统。

3.1.1 遥操作预测修正子系统

遥操作预测修正子系统是地月时延下准实时遥操作任务得以实现的核心系统之一，主要由移动机器人定位定姿模块和运动状态预测与修正模块等组成。 移动机器人运动状态的预测优劣取决于定位定姿和预测修正两部分的综合作用结果，任何一部分性能降低，都将直接影响最终的预测性能，进而影响遥操作任务的实现。 该子系统主要功能如下:

1)状态预测。 通过建立月面移动机器人的预测模型(含有月面地形起伏的运动学模型)，对地月时延下的机器人位置姿态进行外推预测。

2)定位定姿。 根据月面上延时下传的机器人位姿和月面地形图像数据，利用即时定位与建图(Simultaneous Localization and Mapping，SLAM)方法对成像时刻机器人真实位姿进行精确计算，这是预测修正的重要参考数据。 由于地月时延的存在，该位姿数据无法实时获取，只能是有限帧数据。

3)预测修正。 利用延时下传的惯性测量单元(IMU)等数据实现短周期预测修正，并结合SLAM 技术获取的位姿信息实现长周期预测修正，确保机器人运动状态预测误差收敛，精度满足要求。

3.1.2 混合现实仿真子系统

混合现实仿真子系统是地面操控人员实现实时遥操作控制的重要条件，为地面操控人员提供虚拟月面任务操作场景，由三维场景重建与更新、增强信息生成与显示、混合现实仿真等模块组成。其主要功能如下:

1)三维重建。 对包括大范围月面地形和移动机器人在内的月面任务操作现场真实场景进行精确三维重建，实现月面真实场景的数字化。

2)场景更新。 一方面，根据预测修正的虚拟机器人位姿更新虚拟月面任务操作场景(虚拟机器人在虚拟月面环境中的状态)；另一方面，根据延时下传的双目相机和激光雷达月面地形数据对局部虚拟月面地形、尤其是局部月面特征进行更新。

3)信息生成。 对虚拟月面场景中的地形特征进行精确计算，获取特征尺寸、危险程度、规划路径等增强信息。

4)增强显示。 对三维重建和更新的场景进行渲染，并将生成的增强信息准确显示在虚拟月面场景中，为地面操控人员提供准确且高临场感的混合现实可视场景。

3.1.3 人机交互子系统

人机交互子系统主要通过遥操作平台(如操控手柄等)和虚拟现实月面任务场景，构建起地面操控人员与真实任务操作现场之间的实时互动关系，最终实现操控人员对月面移动机器人的准实时遥操作控制任务。 包括地面操控人员、操控手柄及头盔等混合现实仿真设备等。

3.2 月面任务操作现场

月面任务操作现场是遥操作任务的真实操作现场，负责获取并延时下传各类敏感器测量数据，同时执行地面控制中心实时上传的遥操作指令，从而完成移动机器人的巡视探测和采样任务。 月面任务操作现场主要包括移动机器人和月面环境(月面地形、光照环境等)。 其中，移动机器人包括移动平台及各类敏感器设备(双目相机、激光雷达、惯性测量单元等)、操作机械臂和手眼双目相机等。

3.3 地月通讯链路

地月通讯链路主要负责地面控制中心与月面任务操作现场移动机器人之间的指令通讯和数据传输。 距离时延和有限传输带宽引起的数传时延都将对地月遥操作的准确性和实时性产生较大影响。

4 地月遥操作系统工作流程

载人月球探测混合现实地月准实时遥操作控制系统的基本工作流程设计如图3 所示。 中间一条带有箭头的轴为时间轴，轴的上端为天，即月面环境下的真实操作现场，天上时刻用下标s 表示；轴的下端为地，即地面控制中心的虚拟操作现场。 遥操作控制指令与月面执行之间，可认为相差一个地月传输延时Ttrans，而遥测下传的测量数据可分为短周期和长周期:短周期数据为运动状态数据(位置、姿态等)，其时延主要为地月传输时延Ttrans；长周期遥测数据为图像数据，其时延包括地月传输时延Ttrans和图像下传时间Tpic两部分。 载人月球探测混合现实地月准实时遥操作的基本工作流程如下:

图3 载人月球探测混合现实地月准实时遥操作基本工作流程Fig.3 Basic workflow of Earth-Moon quasi-real-time mixed reality teleoperation system for manned lunar exploration

1)初始化。t＝0 时刻，月面移动机器人位于月面任务操作现场。 利用移动机器人或者轨道器/着陆器上的高分辨率相机/雷达对待探测的大范围月面地形进行成像，并将图像数据下传到地面控制中心。 然后由混合现实仿真子系统对月面任务操作现场(包括月面地形和移动机器人)进行静态三维重建、渲染和增强信息生成，在地面控制中心呈现虚拟操作任务场景，包括月面地形和移动机器人数字模型。

2)一步遥操作。 操控人员根据三维重建后的虚拟场景，通过人机交互子系统操控手柄进行一步遥操作，使得虚拟机器人在三维场景中按预定轨迹运动，操作指令立即上传至任务操作现场的真实移动机器人。

3)一步预测。 在当前地月时延间隔内，每个遥操作控制周期，由遥操作预测与修正子系统对移动机器人的运动状态(车体位置、速度、姿态等)进行一步预测。

4)一步场景更新。 混合现实仿真子系统根据预测的移动机器人运动状态更新虚拟场景中的机器人位姿和月面地形。

5)重复步骤2)～4)，直到第一个短周期时延的IMU 数据下传到地面。

6)短周期预测修正。 在每个遥操作周期，连续下传移动机器人的位姿数据至地面控制中心，预测修正子系统利用下传的位姿信息对之前的预测结果进行修正，直至当前时刻。 之后每个遥操作控制周期，都根据延时下传的位姿信息进行短周期预测修正，直到第一个长周期时延的图像数据下传到地面。

7)长周期定位定姿。 双目相机和激光雷达每间隔一个延时周期(如10 s)下传一组图像数据至地面控制中心，预测修正子系统根据延时下传的图像数据，结合短周期位姿数据对图像对应时刻移动机器人的位置姿态进行精确解算，为长周期预测修正提供基准。

8)长周期预测修正。 预测修正子系统以长周期定位定姿确定的精确位置姿态为初值，结合IMU 数据对长延时周期内的移动机器人位姿预测结果进行精确修正，直至当前时刻。

9)混合现实仿真。 混合现实仿真子系统以修正的移动机器人位姿数据和延时下传的图像数据作为输入，实时更新虚拟月面任务场景，包括虚拟月面地形和虚拟机器人，结合人机交互子系统实现虚拟场景遥操作。

重复步骤2)～9)，完成地月延时条件下的地面遥操作、指令上传、位姿预测、场景更新、数据下传、预测修正、混合现实仿真和再操作的闭环过程，直至遥操作任务结束。

5 试验验证

在实验室内构建包括实物月面移动机器人、月面模拟环境和虚拟现实数字仿真环境在内的混合现实月面遥操作半实物仿真试验系统，通过行走机器人定位预测和虚实结合遥操作，实现月面巡视探测准实时遥操作移动控制，进而验证混合现实遥操作性能。 仿真系统与试验现场如图4所示。

图4 仿真系统与试验现场Fig.4 Simulation system and experiment site

遥操作控制误差测试是综合性测试，在混合现实虚拟仿真环境下使用方向盘对月面移动机器人进行遥操作，结合预测信息等增强信息的提示作用，控制月面移动机器人进行轨迹运动。 该指标用于评估混合现实遥操作移动控制的综合性能(包括重建、定位、预测、控制精度)，采用半物理试验的方式进行验证。

在混合现实虚拟仿真环境下进行20 组测试，速度为5 cm/s，10 cm/s，12 cm/s，15 cm/s 和20 cm/s，包括直线轨迹、曲线轨迹等多种情况，测得遥操作控制误差约为7.86 cm。 测试数据如表1 所示。

表1 遥操作控制误差Table 1 Control error of teleoperation/cm

依据混合现实仿真环境下的半实物仿真测试结果，本文研制的地月准实时遥操作控制系统总体方案，能够适应于不同的速度、轨迹和运动状态的遥操作，在仿真环境的崎岖环境能够稳定地运行，遥操作控制误差满足预期要求。

6 结论

本文提出了一种基于运动预测修正和混合现实仿真技术的地月准实时遥操作控制系统总体方案:通过对月面任务操作现场进行精确三维重建和增强信息显示，实现虚实场景动态匹配；通过对月面移动机器人进行融合定位和时延运动预测，实现虚拟场景下机器人遥操作移动控制的准实时性。 利用构建的混合现实月面遥操作半实物仿真试验系统，进行遥操作控制误差测试，充分验证了方案的可行性与有效性。 本文成果目前正在推广应用到中国载人月球探测月面活动相关的探测技术攻关研究中，后续也可应用到无人月球基地建设中。