交互式感知遥操作在轨服务的展望

2022-07-27彭世刚王鹏飞

航天控制 2022年1期

彭世刚王鹏飞程祥于猛

1.中国空间技术研究院钱学森实验室，北京 100094 2.北京理工大学，北京 100081

0 引言

交互式感知遥操作技术是在传统指令式遥操作基础上增加信息感知交互能力，有效增强操作者的沉浸感，使操作者对操作具有更强的感知能力[1]，控制机器人完成复杂的任务。因此基于交互式感知的遥操作机器人自20世纪90年代中期开始受到人们的广泛关注与研究[2]。

基于交互式感知技术的遥操作机器人其交互过程可分为2个系统:1)机械手根据捕捉到的操作者运动信息以及触觉信息进行运动跟踪的前向交互通道；2)机械手感知外部环境并将其运动信息及触觉、力觉信息反馈到操作者的反向交互通道。实现机械手臂在完成指定跟踪动作的同时可以反馈机械手的运动状态与感知的触觉、力觉等信息，并以自然真实的方式直接作用于操作者的感知器官，使操作者产生身临其境的感受，从而有效感知环境及控制机器人完成复杂的任务[3]，并可以实现在危险复杂的未知环境中完成探索及运动控制等工作。同时前人的实验研究表明，交互式感知遥操作技术相比于传统的遥控技术可以使完成任务的时间减少40%[4]。

近年来随着机器人技术和人工智能技术的快速发展，如智能扫地机器人等消费级机器人已经有广泛的应用。然而在行星探测、空间站在轨维护等未知、复杂环境下，因为人工智能的不确定性和不稳定性决定了在今后很长的一段时间内，智能自主机器人无法满足航天高准确度、高成功率的要求，只能作为局部辅助手段。然而传统的指令式遥操作方式，每执行一个动作都需通过传感、探测、分析及信息传输反馈至地面操作人员，然后决策发送控制指令。由于信号延迟和信息的不完整性，导致传统的指令式遥操作方式效率低，交互式能力弱，难以处理复杂、迅速变化的操作任务。因此需要探索具有交互式感知能力的遥操作技术。

1 国内外研究进展

鉴于遥操作机器人在航天等领域的广泛应用前景，20世纪90年代起美国国家航天航空局(NASA)针对空间遥操作机器人展开了一系列的研究，并实现基于空间遥操作的空间站在轨维修服务[5]；日本制定了临场感知遥操作机器人技术的研究计划[6]；德国针对空间遥操作技术启动了ROTEX计划[7]。中国空间技术研究院自2005年起将临场遥操作技术作为空间机器人关键技术进行立项。

1.1 美国航空航天局(NASA)——Surface Telerobotics

该项目模拟月球轨道载人航天器内的航天员遥操作月球漫游车在月面部署射电望远镜的作业场景。2013年7月，航天员在国际空间站内遥操作地面K10行星探测器在预定位置部署射电望远镜天线阵列，如图1所示3块胶板长条按Y形展开，模拟未来月球射电望远镜的可能配置[8]。Surface Telerobotics工程项目成功实现了航天员在轨对地球表面探测车的遥操作交互控制，机器人状态三维可视化呈现，使航天员保持较好的态势感知能力，有效降低脑力负荷，星球表面作业机器人的局部自主能力有利于保障航天员在低工作负荷下安全高效地完成操作任务[9]。

图1 Surface Telerobotics模拟遥操作部署射电望远镜

1.2 俄罗斯航天集团(ROSCOSMOS)—KONTUR

该项目的主要工作为：空间站内的航天员通过笔记本电脑和力反馈操纵器遥操作地面机器人执行作业任务[10]。在2015年8月，航天员通过力反馈操纵器在轨遥操作地面机械臂完成作业任务，实现了在空间站内操作地面机械臂与人握手和抓取酒杯并碰杯实验，同时实现了双臂协同抓取桌面弹跳球的实验[11]，研究人员发现，力反馈对于基于空间的远程操作任务来说是“不可或缺的”。

图2 俄罗斯KONTUR 遥操作系统

图3 遥操作双机械臂与人握手

1.3 欧洲航天局(ESA)——METERON

空间站内的航天员通过平板电脑、力反馈操纵器等人机交互设备，遥操作地面不同作业场景中的多种机器人执行操作任务[12-15]。并对通信时延、抖动和丢包率以及肢体运动的极限范围、感受扭矩和刚度的最小刺激阈值进行研究。数据表明：该通信链路的平均往返时间延迟为850ms,最小延迟为800ms，最大延迟为956ms，平均丢包率4.6%，。2015年9月航天员在国际空间站内通过力反馈操纵器遥操作地面机器人执行机械装配任务。

2019年航天员在国际空间站内根据2台笔记本电脑中呈现的作业现场视频反馈和辅助提示信息，通过壁挂式六自由度力反馈操纵器遥操作地面模拟月球车避开障碍物行驶到指定地点，然后采集岩石放入收纳盘中，并对岩石进行探测[16-17]。

图4 METERON 遥操作模拟月球车抓取探测

1.4 日本——ETS-VII

日本在1997年发射升空ETS-VII，用于验证空间在轨服务的一系列任务，诸如相对运动、对接、轨道操作、更换仪器设备等[18]。研究人员在机械手上安装了4种类型的敏感器，分别是：手眼相机，近距离探测器，握力敏感器以及手腕灵活敏感器。通过对多个敏感器的数据进行融合可以达到精确控制的目的。

图5 日本ETS-VII系统

1.5 中国——天宫二号仿人形机械手

2016年，中国航天科技集团通过利用“天宫二号”上的机械臂开展遥操作试验，验证了空间遥控机器人装配的相关技术，由于中国空间站刚起步建设，目前为止尚无具体的飞行验证与在轨试验。可以看出，中国在此方向的研究尚处于起步阶段，以跟踪性研究为主，体系化的实验较少。

图6 中国天宫二号仿人形机械手

2 核心技术分析

传统的机械臂应用技术已经有较为成熟广泛的发展，如空间机械臂的建模、运动学解算、路径规划与动力学控制技术[19]、视觉伺服技术[20]等，中国空间站设计使用的天宫机械臂已经成功发射并投入使用并进行了相关的基础研究[21]，因此本文主要分析具有交互感知能力的机械臂在运动控制和感知过程中所特有的技术。交互式感知遥操作技术，其核心是实现人-机协同运动感知，感知交互式遥操作机器人与传统指令式机器人相比，其主要的研究难点在于力觉的感知，力觉、触觉的反馈再现和空间环境下遥操作的信号延迟问题，人机协同控制策略等。下面分别对这4个核心问题介绍当前主流的技术方法与研究现状，并对其特性进行分析。

图7 交互式感知遥操作机器人系统示意图

2.1 感知传感技术

感知传感技术的主要目标是通过末端的传感器感知如听觉、视觉、触觉、嗅觉、力、温度、姿态位置等信息，其中视觉与姿态信息的捕捉已经有比较多的研究与应用，如SpaceMocapz在轨人体运动捕捉系统[22]，而作为空间遥操作核心的力觉、触觉感知技术是当前研究的重点与难点，力触觉传感器主要有压力传感器和力矩传感器，前者主要是检测与物体接触时产生的压力，可实现对指尖压力、物体振动、表面形状的感知反馈，后者主要是按压物体时对手指等产生的力矩以及腕部力矩的感知。

当前压力传感器主要集中在垂直方向压力的检测，根据其原理可分光电式、压电式和半导体式等，其中压电式可以分为电阻式，电容式和电感式，当前垂直方向电阻式压电传感器已经较为成熟，可实现毫米级别的厚度且为柔性传感方便穿戴。三维压力传感器的研究虽然取得了一定的进展，如浙江大学研制的一款电容式三维力柔性触觉传感器[23]，采用分层制造、集合封装的方式开展传感器的制备制造但是其离实用性仍有较大的距离。同时力觉传感器在精度较高的前提下，应具有厚度薄、可弯曲、易于延展的特点。

2.2 力觉反馈再现技术及装置

力觉反馈是用外加装置模仿抓取物体时物体对人的肌肉、关节和筋腱上的力，同时实现运动限位，侧重于人的宏观整体感受，尤其是人的手指、手腕和手臂对物体运动和力的感受。如用手拿起一个物体时，通过触摸反馈可以感受到物体是粗糙的或坚硬的等。

力反馈装置根据结构的不同，可以分为穿戴外骨骼手套式和手控器式。穿戴外骨骼式，是一种基于可穿戴外骨骼式手套，通过限位装置和压力装置实现运动的压力感知和力矩感知。如图2所示为岱仕科技2019年公布的一款可穿戴外骨骼式力传感器手套Dexmo企业版[24]，通过外骨骼的方式反馈抓取物体时对手指的力和力矩。手控器式交互传感装置一方面实时测量手部的运动角度信息，进行运动的跟踪控制，另一方面对手部产生力觉反馈，其可分为同构式和异构式2种，其中后者为研究的主流方向。当前许多机构和学校都在进行力反馈技术的研究，然而由于涉及到精密结构设计，合适的触觉反馈装置与材料，当前的力觉反馈装置的体验感较差，另外，外这种装置在实现运动触觉反馈的同时降低了手指的灵活度，造成体验感较差，因此力觉反馈再现技术需要新的技术突破。

图8 岱仕科技力反馈手套

2.3 触觉反馈再现技术及装置

触觉再现技术主要是通过压力产生模块，使操作者感知手指的压力，以此感知物体的形状、振动特性以及物体的纹理等外部结构信息。

触觉再现可分为形状改变式和表面刺激式两大类。形状改变式触觉反馈是基于物体体积的改变对手部产生挤压从而产生触觉反馈。较为普遍的方式如气压、气环或者基于形状记忆合金等智能材料。表面刺激式触觉再现是通过对操作者施加气流、电流、磁场，振动等刺激，使手部产生触觉感知从而实现触觉再现[3]。其中振动刺激最为广泛，其原理是采用电磁或者压电等方式实现振动，振动触觉反馈的优点是可以克服形状改变式触觉反馈存在的感知麻木现象，其缺点是振动结构较为臃肿，体积过大。电刺激的方式是通过表面电极刺激或者肌肉神经刺激与静电刺激等方式产生触觉反馈，通过静电吸引在皮肤表面产生触觉。

2.4 空间环境下遥操作延时问题

由于信号传输距离在几百千米以上，如地月间距为38万公里，空间环境下(如月球)的遥操作机器人会有严重的信号延迟情况，因此延时问题是交互式感知遥操作机器人要面对的一个重要问题。当前解决延时问题主要有2种思路：1)通过算法实现系统的稳定与可操作性；2)采用虚拟预测技术进行环境建模。

常采用的算法是无源控制算法、时间控制算法和基于H∞理论的控制算法，如文献[25]利用雅库波维西-卡尔曼-波波夫引理导出的李雅普诺夫方法和技术，分析了运动的质量和稳定性，但以上的方法在超过7s的大延时情况下效果并不理想。当前主流技术为基于合理预测下的虚拟建模技术。

虚拟现实技术(VR)是解决大延时问题的一个重要方式。其基本原理是将真实环境和虚拟预测环境同时通过虚拟现实技术进行环境模型的构建，并进行不同状态的标识。虚拟现实技术用于大延迟遥操作技术的一个典型案例是美国的旅行者号深空探测器[26]，1997年7月美国旅行者号探测机器人登陆火星，采用虚拟现实建模技术，将虚拟的火星环境和虚拟的探测器模型连接在一起，通过预运动和图形建模的方式，如果真实结果符合要求则控制代码传输给火星探测器进行执行指令。

针对空间环境的大延时问题的另一个解决思路是转变使用场景，减小空间传输距离。如在航天舱内遥操作舱外机械臂进行在轨服务，又如在月球等行星轨道卫星舱内或行星探测舱内遥操作行星表面的探测器执探测作业任务，规避了大延时的问题。

2.5 空间交互式遥操作控制模式设计

空间机器人根据自主能力的高低，可分为主从模式、双边模式、共享模式、遥编程模式和自主模式等5种基本控制模式[27]。其中主从模式为从端机械手跟踪主端机械手的行为指令，没有自主能力[28]。双边模式是在主从模式的基础上实现感知信息的反馈，实现信息的双边闭环反馈传输，是感知交互遥操作的基本使用方式。当前主流的研究方式为共享模式和遥编程模式。共享模式是让操作员与机器人协同半自主决策，一方面遥操作者根据感知交互信息进行直接操作来发挥其判断决策能力，同时保证机器人具有一定的自主能力，比如在装配过程中利用机器人的自主性保持对中心点的捕捉瞄准，克服运动晃动[29]，以及通过自主力控，克服人的误操作导致的机械损伤。遥编程模式使机器人具有更高的自主控制能力，操作员根据交互感知信息发送高级的机器人运动意图，机器人识别操作终端意图(如虚拟环境下的瞄准、装配)，依靠自己的局部闭环控制完成工作任务，同时该方法也可以有效克服信号延时问题。然而该模式的主要困难在于意图的识别和可靠性不能完全满足航天高稳定性高可靠性的严苛要求。自主模式是最高级别的控制方式，实现在基本不需要人的参与下的自主决策与工作。

3 交互式感知遥操作在轨服务机器人的思考

3.1 必要性分析

1)结合专家决策，高成功率完成作业任务

采用双边模式、共享模式、遥编程模式等协同半自主控制模策略。一方面通过反馈的力觉、视觉、触觉及其他感知信息，辅助具有丰富专业经验的专家做出准确的决策判断。人的高智慧使机械臂操作具有更强的灵活性，而信息交互具有更强的交互感、临场感，辅助专家在未知复杂的环境下做出准确快速的决策。同时将人的决策意志传递给机器人，结合机器的自主辅助能力如激光辅助瞄准、力矩自适应抓取等机器智能，可以有效提升工作效率和任务成功率。尤其是空间站在轨维护、星球探测车末端执行机械臂等这种高自由度、强交互性、需要手眼协调等对感知交互要求非常高且环境复杂的作业任务，亟须人机半自主协同的交互式感知遥操作机器人。

2)更灵活、高效的空间作业能力

相比于当前普遍应用的传统指令式遥操作方式，每执行一个动作都需通过机器末端传感、探测、分析后将信息传输反馈至地面操作人员，然后操作人员根据信息设计编写并发送控制指令。由于信号延迟和信息的丢失与不完整性，导致传统的指令式遥操作方式效率低，交互式能力弱，难以处理复杂、迅速变化的操作任务。而具有交互式感知能力的机器人，具有丰富专家经验的操作员根据感知反馈到的环境信息，面对突发、复杂的工作状况，可以迅速准确地作出判断，显著提升作业效率和任务成功率，让寿命短暂的星球机器人在寿命周期内开展更多的工作任务，获得更多的科学回报。

3)实现对航天员的解放

交互式感知遥操作实现了对航天员的解放，通过在航天舱内交互式操作空间机械臂，避免了不必要的出舱活动，相比于航天员出舱工作和着陆星球表面操作，大大降低了航天任务的风险和成本。

4)急迫性与可实践性

如前文所示，主要航天强国均已经开展并进行了大量的遥操作在轨实验任务，并取得了一定的实验成果，如欧洲航天局通过遥操作实现模拟月岩的采集与分析。然而由于我国未参与国际空间站，缺乏平台支撑进行相关的试验，随着中国空间站在2022年建成，为空间在轨遥操作任务的实验提供了条件。同时空间站的在轨维护成为必然的需求，交互式感知空间遥操作具有不可或缺的应用需求。另外，随着月球探测科研站的开发与建设，月壤的抓取与探测，月球科研站相关设备的搭建等任务都可以采用交互式感知遥操作方式实现，因此进行感知交互遥操作具有很高的急迫性和应用需求。

3.2 系统方案分析

针对第一节中各国交互式感知遥操作的项目分析其整体技术方案，总结如表1所示。

表1 各国遥操作技术方案汇总

通过分析各个国家的交互式感知遥操作项目的技术路线，总结如下：随着科技的发展，交互式遥操作的功能越来越完善，视觉交互与力反馈交互因其能提供装配操作所需的主要感知信息，已成为交互式感知遥操作必备的功能，同时其余的如温度感知交互等传感技术也在不断发展，进一步提升操作者的临场感，辅助操作者作出准确的决策。另一方面控制策略均采用专家决策与局部自主结合的控制方式，在拥有人的高智慧决策的同时，借鉴机器在局部路径规划、激光辅助引导配合等机器智能，将人的智慧与机器的高精度相融合，提升了高复杂度作业的效率和成功率。借鉴其经验，建议可采取的方式为：视觉反馈+力反馈+局部自主智能+辅助装配+路径规划+机械臂运动规划的技术路线。

视觉和力觉可提供遥操作的主要信息，同时需要实现力触觉的感知交互，机械臂在执行任务中与环境交互产生的力触觉要反馈再现到操作者中，辅助操作者作出决策，同时操作者的运动行为产生的力触觉变化也需要映射到执行器末端的力触觉变化和空间位置姿态的变化。力触觉感知不仅是接触力的反馈，同时还具有手指接触物体的触觉反馈，以及手指运动的限位，丰富的信息感知反馈有助于辅助操作者提升临场操作感，作出更准确迅速的判断。另一方面，发挥机器智能所具有的数字化高精度特性，补充人类所不具有的能力，比如距离探测、力矩自适应抓取、自适应避障的路径规划和激光瞄准等辅助装配技术，采用人机共享的控制方案，克服由于误操作和手的抖动等产生的误差，实现人的智慧与机器的高精度相融合。

3.3 技术发展方向的讨论

针对交互式感知遥操作提出以下建议：

1)触觉感知再现技术有待进一步提升。当前无论是手控器式还是可穿戴外骨骼式的力反馈感知系统都存在着严重的缺陷，比如结构沉重、灵活度低、精度低、可实现的功能弱以及穿戴体验感差等种种缺点，离实际应用仍有一段距离。另一方面压力感知当前主要是振动式或者气压式，存在着灵敏单元少的问题。因此需要研究手部的感知与运动原理，突破传统思维，构造一款穿戴体验感强的新型力-触觉反馈装置。

2)当前基于虚拟现实技术的环境预建模技术是克服大延时的一种简单直观的方式，然而其可靠性严重依赖建模的准确度，对于未知环境的建模及机器模型的实时修正匹配也是一项重要的技术。

3)增强遥操作机器人的自主运动能力，实现操纵者和远端机器人的主从关系转换。即在基于预测模型的基础上，机械手自主决策，自主运动，并通过虚拟现实交互和触觉交互，实时反馈当前远端机器人的运动状态，克服由于延迟造成的操作失误问题。

4)交互式感知的反馈应更具有工程实用性：如当前普遍采用的外骨骼力反馈装置，感知反馈是基于灵巧手的抓取与力的反馈，然而在实际工程应用过程中，抓取工作主要由二自由度的夹爪实现。因此应针对机械夹爪的结构设计合理的力反馈结构和运动跟踪限位装置，不仅降低开发难度，更具有工程实际应用性。