一种面向在轨服务的空间遥操作人机交互方法

程瑞洲，黄攀峰，刘正雄，鹿振宇

(1. 西北工业大学航天学院智能机器人研究中心，西安 710072；2. 西北工业大学航天飞行动力学技术重点实验室，西安 710072)

0 引 言

目前，机器人技术广泛应用于深海潜行、高辐射核环境、远程医疗和深空探测[1]等领域，替代人类完成巡视、搬运和组装等任务，实现复杂环境下的操作任务。尤其在空间操作方面，文献[2]在国内较早地介绍了空间机器人的特点和发展，将空间操作分为行星表面、在轨舱外服务和空间站舱内科学载荷机器人的操作。针对航天员无法长时间在舱外行走、巡视和完成相关的维修任务，利用空间机器人技术可以将航天员暴露的风险降到最低，减少太空环境对人的伤害，并且降低空间站舱外维护成本。然而，受限于空间机器人传感器、机械结构和控制策略等因素，现有的空间机器人还缺乏较大的智能性，无法完全自主地完成设定任务，更不能解决突发的问题，因此，需要引入人员的操作，即人的智能性，通过“人在回路”的遥操作技术，实现人与远端环境的交互，完成既定的操作任务。王永等[3]、黄攀峰等[4]对国内外空间遥操作大时延技术进行了综述和分析，以空间工程实际应用为背景，解决了天地大时延、任务规划、预测仿真和人机交互等空间遥操作的关键技术。刘冬雨等[5]利用机械臂手眼相机标定，提出一种路径规划策略，完成空间机械臂在轨维修实验。前期的研究工作表明，空间遥操作技术虽然引入人的决策后可以提高操作的智能性和灵活性，但是空间遥操作技术仍面临诸多问题，例如，遥操作系统造成的空间机器人主从端位置跟踪不一致[6]、操作精度不高和天地回路大时延等问题；由于操作者人手抖颤、精神心理压力大和缺乏训练，导致操作不连续和不流畅[7]。

通常，大部分地轨卫星的服务时间是有限的，其本身携带的燃料主要用在机动变轨和姿态控制上，一旦此卫星发生故障，本身并无自我修复的能力。如图1所示为NASA Restore-L计划概念图，采用带有双臂空间机器人的服务平台，抵近故障航天器，利用携带的机械臂完成巡视、抓捕、维修和消旋等在轨服务任务[8]。然而，目前主要有三个潜在的问题会影响空间在轨服务性能： 1)地面主端操作者与服务平台从端机械臂之间的通信带宽不够； 2)在轨环境和目标航天器状态难以精确获得，给操作者的可视化数据有限； 3)天地回路的大时延造成位置跟踪难、操作不稳定和操作精度降低。

图1 Restore-L计划概念图(左侧为服务平台，右侧为故障航天器)Fig.1 Artist concept of Restore-L (Left is a servicing platform, right is a fault spacecraft)

由于天地回路大时延会严重影响操作的流畅性和降低遥操作系统的性能，早期，Ferrell提出了“运动-等待”的方法[9]，但是该方法具有很大的局限性。之后，利用预测显示技术[10]，预测和显示出从端机器人的位置，将时延后的相机画面叠加在增强现实之上。后来，人们提出监督控制[11]的方法，给予机器人一定的自主能力，地面操作人员只起监督和制止的功能，但是该方法只能应用于简单的往复任务。文献[12]提出一种基于中间模型的遥操作策略，利用从端传感器获取的数据设计相关模型，该模型可以让操作者感受到一个没有时延的力触觉，同时，从端机器人仅接受位置/力的指令。此外，文献[13]还提出一种共享双臂协同遥操作的方法，通过调节优势因子，实现双人操作的的目的。

为了解决主端操作者与从端环境之间的交互问题，Rosenberg[14]提出了虚拟夹具(Virtual fixture，VF)技术，虚拟夹具是一种计算机主端生成的几何约束，预设一个禁止区域，对从端机器人末端进行限制或导引，给主端操作者一个明显的力反馈，辅助操作者按照既定的路线进行运动。虚拟夹具经过几何设计形成虚拟管道或安全通道，末端机构可在其内部运动，引导操作者的动作，可用来减轻操作人员的心理压力、减少操作时间和降低操作误差。张斌等[15]采用虚拟夹具的方法，对操作者的动作进行限制和引导，提高了操作准确性。田志宇等[16]采用虚拟管道作为虚拟夹具技术的一种形式，辅助操作人员进行操作，设计了一种基于路径点的光滑虚拟管道生成算法，提高了操作的灵活性和效率。文献[17]将虚拟夹具设计成一种安全通道，将其应用到侵入式的手术中，通过位置和夹具形态自适应策略，采用基于无源能量池的控制方法保证了系统稳定性。文献[18]针对操作者和机器人同时抓持工具进行手术任务时，在手术器械末端设置虚拟夹具，提出了两种虚拟力的计算方法，提高了操作的有效性，但是没有对从端运动轨迹进行具体分析。

大多数文献中的虚拟夹具或安全通道在引导过程中，管道内部力场并没有被加以区分，即操作者所感受到的力反馈在内部各处都一样，虚拟管道仅起到了引导从机器人的末端点从起始位置到期望位置的作用。但在实际操作过程中，随着任务进行，主端的操作者需要感受到不同的力，才能更加灵活地进行操作；此外，以往主端画面多采用虚拟现实等手段将从端视景显示出来，但都存在建模精度不足和缺少对人的反馈问题[19]。

因此，本文针对空间机器人在轨服务任务需求，提出一种基于安全通道的分层力触觉辅助遥操作方法，采用增强虚拟(Augmented virtuality)的手段将从端视频信息显示给主端操作者。该方法一方面采用“虚实结合”的手段，在主端将虚拟管道与实际操作环境显示给操作者，提供视觉辅助信息；另一方面，在安全通道内划分不同的区域，设置不同的虚拟引导力和禁止力，辅助操作者将机器人末端运动至期望位置，同时保证人操作的稳定性和流畅性，减轻人手抖动等不安的心理压力，满足任务需求。

1 增强虚拟辅助遥操作系统

1.1 系统描述

一个典型的增强虚拟辅助遥操作系统如图2所示，主要包括五个部分：主端操作者、人机交互设备(如手控器、示教器、数据手套或虚拟现实的头盔及手柄等)、通信链路、从端机器人和从端操作环境。基于增强虚拟的安全通道辅助遥操作系统整体流程为：在主端，操作者通过手控器等人机交互设备向从端机器人发送位置xm、关节角θm或力fm信息，经过信息处理和通信链路的时延后，从端机器人将在位置xs、关节角θs或力fs信息的作用下运动，同时，将力等信息通过通信链路反馈给主端操作设备，这样操作者就可以感受到力反馈。此外，从端的环境视频信息通过摄像头获取后传输到主端显示设备上，主端显示设备一方面将从端画面显示出来，另一方面，设置的具有虚拟力反馈的安全通道也将在主端显示设备上展示出来。

图2 增强虚拟辅助遥操作系统构成图Fig.2 Structure chart of augmented virtuality assistance teleoperation system

1.2 机器人虚拟力控制模型

在人机交互过程中，一方面，环境会对从端机器人的末端产生影响，另一方面，设置的虚拟力也会对机器人末端产生位置和力约束。不考虑静摩擦力的情况下，n自由度非线性机器人关节空间动力学方程为

(1)

该非线性机器人系统，具有如下结构特性：

2)D∈Rn×n是正定有界的对角矩阵，H(q)∈Rn×n是正定且有界的矩阵；

3)g(q)∈Rn是有界的。

(2)

2 增强虚拟可视化设计

位于主端的增强虚拟可视化系统主要用来显示安全通道和从端环境的视频信息，利用计算机软件技术，将两个画面合并显示，达到增强虚拟的人机操作交互效果。此处的增强虚拟指的是，将软件生成的具有虚拟力反馈的安全通道与从端的真实操作环境画面叠加，这样设计的目的是既可以看见真实的从端情况，又可以通过设置的虚拟力，辅助操作者进行操控，减轻了操作人员的心理压力，缓解了操作手抖动的状况，提高了操作的稳定性和流畅性。

本小节以空间在轨研究背景,主要任务是操作空间机械臂末端进入卫星帆板折叠区域,巡视帆板内的环境。通过文献[20]中的基于虚拟力的安全通道构型,设计一种增强虚拟安全通道,并与徒手操作进行对比,验证增强虚拟辅助遥操作系统的可行性和有效性。

在地面搭建一个简单的实验平台，采用CHAI 3d力触觉渲染引擎和Falcon手控器力反馈设备，操作人员在显示屏上可以看到一个被力渲染的实体小球，用来表示空间机器人的末端点(End-effector)，称为末端小球。在操作过程中，操作人员利用Falcon手控器发送位置指令，控制小球运动至期望位置，同时，该小球具有碰撞检测算法，可将碰撞力反馈给操作者。

2.1 徒手操作

操作人员利用Falcon手控器将CHAI 3d画面中的末端小球，徒手从左移动到右，如图3所示，CHAI 3d渲染场景为操作者提供实时操作效果的视觉反馈，画面中的白色直线为参考线。

图3 徒手操作实验图Fig.3 Experiment system of unarmed teleoperation

如图4所示，徒手操作在Z方向的轨迹变化，可以看出，抖动变化比较大，操作时间较长，轨迹不平滑。根据操作者的体验，尽管有一条白色的参考直线，但是仅依靠徒手将末端小球从A点运动至B点，很难平稳地移动。根据操作者的感受，为了使操作任务快速完成，就会导致操作稳定性差,为了操作稳定度，就需要更长的操作时间，需要克服心理压力和操作抖动，对于完成相应的任务都是不利的。

图4 末端小球Z方向位置变化图(徒手)Fig.4 Z-axis position tendency chart of end-effector (unarmed)

2.2 组合体增强虚拟安全通道

通过对操作任务的分析，要使机械臂末端进入帆板内，需要设计两种几何构型的组合体安全通道，锥形体和直线体通道组合使用。一方面，锥形体一端开口较大，便于导引机械臂进入通道；另一方面，帆板内部空间狭小，直线体通道符合实际操作情况。通过组合体安全通道，可顺利安全地将机械臂末端引导至期望位置。

根据锥型和直线体通道的特点，一般将锥型通道放置在直线通道之前，锥型顶点采用开口设计，其半径大小与其连接的直线通道的半径相同，这样即可实现两个管道的拼接。

如图5所示，从起点A到期望位置B点，通过一个锥形体和一个直线体的组合体安全通道进行导引操作，锥形体通道的开口较大，适合机器人末端进入内部，进入通道后，随着锥形通道半径的减小，机器人末端受到的力约束也加强，之后进入直线体通道内，锥形与直线体通道的拼接使得整个通道完整流畅。

图5 组合体增强虚拟操作视景图Fig.5 Operation visual chart of composite unit augmented virtuality

如图6所示为末端小球在Z方向上的位置变化，从大约3.7 s进入组合体通道开始，操作人员基本能控制末端点在通道内顺利平稳地运动，整体抖动变化不大，满足操作要求。

图6 末端小球Z方向位置变化图(组合体)Fig.6 Z-axis position tendency chart of end-effector (composite unit)

图7表示末端小球在Z方向上的碰撞力，大约在3.7 s时刻，有一个较大的碰撞力，此时末端小球即将进入通道，与通道边缘发生了碰撞。12～20 s，随着末端小球进入锥型通道的后端(小口端)，本身操作人员的控制使得末端小球与通道发生碰撞,另外末端小球在通道衔接处也会产生碰撞力。从整体上看，碰撞力较小，产生的范围较窄，操作人员可以平稳快速安全地在组合体通道的引导下到达期望的位置。

图7 末端小球Z方向碰撞力的变化图(组合体)Fig.7 Z-axis collision force tendency chart of end-effector (composite unit)

综上所述，在验证该增强虚拟安全通道辅助遥操作系统中，通过在空间机器人末端设置的安全通道、给操作人员施加相应的虚拟力来控制末端的运动。利用这种策略具有的优点：1)相比较仅依靠主端虚拟模型的徒手操作，操作人员在安全通道的约束下，提高了操作稳定性和控制精度，减少了操作时间；2)在整个遥操作回路中，增加了人的智能性，优化了天地远程遥操作中操作人员与空间环境物理上的联系，增强了操作的临场感；3)可根据任务需求，将不同类型几何体的通道组合使用，灵活快速完成任务。

3 分层辅助遥操作

采用增强虚拟的安全通道可以有效地辅助操作者进行操控，其虚拟力反馈不仅增强了临场感，也作为一种约束，限制或引导从端的运动。当面对一个环境复杂的任务时，前述单一力反馈的安全通道局限性较大，因此，根据空间机器人末端在通道内所处的位置，设置不同的虚拟力反馈给操作人员，可以增强操作者的灵活性。

针对从端机器人末端由起始点运动至期望位置的操作任务，预先设定一条期望轨迹，该轨迹即为安全通道的几何构型，根据末端点所处通道内的位置，设定相应的的禁止区域、引导区域和自由运动区域，实现在不同区域使用不同类型虚拟力进行引导或禁止的目的。

具体算法步骤为：

1)建立从端机器人末端点的期望运动轨迹。采用三次样条插值的方法，规划一条期望轨迹，路径函数如下：

Υi(l)=S0+S1(l-xi)+S2(l-xi)2+S3(l-xi)

(3)

(4)

获得路径函数之后，一方面，可以得到任意时刻轨迹上的路径点坐标，为之后的求取机器人末端实际位置与轨迹上的最近点及计算从端机器人末端与轨迹之间的距离做准备；另一方面，期望轨迹也与增强虚拟安全通道的生成有关，路径的轨迹决定了通道的管径大小、长度和旋转角度。

2)计算最近点和最小距离。最近点是指，通过计算从端机器人末端实际位置与设定的期望轨迹上轨迹点的位置差值，求取位置差值最小的那个点，该点即为最近点。

最小距离是指，当操作人员利用手控器进行操作的时候，根据得到的最近点坐标值，所控制的从端机器人末端与期望轨迹之间最近点的距离。

首先，根据第一步三次样条插值法获取的期望轨迹，可以得到该轨迹上的一系列路径点P=(xp,yp,zp)，通过手控器获取主端操作者的位置为Q=(xq,yq,zq)，计算两点的距离

(5)

式中:σ表示两点之间的距离，(xp,yp,zp)表示设定的期望轨迹上的点，(xq,yq,zq)表示机器人末端点的实际位置。

其次，求取最近点。将计算得到的每一个两点之间的距离存入一个1×n的数组H中，n表示两点之间距离差的个数，利用“冒泡法”求取最小值的位置nmin，该位置处的点即为最小点。

最后，求取最小距离。根据数组H中最小值的位置，得到机器人末端距离期望轨迹上的最近点为Pmin=(xp_min,yp_min,zp_min)，计算从端机器人末端点与最近的期望轨迹上的点的距离为

(6)

式中:σmin为最小距离值，(xp_min,yp_min,zp_min)为期望轨迹上距离从端机器人末端最近的点，(xq,yq,zq)表示机器人末端点的实际位置。

根据获取的最近点，可以知道机器人末端与期望轨迹上哪个点最近，进而根据机器人末端点所处的位置，依据下一步骤划分的区域，设置不同大小和方向的虚拟力，将该虚拟力反馈给主端操作者，使用安全通道内力场约束主端人手的运动。

3)区域划分。将安全通道的内、外进行区域划分，根据从端机器人末端所处的位置，划分为禁止区域、引导区域和自由运动区域，如图8所示。通过划分出的不同区域，对从端机器人末端点施加不同大小和方向的虚拟力，将该虚拟力反馈给操作人员，辅助人的操作。

图8 安全通道区域划分图Fig.8 Partition area chart of security channel

首先，划分禁止区域。禁止区域为整个安全通道的外部，即从端机器人末端只能在通道内部运动，从通道的一端运动至通道的另一端，不允许从通道内部穿越通道壁进入通道外部区域，同时，也不允许在非入口处从通道外部进入通道内部。因此，在该区域设置的虚拟力为斥力FFRVF，即

FFRVF=-K·

-Kσmin

(7)

式中:负号表示斥力的方向，K表示斥力系数。

其次，划分引导区域。当从端机器人末端进入安全通道后，我们希望能够沿着期望轨迹运动至期望点，但是操作人员会发生手抖动等情况，导致末端点无法完全沿着期望轨迹运动，甚至偏离轨迹，或试图穿越通道内壁到通道外侧的禁止区域，这是绝对不允许发生的。因此，根据前一步的最近点和最小距离的求取结果，设置一个非线性力给末端点，让其越靠近期望轨迹受力越小，越靠近通道内壁受力越大，选取的非线性函数表示从端机器人末端点与期望轨迹上插值点的关系，设计引导力FGVF为

FGVF=exp(x-d)σmin

(8)

式中:exp(x-d)表示末端点与轨迹最近点之间的非线性关系，x表示从端机器人末端位置，d为设定的常数。

最后，划分自由运动区域。当从端机器人末端点稍微偏离期望轨迹的时候，并不需要对其施加引导力，这样做的目的是保证操作的流畅性和灵活性。因此，从端机器人末端点在该区域内运动时将不受引导力的影响。

4 仿真校验

为了验证增强虚拟分层辅助遥操作系统，搭建了一个地面演示平台，由五部分构成：操作者、主端控制系统、通信链路、从端控制系统和环境。操作者通过手控器将位置信息经过通信链路传送给从端机器人，从端机器人将环境力信息再反馈给主端操作者。主端是一个三自由度的Falcon手控器，从端是一个ABB14000双臂工业机器人(地面演示系统只控制该机器人的一个臂)，如图9所示，在从端环境上方加装一个摄像头，利用CHAI 3d力触觉渲染引擎，将从端获取的视频画面信息导入CHAI 3d中，作为增强虚拟通道的背景，将从端环境画面显示在主端可视化操作界面上。

图9 实验平台示意图Fig.9 Sketch map of experiment plant

在从端,有障碍物1(三阶魔方)和障碍物2(圆锥体),机器人需要从起始点,绕过两个障碍物到达期望位置。在主端,利用CHAI 3d软件中cCreatePipe函数,构造一个虚拟通道,该通道由63个空心圆柱体拼接而成,每个圆柱体的外径是0.2 cm、内径是0.19 cm。通过画面叠加技术,操作员既可以看到并感觉到被力/触觉渲染的虚拟安全通道,又可以实时观察到从端的操作状态。画面中的白色小球表示手控器的末端位置，整个操作过程如图10所示。

图10 增强虚拟分层辅助遥操作演示图Fig.10 Experiment process chart of augmented virtuality layered assisted teleoperation

操作人员利用手控器，控制机器人末端机构从A点运动至B点，从操作过程可以看出，一方面，将从端摄像头传回的环境信息画面，显示在主端视景窗口中，作为操作的背景画面信息，虚拟的安全通道与实际的从端画面的叠加，增强了操作者的临场感；另一方面，当机器人末端在增强虚拟安全通道内外不同区域运动时，不同大小和方向的虚拟力通过手控器反馈给主端操作者，操作者在虚拟引导力的作用下，控制机器人末端快速、准确和安全地抵达期望位置，提高了操作流畅度。

在CHAI 3d可视化界面中，末端小球是一个半径0.5 cm的小球，因此，当σmin<0.8 cm时，从端机器人末端点在自由运动区，不受虚拟力影响；当1.1 cm<σmin<1.4 cm时，从端机器人末端点在引导区域，施加给主端操作人员的力为引导力FGVF；当σmin≥2.5 cm时，从端机器人末端点在禁止区域，施加给主端操作人员的力为斥力FFRVF。

图11为操作轨迹与期望轨迹之间的对比图，虚线表示实际操作轨迹曲线，实线表示期望轨迹曲线，可以看出，代表机器人末端执行机构的末端小球，进入通道内后，运动整体平稳流畅，操作最大误差出现在右侧通道内，选取偏离期望轨迹最远的点，得到最大操作误差为0.63%，满足操作精度，表明在虚拟引导力的作用下，既没有与障碍物发生碰撞，也可以较快地沿期望轨迹将机器人末端操作至期望位置。

图11 操作轨迹对比图Fig.11 Comparison chart of operation trajectory

图12为从端机器人末端在设定的安全通道内受到的虚拟力(X、Y和Z方向)，可以看出，在2.3 s前，机器人末端还在通道外运动，操作者感受到较大的斥力；之后进入通道，受到朝向期望轨迹方向的虚拟引导力，根据式(8)设置的引导力FGVF，当操作者控制末端小球靠近中线时，操作者感受到的虚拟力为0，一方面，体现了操作的灵活性，另一方面，说明操作比较平稳，利于相关任务的完成；直至运动到期望位置，在14 s，末端小球从通道中出去后，与通道有碰撞，虚拟力立马变为斥力，禁止通过出口处再进入通道内。

图12 操作者感受到的虚拟力Fig.12 Virtual force by operator during an experiment

5 结 论

在以往的在轨服务遥操作系统中，依靠从端力传感器的力反馈信息是很重要的一种交互手段，然而因为天地回路大时延的存在，力反馈信息往往滞后人的操作，尤其在需要操作者快速反应、控制机器人避障和需要安全操作环境时，从端机器人很有可能发生非期望的碰撞事故。为了提高空间在轨辅助遥操作系统的安全性和操作稳定性，给主端的操作者提供虚拟力反馈，采用增强虚拟分层辅助导引技术完成既定的遥操作任务。通过组合体增强虚拟通道与徒手操作对比，说明利用安全通道可以有效提高操作精度和减少操作时间。将从端机器人末端点在通道内所处的区域进行划分，根据不同的位置给主端操作者施加不同大小和方向的虚拟力，可以更灵活地进行操作。地面演示实验表明，采用增强虚拟安全通道提供的可视化视景和分层力触觉辅助遥操作系统，可以增强操作者的临场感，平稳且顺利地操作机器人运动，提高了操作安全性。