带力反馈的星球探测机器人遥操作虚拟训练系统

2021-12-31邵斌澄宋爱国谭丽芬李会军

载人航天 2021年6期

邵斌澄，宋爱国*，谭丽芬，李会军

(1.东南大学仪器科学与工程学院，南京 210096；2.中国航天员科研训练中心人因工程国防科技重点实验室，北京 100094)

1 引言

外星球恶劣环境，无人驾驶的星球车已成为深空探测领域的研究热点[1]。轮腿复合式移动机器人兼具轮式机器人运行平稳和腿式机器人越障能力强的优点，适用于外星球崎岖的地表情况[2]。

魏宏明等研制的一款星球探测机器人[3]，采用五星型轮腿式的结构，运动速度快，越障能力出色，且具有较强攀爬坡道的能力。为完成星球探测取样任务，机体搭载有一个4 自由度的机械臂和机械手爪。该机器人由单人使用一个紧凑型控制箱进行遥操作控制，机器人本体与机械臂的控制具有17 个控制操作，还有10 余个功能性操作按钮，控制流程复杂，为提高任务成功率，操作员需要经过大量训练。同时，操作员在遥操作时需要靠摄像头实时回传的图像来判断机器人所处的环境和位姿状态等，如在攀爬坡道时需防止机器人倾角过大发生倾覆，在复杂环境中躲避障碍物等。此外，机械臂的误操作也会导致抓取任务的失败，例如未控制好机械爪与目标物体的距离，导致碰撞。

利用真实的机器人和环境进行研究和技能训练有诸多限制，如成本高、环境不可复制和过长时间的实验，因此基于虚拟现实技术的仿真训练方案受到国内外学者欢迎。 Chen[4]面向自主研发的OCTOPUS 机器人开发出一套虚拟现实模拟器，可以再现机器人和环境，用于模拟操作；Covaciu 等[5]虚拟构建了用于空间探索的移动机器人，具有真实的模型和较准确的物理性能，使用带有4 轴的罗技手柄进行操作，但都为动画效果，没有力反馈；Piovano 等[6]根据NASA 对火星的照片使用了三维重建技术构建了虚拟环境，同时导入了移动车进行简单的探索；Kamezaki 等[7]开发了包括VR 环境、操作输入和视频输出组件的模拟器，可操控虚拟的拆卸机和具有偏航、俯仰和变焦功能的环境摄像机，通过虚拟训练有效提高操作任务的效率；Manawadu 等[8]实现了虚拟驾驶系统以研究人为驾驶与智能驾驶的特性及驾驶员的驾驶倾向。国内学者通过搭建移动机器人虚拟仿真平台[9-11]，利用其低成本、高可重复性并且没有物理限制的优势，在人机交互、物理仿真等领域取得一定进展。

作为视觉、听觉等感知技术的延伸，近年来力反馈技术得到了广泛的关注和研究。在遥操作环节中力反馈可以提高虚拟环境中的触觉感受，增加对机器人操作的可靠性[12-13]。将虚拟场景中的触碰信息转换成直接作用于人手的力或力矩，使操作者产生被操作对象的受力感觉，从而能够及时调整控制策略，以便更好地完成操作任务[14]。但目前将力反馈技术与虚拟训练结合时存在反馈力较小、虚拟环境力建模不真实、力反馈设备操作空间有限等问题[15]。

本文为解决上述问题，提出一种带力觉反馈的星球探测机器人遥操作虚拟系统，通过较大的力觉反馈和带有碰撞力解算模型的虚拟现实场景进行遥操作的仿真训练，增强训练的沉浸感。

2 星球探测机器人系统

星球探测机器人系统由机器人本体及遥操作控制箱构成，控制指令及视频由数传与图传电台传输。

2.1 机器人本体结构

机器人本体为2 组对称的轮腿结构，本体平台分为前后两部分，前机体主要包括电机驱动模块、主控模块；后机体主要为电源模块；前后机体间采用柔性关节相连接。机器人平台上搭载小型4 自由度机械臂，装配有4 路摄像头，可以实时地将周围的环境反馈给操作者，便于对机器人所处的环境进行判断。实物图如图1 所示。

图1 星球探测机器人实物图Fig.1 Photo of the planet detection robot

2.2 遥操作控制箱

操作者借助远程控制箱实现对机器人的远程操控，并且需要依靠控制箱感知机器人周边的环境状况。实物如图2 所示，使用碳纤维面板安装固定显示屏幕和操控机械面板，完整覆盖了机器人速度挡位控制，前进、后退、旋转控制和机械臂各个关节的运动控制。能够切换摄像头图像，并在显示屏呈现。

图2 遥操作控制箱实物图Fig.2 Photo of the remote control box

3 系统设计

系统设计目标如下:

1)研制一款具备多个自由度的力反馈手控器装置，能满足虚拟遥操作任务所需的工作空间并能提供准确的力反馈。

2)构建逼真的地面虚拟系统，操作员通过手控器控制虚拟代理，虚拟代理与虚拟控制箱的面板、按钮及摇杆产生交互，有碰撞事件发生时，程序能自动解算出碰撞力的大小及方向，通过手控器电机输出扭矩，让操作员手部感觉到反馈力，增强训练真实性。

3)产生操作面板交互动作时，能模拟真实控制箱发出控制指令，虚拟机器人根据指令做出动作并完成指定任务，虚拟摄像头回传图像，在虚拟控制箱的屏幕上显示。

据此设计系统架构如图3 所示。力反馈手控器作为人机输入端，编码器采集各关节运动角度，经MCU 解算后传输到遥操作虚拟场景，同时在虚拟环境中的交互力被实时计算，通过电机产生扭矩，为操作员提供力觉信息的反馈。遥操作场景中虚拟代理由操作员直接控制，虚拟控制箱和虚拟机器人的状态通过UI 界面，以视觉及听觉的形式反馈给操作员。

图3 力反馈虚拟训练系统框图Fig.3 Block diagram of the force feedback virtual tr aining system

4 力反馈手控器设计

4.1 力反馈机械

力反馈手控器装置设计为并联连杆结构、菱形拉伸结构与手部转动机构串联，实物图如图4所示。此结构能提供沿xyz3 个轴的平动自由度和绕xyz三轴的旋转自由度，末端手指有一个弯曲自由度。手控器每个自由度安装有MAXON 电机及光电编码器，用以提供力矩和反馈关节角度。此结构的优势体现在整个结构末端工作范围大，且可实现平动和转动的机械解耦，实现力与力矩的输出解耦。

图4 力反馈手控器实物图Fig.4 Photo of the force feedback hand controller

4.2 正运动学解算

2 种机构串联之后的力反馈设备平动结构原理如图5 所示。由图可知，并联连杆结构和菱形拉伸结构主要运动关节有3 个，分别绕轴1、轴2与轴3 转动，由于并联连杆机构和菱形结构可以保证图中3 个平面永远保持平行，并且不会耦合多余的转动自由度，所以力反馈设备末端位置的求解过程就是在已知绕3 个轴转动角度的情况下，求解点Q在空间中位置的过程。

图5 力反馈平动结构原理图Fig.5 Schematic diagram of the force feedback translational structure

以固定面的点O为基准点，则有公式(1):

由于并联连杆结构末端点P的运动轨迹是在以原点O为圆心、连杆长度L1为半径的球形弧面上，所以向量OP与结构绕轴1 和轴2 转动的角度α和β的关系可以利用球面坐标系与直角坐标系之间的转换解出，计算如式(2):

平动机构末端点Q相对于点P的位置向量仅与连杆长度L2和机构绕轴3 旋转的角度γ有关，公式如式(3)所示:

将式(2)及式(3)相加即可得到最终求解结果，如式(4)所示:

力反馈设备三维转动及手指弯曲结构的原理如图6 所示。根据该设计可知，3 个自由度的转轴相互垂直且相交于一点，电机输出的反馈力矩也相互垂直，不会发生耦合，因此力反馈设备末端的3 自由度转动力矩可以和3 个力反馈执行器的输出一一对应。手指弯曲自由度单独存在，设置在抓握手柄的前侧。

图6 力反馈转动及手指弯曲结构原理图Fig.6 Schematic diagram of the force feedback rotation and finger bending structure

5 虚拟训练系统设计

虚拟训练系统必须能够准确构建机器人及虚拟环境，方便地进行各种实验，并对实验结果进行定量分析，有效地提高操作员技能水平。

5.1 虚拟系统构建

采用Unity3D 软件进行开发，地面虚拟系统整体环境如图7 所示，包含虚拟的轮腿移动机器人、摄像机系统、虚拟机器人控制箱及4 个任务场地。

图7 虚拟系统整体环境图Fig.7 Overall environment of the virtual system

为进行充分的实验、分析和训练，虚拟现实环境中的机器人应该具备真实机器人的相关属性。本文基于已有的机器人三维图，使用3Dmax 软件进行了机器人的简化及美化工作并导出成FBX格式的模型。将机器人每个部件导入Unity3D后，使用关节创建功能，重新对机器人进行装配，形成完整的轮腿机器人，保证其外观、尺寸、重量、关节角度和扭矩限制等与实际相同，如图8 所示。机器人运动及机械臂转动时，将同步播放音效，增强临场感。

图8 虚拟星球探测机器人构建图Fig.8 Construction diagram of the virtual planet detection robot

软件设置了4 个车载摄像头和1 个第一视角摄像头。 4 路车载摄像头提供了机器人前面和后方的环境信息及机械手爪转动及抓取图像。 4 个车载摄像头对应的画面显示在虚拟控制箱的四分屏屏幕上。为了模拟真实遥操作场景，在虚拟机器人控制箱前设置了第一视角摄像头，操作员进行虚拟训练时依据控制箱屏幕上的视觉信息来进行控制及调整，有利于摆脱对机器人本体运行状态的依赖。

机器人控制箱是遥操作的人机输入设备，本文构建出一台虚拟控制箱，如图9 所示。操作面板上布置有1 个二自由度的运动摇杆、5 个单自由度机械臂操作杆、1 个速度挡位旋钮及其他按键开关。场景中使用一个小球作为人手的虚拟代理，操作员使用力反馈手控器直接对虚拟代理进行控制，虚拟代理可与控制箱上的按键开关产生与实际相对应的交互动作，并实时计算碰撞力，产生相应的力觉反馈。

图9 虚拟遥操作控制箱构建图Fig.9 Construction diagram of the virtual teleoperation control box

使用Unity3D 自建模型，设计了30°和45°坡道各1 个、30°和45°楼梯各1 个、带有障碍物的路面及仓库、1 个哑铃形抓取物。它们位于虚拟场景中的不同位置，并组成4 个任务场景。

5.2 交互控制方法设计

操作员使用力反馈手控器对虚拟代理进行控制并与虚拟控制箱产生交互，如图10 所示。

图10 遥操作虚拟训练系统实物图Fig.10 Photo of the teleoperation virtual training system

虚拟代理的位姿控制方式及力反馈的解算在本系统中最为重要，直接影响遥操作的真实性及临场感效果。前文公式(4)中已解算出手控器末端的三维坐标，若直接将此坐标赋给虚拟代理则容易出现穿模的问题。本文在虚拟代理小球上添加了刚体属性，利用其动力学属性改变物体实时速度来移动到目标位置，速度向量如式(5)所示:

其中Ptarget为手控器末端的实时坐标，Pact为虚拟代理的实际坐标，系数k2用于调节真实坐标映射到Unity3D 坐标的比例，系数k1调节虚拟代理跟踪目标位置的速度。

为进行虚拟环境中碰撞力的解算，调用碰撞事件函数，当碰撞事件发生时，获取碰撞点所处物体表面的法向量，作为手控器输出力的方向向量，输出力的大小计算使用God-object 算法[16]，即力的大小与虚拟代理坐标和目标位置差值向量的长度成正比，因此最终力向量如式(6)所示:

其中系数kf调整输出力大小的基数，N为碰撞点所处物体表面的法向量。为模拟人手与操作面板的交互，虚拟控制箱上的开关按钮都添加了物理属性，并使用边缘高亮来提示操作状态。默认无交互时，所有按钮红色高亮，当虚拟代理与某个按键产生接触时变为黄色高亮，此时使用手指弯曲来控制可交互状态，当手指内屈，按钮显示绿色高亮时，可进行实际遥操作效交互，控制虚拟机器人完成任务，手指外伸可结束交互状态，按钮恢复红色高亮。图11 显示了操作机器人运动摇杆的不同状态。

图11 虚拟代理与操控面板交互示意图Fig.11 Schematic diagram of interaction between virtual agent and control panel

6 试验及分析

为验证力反馈手控器的有效性，进行对虚拟代理的位姿控制实验及反馈力输出试验。为验证设计的遥操作虚拟系统对轮腿移动机器人的有用性，进行了4 个机器人遥操作任务的试验。

6.1 基本操控及反馈力试验

为提升遥操作的真实性，进行虚拟代理与虚拟环境的碰撞并测试虚拟环境实时解算的力。力反馈解算曲线与位置误差如图12 所示。由图可知，碰撞时同时产生了x与y轴2 个方向的力，其中x轴反馈力最大达15 N。在输出力不为0 时，输出力与嵌入深度成正比，满足前文公式(6)。使用推拉力计测量实际输出力，计算出实际输出力与理论值的误差，曲线如图13 所示。两轴反馈力的误差均小于±0.4 N，满足设计要求。

图12 力反馈解算与位置误差曲线Fig.12 Curve of force feedback calculation and position error

图13 反馈力输出误差曲线Fig.13 Output error of feedback force

6.2 遥操作任务试验

6.2.1 试验设置

设计了4 个不考虑时延影响的地面遥操作任务，包括翻越坡道(任务1)、攀爬楼梯(任务2)、避障进库(任务3)和机械臂抓取(任务4)。其中任务1～3 为机器人运动控制，分别以低、中、高3个速度挡位进行试验，轮腿的转速分别为36°/s、72°/s、144°/s，与实际机器人控制保持一致。任务4 为机械臂关节控制及抓取，以验证机器人的工作性能。

任务1:机器人在水泥路面上移动，先后攀爬30°坡道及45°坡道，直到越过终点。

任务2:机器人在水泥路面上移动，先后攀爬30°楼梯及45°楼梯，直到越过终点。

任务3:机器人避过路面设置的障碍物，经曲线运动，直到进入仓库。

任务4:操控机器人机械臂多个关节，使机械臂接近物体，直到成功抓取物体并从地面抬起。

选取4 位试验者，进行15 分钟的基本训练，包括对轮腿机器人构造的认知，力反馈手控器的控制方式及虚拟训练场景的任务要求等。训练之后试验者依次连续完成4 项任务，记录任务完成情况、所用时间及机器人相关数据，每人重复5 次试验。

6.2.2 结果分析

4 个任务的完成过程如图14 所示。试验者可以通过研制的力反馈手控器完成虚拟遥操作任务，验证了设计的系统可靠有效。

图14 遥操作任务完成过程图Fig.14 Diagram of teleoperation task completion process

所有任务成功完成的耗时情况如图15 所示，成功率如图16 所示。

图15 遥操作任务完成时间图Fig.15 Completion time of teleoperation tasks

图16 遥操作任务成功率图Fig.16 Success rate of teleoperation tasks

由图可知，对于任务1 至任务3，随着机器人运动速度的提升，完成任务的时间随之降低，同时任务成功率也有所下降，如任务2 中，低、中、高速度下平均完成时间分别为118.24 s、97.53 s、59.85 s，任务成功率分别为0.9、0.7、0.55。由于速度过快，试验者会出现操作不当和反应不及时的情况，机器人易发生侧翻倾覆，导致任务失败。因此，为了提高任务效率兼顾成功率，在攀爬坡道楼梯时，尽量应选择中速挡位进行遥操作。由图中完成时间及成功率综合来看，任务4 最为困难，完成时间为103.46±24.86 s，波动较大，任务成功率也仅有0.6。该任务需要操作员高度集中并小心操控，如果未把握好机械爪与物体之间的距离，容易发生碰撞，而若机械爪抓取太紧也会导致物体变形脱落，使任务失败。任务4 中成功完成的机械臂关节角度控制跟踪曲线及误差曲线见图17。

图17 机械臂关节角度控制及误差图Fig.17 Diagram of manipulator joint angle control and error

由图可知，机械臂各关节都可以较好地跟随目标角度。整体控制过程为:先调节关节1 和2，使机械手靠近目标物体，之后调节关节3，使机械爪与物体保持垂直，便于抓取，再进行微调使机械爪能够抓到物体，最后收紧手爪，控制好速度并将物体抬起，完成任务。整体上关节跟随误差均小于±1.5°，误差呈一定震荡趋势，主要由于机械臂各关节有一定惯性，控制过程中有轻微颤动。

以上试验结果表明:本文开发的虚拟训练系统可以有效完成这4 个地面遥操作任务，起到训练效果，并且试验结果可以揭示如何改进轮腿机器人控制策略以应对探测工作。