虚拟现实技术在空间站舱内定向训练中的应用

姜国华，刘玉庆，朱秀庆，安　明，周伯河，陈学文，胡福超（.中国航天员科研训练中心人因工程重点实验室，北京00094；2.中国航天员科研训练中心，北京00094）

虚拟现实技术在空间站舱内定向训练中的应用

姜国华1，2，刘玉庆1，2，朱秀庆1，2，安明1，2，周伯河1，2，陈学文1，2，胡福超1
（1.中国航天员科研训练中心人因工程重点实验室，北京100094；2.中国航天员科研训练中心，北京100094）

载人航天中，失重环境和结构复杂的空间站对航天员空间定向能力的影响极大，导致航天员可能出现空间失定向现象。针对在地面难以使用实物进行空间定向任务训练的问题，阐述了虚拟现实技术在空间定向训练中的应用，并对其特点进行了分析，设计了基于虚拟现实技术的空间定向训练系统提供飞行前的适应性训练，使航天员掌握依赖视觉信息进行空间定向的技能，为后续更为复杂的航天员空间操作任务提供新的训练方式。

空间站；空间定向；虚拟现实；训练

1　引言

根据国家载人航天的发展战略，我国载人航天在未来将建设空间站，开展空间应用和空间新技术试验。空间站往往由多个实验舱连接而成，根据美、俄经验，当航天员在不同舱段之间穿行时，经常会出现空间失定向的问题［1］，特别是在舱内失火、失压等低能见度条件下，舱内定向会更加困难，直接影响到空间站和航天员的安全，因此，舱内定向和应急操作是航天员必须掌握的重要救生技能，也是航天员训练的重要内容。

在微重力条件下，航天员主要依赖视觉信息完成空间定向，视觉线索便成为空间定向判断中的主要依据［1］。而由于重力的缺失，航天员自身体坐标系在舱内可呈任意姿态，这与地面重力环境下以正立状态对舱内布局的认知有很大变化。另外由于空间站内各舱段视觉垂直正向轴的不一致，以及获得和保持对整个航天器的一个综合认知图的困难，是引起航天员空间定向困难的主要因素［2］。

目前，航天员舱内、舱外活动训练设施主要包括地面实物模拟器、中性浮力水槽和抛物线飞行。由于地面重力限制，现有实物模拟器难以模拟舱内定向训练。中性浮力水槽训练可以为航天员提供在不熟悉的身体体位情况下观察各个舱段，但由于在训练中其前庭器官还是能感受重力的作用，并帮助航天员辨别方向，与太空失重环境下的空间定向还有较大区别，另外水下装置的有限尺寸意味着不可能把整个飞行器放入水下。抛物线飞行可以产生微重力环境，但时间短且内部容积受限。另外上述训练设施也无法提供烟火等特殊环境下的紧急撤离训练。

虚拟现实技术可以为航天员提供飞行前的空间定向训练。在虚拟环境中，航天员能够以多种身体状态体验周围环境，减少以单一身体状态训练所致的空间定向障碍。同时，航天员也可以体验在视觉垂直正向坐标轴定义不一致的舱段间穿行，帮助航天员建立一个关于整体飞行器的空间关系认知图。另外，通过虚拟现实技术模拟由烟雾、水雾、能源故障等所致的能见度降低的舱内环境，完成故障情况下的紧急撤离训练。

2　空间站舱内定向训练

空间站舱内定向包含两方面具体内容［3］，一是定向，即确定自身的空间朝向，主要基于本体视觉线索认识自身在空间站舱内的姿态朝向以及所处位置；二是导航，即通过坐标或目标指引穿越空间环境到达目标舱体，需要对所处空间站结构有着超越直观的认识。针对以上两个方面问题，基于虚拟现实技术的空间站舱内定向训练系统主要需解决的问题，一是采用实时交互的方式，模拟微重力下人体的运动，从而给受训者以接近真实的空间运动体验；二是通过逼真的三维场景建模、立体显示以及力反馈等技术，增强受训者的沉浸感，提升训练效果。

基于虚拟现实技术的出舱活动训练可以使航天员在视觉上熟悉航天飞机和空间站外型，并可以预先规划出舱活动路径。针对舱内活动，Harm等将虚拟现实技术应用于方向迷失和空间运动病对抗性训练［4］，他们利用位于NASA约翰逊航天中心的一个具有球形投影幕的适应性训练仿真器（Device for Orientation and Motion Environments，DOME），提供给受训人员一个虚拟空间工作环境，虚拟环境由空间站的一个节点舱和一个实验舱组成，在实验舱中有14个设备架，设备架上配有可以上下拨动的开关。训练任务为让受训人员以不同的初始身体姿态从实验舱外部移动到实验舱内部的设备架附近，拨动架子上的开关，然后再移动到舱外。Harm报告中指出经过姿态和方向适应性训练的人员在完成舱内移动及操作任务中很少出现空间方向迷失和空间运动病症状，且完成舱内移动任务所用的时间明显缩短。由此可见，飞行前的空间环境适应性训练对提高航天员的空间定向能力具有重要作用。

美国麻省理工大学人机交互实验室在NASA的资助下，进行了空间站舱内定向导航虚拟仿真技术研究［3］，使用3D Max建模软件建立了虚拟空间站的各舱段模型，虚拟空间站由7个矩形体舱、3个立方体节点舱和一个加压适配通道组成。虚拟空间站舱内立体视景通过V-8头盔显示器（分辨率640×480，Aptos公司）提供给受训者，其对角线视场角约60度，场景刷新频率约27～30 Hz。使用一个惯性/超声混合的跟踪系统（型号：IS-600 Mk IIPlus，InterSense公司）获取受训者的头部运动，并使用一个含12个按键的手部控制器实现在虚拟场景中的穿行和转向。受训者可以模拟以不同的姿态和视觉角度在空间站中游历，熟悉各舱段布局和定向参考标记，了解空间站的工作环境和移动路径。其研究表明，航天员在实际飞行任务之前，经过虚拟环境的舱内定向训练，对实际工作环境有了较细致的了解，对于他们在实际任务中很快地进入工作，适应实际环境都会有很大的帮助。特别是对于舱内失火造成的低能见度环境下的舱内定向模拟训练，很适合应用虚拟现实技术实现。

3　定向训练系统功能及设计

3.1定向训练系统功能

为实现空间站内定向虚拟现实训练任务要求，需要建立一个虚拟训练系统，模拟空间站各舱段的舱内虚拟视景环境，支持受训者在虚拟舱内实时交互运动，以实现人在回路的空间站舱内定向训练，系统应具有以下主要功能：

1）空间站多舱段舱内视景模拟

虚拟场景包括整个空间站外部及内部环境较精细的模型，同时支持立体显示功能，能使用投影设备及立体头盔进行显示。

2）微重力下人体运动仿真

基于物理引擎技术建立虚拟航天员的人体多刚体动力学模型，通过运动捕获数据实时驱动该模型运动，并结合碰撞检测结果仿真虚拟航天员与外界环境接触后的运动。同时将运动中虚拟航天员的第一视角视景反馈给受训者，从而使受训者能逼真地感受在太空中的运动状态。

3）常规定向仿真训练

能够支持空间站内多舱段穿行及环境熟悉训练，对固定路线穿行训练可提供虚拟导标等辅助信息显示。能够支持多种交互方式（数据手套+位置跟踪仪、三维鼠标、语音指令等）的综合输入，来实现空间站内穿行控制。在虚拟向导指引下完成训练任务，或自行探索进行训练。

4）应急情景训练

能够模拟空间站内低能见度效果，模拟烟雾、水气等低能见度环境，从而进行紧急情况下的定向能力训练和应急任务训练。

5）训练控制功能

具有教员管理控制功能，在训练过程中教员可通过训练控制界面对训练进行控制，主要包括训练科目设置、训练过程控制、数据记录与维护、训练综合评价等功能。能够对舱内穿行的起点、方位等初始状态进行设置，并具备实时记录穿行路径数据及回放的功能。

3.2训练系统设计

3.2.1系统结构

系统由受训者、教员、人机交互界面、虚拟训练系统软件组成。如图1所示。

人机交互界面又分为信息输入和输出两部分。信息输入界面包括人体躯干跟踪、手部跟踪、头部跟踪和语音信息输入。人体运动跟踪通过电磁式位置跟踪仪（Flock of Bird，Ascension公司）实现，手部跟踪通过数据手套（Cyber Glove-22，Immersion公司）实现，能够实时地获取手部各关节的角度信息，以支持手部操作仿真。头部位置跟踪通过头盔上安装位置传感器实现，头部转动时，所看到的场景也随之变化，从而增强受训者在虚拟环境中的沉浸感。通过语音输入实现对系统的功能性指令控制。信息输出界面包括视觉、力觉和听觉信息的输出。头盔显示器（自研）为视觉输出设备，力反馈装置（自研）为力觉再现设备，当受训者在虚拟环境中接触到物体时，力反馈装置将力觉反馈到受训者手部，同时，通过听觉信息反馈场景及操作音效，从而实现受训者与虚拟环境的逼真交互。系统构建虚拟太空环境包括航天器舱内工作环境模型，舱载交互操作仪器设备模型等。舱内漫游方式上，以基于预设姿势的手势识别算法为基础，实现基于手势、三维空间定位设备和语音命令的综合空间定位及漫游。具体训练过程为受训者佩戴人机交互设备，其头部及身体运动通过跟踪设备和人机交互接口软件实时捕获并处理后，传输给仿真计算软件，用于驱动虚拟空间环境中的虚拟人执行预期的行为或动作，仿真计算软件还将处理仿真中出现的碰撞、抓取等情况，生成相应的音效、操作力及视景反馈给受训者，从而完成人在回路的仿真。同时教员软件可对训练科目、训练过程等进行控制，同时记录训练过程数据进行记录和评价。

图1　虚拟训练系统结构图Fig.1 The architecture of the virtual training system

3.2.2软件系统

虚拟训练系统软件系统由人机交互接口软件、视景仿真软件、仿真计算软件、教员软件、数据库接口软件、数据记录软件组成，各个软件模块协同工作，完成训练仿真系统设置、运行、记录和评价等功能。各软件的功能如表1所示。

3.2.3人机交互回路

系统需要满足受训者空间定位与导航训练需求，支持手部动作跟踪、肢体运动跟踪、头盔显示、力觉反馈、语音命令采集、听觉信息反馈和立体显示，受训者佩戴人机交互设备（头盔显示器、力反馈装置、位置跟踪仪和数据手套，其中耳机与麦克附加在头盔上）与系统交互操作，在交互操作过程中，对受训者的头部、手部和上肢运动进行跟踪，由客户机采集运动信息，通过网络传递给服务器，在服务器端计算虚拟航天员的运动、碰撞及抓持手势，然后将力觉反馈信息和虚拟场景状态传递给仿真主机，由该主机控制力觉反馈装置输出，并生成立体图像信号，分别输出到头盔显示器和立体投影系统，同时每台计算机的视频信号输出到KVM视频切换系统中，输出到监视显示器。回路结构如图2所示：

表1　软件功能表Table 1 Software functions

图2　人机交互回路Fig.2 Human-com puter interaction loop

为提高仿真系统的真实感，增强受训者的沉浸感受，系统将研制新的交互设备，提高整个虚拟训练系统的交互性能和受训者的沉浸体验。

3.2.4力反馈设备研制

力觉反馈是虚拟环境中的关键支撑技术，地面模拟航天员在空间进行科学实验、传递载荷、装配等接触性作业时的力觉感受是保障训练真实性的重要要素。应用力觉建模与反馈可提供更好的沉浸感，增加虚拟训练环境的逼真性。为实现与虚拟环境交互的真实感，将研制单手力觉反馈设备，采用直流伺服电机实现手臂力反馈输出的反馈装置，采用磁流变执行器实现手指力觉反馈输出的反馈装置，并综合实现虚拟操作的力觉反馈。

1）手臂力觉反馈装置

手臂力觉反馈装置在机构设计上采用并联+串联混合机构的设计方案，具有5个关节自由度，如图3所示。在固定方式上采用固定在基座上的方式，基座可以与椅子背部的一侧相固联。在力反馈方式上，采用直流伺服电机实现力反馈输出。在手臂力觉反馈装置每个关节自由度安装一个直流伺服电机和一个关节角位置测量编码器，通过位置计算和力反馈控制算法对每个关节的电机输出力矩进行控制，从而实现力反馈装置末端处的三维力反馈和一维（或二维）力矩反馈。

图3　手臂力觉反馈装置结构图Fig.3 The structural scheme of the arm force feedback device

最终研制的手臂力觉反馈装置位置测量精度为2 mm，其末端具有3个自由度的力反馈和1～2个自由度的力矩反馈，末端最大力反馈为9 N，最大力矩反馈为0.2 Nm。

2）手指力觉反馈装置

手指力觉反馈装置在机构设计上采用钳式的并联机构的设计方案，具有3个手指关节（大拇指、食指、中指）的转动自由度，如图4所示。在固定方式上采用固定在外骨架式手臂力觉反馈装置末端的方式，减轻手指力觉反馈装置重量对操作者手部的影响。在力反馈方式上，采用自行研制的磁流变执行器实现手指力反馈输出，磁流变执行器具有体积小，输出阻尼力矩大，响应时间短（5 ms左右）的优点。在手指力觉反馈装置三个并联的旋转自由度安装一个磁流变执行器和一个关节角位置测量编码器，通过力反馈控制算法对每个关节的磁流变执行器输出力矩进行控制，从而实现大拇指、食指、中指的力觉反馈。

图4　手指力觉反馈装置结构图Fig.4 The structural scheme of the finger force feedback device

最终研制的手指力觉反馈装置将具有3个手指关节（大拇指、食指、中指）的转动自由度，每个转动角度的测量精度为0.5°，最大力矩反馈为0.2 Nm。

3.2.5高性能头盔显示设备研制

使用虚拟现实系统对航天员进行太空作业任务的训练，视觉上的沉浸感会直接影响训练效果。由于人的两只眼睛有视场的重叠，因此人两只眼睛总的视场约为220°×120°。虽然人眼最敏感的视场只有9°，这区域外视觉灵敏度下降非常剧烈，但是周边视场在虚拟现实系统中扮演着非常重要的作用，增强了沉浸感，对周围环境感知以及任务执行也是很重要的，因此宽视场的视觉反馈是增强虚拟场景沉浸感的重要途径。

为提高视景显示效果，研制新型头盔显示器，采取高分辨率微显示单元结合超大视场光学系统设计的方法提高头盔的视场角和分辨率，使头盔显示器接近人眼的真实视场范围，实现更逼真的视景模拟显示［6］。大视场头盔显示设备研制，需设计光学系统结构，满足大视场显示的要求，配合研究非球面光学元件的加工和检测以及非对称离轴结构的系统精密装调方法和设备，最终完成大视场高分辨率头盔显示系统，其单目水平和垂直视场达到105°和73°，双目视场达到140°×73°（其中将双目重叠视场69°），单目显示像素数目为1920×1080，出瞳直径为10 mm，出瞳距离为14 mm。

大视场显示系统对光学设计来说具有很大的难度。不仅视场要求大，畸变和像质要求高，其结构形式要满足头盔目镜式，因此对体积大小均有限制。单目光学系统由同轴结构的四片非球面透镜构成，如图5所示，前三片透镜材质均为玻璃，第四片为光学塑料，第一片透镜主要实现大视场光线偏折，第二、三片透镜为双分离结构，主要用来校正色差，第四片透镜为双非球面透镜，主要负责系统畸变的校正。

图5　高性能头盔显示设备光学系统设计Fig.5 The design of compact optical system in w ide-angle head mounted disp lay

4　定向训练系统应用

以空间站计划为背景，通过建立与实际航天器具有相似结构布局的虚拟空间站各舱段模型，可以帮助航天员建立一个关于整体空间站的集成认知图，图6为中国未来空间站的构想图，图7为受训航天员采用现有人机交互设备（未佩戴高性能显示头盔及力反馈设备）进行空间站舱内定向训练的场景，图8为采用动力学方法模拟失重状态下虚拟航天员以不同的身体姿态和视觉角度在空间站中游历。在定向训练中，航天员可熟悉各舱段布局和定向参考标记，通过数据手套或其它交互设备进行交互漫游，了解空间站的工作环境和移动路径，减少以单一身体方位训练所致的空间方向认知欠缺，进行空间运动病对抗性训练等。另外，通过虚拟现实技术容易模拟由失火产生的烟雾或水雾等导致的低能见度舱内环境，进行故障情况下的紧急撤离仿真操作训练。

5　结论

本文以空间站长期在轨飞行为应用背景，将虚拟现实技术应用到航天员空间定向训练中，建立一个航天员空间定向虚拟训练仿真系统，同时研制手臂力反馈设备和高性能头盔显示设备，并建立包括视觉、力觉和语音的人机交互回路。在此基础上，后续将根据实际航天飞行任务需求设计航天员空间定向训练科目和训练方法，完成空间站内定向常规训练和紧急撤离训练，为后续更为复杂的航天员空间操作任务提供新的训练方式。研究结果不仅可用于航天员舱内定向训练，还可以用于航天员舱内活动任务规划，航天员太空操作工效分析和特定操作任务预演。通过拓展并完善基于虚拟现实技术的训练仿真平台，深化相关软、硬件技术的研究，将为虚拟现实技术在航天员训练中的应用奠定技术基础。

［1］Oman C.Spatial orientation and navigation in microgravity［M］//Spatial processing in navigation，imagery and perception.Springer US，2007：209-247.

［2］Small R L，Oman CM，Jones TD.Space Shuttle FlightCrew Spatial Orientation Survey Results［J］.Aviation，space，and environmentalmedicine，2012，83（4）：383-387.

［3］Aoki H，Oman C M，Natapoff A.Virtual-reality-based 3D navigation training for emergency egress from spacecraft［J］. Aviation，space，and environmental medicine，2007，78（8）：774-783.

［4］Stroud K J，Harm D L，Klaus D M.Preflight virtual reality training as a countermeasure for space motion sickness and disorientation［J］.Aviation，space，and environmentalmedicine，2005，76（4）：352-356.

［5］卢海平，刘伟奇，康玉思，等.超大视场头盔显示光学系统设计［J］.光学精密工程，2012，20（5）：979-987. Lu Haiping，Liu Weiqi，Kang Yusi，etal.Design of compact optical system in wide-angle head mounted display［J］.Optics and Precision Engineering，2012，20（5）：979-987.（in Chinese）

Application of Virtual Reality in Spatial Orientation Training for Space Station

JIANG Guohua1，2，LIU Yuqing1，2，ZHU Xiuqing1，2，AN Ming1，2，ZHOU Bohe1，2，CHEN Xuewen1，2，HU Fuchao1
（1.National Key Laboratory of Human Factors Engineering，Beijing 100094，China；2.China Astronaut Research and Training Center，Beijing100094，China）

Duringmanned spaceflight，weightless environment has great influence on astronaut＇s spatial orientation ability，especially in the complicated configuration of space station，which often results in astronaut spatial disorientation.Aiming at the difficulty of conducting spatial orientation training on the ground with physical training simulator，the application of Virtual Reality（VR）training in spatial orientation training was discussed and its features were analyzed.A spatial orientation training simulation system based on VR wasdesigned to provide pre-flightadaptation training，and to help astronauts building orientation skillswith visual cues It provides a new trainingmethod for the complex operations of astronauts in future spaceflightmissions.

space station；spatial orientation；virtual reality；training

TP391.9；V423.7

A

1674-5825（2015）02-0115-06

2014-09-11；

2015-01-19

国防基础科研计划（B1720132001）

姜国华（1966-），男，硕士，研究员，研究方向为航天人因工程、计算机仿真。E-mail：jgh_isme@sina.com