虚拟现实仿真培训系统的人机交互设计

许育敏 严浩军 张洁 黄俊惠

DOI：10.19392/j.cnki.16717341.201722009

摘要：虚拟现实（VR）技术已经广泛应用于仿真培训，本文针对仿真培训的需求特点，结合当前VR技术的软硬件功能，比较了基于头戴式VR设备人机交互方式与传统交互方式的不同，讨论了全沉浸环境下人机互动设计方法，并以信息机房巡视仿真培训为例介绍了互动设计方法的应用效果，以期为类似的全沉浸人机互动仿真培训系统提供参考。

关键词：虚拟现实；仿真培训系统；人机交互

VR技术是一种使人沉浸于由计算机生成或以计算机为中介的可交互虚拟环境中的显示和控制技术，其特点是沉浸感、交互性和想象性。这些特点使其非常适合应用于复杂和危险工作环境下的仿真培训中。HMD出现后带来了全新的沉浸体验和交互方式，因此有必要深入研究新型交互方式的优缺点和适用场景。

1 VR人机交互技术概况

VR概念最早在上世纪50年代就出现，在1990后才被广泛认识和应用，其中在19902000年间进入第一次应用高潮。这个期间出现了模拟仿真、教育培训、娱乐、电视游戏、建筑设计等领域等应用。这个时期PC的性能已经能够支持简单场景的实时模拟，显示方式以屏幕或投影为主，输入的方式以鼠标、手柄、摇杆为主。在拼幕或CAVE系统中，用户通过按键手柄、数据手套或者定制的操作控制台等作为输入设备，与虚拟场景进行实时互动。而外骨骼数据手套，除了具备定位数据手套的功能外，还通过外骨骼实现一定的力反馈功能。

2 VR人机交互方式对比

2.1 物理交互

传统的VR系统，显示方式无论是电脑屏幕、拼幕还是CAVE，本质上都是将VR场景显示在屏幕上，再通过鼠标、键盘或者手持设备实现输入与互动，我们统称这样的系统为屏幕显示VR系统。用户并没有与现实环境完全隔离，还可以看到现实中的鼠标、输入手柄、数据手套、控制台等输入设备。这种交互方式的特点是输入精确，但是沉浸感差，无法实时空间定位。部分近期的VR系统还尝试使用手势作为互动方式，实现隔空操作的效果，但是只能支持少量预定义手势。

HMD VR系统与屏幕显示VR系统比较而言，沉浸感强、体积小，可以实时空间定位，立体声源控制相对简单，只需要在虚拟场景中重构声源即可，无须考虑实际物理设备的布置。但是由于HMD使用户视觉完全被虚拟场景包围，与物理环境隔离，传统的按键手柄交互十分不自然，物理控制台更是无法使用。取而代之的是具有定位功能的手柄、数据手套或手势。通过将具有定位功能的手柄转换成任意的虚拟物件，用户就可以在虚拟场景中使用这些工具与虚拟场景互动。定位数据手套可以获得手的位置和各个手指的动作，从而可以在虚拟场景中重构用户的“手”，用户通过虚拟的手与虚拟场景进行互动。这比通过按键手柄的互动要自然的多。

2.2 虚拟交互

硬件设备主要解决信息输入的问题，与虚拟物体互动方面，一般可以分为选择、操作或控制三种或三种的混合。对于屏幕显示VR系统而言，与虚拟物体的交互模式比较简单而且易于理解。对于HMD VR系统而言，由于没有了物理按键，则需要在虚拟场景总构造激光笔、代理物件或手势，通过碰撞体触碰点选、视角注视等方式选中要互动的物体，操作可以直接用代理物件。

在仿真系统中，还有一个经常使用的交互方式，菜单和导航。在屏幕显示VR系统中，菜单和导航信息都显示在平面上，用户已经形成了固定交互定式。但是在HMD VR系统中，由于用户完全沉浸在虚拟世界中，凭空出现的菜单和导航地图就显得很怪异，而且容易出现被遮挡的情况。因此，HMD VR通常会使用基于虚拟物体的菜单，即完全模拟现实世界的交互界面的形式实现菜单展示与选择。同时在导航方面，屏幕导航地图也不再是最优选择，而是应该使用路径指示或方向引导的形式。

3 检修仿真培训系统的交互设计

在实际生产中，VR仿真培训系统应用最多的场景就是检修仿真培训。如变电设备检修、信息机房巡视等。这类应用主要的功能是场地漫游、检查设备，寻找缺陷，记录工作，修复处理等。信息机房巡视涉及众多设备和内容，而且需要按照一定的巡视路线进行。因此，我们以此为例讨论它的人机交互设计特点。

3.1 人机物理交互设计

基于HMD的VR信息机房巡视仿真培训系统，学员戴上VR眼镜后就“进入”了实训现场，在虚拟培训指导员的指导下或者独立操作，不再是通过鼠标键盘，而是手握VR互动手柄，学员看到的是各种手柄代理工器具，如万用表、测温枪等，通过视场和手柄的实时定位与同步，实现手握工器具动作反映到虚拟场景中，进行各种各样的消缺操作。HMD和手柄都是通过无线信号与定位基站通信，避免发生绊倒等意外。

3.2 系统交互设计

培训模式以第一人称视角进入现象，系统通过地面指示引导受训人员按照标准巡视规程发现缺陷并正确处理。学员在这个模式下可以在任意角度观摩，听取语音指导，使用VR手柄发射虚拟激光进行选择，激光停留在某个互动物体上时会有震动反饋，使用手柄的其他物理按键执行确认、暂停、回放、慢动作、局部放大等操作，同时将菜单附着在具体的互动物体上，方便用户互动。这种方式注重视觉交互和方便的“播放”操作。根据信息机房巡视的特点，分为门禁巡视、消防巡视、通信设备巡视和机房环境巡视、空调、照明、UPS电源、工器具巡视若干子项。每个子项将作业指导书的要求作为VR仿真互动内容。如引导学员发现门禁的缺少小动物挡板的缺陷，核对工器具清单等。

4 结语

与传统的仿真培训系统相比，基于HMD 的VR仿真培训系统为培训者提供了身临其境的真实感，人机互动也更加自然和符合实际，显著缩短培训时间和提升培训效果。由于VR仿真培训系统可以全程记录学员学习过程和训练反馈，结合技能薄弱点分析能够实现更灵活的因材施教。同时，该技术也可以用于输变电检修、营销客服服务等注重场景实操的专业培训中。

参考文献：

[1]陈天翼，邱家驹，邱淘西.电力系统虚拟现实场景开发研究[J].电力系统及其自动化学报，2000，12（5）：710.

[2]王彦，尹福荣，李红军，张志生.220kV景洪变电站三维仿真系统的应用研究[A].2010年云南电力技术论坛论文集（优秀论文部分）[C].2010.