视景仿真中虚拟手的人机交互技术研究

韩睿

摘 要：随着社会的快速发展，各种新型科技不断涌现，虚拟现实技术诞生。视景仿真技术是虚拟现实技术的重要组成部分，也是虚拟现实的重要手段。它可以通过计算机虚拟现实环境，给人多种感官反馈，让人不受时间与空间的约束，自由体验。它以仿真为最终目的，通过计算机生成虚拟图像，形成逼真的三维世界，并仿真人的视觉与听觉等感官。目前，视景仿真技术已经成功应用于诸多领域，如娱乐游戏、医疗、军事、模拟训练等。因此，本文重点研究了视景仿真中虚拟手的人机交互技术。

关键词：视景仿真;虚拟手;人机交互技术

中图分类号：TP391.9文献标识码：A文章编号：1003-5168（2020）17-0016-03

Research on Human-computer Interaction Technology of Virtual Hand in Visual Simulation

HAN Rui

（Nanjing Vocational Institute of Transport Technollogy，Nanjing Jiangsu 211188）

Abstract： With the rapid development of society， various new technologies are emerging， and virtual reality technology is born. Visual simulation technology is an important part of virtual reality technology and an important means of virtual reality. It can give people a variety of sensory feedback through the computer virtual reality environment， allowing people to experience freely without the constraints of time and space. It takes simulation as the ultimate goal， generates virtual images through the computer to form a realistic three-dimensional world， and simulates human senses such as vision and hearing. At present， visual simulation technology has been successfully applied in many fields， such as entertainment games， medical， military， simulation training and so on. Therefore， this paper focused on the human-computer interaction technology of virtual hands in visual simulation.

Keywords： visual simulation;virtual hand;human-computer interaction technology

虚拟手是虚拟现实技术的重要组成部分，也是虚拟现实技术在人机交互中的具体应用手段。对虚拟手进行深入研究，可以有效地促进虚拟现实技术的快速发展。本文研究了视景仿真中虚拟手的人机交互技术，以虚拟手作为切入点，基于C++与Vega的仿真视景环境，将虚拟手作为虚拟环境中人手的替代物，把现实中人手的操作信息与指令信息傳递到虚拟场景中，使得虚拟手可以做到与人相同的操作，进行实时的交互操作。这种方法可以使得用户具有较大的真实感和沉浸感。

1 发展现状

1.1 视景仿真技术的发展现状

视景仿真技术就是让用户在真实的世界中与计算机所建立的三维模型进行可控制的交互操作，同时在三维模型中进行交互或漫游，感受在真实世界中难以获得的各种体验，它成功实现了三维空间信息的可视化。信息合成技术、多媒体技术、计算机技术等诸多高新技术的综合运用实现了视景仿真，交互性、真实性与沉浸性是视景仿真技术的三大鲜明特征。

美国是视景仿真技术的诞生地，20世纪60年代，美国发布了一项名为“传感仿真器”的自主发明，它是第一个可以通过虚拟环境进行现实仿真的设备，成为视景仿真技术的雏形。随着科技的迅速发展，视景仿真软件与硬件应运而生，许多实用、新颖的设备持续输入市场，人机交互系统不断创新，使得视景仿真技术获得极大的进步。

视景仿真技术可以促进诸多行业发展，起初用于军事，目前其已经渗透到医疗卫生、维修、游戏以及操作训练等领域。随着虚拟现实技术的不断发展，其必将拥有更为广阔的发展空间。

1.2 虚拟手交互技术发展现状

虚拟手成功地提高了交互的可操作性，强调通过人手与虚拟环境进行交互，通过相应设备进行实时控制，用户可以通过手直接探索虚拟环境或者操作虚拟环境中的物品。其间，虚拟手的交互便利性与精准性都时刻影响着用户的真实体验。虚拟手的交互涉及技术范围较广，如建模技术、位置跟踪技术、手势动作采集技术等。随着科技的日益发展，虚拟手在制造、娱乐、实验等领域必将拥有一片属于自己的天地。

2 虚拟手人机交互系统

2.1 虚拟手交互模型

想要进行虚拟手人工交互分析，人们就必须首先建立用户与计算机交互模型，以便更好地理解较为复杂的交互行为。在虚拟手交互过程中，最少有两个参与者，即系统与用户。所以，人机界面要在两者之间准确且快速地进行翻译，使得人机交互成功。人机界面包括输入与输出设备，作为人与计算机交互的媒介。

在用户与虚拟手交互的过程中，首先用户需要输入动作信息，然后计算机通过人机界面翻译的计算机执行语言来操作虚拟手，同时通过输出语言将虚拟手的操作过程显示给用户，最后用户根据虚拟手动作进行交互操作评价，确定系统是否达到预期的交互目标。

2.2 虚拟手交互运动控制系统

虚拟手何时开始或停止动作都是由用户在整个交互过程中进行控制的。当然，相对于整个系统进程而言，并不是所有系统进程都由用户来进行操作控制，用户主要操作是对计算机无法确定的步骤进行控制，而对于那些可以确定的操作，可通过计算机来完成。

系统交互后，用户反馈主要由系统反馈控制系统来完成，用户实时参与控制仿真系统的运行，主要任务是进行操作、明确操作目标与流程，发出相应的任务指令，根据系统回馈给用户的视觉等信息，调整自身动作。这就是反馈控制系统在整个控制仿真系统中的表达方式。

用户通过对虚拟手进行控制，可以时刻掌握系统当前的状态，根据预期的任务进行虚拟手操作，输出信号后反馈到输入端进行对比，最后参考与修正过去的偏差来预测未来走势，有效控制整个系统的进程，得到最高质量的交互结果。

3 虚拟手交互操作技术

通过虚拟手进行交互操作，用户可以控制虚拟场景的物体，获得较强的沉浸感。人们要深入研究虚拟手交互技术，了解虚拟手操作虚拟物体的流程。

3.1 虚拟手操作的交互任务

3.1.1 行进。行进是通过用户与目标的交互完成的。常见方法有沿路径移动、牵引移动、用户身体移动和场景移动等。每种方法都可以采用多种交互技术来完成。其中，沿路径移动是指用户预先设定好路线进行移动，可以转换视角，但是不能离开预先设定的路线;相比沿路径移动，牵引移动受到的限制要小，用户体验是好像自己被牵着在虚拟环境中移动，速度由拖拽体决定而不是用户自身;场景移动是指用户无法移动，但是可以灵活操控自己的视角，场景围绕用户移动而不是用户在虚拟场景中移动。

3.1.2 选择与操控。虚拟交互系统遵循先选择后操控的规律，两种操作经常成对出现。当开始操作包含选择操作时，选择与操控就可以同时进行。任务结构划分为选择、操作与释放，人们可以清晰了解选择与操控的流程[1]。

3.2 碰撞检测及碰撞响应

碰撞检测是利用虚拟手操作与移动虚拟世界中物品的重要前提。为了提高用户的沉浸效果，保持视景环境的真实性，人们需要对碰撞进行及时检测，计算碰撞后发生的反应，及时更新结果，否则会出现穿透模型的情况，影响客户体验。例如，当用户在虚拟环境中伸手拿一个杯子时，系统要先检测到虚拟手与杯子之间发生碰撞接触，然后才可以将杯子拿起来。其间需要解决两个问题，一是要检测到碰撞的发生和碰撞发生的位置，二是要明确发生碰撞后的进一步反应。碰撞反应计算依赖碰撞检测系统，所以碰撞检测系统在虚拟环境中是必不可少的存在。

3.2.1 碰撞检测。碰撞检测系统根据场景内各个模型之间是否在某一时刻发生干涉，判断是否发生碰撞反应。从几何角度来看，碰撞检测可以分为二维平面检测和三维空间检测，二维平面检测比较简单，已经拥有成熟的检测算法，而三维空间检测要复杂得多。虚拟仿真系统主要需要解决碰撞试验精准性与实时性的矛盾[2]。

3.2.2 碰撞反应。碰撞场合比较依赖虚拟环境中的具体场景，根据场景不同，进行不同的反应，其与碰撞检测紧密相连，主要任务是调节经历碰撞后的对象所对应的行为。与物理引擎相比，Vega的碰撞检测功能有很大的不同，Vega只能检测是否发生碰撞，而碰撞后该怎么办、物品会发生何种变化完全依靠编写的程序来完成。物理引擎不仅可以检测碰撞，还可以负责检测到碰撞后发生的一系列后果。

在虚拟手移动物体的过程中，虚拟手与物体发生碰撞并被检测到后，该物品就自动被定义为虚拟手的子对象，固化物品与虚拟手的相对坐标，使得物品与虚拟手的坐标相对距离不发生改变。这样一来，用户就能利用虚拟手抓住物体并进行移动操作，达到虚拟交互操作的目的。

3.3 虚拟手对虚拟物体的操作

在日常生活中，人操作物品的方式有很多，如托举、抓握等，这些操作与物体的形状、大小、质量等有着密切的关联。人手是存在弹性的，在与物体发生接触后会产生形变，具体的变形状态与物体的形状、质量等有关，不同物体产生的形状均不同。本文只研究虚拟手对物品的抓握动作，认为虚拟手與物体均为刚体。虚拟手的操作过程分为四个步骤。

3.3.1 操作虚拟手靠近虚拟物体。用户通过位置跟踪器所提供的虚拟手，捕捉现实中人手的位置，利用虚拟手靠近操作目标。

3.3.2 操作虚拟手准备移动虚拟物体。数据手套可以检测人手各个手指的数据，在虚拟手向物品靠近的过程中，调整各个手势关节的弯曲与收展程度，改变虚拟手的形态，最终形成一个抓握的形态。

3.3.3 使用虚拟手操作物体。经过之前的两个步骤，已经调整好姿势与位置，使虚拟手环绕在虚拟物品的表面。缓慢调整虚拟手的位置，使得虚拟手与虚拟物体发生碰撞，如未发生碰撞，则需要继续调整位置，直到发生碰撞。然后，检测当前情况是否满足抓取条件，如果能够满足抓取条件，则集训进行抓取操作，如未满足抓取条件，则可以继续调整虚拟手的位置及姿态，直到满足为止。

3.3.4 操作虚拟手进行物品的移动或旋转。一旦虚拟手确定具备抓取条件，进行抓取，则系统自动固化虚拟手与虚拟物品的坐标系，将两者数据结构融为一体，将虚拟物品作为虚拟手的子节点，跟随虚拟手进行共同移动与旋转操作。在进行移动操作时，用户在现实空间中应尽量保持手的姿态不发生任何改变，以免影响抓握手势而改变虚拟手操作[3]。

3.3.5 操作虚拟手释放虚拟物品。完成虚拟手对物品的移动操作后，要将虚拟物品放置在一个位置，通过调整数据手套和虚拟手动作，使其不满足抓取手势，这样两者之间的坐标固化关系随之解除，虚拟物品不再跟随虚拟手移动，这时虚拟手也就成功释放虚拟物品。

4 结语

人手作为人机交互过程中最为灵敏的器官之一，通过手势进行人机交互，极大地提高了交互的逼真性与自然性。虚拟手作为人机交互的重要组成部分，也是虚拟现实技术在交互系统中的具体应用方式之一，对于虚拟现实技术的日后发展有极其重要的意义。

参考文献：

[1]王晓媛，田浩，王长波.虚拟手自然抓取动作生成研究[J].计算机辅助设计与图形学学报，2020（3）：1-8.

[2]耿宏，文飞.面向机务虚拟维修训练的虚拟手操作设计[J].计算机工程与科学，2019（7）：1279-1284.

[3]姚寿文，胡子然，王瑀，等.面向虚拟维修的多点碰撞虚拟手研究[J].重庆理工大学学报（自然科学），2019（6）：45-52.