基于虚拟现实的沉浸式触觉交互技术在野外地质实习中的实现

张晓媛，陈 斌

（北京大学 地球与空间科学学院，北京 100871）

0 引言

随着社会经济的飞速发展，各种不可预知和极具竞争性的挑战越来越多。2020 年，突如其来的新冠肺炎疫情不仅对各个传统行业产生巨大威胁，也给教育教学带来了不小的影响，例如：实验仪器操作教学无法现场实践，野外实习教学无法亲身参与等。但是，虚拟现实技术的萌生和发展很大程度上弥补了这一空缺和不足，很好地满足了在家学生“停课不停学”的需求。

虚拟现实作为当前学术界和工业界的一个热门话题，也是仿真技术的一个重要研究热点。虚拟现实技术使用户通过佩戴眼镜、头盔等虚拟设备进入到虚拟环境中，从而实现对现实事物的理解。基于佩戴式设备的虚拟现实技术虽然满足了人们对视觉和听觉的需求，却忽略了触觉感受，导致用户在体验时沉浸感不强。然而在建筑、医学、实验等特殊的学习场景中，对触觉的追求是非常重要的。

在目前的虚拟现实设备和研究中，感知更多地集中在手势和动作上，对于模拟基本接触行为、阻力、结构感知等解决方案的制定还不成熟。基于此，本文在虚拟现实技术发展的理论基础上，利用计算机模拟技术搭建虚拟环境，设计触觉反馈交互系统，并开发野外地质环境模型，借助可穿戴式虚拟现实设备，统计分析现场和虚拟环境条件下用户的学习感受。最后，阐述基于虚拟现实的沉浸式触觉技术对于实习实践教学的优势，以期对传统的大型野外地质教学改革提供一些新的方法和思路。

1 理论基础

1.1 虚拟现实技术

虚拟现实技术是基于计算机图形学、人机交互、传感器、计算机视觉、心理学甚至人工智能等发展起来的一种交叉学科。它以计算机接收器为主体，在虚拟现实设备中创建虚拟环境。整体上，虚拟现实技术具有四方面的特征：

1）多感官性。在虚拟环境中，用户不局限于在视觉和听觉感官上得到体验，在嗅觉、触觉上也可以产生同样的感官体验。

2）沉浸性。它是指用户在当前虚拟环境中得到的感官体验程度。理想的虚拟现实环境的目标就是创建一个场景来模拟现实世界，结合虚拟现实技术的特点，产生特效，让用户沉浸其中。

3）交互性。它是指用户在虚拟环境中与任何物体以自然方式进行相互操作。虚拟环境中物体具有兼容性，用户在虚拟环境中触摸物体时，能感觉到物体自然特征。

4）构想性。虚拟现实环境中，用户可以充分发挥创新事物的思维能力。

1.2 基于虚拟现实的触觉反馈交互技术及其应用发展趋势

1.2.1 基于虚拟现实的触觉反馈交互技术

感触反馈交互是指人的某一部位接触计算机搭建的虚拟场景时，人机之间互相传递的温度、压力等触觉信息进入人的神经系统，从而使大脑清晰成像的一种技术。工作原理：触觉反馈设备接收虚拟环境中的传感信息，通过振动或者力的形式反馈给用户；用户收到感知后产生动作或手势，将信号反馈至触觉反馈设备中；设备经过计算机处理将控制信号反馈至虚拟环境；环境接收到控制信号后，将其转换为视觉信号传递至视觉显示设备；最后用户通过可佩戴式眼镜或头盔感知三维成像照片，进而控制虚拟环境中的物体。触觉反馈原理图如图1所示。

图1 虚拟现实中的触觉反馈工作原理

反馈设备：基于载体的触觉反馈才能得以呈现。目前应用较为广泛的主要有手持式、可穿戴式、阵列反馈设备三种。

1.2.2 触觉反馈交互技术的发展趋势

在目前的人机交互研究中，基于虚拟现实的视觉和听觉反馈交互技术的研究较为成熟，对于触觉反馈研究起步较晚。近年来，多数研究围绕触觉反馈研究开展：韩国庆尚大学研制的利用穿戴式头盔及触觉手套，在3D 训练模拟系统中训练实习医师及护士进行高危新生儿感染控制；美国俄亥俄州立大学在物理教学实验中开发出基于振动反馈和力反馈的软/硬件系统，用来帮助学生更好地感知砝码距离杠杆支点远近时力的大小反馈。对于触觉反馈交互技术的研究，也不只局限于医学、实验、教学等方面，未来会被应用于多维度、多行业、多学科交叉的领域中。

2 基于虚拟现实的触觉反馈模型设计方案

2.1 设计模型

虚拟环境下触觉感知反馈模型的设计本质上是将被感知物体提取并抽象化为提示信息，进而被感知对象接收并将动作反馈至感知物体/自然环境中的映射过程。触觉反馈的主要目的是将触觉信息传递给用户，用户在一系列的触觉刺激下的动作与触觉反馈设备所要表达的内容达成一致。

基于虚拟现实的触觉反馈的设计模型如图2 所示。该模型由交互对象、对象自然特征、触觉感知元素、用户4 个部分组成。系统通过提取、抽象交互对象，将其自然特征转换为触觉感知元素，同时触觉感知元素形成提示信息传递给用户，用户做出相应的感知反馈。

图2 虚拟现实中的触觉反馈设计模型

2.2 设计流程

虚拟环境下的触觉反馈设计模型可为系统将对象自然特征和触觉感知元素相互映射提供一种思路。本文在已有触觉反馈设计流程的基础上，将实验设计流程分为确定设计目标、设计对象、设计感知元素、建立对象与感知元素间映射、形成设计方案、评估方案等6 个部分。其中，设计目标、设计对象、设计感知元素为分析问题阶段，建立对象与感知元素间映射过程和形成设计方案为解决问题阶段，评估方案为结果评价阶段。具体设计流程如图3 所示。

图3 虚拟现实中的触觉反馈模型设计流程

3 野外地质实习实例场景应用

3.1 应用背景与数据获取

传统的野外地质教学往往存在以下几方面的问题：

1）实习者缺乏对实习地点的地质背景的了解，导致在实践教学时，实习者获取地质知识效果不理想；

2）通常野外地质实习路线较长，地形复杂，对于实习实践者身体和心理都有着极大的考验；

3）受气候因素的影响，复杂环境下的实习路线往往存在较大的安全隐患等。

这些因素都极大地影响了野外地质实习的效果，导致实习者无法得到相应的沉浸感，造成教学效率低下。基于此，本文通过对北京昌平虎峪地质实习点进行研究，构建了一个基于虚拟现实的沉浸式触觉反馈交互模型系统，并着重探讨了该模型在实习区域不同地层岩性、不同构造特征等对实习者带来的触觉感受反馈程度。

虎峪地区地处华北平原与燕山山脉交界处，该地区出露着太古-中元古界地层，地质现象非常丰富，是进行野外地质实习的典型剖面之一。本文使用Insta360 Pro2 全景相机获取实习区全景影像，在实习区共设置10 个全景相机观察点，每个观察点间距1 m，用以模拟实习观测路线，如图4 所示。

图4 虎峪实习区部分全景影像展示图

3.2 实验设备与场景搭建

野外地质虚拟模型是由客户端、服务器端、动作捕捉端组成的网络体系，虚拟平台搭建采用Unity 3D 引擎开发。服务器端同时对应多个服务器端，以便多用户同时使用。每个服务器端都配置有HTC Vive 头盔，及与之相匹配的由Manus VR 公司生产的虚拟现实手套。

将全景照片通过PTGui Pro12 拼接软件合成8K 分辨率（7 680×3 840）的全景影像，利用3ds MAX 三维图像编辑软件创建若干法向量向内、分段数为150 的球体，并将其导入至Unity 3D 中。再将全景影像图片设置成无光照的纹理投影到球体上，就可以完成全景影像场景的搭建。根据实际拍摄时每个全景影像拍摄点的间距和方位，在系统中设置多个不同的球面表示不同的全景场景。用户在佩戴虚拟现实设备后，可进行虚拟漫游及动作捕捉，由此获得良好的沉浸体验。用户沉浸式感触实例图如图5 所示。

图5 虚拟野外实习考察系统中用户沉浸式感触实例

3.3 应用效果与调查反馈

为了检验野外地质实习虚拟模型是否具有良好的有效性及体验感，文中研究设计了包含系统性能及体验效果两方面的问卷调查。其中，系统性能主要指流畅性、动作捕捉准确率两个内容。流畅性以用户使用10 min 以上时是否出现眩晕和漫游画面不连贯为主；动作捕捉准确率表现为用户在进行漫游时，触摸场景/物体是否达到预定地点。

体验效果以触感体验真实性为主，主要表现在用户感触某一物体时，是否具有接触真实物体的沉浸感。问卷中每列项目均以好、中、差分级评价。

问卷调研对象共50 名，收集到有效调研反馈共43 份（老师25 人，学生18 人；男性29 人，女性14 人），如表1 所示。由表1 可知，基于虚拟现实的沉浸式触觉交互技术在野外地质实习虚拟模型中得到了良好应用，模型在系统流畅性、动作捕捉准确率、触感体验真实性等方面都拥有较高的体验价值。

表1 虚拟野外实习考察系统中用户沉浸式感触效果调查

4 结语

虚拟现实技术在传统行业中的应用越来越广泛，其中，基于虚拟现实的沉浸式触觉交互技术未来具有很大的发展潜力和商业价值。本文利用穿戴式虚拟现实设备对地球科学中的地质实习方向进行了模拟，取得的良好效果体现在：用户在使用时，可充分发挥主观能动性，极大地提高学习动力和效率。未来该技术可在地质类学科及院校中普及。