多模态交互在虚拟岩心库设计中的应用

曾健友，杨素怡，徐庆杰

(中国地质大学 艺术与传媒学院，湖北 武汉 430074)

1 引 言

岩心是研究地下地质及矿产情况的重要实物地质资料，一般经整理装盒后放置在岩心库内进行保存和管理，以供地质工作人员研究使用。同时，岩心编录也是地质工作及教学中极其重要的一环，是地质类专业学生必备的基本技能[1]。岩心标本在常规管理中因长期放置、频繁采样观察等多种自然或人为因素，会受到不同程度的损坏，不利于后期的观察研究工作[2]。

在岩心教学实习活动中，该类岩心标本资源更面临着供需矛盾的困境[3]。为使学生能近距离观察岩心以提升学习效果，学校首先要具备岩心库条件，考虑学校岩心库的物理空间、岩心存储管理及相关资源分配等实际因素，往往存在供需矛盾、使用不便、学习时间不自由等问题，为此，多位学者以及相关企业提出了建设数字化岩心库系统的构想。例如陈振振等[4]设计了基于Web的兴城地学岩心库系统；彭涛等[5]以西藏甲玛矿区为例设计了岩心信息系统；程艳敏等[6]为华北油田建设了岩心数字化网络系统等等。相关资料表明，目前国内的克拉玛依、大庆、大港、渤海等各大油田都开展了岩心数字化网络研究[7]，这些系统设计的实现，极大地便利了岩心信息的管理与使用。用户只需通过Web浏览器或客户端即可访问数字岩心库，根据岩心钻孔号、岩心架号、岩心箱号或其他关键字即可查询所需信息，随时对岩心进行观察分析，不再受到地域和时间的限制，提高了科研、生产和决策的效率。且在部分岩心库系统设计中，除了大量文本资料，用户还能获取到岩心的三维仿真模型，通过鼠标按键对岩心进行缩放和旋转简单操作，便于用户观察。

传统的数字化岩心信息系统虽然解决了真实岩心库使用过程中存在的问题[8]，但即使有三维仿真的岩心标本模型，也仍然缺少了真实感，无法取代用户在真实岩心库中亲身观察岩心的体验。此外，目前建设的岩心信息系统多为专业用户服务或仅对内部开放，无法满足高校学生及普通大众的学习需求，不利于全民综合科学素质的提高。因此，推广应用虚拟现实技术构建数字化岩心库，不仅能很好地解决以上问题，在拓展传统岩心库功用的同时，达到扩展学习环境的效果；还能借助于数字化资源的可存储性和易于共享的特性促进资源的共享和传播[9]。虚拟岩心库不再受物理空间的限制，通过资源共享，理论上即可获取世界各地岩心库的大量岩心信息，为地质研究和相关人员带来极大的便利。此外，基于其虚拟性，岩心模型不会产生人为学习研究时可能造成的形态损坏等不可修复性，普通公众也因此可以通过虚拟岩心库平台近距离观察岩心，使得广大社会公众都能得到进入岩心库、了解相关地质知识的机会。在此基础上，结合多模态交互技术，为用户提供视觉、听觉、触觉等多感官的交互方式，进一步提升用户的沉浸感，使用户在虚拟岩心库中获得更加自然高效的学习体验。

2 虚拟岩心库的多模态交互方式

多模态交互是一种通过使用两种或多种输入或输出方式，使用户界面达到自然、高效的方式[10]。目前的交互方式有语音、触摸、手势、凝视、面部表情、脑电波等[11,12]，下面将具体探讨虚拟岩心库中的几种交互方式。

2.1 虚拟现实用户界面

相关研究证明，外界信息中80 %的信息是通过视觉获得的[13]，因此视觉通道在绝大多数用户界面中都是最主要的信息呈现方式。虚拟现实(VR)用户界面相较于传统图形用户界面(GUI)，视野范围得到了极大扩展，用户不再局限于屏幕所呈现的固定内容，而是可以360°全方位改变视角，相对自由的选择视野中所呈现的内容，进一步达到“以用户为中心”的设计目标。

基于虚拟现实平台环境特征和岩心库中观察岩心的主要功能，虚拟岩心库也将遵循一般规则，以视觉通道作为信息呈现的主要方式。

2.2 力触觉交互

五大感官信息通道中，力触觉是人类获取环境信息中仅次于视觉的重要感官通道。通过力触觉再现建模技术，操作者可以感知力的大小、方向，并且在操纵虚拟物体的同时感受到物体的纹理、刚度、形状等特征[14]。这种独特的双向信息交互能力，决定了力触觉感知对VR用户体验的重要性，但目前力触觉的真实再现还存在很多困难。

当前主流的虚拟现实平台，如HTC Vive、Oculus Rift以及索尼PlayStation VR均采用手柄控制器作为标准的交互方式。控制器上的触摸板、扳机键、抓取键等物理按键都是一种简单的力触觉交互载体，用户感知按键按下时即得到“确定触发”的力反馈，此外，手柄还能提供简单的振动反馈。

在虚拟岩心库中，采用手柄控制器作为主要交互方式，通过按键触发事件，进行用户的瞬移、岩心的抓取、UI的选择等操作；用手柄直接触摸选择(碰撞)描述岩心的标签时，通过手柄振动向用户传达“已点击”的反馈信息。

2.3 语音交互

语言是人类最主要的沟通方式，因此语音交互在人机交互中有着学习成本低的优势[15]，也是最自然的交互方式。近年来，得益于人工智能技术的快速发展，语音交互的核心技术也都取得了一系列突破性进展[16]。例如谷歌的Duplex技术，让语音助手能够自然流畅的与人类通话以完成餐厅预定等任务，它不仅能够理解人类的自然语言，还能通过模仿人类对话中的语气词等细节表现得更像一个真实的人，极大提升了人机对话的体验。

尽管语音交互技术在近几年出现了革命性提高，但其能力主要体现在以语音交互为主的个人数字处理上，作为其他应用的交互方式之一，语音交互效果仍存在很大提升空间。在现有VR应用中，多为对简短词语的识别，例如使用语音直接说出“放大”或“缩小”对物体进行缩放操作，用户还无法下达更为复杂的指令。

基于目前VR中的语音技术水平，虚拟岩心库采用语音作为辅助交互方式，例如，专业用户可通过语音说出岩心箱编号“JK1-140”直接取出钻孔JK1井的第140箱岩心，也可通过语音对岩心进行简单的旋转、缩放操作。

3 虚拟岩心库的多模态应用策略

多模态交互模式的目标是向用户提供多种与计算机交互的选择方式，通过协调两个或多个输入模式，达到自然的用户体验。因此根据定义，没有唯一的方法可以应用于多模态交互的设计，需要根据项目需求，选择合适的交互方式、确定多模态的组合类型以及集成策略。本文依据虚拟岩心库的需求，结合Sharon Oviatt关于多模态交互的十大迷思[17]和Ritwik Dasgupta提出的新兴的多模态原则[10]，探讨其可用性问题，提出对应的应用策略。

3.1 不同交互方式擅长不同任务

图形用户界面更善于向用户反馈信息。用户能通过视觉立即从屏幕上直观地看到当前状态，但使用语音方式获取同样的状态信息则需要更长的时间。此外，语音使用单一的听觉通道进行信息的反馈，相较于通过听觉获取大量信息，人类通常更倾向于通过视觉观察来获取相同的信息。因此，基于虚拟岩心库通过存储大量图文信息以供观察学习的特性，图形用户界面无疑是虚拟岩心库信息反馈方式的首要选择。

对于基于动作的命令，用户可能更喜欢使用语音。因为语音更加直接，并且与人类在日常生活中发出指令的行为相似。例如打开客厅空调这一行为，用户使用语音只需要下达“打开客厅空调”的指令，与日常生活中直接按下空调启动按钮一样直接与简洁；如果使用图形用户界面，则需要按照顺序依次选择正确的选项(启动“智能家居”APP——>进入“首页”——>选择“客厅空调”——>点击“开关”按钮)，通过多次点击动作来完成相同的任务。在虚拟岩心库中选取岩心进行观察时，需要通过手柄控制器操作进入岩心库、钻孔井、岩心箱以及翻页按钮的一系列选择操作。对于专业用户和长期查看固定岩心箱的用户而言，经常使用手柄翻页查找岩心箱可能造成操作负担，因此虚拟岩心库同时提供语音交互方式，用户只需要说出正确的岩心箱编号即可取出对应岩心箱，用户体验显著提升。

语音在多数情境下并非多模态交互中的主要模态。当有其他交互方式更利于完成用户任务时，语音可能就仅仅只是一种备用的输入模态。此外，语音交互还存在识别精度、环境要求、隐私等问题，因此在多模态交互设计中，语音只需要在最合适的情境下使用即可。例如，在虚拟岩心库中选择岩心盒时，语音仅作为手柄控制器的等价交互方式，并非特定任务的唯一交互方式，通过这种交互方式的可选择性来优化用户体验。

3.2 多模态并非单模态的简单叠加

多模态集成中的重复信息有助于提高指令的精准度[18]。各种输入模态都是通过识别技术来理解输入进程的，因此识别器的精准度会影响识别结果。从计算角度来看，多种识别性输入模态可以彼此强化以提高指令的整体精准度，从而增强用户体验，这也是多模态集成中的一个关键理念。所以从可用性角度来看，这种输入模态间的补充特性不应因其简化输入的优点而被忽视。如在上例中，若用户使用完整的语音指令和手柄选择操作共同执行放大岩心的任务，计算机通过对两种输入指令的识别，必定更加明确是哪块岩心需要执行放大命令，所以确保合适的多模态集成以达到补充效果非常重要。

不同模态可传输相似信息，但效果不同。上例中使用手柄控制器和语音结合的方式来放大岩心。在现有的技术条件下，还可使用凝视和语音的结合完成相同任务。如通过凝视看向需要放大的岩心，由视线跟踪技术确定目标，再根据语音指令执行放大命令。从单项用户体验的角度来看，通过凝视进行选择是一种更加自然的交互方式，但基于现有的各项交互技术水平、虚拟岩心库的场景以及用户对VR环境目前的感知程度等，若增添凝视以选择交互对象，在没有视觉提示元素的情况下会由于缺失反馈造成用户困惑；在增添视觉提示元素的情况下，则会一定程度地破坏虚拟岩心库场景的整体视觉效果，使界面操作看起来更加复杂。要想凝视交互在原有效果上达到进一步优化用户体验的目的，则需要在设计时投入大量的研究和考量。因此，虚拟岩心库将不会采用凝视作为选择物体时的交互方式之一。所以在进行多模态交互方式的设计时，要从可用性的角度考虑，采用哪些输入模态、用何种方式结合，并用于哪些场景，这些都需要与项目的实际情况紧密结合。

3.3 用户对交互方式的偏好不同

允许用户选择自己喜欢的方式进行交互。首先要明确，建立一个多模态系统并不意味着用户一定会用多模态方式进行交互，他们不会使用多模态的形式发出所有指令。其次，所有用户发出的多模态指令不会以相同的方式集成，不同用户会使用不同的方式来操作多模态系统。例如，对于同一任务，系统应既能满足用户使用语音和手势发出指令，也能满足使用语音和凝视发出指令，或仅使用语音来完成交互。因此，指令结构、多模态集成方案都应具有灵活性，这对人机之间的自然交流非常重要。虽然这种集成方式的选择设计会使整体用户界面更加复杂，但无疑具有最广泛的概括性，所以同样需要设计师根据项目需求进行权衡。此外，不同的使用情境，也会影响用户对交互方式的选择。例如在人口密集的环境使用语音交互伴随的隐私问题、在公共场合使用姿势交互造成的尴尬氛围等。因此，应当允许用户自行决定使用哪种方式进行交互，以获得舒适且更加满意的体验。

综上所述，高效并不是多模态系统的仅有优势，它还能降低单个识别系统的错误率、提高用户与系统交互时的灵活性。正因为多模态交互的复杂性，心理学、认知科学、软件工程学和人机交互等多个学科领域都对多模态系统的成功设计发挥着重要作用。

4 基于多模态交互的虚拟岩心库教学设计

本节将以取出钻孔JK1井的岩心箱进行观察学习的流程为例，介绍虚拟岩心库的多模态交互系统。为了匹配系统和现实世界，首先假定一个案例情景——某次岩心实验教学课程，教师带领班级学生进入岩心库，对钻孔JK1井的岩心进行观察学习。

以 A 组学生为例，按步骤描述进入真实岩心库进行学习的各个过程：

1)进入岩心库前，教师向学生说明岩心库相关规章制度及注意事项；

2)教师带领学生进入岩心库；

3)A组学生(共7人)取出编号为“JK1-140”的岩心箱(箱内共7块岩心)；

4)A组学生共同观察该箱岩心的整体情况，并做相应学习笔记；

5)A组每位学生分别选择一块岩心进行细致观察，并做相应学习笔记；

7)A组学生甲等待一定时间后，同组学生乙才完成观察，甲、乙交换岩心继续学习。

为了在发挥数字化岩心信息系统优势的同时，保留真实环境的现场感，本文提出构建基于虚拟现实技术的虚拟岩心库，通过多模态的交互方式，营造具有临场感且更接近自然交互的用户体验。下面仍然以上面取出岩心进行观察学习的流程为例，完整的介绍虚拟岩心库系统的设计。

4.1 设计制作软硬件环境

1)三维模型制作：Cinema 4D R20;

2)UI界面制作：Adobe Photoshop CC2019;

3)游戏引擎：Unity 3D;

4)VR平台：HTC Vive。

4.2 场景漫游

图1 选择目标位置Fig.1 Select the target location

虚拟岩心库通过资源共享，内置多个岩心库资料，用户可以按需选择以进入对应岩心库的虚拟现实场景。若用户使用VR设备的真实物理空间充足且安全，用户可如现实世界一样在虚拟岩心库中走动以及观察岩心库环境；若用户真实物理空间中的活动范围有限，则可通过手柄控制器激活瞬移按键，选择合适的目标位置后释放按键以确定，完成用户在虚拟岩心库中的位置移动(图1)。此外，还可使用语音“前进”、“后退”、“左移”、“右移”的指令完成移动位置的任务，但目前通过语音进行移动的步幅固定，且距离较短，想要移动到较远位置，则需要下达多次语音指令，不如手柄操作灵活快速。

4.3 岩心取放

用户可以通过场景漫游选择想要观察的岩心箱，也可通过手柄控制器的菜单键调出“选择岩心箱”的功能面板，激活控制器射线选择对应岩心箱图片(图2)，即可跳转至该岩心箱所在位置。再通过手柄抓取键，从岩心架上取出岩心箱放置在桌上。同样使用抓取键从岩心箱中取出岩心即可。

图2 “选择岩心箱”功能面板Fig.2 The function panel of select the drill core box

在真实岩心库中还原整理岩心时，可能发生岩心位置错置的情况，而在VR环境中通过自动吸附能有效解决这一问题。为每块岩心设置正确的存储位置以及自动吸附范围，用户将岩心移动到其吸附范围内时，岩心的标准放置位置就会高亮显示(图3)，用户此时释放岩心即可让其自动归位，岩心箱可同样使用此方法归位至岩心架，从而提高整个岩心库的整理效率。

图3 岩心标准放置位置高亮显示Fig.3 Highlight the drill core standard placement

4.4 岩心观察

为提升用户体验，发挥虚拟现实环境的优势，岩心设置为不受重力影响。用户按下抓取键从岩心箱中取出岩心，岩心将跟随手柄控制器移动，释放按键即可让岩心悬停在该处，不会受重力下落，便于用户全方位观察，同时避免了观察过程中需手持岩心造成的负担，且可继续取出其他岩心，进行对比观察。

对岩心进行初步观察后，可按下菜单键以显示该岩心的编录号和详细文本信息，此时岩心表面会同步高亮显示其地质特征标记(图4)。因此，该信息面板既可作为查询岩心详情的渠道之一，也可作为学生用户观察岩心后进行自学检查的方式。

图4 岩心详情信息面板Fig.4 The panel of the drill core detail information

此外，每个实验桌上还配备有光学显微镜，用于观测岩心薄片的内部结构(图5)。当用户抓取岩心靠近显微镜，与之进行碰撞检测后，显微镜上会显示该岩心中可供选择的薄片，由于该方法仅在选择有代表性的岩心时，分析结果才具有实际价值，因此不同岩心会显示数量不等的薄片，选择薄片后即可呈现该岩心的镜下结构，从而展开进一步的观察。

图5 选择岩心薄片Fig.5 Select the drill core slice

4.5 学习检测

用户按下左手柄控制器的常规菜单即可调出“知识检测”面板，由此对岩心相关知识的掌握程度进行测试，以了解自己的学习情况。测试题可由程序设计覆盖大量题目，用户每次进入该面板时，随机出现数量相等的不同题目。此外还可根据用户需求设置不同难度、不同类型的题库以供用户自由选择。测试完成后，系统自动计算成绩，并以此为依据给出下一步的学习建议。

4.6 学习辅助

图6 画笔工具的使用Fig.6 Use the brush tool

图7 选择岩心描述标签Fig.7 Select description labels of thedrill core

左手控制器的触摸板可调出圆环菜单，内置四个功能按钮，用于岩心的观察学习。其中，画笔工具可直接在岩心周边圈点写字(图6)，用作学习笔记功能；标签工具则可提供常见的地质描述文本，如岩心的颜色、结构以及矿物成分等，用户可根据观察，选择相应的描述性标签，放置在岩心对应特征处(图7)，作为观察记录；缩放/旋转工具可通过滑块控制岩心的放大缩小以及旋转(图8)，用户同样可以直接用控制器抓取岩心，更为直观的操控岩心的位置和观察角度；显示/隐藏工具则用于控制各功能面板及其标记的显示状态。此外，实验桌抽屉内也放置了岩心观察所需的其他工具，通过抓取键即可获取使用。

图8 缩放岩心Fig.8 Scale the drill core

为进一步提升用户学习效果，虚拟岩心库会跟踪并存储用户学习痕迹。一方面，随着用户使用次数的增加，逐渐形成更符合用户个人情况的学习空间，例如，在“知识检测”中记录错题(图9)，既可供用户复习回顾，也可在用户下次进行学习检测时，由程序设定的运算规则随机给出更适合用户当前学习程度的题目，以达到巩固和逐步提升的效果，从而真正形成以用户为中心的个性化学习环境。另一方面，程序可对所有用户的学习记录进行收集分类，任课教师可据此数据查看分析学生的各项学习情况，从而准确又灵活的调整教学方案，强化课堂教学效果。

图9 查看错题Fig.9 Check wrong questions

在虚拟岩心库中，所有交互操作都可通过左右两个手柄控制器完成。其中选择确定的方式主要分为两类：一种是通过射线进行远距离选择，用户可以通过射线的指向，清晰观察到被选择的对象；另一种是通过碰撞检测进行近距离选择，这种方式更符合人类的自然交互模式，但在VR环境中“触碰”的并非真实物体，不会产生触感，用户无法确定对象是否已被选择或点击，所以借助手柄的振动反馈替代触觉感知，向用户传达“已选择该对象”的信息。

另外，由于语音技术在VR环境中的应用还不够成熟，因此在虚拟岩心库中仅作为等价型交互方式供用户选择。例如，在选择岩心库、岩心箱时，用户可直接说出对应名称以完成选择操作；在多页面板中，可通过“上一页”、“下一页”的语音指令实现翻页；在选取工具时，可用工具名称的同名命令“放大镜”、“尺子”等直接取出或更换手中的工具。

根据以上设计应用可以看出，虚拟岩心库不仅可以同时发挥真实岩心库和数字岩心库的优势，还具备丰富的信息呈现形式以及多模态的交互方式，能使用户获得更加直观、自然的交互体验，提升用户的使用效率和满意度。

5 结 语

本文对多模态交互进行了研究分析，提出了基于多模态交互的虚拟岩心库构建，为地学研究人员提供更加丰富的研究渠道，解决岩心在长期自然存放中因氧化和风化造成原貌损坏从而影响研究准确率的问题；为高校地质教学节省物理存储空间，降低岩心管理上人力、财力的消耗，解决大量现实条件因素造成的供需矛盾问题；为普通社会公众创造了进入岩心库近身观察了解岩心知识的机会，使专业地质资料、实验室不再遥不可及，满足了人民群众日益增长的文化知识需求，真正做到资源共享、惠及全民。

目前，虚拟现实技术在各领域均有所应用，语音、力触觉、姿势、凝视、肌电和脑电等交互技术也在不断发展，但各种交互技术的研究现状不尽相同，多模态结合时也往往难以发挥单个模态当前的最佳技术水平。然而，多模态交互带来的用户体验是不可否认的，技术的进步与融合也是必然的发展趋势。可以想象，使用更加人性化的语音操作、使用更加精细的触觉反馈装置感受交互对象的纹理重量、使用电脑控制界面的呈现内容、使用面部表情捕捉和视线跟踪技术收集用户数据以优化系统，这些在未来的虚拟岩心库设计以及其他领域的应用中都将得以实现，从而为全民生活各方面的体验带来极大提升。