虚实交互技术在元宇宙中的应用研究

吴潇伟

（中国电子科技集团第二十八研究所，江苏 南京 210007）

元宇宙作为一个新兴崛起的概念，近来受到了各大资本的追捧，也引起了业界和社会公众的广泛关注，国内外众多公司纷纷在“元宇宙”领域布局。究竟何为元宇宙，各家企业众说纷纭，仍未形成相对统一的界定，但公认的一点是，元宇宙能够链接虚拟与现实，丰富人的感知，提升人的各类体验，并延伸人的创造力。所以，虚实交互技术是构成元宇宙的基石，可以说，没有虚实交互就没有元宇宙。本文总结了近年来虚实交互技术的发展情况，并对虚实交互技术在元宇宙领域中的应用进行了总结与展望。

1 元宇宙的起源发展

元宇宙，实质上就是广义网络空间，在涵盖现实物理空间、虚拟赛博空间以及社会和思维空间的基础上，融合多种数字技术，用网络、软硬件设备将用户聚合在一个虚拟现实系统中，形成一个相对独立又能与现实世界相互映射的虚拟世界[1]。

早在1981 年出版的小说《True Names》中，作者VERNOR 教授就曾描述过一个通过脑机接口技术进入并获得真实感官体验的虚拟世界[2]；1992 年，美国著名作家NEAL 在他的科幻小说《Snow Crash》中，第一次将这个虚拟世界命名为元宇宙（Metaverse），他如是描述：“戴上耳机和目镜，找到连接终端，就能够以虚拟分身的方式进入由计算机模拟、与真实世界平行的虚拟空间”[3]。

1996 年，通过虚拟现实建模语言（VRML）构建的Cybertown，是“元宇宙”重要的里程碑。1999 年，以《黑客帝国》《异次元骇客》为代表的一系列影视作品，探讨了基于互联网构建高度虚拟社会的一系列伦理问题，引起了全人类社会的讨论热潮[4]。2003 年林登实验室推出了基于Open3D 技术的虚拟世界游戏“第二人生”。2006 年，美国游戏公司罗布乐思，发布了沙盒世界游戏Roblox，集虚拟世界、休闲游戏和用户自建内容于一体，是游戏元宇宙化的一个标识事件。2018年上映的科幻电影《头号玩家》中，导演斯皮尔伯格则把元宇宙描述为一个与与现实世界本质趋同的虚拟世界，每个玩家都拥有自己的身份，可以在虚拟世界中还原社交、生活等场景[5]。在2020 年新冠疫情大流行的背景下，居家办公、在线教育、线上娱乐等方式进一步深化了元宇宙的发展。2021 年10 月，Facebook正式宣布将品牌更名为“Mate”，并计划在5 年内转型为元宇宙公司，以此为契机，元宇宙成为了互联网业界数值整个社会的关注热点，因此2021 年被成为“元宇宙元年”。

现阶段的元宇宙尚处于快速导入期，其涵义还在不断演变和发展，尤其是伴随着科技的发展，各种前沿技术以更高级的形态融合重组，技术更迭以及各行各业的参与者都会不断丰富和深化元宇宙的内涵。

2 虚实交互在元宇宙中的重要性

元宇宙被视为互联网的3.0 形态，它能够模拟并复制现实世界，在网络空间中构建一个沉浸式的虚拟世界，它不仅是现实世界的延伸，还可以反过来影响现实世界，最终将现实世界与虚拟世界紧密联系起来，模糊虚实的界限。互联网也不再只是传统屏幕中平面的、与用户主体割裂的抽象空间，而是上升为立体、可交互、与主体融合的沉浸式空间。

沉浸式的网络体验是元宇宙最重要的一大特点。所谓沉浸式体验，从感受形式可大致分为以下4 个层次：①心理沉浸，即传统意义上可以不借助外部科技就能获得的沉浸体验，如阅读、观影等形式；②外置技术沉浸，通过依靠VR（虚拟现实）、AR（增强现实）等虚实交互技术获得的沉浸体验；③内置技术沉浸，当技术足够成熟，为了满足便利性需求，外置设备终会向内置化方向发展，此时的虚实交互设备会被植入人体来为用户提供沉浸体验；④意识沉浸，如电影《黑客帝国》中描述的一样，当脑机接口技术成熟到一定程度之后，直接通过脑电刺激，获得沉浸感受。

正是有诸如VR、AR、体感、脑机接口等种种虚实交互技术的加持，才使得网络与现实的体验不断拉近，元宇宙也不再遥不可及，极大地丰富了人类的感官，使网络觉与虚拟觉成为除视、听、味、嗅、触等天然五感之外的人类新知觉，并以此提升人的各类体验，延伸人的创造力。所以，虚实交互技术是构成元宇宙的基石，可以说没有虚实交互就没有元宇宙。

3 虚实交互技术发展与现状

20 世纪90 年代以来，随着信息化技术的普及，网络用户处理信息的数量呈指数级增长，因此，有学者提出了更加关注于用户交互的Post-WIMP 界面概念，尤其是以三维界面、VR、AR、MR（混合现实）、多通道信息界面等为代表，迅速成为国内外研究的热点。2008 年ACMCHI 会议发起者JACOB，在研究各种不同的交互技术的基础上，提出了RBI（Risk Based Inspection）交互框架，将人的感知归纳为物理感知、身体意识、环境感知、社会感知4 个层次，如图1 所示，为如何在虚拟世界中将交互操作与现实隐喻联系起来提供了指南。

图1 RBI 交互框架

为了使元宇宙的的沉浸感更加真实，势必需要突破传统网络信息交互通道过窄的局限，让虚实交互的过程更为自然真实，最终在虚拟世界中模拟出类似真实世界的物理学感知、本体感知、环境感知与社会学感知。因此，元宇宙对虚实交互技术提出了更高的要求。现阶段，虚实交互方式大致可以分为以下5 种方式。

3.1 三维交互

为了更加贴近现实世界，模拟真实世界的交互体验，首先在虚拟空间中构建一个拟真的三维世界。因此，脱胎于物理世界体验的三维交互便成为了最基础、最重要的一种虚实交互方式。相较于传统以书面或屏幕为载体的二维交互方式，三维交互在操作上拥有更高的自由度，全景视野也提供了更大的设计空间，能够帮助完成更加复杂的交互任务。

时至今日，各种三维交互技术已经初露锋芒，并在游戏、视频、新媒体艺术等领域得到应用，但是软硬件技术短板所带来的交互体验感割裂，以及现有交互隐喻不能满足虚拟环境下复杂、交叉任务的缺陷已成为三维交互技术在元宇宙领域进一步发展的瓶颈。

3.2 手势交互

就像人与人之间通过手势沟通交流一样，手势交互也是虚实交互的重要组成部分，是一种自然仿真、理想的交互方式。在元宇宙的虚拟空间中，用户通过躯干和肢体的动作输出特定指令，再通过传感器和机器视觉等技术，跟踪识别人体相关部位，将物理世界中的运动姿态作为虚实交互的输入，这也是当前应用相对广泛的一种虚实交互方式。

虽然体感操控、手势交互等技术在一些简单交互场景中的应用较为成熟，如手势浏览、虚拟雕刻、体感游戏等。但是想要真正达到元宇宙虚实共生的目标，仍然面临以下问题丞待解决：系统不能在连续的动作中筛选出有效手势，或者判别有效手势的开始和结束；用户需要在完成相对完整的特定动作轨迹后，动作才会被系统识别；在不同的应用场景下，用户需要学习和记忆不同的动作手势，认知成本高。

3.3 语音交互

语音交互是一种理想的虚实交互方式，具有以下特点：相较于传统键鼠输入，语音交互使用的是声音通道，能够解放用户的双手；语音交互支持大量文本的高效、精确传递；最重要的是，语音交互是自然交互方式的一种，是用户最习以为常的一种交互方式。

在虚实空间的交互中，语音交互可以传递大部分非图形化的操控指令和文本信息。但是由于语音交互通常不具备可视化的图形界面，所以对用户来说是不可见的，这就需要采用语义句法过滤等识别技术实现纠错，或采用形式化的对话模式来获取用户的真事意图。

语音识别引擎是语音交互的核心，如今，诸如微软、科大讯飞等科技公司都推出了自己的语音识别软件，并且实现了非常好的性能，随着元宇宙概念的兴起，还需要更加强大的语音识别技术来支撑前台应用。

3.4 力/触觉交互

在虚拟与现实的交互过程中，除了视听觉的感官刺激，触觉交互也有着不可替代的作用，它能够让虚拟现实中的交互体验更具沉浸感，是虚实融合必不可少的一环，也是未来虚实交互的重要发展方向和研究重点。

在当前信息人机交互过程中，力/触觉交互既是一种输出方式，如安卓手机的通用触觉反馈效果、Immersion 公司的TouchSense 触觉反馈技术等，同时也可以作为一种特殊的输入方法，如苹果的3D Touch技术等。

3.5 多通道交互

多通道交互能够融合多个信息通道，充分利用人的感觉器官，使信息的传递更加高效；并且，就像在物理世界中认知事物一样，人总是需要通过视、听、触、嗅、味等多种信息通道才能对它形成完整的认知，所以，运用多通道交互技术可以让虚拟世界中的交互更加自然写实，真正实现体验上的虚实共生、虚实相融。

在多通道交互过程中，用户能够像在现实物理世界中一样通过语音、手势、动作等方式，与虚拟系统或其他用户的虚拟角色进行交互，人机交互和人人交互都向着真实世界靠拢，传统虚实交互的体验割裂感得到弥补，这必将是虚实交互的最终形态。

多通道交互为实现虚实共生、虚实相融的交互体验提供了一条有效途径，多通道交互相关技术也已成为虚实交互研究的重点方向之一。但是，在现有技术条件下，还有多通道的任务建模、多通道信息交互支撑技术、多通道交互信息融合方法、混合交互技术、交互技术测试评估等几个方面的问题需要解决。

4 虚实交互在元宇宙中的应用展望

元宇宙中所包含的最初级技术和内容机制已经有了雏形，并且为人类世界带来了前所未有的变化，不过目前元宇宙还处在开发初期，其应用类型相对简单，大多停留在视听阶段，并没有为人类提供全方位的感官感受，虚拟体验单一。若想建立一个能够满足深度沉浸的虚拟现实系统，就目前的研究来说，还为时尚早，仅仅是入门阶段的早期技术积累。当下社会热点的“人脸识别、运动目标分析、行为识别及视觉感知等问题”更多的还是集中在实际应用层面上，至于如何进行自然、有效的虚实互动的基本问题却仍然没有得到完全解决，这些基础性问题恰恰是建设高级别“元宇宙”所关涉的最核心内容。

从目前技术状况来看，要完成在虚拟空间下虚实互动还存在着感知、认知、反馈等方面的问题，具体如下：①感知，即用户在现实虚拟环境中自然交互行为和对状态认知的问题；②认知，即在虚拟现实环境中对人的交互动作和意图理解的问题；③反馈，即通过虚实互动输出反馈的自适应问题。

因此，未来还需要不断推进虚实交互技术的研究，只有不断增强技术创新能力，提高技术成熟度，才能补齐短板，切实推动元宇宙产业落地。

5 结束语

在新冠疫情大流行的背景下，元宇宙这一未来概念获得了公众的广泛关注。但以目前的基础技术，距离实现虚实共生的沉浸式网络体验还有很长的路要走，这也必将是一个艰难的探索过程。但是相信，在可见的未来，成熟的虚实交互技术将带给人们极致沉浸的超现实体验，生活、工业、社会、科技迭代将大大提升效率，元宇宙在各行各业中的应用也将遍地开花。