多通道虚拟现实人机交互终端设计及其应用

徐守祥，胡 文，于成龙，马 超

（深圳信息职业技术学院 数字媒体学院，广东 深圳 518172）

【信息技术应用研究】

多通道虚拟现实人机交互终端设计及其应用

徐守祥，胡 文，于成龙，马 超

（深圳信息职业技术学院 数字媒体学院，广东 深圳 518172）

设计了一款多通道虚拟现实人机交互终端，它依据虚拟环境产生真实的环境模拟，为真人带来沉浸式的环境带入体验。给出了利用虚拟环境中的语义对象控制该交互终端，产生三维环境、立体声音、自然气象、碰撞接触和气味仿真等感知功能的方法，为人的大脑依附于虚拟世界的化身上给出了一种新途径，通过虚拟世界环境的变换，实现真人的时空穿越体验。借助Unity虚拟现实开发平台和虚拟现实头盔，给出了该方案的原型系统。

多通道；语义对象；虚拟人

多通道虚拟现实人机交互终端[1]是面向文化创意产业，针对当前虚拟现实技术应用，设计的一款沉浸式[2]、通用型、组合式的人机交互虚拟现实终端产品。该产品立足于虚拟演练、文化娱乐应用，面向人们相互沟通的通用交互功能和专项应用情景，产生三维环境、立体声音、自然气象、碰撞接触和气味仿真等感知功能[3]。其终极目标是将真人引入到虚拟世界中，将人的大脑依附于虚拟世界的化身(Avatar)上，体验虚拟世界的生活场景，通过虚拟世界环境的变换，实现真人的时空穿越体验、让生命体验思想的虚幻世界。

近些年来随着计算机硬件技术的迅猛发展，出现了运算速度快、海量的储存容量以及智能的人机接口设备，并且随着制造工艺的提高，计算机体积越来越小，其应用也越来越广。以计算机随身化和以虚拟现实为代表的计算机系统拟人化已成为计算机的两个重要应用趋势，而人机交互终端技术是适应这种趋势的关键技术之一。人机结合以人为主是计算机系统的特点，实现人机有效合作将是新的下一代人机界面的主要目的。但是对于新智能终端，人们却不知道如何使用，不能充分利用认知资源，以自然方法和计算机交互的想法仍难以实现，因而许多新的计算机应用技术无法普及，人机交互界面开发周期太长，缺乏对用户界面分析、设计、评估和维护的科学方法和高级工具。

虚拟现实交互设备包括VR头盔、万向跑步机和触感背心等。这些虚拟现实交互设备的发展情况如下：(1)美国OculusVR公司自2012年创立，开发虚拟现实头盔，2013年3月份开始，Oculus VR公司开始为软件开发者发放第一批虚拟现实头盔。虽然说虚拟现实头盔第一批应用领域是视频游戏，它还可以应用在电话会议、建筑设计、计算机辅助设计、应急救援培训、恐惧症治疗等领域[4]。之后Oculus VR公司又推出虚拟现实眼镜Rift；(2)Virtuix Omni是第一个全方向跑步机，它支持一种完全的虚拟现实体验[5]。Omni可让任何人利用自然的运动在虚拟世界中实现360度全方位行走，奔跑，和跳跃。Omni将玩家们从坐着玩游戏的方式中解放出来，并且释放虚拟现实游戏和娱乐的全部潜力。Cyberith公司的Virtualizer的目标是给用户在虚拟现实世界里带来真正意义上的自然和自由的运动，无论是走路，跑步或者全方位射击。设备的腰环和三条腰环轴的组合可以让用户实现蹲跳动作，同时可以360度旋转运动；(3) 2010年，Immerz公司发布了KOR-FX智能式轻量背心，它能将声音转化成微妙的振动，让玩家体验到虚拟中枪效果[6]。2014年，其开发商Immerz又开始发布新版的KOR-FX，新版本采用无线适配器，不受PC或控制台的束缚。背心的胸部部位设有按钮，可以让你调整触觉分离，定位声音来源判断景深。这款背心还有一个精简的有线版本，把重点从游戏转移到移动使用，例如在手机或平板电脑上听音乐或看视频。

虚拟环境构建上的发展，Bowman等人在IRVEs中提出的语义对象(semantic object)概念[7]，从实现面向语义的高层交互隐喻的目标出发，提出虚拟环境下语义对象的概念。

语义对象是指虚拟场景中那些用户可感知的物体或对象能够根据一定的规则对交互事件进行响应和反馈，并执行特定交互任务，它们的属性不仅包括外观几何信息，而且包含交互上下文的语义信息。一个语义对象由图形构件(graphics component)、行为构件(behavior component)、规则构件(rule component)、交互构件(interaction component)和应用构件(application component)构成。[8]

本文给出了多通道虚拟现实人机交互终端的设计方案和虚拟环境语义对象控制该人机交互终端的应用方法。

1 多通道虚拟现实人机交互终端设计

1.1 设计目标

多通道虚拟现实人机交互终端，是一个虚拟环境状态的传达系统，是一个环境状态的表示层，它将虚拟世界与虚拟人的交互转换为虚拟世界与真人的交互，将虚拟人的五种感觉传达给真人。本文提出了具有创新性的设计目标，包括以下三点：

1.全新的虚拟现实与体感设备的集成创新

集成当前相对成熟的虚拟现实和增强现实产品，构建一个稳定的且可持续更新的通用型虚拟现实人机交互终端，为虚拟现实技术的开发应用寻找一个新的突破口，使虚拟现实技术由专项发展转变为面向大众的综合发展。

2.基于虚拟现实平台的多通道环境仿真

将虚拟环境在现实世界中进行模拟，达到将真人引入到虚拟环境中的效果。基于主流的虚拟现实开发引擎生成虚拟世界中的通用环境，包括三维环境、立体声音、自然气象、碰撞接触和气味仿真等通用感知功能，从而实现真人通过感知器官直接感知虚拟环境的效果。建立多个单体之间的通信联系，形成多人同屏的虚拟社区。

3.首次以单体设备实现多通道虚拟现实终端

作为一个通用的虚拟现实终端，必须是为每个用户个体服务的，每个个体的自由性必然导致个体虚拟环境的独立性，因此，确定了该通用终端的独立性，即为每个用户提供独立的虚拟环境仿真设备。用一个单体设备实现目前5D或多维影院的功能。基于主流的虚拟现实或网络游戏引擎为每个单体生成自身的虚拟环境。

图1 多通道虚拟现实人机交互终端的硬件组成Fig.1 Hardware components of multi-channel virtual reality human-computer interactive terminal

1.2 实现技术与方法

如图1所示，多通道虚拟现实人机交互终端的硬件组成,包括支架、背景墙、一体机电脑、投影仪、音响系统、运动捕捉设备、环境反馈设备、控制器和空调。音响系统、投影仪、控制器和空调位于顶部，环境反馈设备位于支架上，背景墙位于侧面，运动捕捉设备位于底部。投影仪将虚拟场景投影到背景墙上，可供人机交互终端外面的观察人员观看；游戏玩家配戴虚拟头盔，可以观看由一体机电脑播放的虚拟场景；游戏玩家在万向跑步机上面进行运动（直线运动、圆周运动；匀速运动、变速运动等），运动捕捉设备将捕捉相应的运动信息并反馈至控制器，从而在虚拟场景中实现相同的运动；游戏玩家穿戴体感背心，虚拟环境中的力觉信息将通过控制器反馈到体感背心，进而真人感受到相应的力觉；虚拟环境中出现的风和雨现象由控制器打开真实的出风口吹风和喷水口喷水，让游戏玩家得到相应的真实体验。护栏用于保护游戏玩家，防止碰撞人机交互终端的墙壁而出现意外。

该人机交互终端采用图像识别与分析技术,通过图像识别获取控制信息,计算机根据获取的信息进行运算,分析人体运动与虚拟环境产生的交互，分别连接控制器，多个不同的环境反馈设备将声音、力觉、触觉、嗅觉等控制信号反馈给体验者。

该人机交互终端的实现技术与方法主要包括两方面：

1.新技术应用。利用当前虚拟现实技术的发展成果，通过主流的虚拟现实开发引擎Unity将它们集成起来。

2.基于内容的控制设备

研究各设备之间的接口及其控制方法，开发以虚拟世界内容为核心的设备控制软件和设备控制器，从而实现虚拟环境的真实体验效果。

该人机交互终端的意义体现在以下三个方面：

1.推进虚拟现实通用终端设备的综合发展

虚拟现实的发展到目前为止主要是局部化和专业化的发展过程，局部化的发展产生了针对某个感知器官的感知设备，例如，针对眼睛的虚拟现实头盔、针对手部触感的力反馈设备等；专业化的发展产生了针对某些专门领域的虚拟现实设备，例如，针对航空领域的飞行训练设备、针对医疗领域的虚拟手术设备等。目前需要将虚拟现实的应用推广到更加广泛的大众日常生活中，更加迫切需要的是一个面向大众日常沟通、生活娱乐的通用型的终端设备，这样的终端需要集成现有成熟的局部设备，开发日常生活所需要的通用仿真环境设备。

2.产生新型的人与人之间的沟通方式

新型虚拟现实通用终端的发展首先会为游戏娱乐带来高速的增长，更主要的是借助这种新型的通信设备，为人与人之间的沟通产生一种新型的方式。未来的沟通不再是现在电话这样仅限于声音的交流，而是全维度、多通道的直接参与和体验式的交流，例如，现在的电话沟通则变为直接在虚拟世界中的会面。

3.穿越时空放飞思想成为现实

在虚拟环境中通过虚拟人技术创建一个时空可控制的虚拟世界，通过该终端，真人借助其化身进入这个虚拟世界中，体验时空穿越、融入幻化的思想世界的经历。为文化创意产业、教育、医疗、工业仿真、军事训练、航天模拟、装饰设计、房地产展示等多个产业开辟新的发展空间。

2 多通道虚拟现实人机交互终端控制

针对多通道虚拟现实人机交互终端系统的特点、要求及面临的主要技术瓶颈，综合运用人机交互的单项技术和多通道整合理论，并结合实验，研究虚拟现实环境仿真的集成创新方法。通过语义对象构建虚拟世界，基于虚拟世界的状态变换产生设备控制指令，控制人机交互终端。

2.1 语义虚拟环境构建

虚拟环境中的对象可以分为角色对象、场景对象和环境对象，最主要的语义主体是具有行为能力的角色对象即虚拟人，图2给出了交互终端控制体系结构。该体系结构是以感知器为基础，形成环境感知、环境状态、行为规划、行为控制、动作执行、进而影响环境的循环结构。交互终端控制流程主要是通过虚拟场景及行为对多通道终端进行控制，终端动作作用于人体感知，使人能够真实获得在虚拟场景中遇到的触觉、味觉等感知。

图2 交互终端控制体系结构Fig.2 Interactive terminal control architecture

2.2 基于中间件的交互终端环境仿真控制

在交互终端环境仿真控制过程中，根据多通道人机交互终端设计结果完成基于内容-终端-人的中间件设计。通过虚拟现实技术、利用体感设备集成方法，基于中间件的交互终端环境仿真控制，能够提高人体感知的自然性和高效性，具体结构如图3所示。中间件设计应该包括高可靠性、高可用性及高适用性及可扩展性等原则。

图3 中间件结构图Fig.3 The middleware structure diagram

中间件主要包括虚拟场景数据参数传递与接收、串并行数据转换、数据同步、数据通信控制及多通道终端硬件设备管理等功能，实现虚拟环境的真实体验效果。

交互终端中例如VR头盔等外围体感设备无需在中间件中实现控制，因为该类设备自身都具有驱动程序。而虚拟场景中风、雨、气味等信息则需要在角色靠近某个虚拟环境时通过触发中间件的数据传送功能将数据发送到终端设备上。

由于多通道交互终端通信方式不同，因此在中间件设计时，可以完成基本的并行或串行通信功能，也可以增加蓝牙等常用的通信功能，当有无线通信方式的外围交互终端加入时候，可以方便扩展。

中间件在实现数据交换过程中，还需要具有数据同步功能，以使人们可以在使用VR头盔体验到虚拟场景中自然环境变化的同时可以通过人体立刻体验到该变化。

3 系统应用开发

3.1 原型系统结构

多通道虚拟现实人机交互终端系统可以广泛应用于教育培训、消防安全、虚拟演练、模拟手术等领域。集成当前最新型的虚拟现实设备，建立了应用该虚拟现实人机交互终端的应用系统。如图4所示，

图4 原型系统结构Fig.4 The architecture of prototype system

该应用系统包括基于云平台的分布式虚拟现实系统和多通道虚拟现实人机交互终端两部分。多通道虚拟现实人机交互终端由四组设备构件构成，一组是现实环境状态采集设备构件，用来将现实环境的状态变化采集到计算机中，包括：动作捕捉设备（如Kinect、游戏手柄）、运动辅助设备（如，万向跑步机）、环境采集设备构件等；二组是作用于人的感知器官，传达环境状态变化的感觉生成设备构件，包括：视觉生成构件（如，VR头盔）、听觉生成构件（如，音箱）、嗅觉生成构件（如，气味机）、触觉生成构件（如，触感背心）、味觉生成构件，自然环境生成构件，包括：风、霜、雪、雨，以及身体运动辅助设备构件等；三组是接收虚拟环境状态变化命令控制第二组设备构件的控制器。四组是固定和装配上述构件的框架构件及其外形构件。分别连接控制器，多个不同的环境反馈器件将声音、力度、触觉、嗅觉等控制信号反馈给体验者。

3.2 应用内容开发

以游戏开发为例，应用该交互终端设计方法可以实现游戏场景的虚拟漫游系统，并使用户体验到虚拟环境的变化。首先，对虚拟游戏系统的软件环境进行建设，通过Unity支持的3d软件导入物体，即三维模型导入，完成系统的虚拟场景建设。

其次，完成系统模块及功能的详细设计,通过利用unity提供的虚拟实现技术将虚拟场景仿真出来,再对系统进行整体实现。

虚拟游戏场景实现后，再完成外围硬件设备的搭建，主要包括计算机、空调、投影仪、音响系统、气体喷射装置、液体喷射装置及支持该类设备的通信接口设备。

最后根据不同类别的硬件设备按照通信接口方式，将其与计算机通过中间件进行连接，实现数据传输及设备控制。人机交互终端通过中间件请求读取及发送外围设备终端数据的过程如图5所示。

图5 请求读取数据过程Fig.5 The request process of reading and sending data

4 结束语

作为一款多通道虚拟现实人机交互终端，它依据虚拟环境产生真实的环境模拟，为真人带来沉浸式的环境带入体验。给出了利用虚拟环境中的语义对象控制该交互终端，产生三维环境、立体声音、自然气象、碰撞接触和气味仿真等感知功能的方法，为人的大脑依附于虚拟世界的化身上给出了一种新途径，通过虚拟世界环境的变换，实现真人的时空穿越体验。借助Unity虚拟现实开发平台和虚拟现实头盔，给出了该方案的原型系统。

多通道虚拟现实人机交互终端的研发，有以下几方面需要继续研究，1.人机交互设备效果的真实性、使用的方便性；2.内容开发的规范化；3.开发平台的网络化。

[1]Esteban P P.Virtual human hand:model and kinematics[J].Computer Methods in Biomechanics and Biomedical Engineering,2014,17(5):842-864.

[2]倪乐波,戚鹏,遇丽娜等.Unity3d产品虚拟展示技术的研究与应用[J].数字技术与应用.2010,9:54-55.

[3]刘要华,朱珍民,叶剑.协同人机交互机制的研究与设计[J].计算机工程与设计.2014,35(2):726-730.

[4]卢海平,刘伟奇,康玉思,魏忠伦,冯睿,付翰毅.全景三维立体头盔显示光学系统设计[J].光学学报,2012,32(5):1-6.

[5]Hsiu-Mei Huang.Investigating learners' attitudes toward virtual reality learning environments:Based on a constructivist approach[J].Computers &Education,2010,55(3):1171-1182.

[6]赵沁平.虚拟现实综述[J].中国科学,2009,39(1):2-46.

[7]Howard Bowman.Formal description of distributed multimedia systems:an assessment of potential techniques[J].Computer Communications,1995,18(12):964-977.

[8]Alethea Blackler,Vesna Popovic,Doug Mahar.Investigating users' intuitive with interaction complex artefacts[J].Applied Ergonomics,2010,41(1):72-92.

Multi-channel virtual reality human-computer interactive terminal design and application

XU Shouxiang， HU Wen，YU Chenglong，MA Chao
（Shenzhen Institute of Information Technology,Shenzhen 518172,P.R.China）

In order to bring immersive environment into reality experience,we propose a multi-channel virtual reality human-computer interactive terminal,which is based on the virtual environment to simulate real environment.In the virtual environment,semantic objects are given as the controller of the interactive terminal.It produces threedimensional environment,stereo sound,natural calamities,impact and odor perception.The embodiment of human brain attached to the virtual world generates a new way by the transformation of virtual world environment to achieve a real-time travel experience.By means of Unity development platform and virtual reality helmet,the scheme of prototype system is presented.

multi-channel;semantic object;virtual human

TP11

A

1672-6332（2015）03-0022-05

【责任编辑：高潮】

2015-07-21

广东省自然科学基金项目(S2013010014543)资助

徐守祥(1962-)，男(汉)，硕士，教授，主要研究方向：智能虚拟人、分布式智能虚拟环境。E-mail:xusx@sziit.com.cn