虚拟现实三维场景建模与人机交互应用技术研究

蔺薛菲

虚拟现实三维场景建模与人机交互应用技术研究

蔺薛菲

（湖南农业大学 体育艺术学院，长沙 410128）

虚拟现实（VR）技术通过虚拟的现实场景摆脱对物理场景的依赖性，并通过交互设计达到身临其境的浸入式体验效果。文章以虚拟现实场景交互应用为对象，研究分析当前虚拟现实场景建模和交互应用关键技术研究现状和问题；以服务设计需求出发，提出了虚拟现实应用设计领域的可能发展方向。

虚拟现实；交互设计；3D场景建模；服务设计

一、引言

虚拟现实（Virtual Reality）是20世纪发展起来的一项全新技术，其通过生成与一定范围内真实环境在视觉、听觉、触觉等方面高度近似的数字化三维环境，用户借助必要的装备与数字化环境中的对象进行交互并相互影响，从而产生置身于真实环境中的虚幻感和沉浸感。虚拟现实技术强调了人在虚拟系统中的主导作用，因此交互性和沉浸性这两个特征，是虚拟现实技术与其他相关技术（如三维动画、科学可视化及传统的多媒体图像技术等）的本质区别，是人机交互内容和交互方式的革新①②。

随着HTC Vive、Oculus Rift、PlayStation VR、Google Cardboard、Gear VR、微软Hololens等大量头戴显示设备（HMD）的出现，标志着浸入式VR技术正式走向消费者市场，在军事、航天、医疗、教育、社交、购物、旅游、游戏等领域产生了颠覆性影响。

本文研究分析当前虚拟现实场景建模和交互应用关键技术研究现状和问题，并结合服务设计层面需求，提出了虚拟现实应用设计领域的可能发展方向，为广泛的虚拟现实应用提供参考。

二、虚拟现实三维场景建模技术

现有三维场景建构主要可分为全景图像拼接、三维虚拟建模两大类。图像拼接模式接近真实场景感觉，但是存在图像拼接误差和畸变现象，在拍摄过程中也存在遮挡和死角等问题。若获得连续三维场景体验，需要拍摄存储海量图片，计算量巨大，建成后的场景目标无法作为虚拟目标与用户进行交互。三维虚拟建模构建场景中的目标可以作为虚拟目标与用户进行交互。但是三维虚拟建模在场景的逼真度方面与真实场景还存在一定的距离，从而导致浸入式体验不佳②。

（一）三维全景拼接关键技术

全景视图技术主要分为两个主要部分即配准和融合。图像配准是全景视图技术的最主要一步，它的目的主要是找出两幅或者多幅图像之间的重复部分。融合技术是用来消除由光照变化、动态场景和由几何校正引起的图像扭曲等引起的相邻图像重叠部分的颜色差异、光强不同及图像重影等问题，使多幅图像融合成一幅无缝的过渡平淆的全景图像。（图1）

目前全景图拼接方法主要有基于特征点匹配的方法、基于模型的方法、基于变换域的方法和基于灰度相关的方法。几种算法主要针对解决如果提高图像拼接的效率，提高图像拼接的实时性，以及图像拼接对图像重叠率、各种不同像素图像的有效性等问题。

目前，基于图像拼接的虚拟现实应用主要集中场景展示应用。如黄显兵研究了基于全景技术的在线虚拟漫游景观的实现方法，并对实景拍摄漫游和三维虚拟漫游景观两种方式进行实践分析③。Hee-soo Choi基于头戴式设备和人工标志，开发了面向文物博物馆展览的内容服务模式④。

图1 三维场景建模方法对比-基于图像的三维场景建模

图2 三维场景建模方法对比-基于几何虚拟建模的场景构建

（二）基于几何模型的虚拟场景建模技术

基于几何模型的虚拟场景的生产过程具体包括场景几何建模、场景材质设置和真实感贴图、虚拟现实系统初始化、模型对象化导入与实时呈现几部分，其中三维建模是核心部分②。（图2）

3D模型成为虚拟场景的必要元素，那么模型的成立和贴图的绘制将直接影响虚拟场景的真实性。目前已有Autocad、3D Max， Maya、Pro/ E等工具用于3D模型建模。同时以Unity为代表的虚拟引擎，可以轻松导入3D studio、 Maya等模型和交互动画角色（Autodesk），实现虚拟场景与空间营造，但要注意角色与场景的刚体碰撞方式的把握、场景材质与光影营造实现三维场景的构建。

目前，以几何建模为代表的虚拟现实应用集中在非自然场景，具有很好的交互性。赵杰等系统介绍了基于三维建模工具和Kinect交互设备的交互动画设计②。曹林等以煤层气田地面仿真系统为例，介绍了场景虚拟建模的技术实现，并研究了基于Kinect和Unity3D平台的交互系统设计实现①。Damian Grajewski基于头戴式设备HMD和交互传感器，开发了装配环境应用的沉浸式教学应用⑤。Sotiris Makris重点研究了基于VR技术的浸入式产品设计技术，并应用于航空工业产品设计⑥。Andrzej Grabowski开发了面向地下煤矿挖掘工人的工况体验和工作任务训练系统⑦。

三、三维场景交互技术研究现状

（一）用户动作捕捉

用户动作捕捉和理解是浸入式交互体验的重要基础。目前，研究人员提出了基于数据手套、游戏手柄、Leap Motion、Kinect、穿戴式设备、HMD头盔等传感器的用户行为和动作获取的解决方案，对近距离、一定运动范围场景下具有较好的效果①②。

Oculus Rift、HTC Vive以及PlayStation VR是典型HMD头盔。三款头戴都集成了头部运动追踪、位置追踪系统，其中Oculus Rift和PlayStation VR使用单个动作感应摄像头来识别用户运动，需要将摄像头放置在用户正前方；而HTC Vive集成多达37个LED传感器，能够与安装在房间中的两个传感器构成一个动作捕捉空间，从理论上能够更精准地识别用户微小的动作。除完全VR设备外，还出现了大量简易头戴。谷歌Cardboard是一个搭载智能手机的移动虚拟头戴式显示器，可以提供简单的虚拟现实环境体验。Gear VR的操作是结合视角方向（视角变化的检测使用手机内置的IMU）和触控板（还包括返回和音量调节按键）来完成的。触控板可以实现滑动操作，完成选单翻页的功能；在单页选项下，可以通过转动头部来选择目标，再使用触控板确认，而同类的移动VR头显Google Cardboard只有一个按钮。

输入手柄是另一种典型输入设备，把真实世界的环境数据映射到虚拟世界的设备。HTC全新Vive追踪器，能够将任何附着上的物品变成HTC Vive VR的手柄。Oculus Touch采用了类似手环的设计，允许摄像机对用户手部进行追踪，传感器也可以追踪手指运动，同时还为用户带来便利的抓握方式。

（二）虚拟角色运动重定向

浸入式虚拟现实系统通过运动重定向技术实现虚拟角色对真实用户角色的复制，完成实际用户动作与虚拟环境的交互，实现沉浸式的交互体验。运动重定向技术是将已有运动数据映射到新的目标模型上，并确保新的模型在保持原有运动特征的基础上符合运动学原理，使目标模型的运动流畅自然⑧。（图3）

通常的运动重定向方法是将已有运动数据直接应用于新的目标模型上，即直接将模型各关节的运动角度复制到目标模型上。然而源模型和目标模型往往在比例、结构和初始姿态上不尽相同。如果直接将运动数据复制到目标模型，则很容易违背原有运动中固有的运动性质，从而产生运动失真，出现诸如脚部的穿地、悬空和滑步等错误。

（三）人机交设计

在三维交互人机界面方面，Jacob et al.研究了non-WIMP界面（特别是虚拟环境）的交互特征，将三维用户界面描述为一组连续的关系，并用状态图和基于约束的数据流图相结合的方法设计了界面描述语言⑨。Browman et al.等对虚拟环境从任务、子任务、交互技术三个层次提出技术构件的思想，建立了通用交互上下文环境下的形式化交互技术评估系统⑩。樊银亭等提出一种基于交互历史的自适应用户界面实现机制，并应用于虚拟家居定制系统⑪。林一等提出了一种基于心智模型的虚拟现实与增强现实混合式移动导览系统的用户体验设计模式，用于指导虚拟现实场景用户界面设计⑫。

在三维场景交互技术应用和系统方面，纪连恩等利用语义对象辅助完成三维交互任务，从用户角度屏蔽三维交互技术实现中的底层细节，使用户更加专注于执行高层交互任务⑬。王亮等设计了基于场景语义的三维交互技术，并通过具体应用验证场景语义理论的有效性⑭。Dong Woo Seo提出了基于AR和VR的混合现实技术，用于智能家居的用户交互体验和评价设计⑮。Ryeok-Hwan Kwon等基于VR技术开发了面向免税商店室内景观设计的用户体验和设计评估系统，提高了场景设计的效率，降低了设计成本⑯。Dam et al.探索了融合语音输入和手势输入的度通道交互技术方法，特别是在系统控制方面得到较好应用⑰。刘剑锋提出了一种基于加速度计的三维手势交互技术，应用于虚拟数字奥运博物馆原型系统中⑱。徐崇斌等提出了一种基于Leap Motion的手势自动识别技术，设计了实时非接触式交互原型系统⑲。

图3 运动重定向技术示意图

总体来说，当前对于虚拟现实交互过程中用户界面的作用机制、模型表达和执行特定任务时用户偏好的界面表达形式缺乏系统全面的理论研究，从而不能很好的指导虚拟现实交互界面的设计与开发，导致虚拟现实交互体验整体水平较低，限制了应用推广。

四、总结与展望

虚拟现实技术在三维场景建模、虚拟现实场景人机交互设计方面还处于起步阶段。为提升虚拟现实场景交互应用的浸入式体验效果，在设计层面，需要重点研究如下方面。

（一）图像建模与几何建模相结合的虚拟现实场景建模方案

几何模型的优点是交互性好，缺点是对象模型建构数据量大，真实感较差弱，建模过程复杂。图像建模的优点是虚拟场景渲染质量高，缺点是交互能力有限。因此图像建模与几何建模相结合的虚拟现实场景建模方案将综合两者优点，对场景中固定背景或无需交互场景模块采用图像建模实现，对需要交互与实时调整变换的场景目标或虚拟角色进行几何建模，并根据图像素材完成模型的纹理图像映射，达到真实效果。

（二）基于用户体验的虚拟现实人机交互设计

基于以用户为中心的体验与服务设计是虚拟现实应用人机交互设计的基础。用户体验是用户在使用交互产品过程中的主观感受，包括喜好程度、心理反映、情感因素、认知印象等方面。基于人机工程学和可用性工程的原理，综合视觉、布局、交互和动作设计等方法，设计符合用户使用习惯的体验方式或者产品。用户要被结合进来一起参与开发设计，并对设计结果进行测试和评估，不断完善和优化设计内容。只有很好的去挖掘和预测产品的态度、期望和行为才能更好的进行互动产品的用户体验设计。■

湖南省哲学社会科学基金一般项目（14YBB043），湖南省科技计划重点研发项目(2015GK3008)资助

注释：

①曹林，朱希安.虚拟现实技术应用和Kinect开发[M].北京：电子工业出版社，2015.

②赵杰,交互动画设计：Zbrush+Autodesk+Unity+Kinect+Arduion三维体感技术整合[M].北京：化学工业出版社，2016.

③黄显兵.基于全景技术的景观在线漫游的设计与实现[D].上海：上海交通大学，2012.

④Hee-soo Choi, Sang-heon Kim. A content service deployment plan for metaverse museum exhibitions—Centering on the combination of beacons and HMDs. [EB/J].International Journal of Information Management. http://dx.doi.org/10.1016/j.ijinfomgt[2016-04-017].

⑤Damian Grajewski, Filip Górski, Adam Hamrol, Przemys awZawadzki. Immersive and Haptic Educational Simulations of Assembly Workplace Conditions[J].Procedia Computer Science, 2015( 75)：359-368.

⑥Sotiris Makris, LoukasRentzos, George Pintzos, Dimitris Mavrikios, George Chryssolouris. Semantic-based taxonomy for immersive product design using VR techniques [J].CIRP Annals - Manufacturing Technology ,2012（61）：147–150.

⑦Andrzej Grabowski, Jaros aw Jankowski. Virtual Reality-based pilot training for underground coal miners[J].Safety Science, 2015（72）：310–314.

⑧Hsieh M K, Chen B Y, Ouhyoung M. Motion retargetting and transition in different articulated fi gures[C]//null. IEEE, 2005：457-462.

⑨Jacob R J K, Deligiannidis L, Morrison S. A software model and specif i cation language for non-WIMP user interfaces[J]. ACM Transactions on Computer-Human Interaction (TOCHI), 1999，6（1）：1-46.

⑩Bowman D A, Johnson D B, Hodges L F. Testbed evaluation of virtual environment interaction techniques[J]. Presence, 2001，10（1）：75-95.

⑪樊银亭，等. 虚拟家居定制系统中的自适应用户界面实现机制[J].计算机辅助设计与图形学学报. 2011，23（4）：705-712.

⑫林一, 陈靖,刘越,王涌天. 基于心智模型的虚拟现实与增强现实混合式移动导览系统的用户体验设计[J].计算机学报，2015，38（2）：407-422.

⑬纪连恩,张凤军,付永刚,戴国忠. 虚拟环境下基于语义的三维交互技术[J].软件学报，2006（07）：1535-1543.

⑭王亮.虚拟环境中基于语义的三维交互技术研究及应用[D].合肥：中国科学技术大学，2008.

⑮Dong Woo Seo, Hyun Kim, Jae Sung Kim, Jae Yeol Lee. Hybrid reality-based user experience and evaluation of a context-aware smart home [J] .Computers in Industry, 2016（76）：11-23.

⑯Ryeok-Hwan Kwon, Kwang-Jae Kim, Ki-Hun Kim, Yoo-Suk Hong, Bohyun Kim. Evaluating servicescape designs using a VR-based laboratory experiment: A case of a Duty-free Shop[J]. Journal of Retailing and Consumer Services, 2015（26）：32-40.

⑰Van Dam A, Forsberg A S, Laidlaw D H, et al. Immersive VR for scientif i c visualization: A progress report[J]. Computer Graphics and Applications, IEEE, 2000，20（6）： 26-52.

⑱刘剑锋. 虚拟环境下几种三维交互技术的研究[D].杭州：浙江大学，2010.

⑲徐崇斌，等.一种基于Leap Motion的直观体交互技术[J].电子与信息学报，2015，37（2）：353-359.

Research on 3D Scene Modeling and Interaction Design for VR Applications

LIN Xue-fei
(Sport & Art Collge,Hunan Agricultural University,Changsha 410128,China)

Virtual Reality (VR) technology can get rid of the dependence of the physical scene by virtual reality scene, and create immersion experience personally for users through the interaction design. Focusing on virtual reality scene interaction applications, this paper investigates the key technologies on immersive VR scene modeling and VR based human-computer interaction interface design. Finally, this paper presents possible trends of VR application design in the side of service design.

virtual reality; interaction design; 3D scene modeling; service design

www.artdesign.org.cn

TP2

A

1008-2832(2017)04-0100-03

检 索:www.artdesign.org.cn