基于混合现实技术的室内设计应用研究*

王 丽

（湖南环境生物职业技术学院，湖南 衡阳 421000）

混合现实（Mixed Reality，MR）技术作为虚拟现实技术的进一步发展，和人工智能、量子计算并称为三大未来显著提高生产率和体验感的主要技术，是当下各领域重点关注的焦点。MR 技术应用于室内设计行业中，凭借其沉浸性和强交互性的特点，能实现真实世界和虚拟世界融合的三维可视化，更加直观地展示室内设计的各空间效果和细节工艺。在建筑、室内领域，借助全息MR 设备，从业者可以看到3D 设计模型在真实环境中的全貌[1]，为优化设计方案和提高工作效率提供了有力支撑。在当前积极推动室内设计创新发展的背景下，越来越多设计师将MR 作为技术创新的重要切入点，以期更好地挖掘室内设计的潜能。

1 混合现实技术概述

1.1 泛虚拟现实技术的发展现状

我国的虚拟现实（Virtual Reality，VR）技术起步于20 世纪80 年代，相较于国外起步晚，但这些年发展迅速，目前VR 技术已成熟应用于游戏娱乐领域，在军事领域和医疗领域等都有卓越的贡献。增强现实（Augmented Reality，AR）技术的应用非常广泛，从社交、娱乐到电商、旅游，都能看到AR 技术身影的存在。诸如在电商领域，应用AR技术进行帽子、眼镜的试戴，方便消费者挑选合适的产品。而混合现实（Mixed Reality，MR）技术虽晚于前两者，在工业领域、教育领域、医疗领域、娱乐领域等领域，都拥有了诸多成功的落地案例。诸如湖南首例MR 骨科手术的实施——该手术应用MR 技术，在手术过程中将患者的全息影像叠加到患者真实的髋部和现实手术环境中，实现现实和数字化匹配，医生戴上MR 眼镜，就如同变成透视眼，精准地定位和切除患者的病灶部位。在建筑领域，利用MR 技术具有的现实与虚拟融合的特性，可将建筑设计的模型叠加到施工人员的视觉场景中，与建筑施工图纸等传统的方式相比，MR 呈现的方式直观易理解，可更好地提高施工效率。

1.2 混合现实与虚拟现实、增强现实的关系

VR，顾名思义，就是在虚拟环境中发生的交互式体验，虚拟现实技术。

主要是通过计算机技术，逼真模拟真实世界的虚拟环境，通过使用一些交互设备，能使人产生沉浸感和临场感。用户可以带上VR 头盔，里面的画面随着头脑的摆动而相应呈现出不同画面，仿若置身于真实世界一般，但它是利用电脑技术构筑而成的虚拟世界（见图1）。

图1 虚拟现实技术的应用

AR 技术是通过将真实的环境和虚拟的信息实时叠加在一起，不仅同时展示了现实世界的信息，而且将虚拟的信息展示出来，以达到增强现实的效果。因为需要将现实场景和虚拟信息进行结合，所以要通过图像识别技术来进行现实世界的识别（通常包括环境识别、物体识别、人脸识别），进而在现实世界中叠加虚拟信息。近年来，随着AR 技术的快速发展，其已广泛应用于医学、虚拟训练、武器研制、娱乐艺术等领域。

三“R”被业内统称为泛虚拟现实技术，其相同之处都是以计算机技术为核心。VR 技术和AR技术的区别在于，VR 是通过计算机技术创建逼真的三维虚拟环境；而AR 技术是将虚拟信息叠加到真实世界以达到增强现实的效果，其特点是将虚拟信息带入现实世界；MR 技术是在AR 技术和VR技术的基础上发展而来，既包括VR 技术，又包括AR 技术，是将虚拟信息和现实世界进行完美融合从而产生新的可视化环境，其最大的特点是在虚拟中保留现实，将现实转化为虚拟，从而生成交互式逼真场景并实现实时互动。

1.3 混合现实技术的特点

MR 技术，业内常认为其是升级版的AR 技术，具有结合虚拟和现实、3D 注册、实时运行3 个特点[2]。虚拟和现实结合指的是使虚实融合于一体显示在同一视线中，在MR 技术所展示的现实和虚拟合并的新可视化环境中，物理和数字化对象能同时存在，且数字化对象能以非常逼真的存在方式融入现实世界中，打破真实空间和虚拟空间的隔离性，并就此达成交互，给人浑然一体的真实体验感；3D 注册，是对现场场景中的物体进行跟踪和定位，其中虚拟场景准确定位到真实环境中的过程称之为注册，三维注册就是实现虚拟物体可与现实世界的精确对准；实时运行，将虚拟世界、现实世界与用户通过触摸、体感、语音、手势等方式进行实时交互，形成现实、虚拟和用户间构建信息交互反馈的回路，用户与虚拟现实系统之间可以进行沟通和交流[3]。

2 混合现实技术应用于室内设计中的优势

室内设计是一门综合性很强的学科，它对设计从业人员的设计能力和实践操作能力都有较高的要求，从设计表达、灯光照明、工艺技术到装修选材，每一处细节的变化都影响着室内设计的最终效果。传统室内设计常存在落地现场图与设计效果图差距大、空间的展示具有局限性、工艺结构复杂难表达等难题，这些问题在一定程度上影响了室内从业人员的专业能力的提升和最终落地的设计方案的效果。MR 技术应用于室内设计中，是在其传统模式的基础上使用先进技术手段进行辅助，从而一方面满足客户的多元化需求和沉浸式体验需求，另一方面MR 技术应用于室内设计中，也提升了设计师的设计水平和工作效率。

2.1 形成深度沉浸效果，优化室内空间体验感

应用MR 技术可将原本图像化、文字形态的设计转变为立体化、可视化的设计，将原本复杂的设计表达手法和工艺内容通过全息技术转化为真实可视的三维逼真环境效果，并将真实空间和模拟出的逼真室内模型进行融合，生成虚拟和现实难以区分的MR 环境。将其用于室内设计洽谈阶段中，能够实现客户移动终端的直观展示和深度沉浸效果。客户通过佩戴MR 头显设备，可以360°直观感受室内设计的最终效果，随着客户视线的移动变化，追踪装置跟踪客户视线并快速实现客户真实空间坐标和虚拟场景坐标间的匹配关系，将真实场景和虚拟场景完美融合并反馈给客户，从而为客户创造深度的空间沉浸式体验，促进快速成单。

2.2 强交互性，大幅度提升设计水平和工作效率

室内设计涉及的专业门类多样复杂，且在实际的设计过程中需结合室内设计的具体要求和特点，因而对设计从业者的技术和实操能力要求较高，对缺少经验的设计人员而言，无形中增加了难度。MR 技术可根据室内设计职业的诉求，就其所具备的真实性、实时交互性强的特点进行虚拟和现实的深度融合，并就室内设计的各个阶段进行模拟可视化和互动性操作，这能让设计人员更好地参与到各阶段的具体操作和实施中去。沉浸式的模拟与实践能够使设计人员快速进入工作状态，并及时发现问题、解决问题，促进建筑室内设计人员水平的进一步提高[4]。从而大幅提升设计人员的工作效率，便于设计人员进行室内设计与实施，并就施工效果进行阶段性对比和验收。MR 技术作为一项新兴技术，对于提升设计水平、优化设计过程以及改善设计环境等方面具有重要意义，但还需进行进一步完善与发展，增强此项技术的现实意义[5]。

3 基于混合现实技术的室内设计应用研究

MR 技术应用于室内设计中，主要体现在虚拟素材资源库的构建、沉浸式的效果体验和强互动性操作3 个方面。

3.1 室内三维影像模型资源库的建立与整合

MR 技术能够以真实环境和虚拟信息为基础，构建出虚实结合的室内空间。因而为了更好地进行现实和虚拟的融合与互动，在室内设计中，虚拟资源库的建立和丰富显得尤为重要。虚拟资源库主要由三维影像模型所组成，进行三维影像模型制作的第一步是通过常规三维建模软件进行建模，其模型在设计时需具备基本的移动、缩放、旋转等功能，三维影像模型可通过FBX 格式导出，导出的模型能在常规的三维软件如3Ds Max 或CAD、Sketch UP 中进行材质的更换调整，修改调整的模型通过FBX 格式导出，最后经编程成可实现的三维影像模型。MR 技术借助三维注册技术将三维影像模型（如天花造型）精确注册在真实空间环境中，并通过交互技术（眼动交互或手势交互、语音交互）进行模型的放大缩小和拆卸、组装，由于室内设计涉及室内空间各界面装饰和家具、灯饰、布艺软装饰品、绿植等方面的搭配设计，在进行三维影像模型建设时需考虑模型资源库品种的全面性和完整性。

3.2 基于混合现实技术的沉浸式室内设计流程

传统的室内设计方案通过图纸和效果图呈现，具有一定的局限性，以MR 技术作为用户和环境的导向媒介，通过MR 技术进行全息投影，将室内设计方案进行在线设计和展示，能够帮助设计人员更快地接触室内设计的空间设计、各界面设计及设计搭配等，沉浸式的可视化效果可帮助设计人员直观看到室内空间效果，从而可快速地进行调整和进一步细化。

具体的操作是设计从业者佩戴HoloLens 就能做到将虚拟三维影像模型与真实环境完美融合，佩戴者能根据视觉的变化和走动看到实时更新的动态导向信息，仿佛身临其境，完全沉浸于当前的空间环境中；室内空间中各界面的设计（地面、立面、天花的设计），采用MR 技术能够进行全息投影，将真实的空间与虚拟资源模型进行融合，将虚拟界面模型叠加融合到现实的空间界面上，进行在线设计，空间效果快速直观地呈现在眼前，且虚拟的室内界面模型的各项分部都能够通过HoloLens 进行滑动、抓取等虚拟触控手势来完成交互的操作指令，并通过视动交互技术和语音交互技术进行全屋漫游和模型拆解更换，呈现最终的室内设计效果。MR技术真实的现实视觉效果和强交互性特点能大幅度提升设计人员的新鲜感与自我获得感，基于这一特点，将MR 技术应用于室内设计中，通过沉浸式设计进行行业的变革突破，加速行业的发展。

3.3 提升交互性，增强目标客户多感官体验

皮亚杰指出：人的认知发展源于与所处环境物体交互所发生的动作[6]。传统室内设计作品因技术的局限性往往只能通过图片等静态的形式来展示室内风格和布局、装饰，客户只能根据图片了解一个大概的空间效果，对于室内的大小感受、动线走向、材质肌理、空间氛围等都难以感同身受，MR 技术打破了传统室内设计模式，将现实空间与虚拟资源完美融合，满足客户想要的视觉沉浸感，同时其优越的交互性可以更加逼真地、生动地传达室内信息，并达成感官互动，使客户获得了传统室内设计在现实世界无法实现的参与感。现阶段，MR 技术的交互技术主要通过HoloLens 来实现，其各个传感器采集的信息都通过头戴设备计算并处理。具体操作是客户佩戴MR 头显设备进入其现实的室内空间与虚拟模型融合的场景中，此时客户的可视范围为一个以用户头部为视点的锥形区域范围，当佩戴者往前走或移动视线时，其空间的视觉范围也会根据客户定位和视觉跟踪系统进行快速的转换。若客户想通过DIY 进行室内家具的更换和移动时，可通过注视、手势或者语音等方式进行交互。例如，通过手势进行交互时一般采用直接用手操作，用手抓取、拖动虚拟模型的方式，并在头显设备中能够得到相应的视觉反馈。除视觉体验外，在室内设计中MR 技术结合触觉反馈技术，为虚拟模型和人之间建立信息沟通的桥梁，通过触觉反馈技术能让客户感受到室内各种材质的触感肌理。实际操作中，客户佩戴力反馈设备如触觉手套HaptX，就可以感受到虚拟模型的真实存在，感受其软硬和纹理状态。MR 技术通过提高客户的视觉、触觉等感官体验，能够让客户直观地观看到真实空间通过设计表达所呈现的空间特点，而其交互性又加强了人与室内设计的互动交流，使客户能够主动参与到室内设计中来，拉近设计者和用户之间的距离，真正做到以用户为中心的设计。

4 结束语

MR 技术作为一种融合现实世界与虚拟世界的新技术，因在教育、医疗、娱乐领域应用前景广泛而备受关注，在室内设计中，MR 技术所提供的沉浸式和强交互性的体验，满足了室内设计想要达到的逼真感和深沉浸式、空间展示与互动的效果，突破了传统室内设计模式的局限性，很好地解决了室内设计领域存在的问题。随着MR 技术深度融入室内设计中，未来将给室内设计行业带来翻天覆地的变化。

目前MR 技术还处于快速发展中，仍然存在一些技术上的问题需要去攻克。例如，设计行业应用MR 技术，存在前期投入成本高、可利用的资源少、MR 技术还不太成熟的问题，在实际的室内设计应用过程中并不能非常完美的实现混合现实效果，还存在一些技术上的问题需要行业慢慢去解决。