HoloLens 2混合现实新特性探究

摘  要：微软公司于2019年11月7日开始向全球发售最新的混合现实设备HoloLens 2。针对HoloLens 2所具备的新特性进行探讨，认为该混合现实设备可以提高用户的佩戴舒适度、增强用户的沉浸感、提供最新的眼动追踪功能以及更加自然的多种手势操作，并且集成了先进的人工智能技术，可以加速为用户实现商业价值。

关键词：混合现实;HoloLens 2;新特性;虚拟现实;增强现实

中图分类号：TP316.7      文献标识码：A 文章编号：2096-4706（2020）02-0121-03

Abstract：Microsoft Corporation launched the latest hybrid reality device HoloLens 2 on November 7，2019. This paper discusses the new features of HoloLens 2，and considers that the hybrid reality device can improve the users wearing comfort，enhance the users immersion，provide the latest eye tracking function and more natural multi gesture operation，and integrate advanced artificial intelligence technology，which can accelerate the realization of commercial value for users. artificial intelligence technology，which can accelerate the realization of commercial value for users.

Keywords：mixed reality;HoloLens 2;new characteristics;virtual reality;augment reality

0  引  言

混合现实（Mixed Reality，MR）是一种新的计算机技术，它使人们可以观察添加到现实世界中的虚拟对象并与之交互。在一个水平的坐标轴上，当把现实对象放置在其最左边端点，把虚拟对象放置在其最右边端点，此时，增强现实（Augmented Reality，AR）位于不包含最左边端点的左端区域，而虚拟现实（Virtual Reality，VR）则位于最右边端点。而MR则包含了该水平轴上中间及右端区域[1]。因此，MR在特殊情况下，既可以是AR，也可以是VR，AR和VR只是MR的特例。

2015年1月，微软公司发布了HoloLens头盔，这是世界上第一台无电缆全息计算机设备。HoloLens具有内置的Windows 10操作系统。它具有中央处理单元（CPU）、全息处理单元（HPU）、4个可识别环境的相机和深度相机等传感器。用户使用特定手勢、凝视和语音来操纵虚拟世界，可以得到良好的用户体验。

基于HoloLens的MR技术，为业界带来了5个方面的重要变革，它们分别是新交互性的方式、新可视化的方法、新可视化的分析方法、新协作的方式以及新的决策方法[2]。

2016年8月，日本航空公司为培训维修飞机发动机的机械师和机组人员，使用HoloLens设备开发了新的培训应用程序。机组人员在虚拟环境之中，体验飞机的驾驶舱内部。机械师则可以在虚拟的发动机上进行学习和培训，可以选取重要的发动机零件学习其结构，以及如何对其进行维修等。

国外的许多行业已经开始使用基于HoloLens的MR技术，例如汽车设计、游戏和娱乐、医疗和培训等。

国内也开始运用基于HoloLens的MR技术。对于核电站中的设备维修[3]，借助HoloLens的MR设备，开发了核电站设备的维修辅助系统，包括5个功能模块：交互、仿真、分析、指导和监督。MR技术也运用于轨道交通领域中新产品的设计[4]。将MR技术结合BIM技术运用到建筑行业，可以为建筑行业带来许多机遇，如：可视化建筑方案、协同化模型设计、信息化施工过程的以及高效运营维护[5]。

在巴塞罗那举行的2019年世界移动通信大会上，微软公司向世界宣布HoloLens 2面世。2019年11月7日，微软公司宣布发售最新的第二代MR设备——HoloLens 2。HoloLens 2与HoloLens相比较，重量更轻，用户佩戴更加舒适，视野从以前的34°增加到了52°，搭载骁龙850处理器，实现了眼动追踪功能，交互的手势操作更加精细，可以实现美轮美奂的混合现实交互体验。

1  提高了佩戴舒适度

为提高HoloLens 2的佩戴舒适性，微软公司对数千个不同人种、不同性别、不同年龄的人体头部，进行了细微的3D扫描，采用了符合人体工程学的设计，机身材料使用了碳纤维，将电池后置，重心后移58 mm，更好地平衡了HoloLens 2的重量，虽然整体重量只减轻了10 g，但用户体验的舒适度大大提高[6]。在设计时由于考虑到头部的形状、尺寸、，因此HoloLens 2可以调节，适用于任何人。头部前、后都设计了靠垫，佩戴时就像戴帽子一样便捷、简单，原有的HoloLens压迫鼻梁的问题也得到了改善。与原有的HoloLens相比佩戴舒适度提高了3倍，用户持续佩戴HoloLens 2到感觉不舒服的时间，也延长了3倍。

对于戴眼镜的人来说，可调整HoloLens 2到眼镜正前方。向上翻转遮阳板即可退出混合现实。HoloLens 2的透镜并不是完全透明的，而是带有少许颜色，当裸眼直视或者跟人说话的时候，透过眼镜也能有良好的视野，开发者甚至能够佩戴着该设备编写代码，这个功能获得了非常多的正面反馈。

2  增强了沉浸感

HoloLens 2从提高视场角和光学扫描部件两个方面，来增强沉浸感。

2.1  视场角

HoloLens 2与第一代相比较，不仅分辨率有所提高，而且视场角也增加到原有的2倍。原有的HoloLens单眼为720P，而HoloLens 2单眼则达到了2K的分辨率，平均1°的像素从23 px提高到了47 px，显示区域的比例也从原有的16：9提高到了4：3，用户纵向的视野大幅提升。

需要说明的是，视场角增加到2倍的这个数值并不严格，实际上HoloLens的对角视场角为34.0°（垂直17.5°，水平30.0°），HoloLens 2对角为52.0°（垂直28.5°，水平43.0°）。

用户佩戴上HoloLens 2之后，马上会感觉到视野是原始大小的2倍。所看到的区域要大得多。此时只需用眼球转动，就可以跟踪周围的用户界面中的虚拟对象，而不需要像从前那样转过头来。更大的视野有助于用户体验更加真实的虚拟对象。

在用户佩戴HoloLens时，由于视野较小，虚拟对象很容易从用户的视野中被剪切掉，此时，迫使用户移动甚至退后一步。佩戴现有的HoloLens 2设备，可以在任何位置挥动手势，非常自然、舒适，也不必像佩戴HoloLens时，手势需要进入狭小的视野，令人烦扰。

2.2  新的光学部件

HoloLens 2的体积、重量与HoloLens相比较，几乎没有太大变化。但是视场角扩大到了2倍。一般来讲，随着屏幕的扩大，设备的体积、重量、耗电量就会增加，但HoloLens 2采用了微软研发的MEMS光学部件——激光扫描屏幕有效地解决了问题。通过MEMS的高速微小震动，实现每秒54000次的激光扫描。

原有的HoloLens使用了一个基于LED的小显示器。HoloLens 2使用基于镜面的激光系统，对显示器进行蚀刻，该激光系统使用3个激光来创建每秒120帧的图像，高速绘制图像。

3  眼动追踪功能

眼动追踪是最新的HoloLens 2所提供的一项重要功能，它通过内置摄像头识别用户凝视的地方，能够准确地知道用户在看什么，并实现与虚拟对象的交互。即使在用户佩戴普通眼镜的情况下，仍然可以使用该功能。

眼动追踪的真正价值可以体现在用户的阅读方面。在用户佩戴原有的HoloLens时，在阅读一篇较长的文章时，用户需要通过手势的点击操作，实现内容向下或向上滚动，或通过语音，控制内容的向下滚动或向上滚动，但是HoloLens用户可能处于嘈杂的环境之中，耳机无法清楚地接收到语音命令。通过HoloLens 2所提供的眼动追踪功能，当用户阅读到文章的底部时，由于用户的眼睛凝视文章的底部可以被识别到，此时将自动向下滚动。如果用户需要返回查看已经阅读的先前内容，用眼睛凝视文本的顶部，此时它就会向上滚动，而不再需要移动头部。通过用户的眼睛凝视方位的变化快慢，就可以调整移动文本的速度。

实现上述的眼动追踪算法具有一定的难度。因为此时的头部没有任何参照物，头部可以朝向任意一个方向，而在头部移动的时候，则希望图像能够稳定地显示在用户头部的正前方。而微软公司开发的这种与投影相关的算法，则根据头部的运动，来判断头部的将来位置，然后在指定的时间发射激光，确保在正确的位置渲染图像。

4  多种手势操作

HoloLens 2的手势操作与原有的HoloLens相比较，更加自然、直观和方便。HoloLens 2不再配备物理控制器，完全依赖于手势识别和语音控制。微软公司通过机器学习算法，可以准确识别单只手的25个关节点以及手掌的方向，从而很好地识别用户的双手，如手指弯曲、手势运动、较精确的手指定位等。同时手势操作也有所增加，比如对摘、抓、捏这种细微的差别都能进行识别，从而可以移动物体、旋转物体，更改物体尺寸等。可以用一只手或两只手移动虚拟对象，并使用更直观的夹点来移动物体或调整物体大小。

在操控较远处的虚拟物体时，还可以通过指定手部所伸展出的光线来对物体进行操控。伸出手指时如果会看到一条光线，则可以将该光线附加到指定的虚拟对象之上，然后将手指向后拉，则物体会自动用户靠近。用两只手的手指可以旋转、缩小或放大对象。还可以通过组合手势，用手指將物体靠近，然后用手抓住它。

要移动某些东西，用户还可以将手伸到虚拟对象的中心，并握紧拳头，然后移动拳头就可以移动虚拟物体。用户也可以将两个拳头都放进虚拟对象之中去，将拳头拉开，此时虚拟对象就会被放大。

HoloLens 2还可以定位手的上面和背面。如在蜂鸟的演示应用中，虚拟的蜂鸟首先在整个房间里自由地飞来飞去，如果用户张开手掌，则蜂鸟就会飞到用户的手中，并盘旋在手掌之上，非常逼真。如果此时用户向上、向下、向左或者向右移动手掌，那么这只蜂鸟会移动并始终停留在用户的手掌上方。当用户把手移开或合上拳头时，这只蜂鸟就会飞走并在房间里四处移动。

需要说明的时，如果用户已经掌握了原有的HoloLens的手势，仍然可以在HoloLens 2中使用。

5  集成先进的AI技术

当用户第一次戴上新的HoloLens 2设备时，该设备会自动识别用户手的真实形状，以及两眼之间的准确距离。

为了构建手部识别和跟踪系统，微软公司的AI团队，通过一个向内指向的半球形摄像机，拍摄、记录各种各样人手的形状，然后通过使用云来处理、构建能够表示人类手形和动作的3D模型。

通过上述建立的手形3D模型，该团队再使用计算机绘制逼真的虚拟手部图像以及相对应的标签，使得该手形模型在今后各种各样的手形、姿势和运动中具有稳健性。

该团队使用上述数据，训练一种紧凑的AI深度神经网络，然后将训练获得的AI模型部署到HoloLens 2上，并可以在深度传感器所发出的每一帧上高效运行。

当新用户佩戴HoloLens 2的时候，该手部识别和跟踪系统使用部署在设备上的AI模型，将个性化的手形3D模型实时匹配到用户手中，实现所需的手势精确跟踪和与虚拟对象的本能交互。

该团队还采用上述类似的方法，构建、训练眼动追踪模型。其中需要测量眼睛瞳孔中心之间的距離，即瞳孔间距。由于瞳孔间距会因人而异，并会影响近视或远视用户观看虚拟对象，因此，同样需要训练一种紧凑的AI深度神经网络，形成一个眼动跟踪模型，最终部署到HoloLens 2之上，所以用户就可以使用眼动追踪功能。

还有新的定位和映射功能，同样也使用了AI技术。这些智能功能，都被嵌入全息处理的第二代定制芯片HPU 2.0之中。

6  加速实现商业价值

微软公司为助力混合现实应用，还发布了相关的应用，如Dynamics 365 Guides、Dynamics 365 Layout和Dynamics 365 Remote Assist等应用，加速为混合现实用户实现商业价值。

微软公司还通过云端，提供两项全新的混合现实服务，帮助开发人员和企业打造跨平台、适合各种行业领域的企业级混合现实应用：

云端空间锚这种新的技术，方便开发人员在混合现实的应用中，比较容易地实现混合现实的分享、协作。

云端远程渲染，为方便用户更快、更好地决策，在不降低图像质量的情况下，可以让用户能够体验3D虚拟场景。通过对3D模型进行减面或简化，可以渲染较高质量的3D虚拟场景。对于设计等领域来说，细节至关重要，因此，需要通过云端呈现高质量的虚拟对象，然后传输到HoloLens 2设备。

7  结  论

HoloLens 2提高了用户佩戴舒适度，视场角扩大到了2倍，并提供了最新的眼动追踪功能以及精细的手势操作，相信不久的将来，会不断应用到相关企业领域，为用户实现商业价值。

参考文献：

[1] MILGRAM P，KISHINO F. A taxonomy of mixed reality visual displays [J]. IEICE Transactions on Information and Systems，1994，77（12）：1321-1329.

[2] 龚赤兵.HoloLens增强现实技术的变革和性能评估 [J].科技创新导报，2018，15（36）：217-219.

[3] 李喆，陈佳宁，张林鍹.核电站设备维修中混合现实技术的应用研究 [J].计算机仿真，2018，35（5）：340-345.

[4] 汤卓慧，朱培毅.虚拟现实、增强现实和混合现实及其在轨道交通行业中的应用 [J].铁路通信信号工程技术，2016，13（5）：79-82.

[5] 龚赤兵.HoloLens混合现实技术在建筑行业中的应用研究 [J].现代信息科技，2019，3（4）：147-149.

[6] PALMER D. Hands-on with Microsoft HoloLens 2：More comfortable，more intuitive and more potential [EB/OL].（2019-03-01）.https：//www.zdnet.com/article/hands-on-with-microsoft-hololens-2-more-comfortable-more-intuitive-and-more-potential/.

作者简介：龚赤兵（1964-），男，汉族，湖北武汉人，教师，副教授，硕士研究生，研究方向：计算机应用。