浅谈虚拟现实技术的发展现状

常州刘国钧高等职业技术学校，江苏 常州 213025

引言

2014 年 3 月美国的脸书 (Facebook) 以 20 亿美元的价格收购了创业公司 Oculus，Oculus 研发的 VR设备 Rift 归 Facebook 所有。Facebook 的创始人和首席执行官马克 · 扎克伯格对 VR 技术特别青睐，在 2016年的世界移动通信 (MWC) 大会上，他表演了当今最成熟的 VR 产品——Oculus Rift，这是一次标志性的事件，它第一次将 VR 概念带到了世界大众面前。在 Facebook 的重视和带动下，VR 在 2016 年火起来了，VR 行业似乎即将爆发。在各国媒体的一片期待和赞美声中，世界的资本和初创者喊着口号一头扎进VR 行业。种种数据和现实显示，VR 市场非但没有在 2017 年爆发，反而远远没有达到当初媒体上的各种期待。2016 年，VR 的市场总产值仅为区区 18亿美元，总销量只有 630 万台，包括 Oculus，HTC vive及 PSVR 都羞于披露自己的销量。这清楚的告诉人们：2016 年 VR 声势虽然达到了高峰，它展示了 VR技术在当时最好的一面，但同时这一年似乎也是 VR业界的转折点，很快就暴露出这项技术的不成熟之处，而这种不成熟的技术在遇到各种糟糕的产品设备设计和市场投机之时，出现了近乎灾难性的后果。活生生地给人们呈现出了一幅雷声大雨点小的景象。

当然，VR 行业呈现出来的这种不景气状况是有多方面原因造成的，譬如：VR 应用范围太窄，目前主要应用仅限于游戏和影音娱乐；VR 游戏内容开发的瓶颈一直无法解决，导致 VR 游戏内容匮乏，游戏时间短暂，更缺乏对用户有吸引力的内容；VR 商业模式没有成型，性能最强的高档 VR 产业价格高昂，还需要配置高性能 PC 使用，使很多玩家望而却步，而低价 VR 产品画质低劣，使 VR 产品“变味”，让人们产生不屑与鄙夷的情绪，VR 游戏还容易延迟卡顿，使一般消费者难存长期“上瘾之需”。以上种种原因都给 VR 行业带来不利的影响。但是，若仔细考察就会发现真正造成 VR 产品不成功和无法普及的主要原因，还是 VR 产品在技术上的不成熟，归结起来可以在以下几个主要方面来寻找 VR 技术存在的问题，从而探索 VR 在技术上的发展路径。

1 基本科技创新支撑不足

VR 中最重视的是人的感受，强调人的主导作用，因此，“交互性”和“沉浸性”这两个特征是VR 技术与任何其他相关技术 (如三维动画，仿真，科学可视化等) 最本质的区别[1]。也是支撑 VR 科技创新最大的两大亮点。不过正是在这两点技术上存在问题反映了 VR 科技创新的支撑不足：

1.1 交互能力不完善，用户对 VR 认知度较低

目前，典型的最强悍的 VR 高级产品是 Oculus Rift[2]，但其交互能力还是比较简单的，仅能实现对三维立体环境的观赏，在与虚拟环境、虚拟人物的交互式互动上，只具有简单肢体动作的输入能力，只能跟踪头部活动，不能跟踪身体的其他部位。而人们希望完善的 VR 交互能力要具备三个方面的能力，一是灵活性的交互，不只是简单的走、跑、跳、坐，而是人体的任何动作，这样才可以保证身体的感官和视觉同步，才能保证产生任何意义上的“沉浸感”。二是整体性的交互，用户作为一个活动的整体在虚拟世界中都要具有肢体的交互能力。三是便捷性交互，要让用户具有便捷地输入文字信息的功能，毕竟在虚拟世界里，除了语言之外，文字表达也不可或缺，但当前VR 的大多外接设备都是手柄，要实现文字输入几乎不大可能。

1.2 没有真正进入虚拟世界的方法

仍以 Oculus Rift VR 产品为例[3]，它不仅需要配置一个高级的 PC 机，而且各种装备和线绳的连接严重阻碍用户能轻松自由地与 VR 世界的交流，使用户觉得没有真正在自由移动地进入 VR 虚拟世界。人们希望，一个成熟的供游戏主机和其他 VR 应用中使用的 VR 设备要去掉缆线，应该利用无线通信技术，使VR 设备中的连接是“无线”的，当然无线 VR 设备也应该是消费者和开发者在经济上能够负担得起的。

1.3 没有一套适合 VR 设备专用的操作系统

目前来说，几乎所有 VR 设备搭载的都是安卓或者视窗的操作系统，而这些操作系统主要应用于手机、PC 和平板电脑等设备。它们并不是专为 VR 设备开发的，因此也就并不完全适用于 VR 设备，这就导致目前的 VR 设备都只能为用户在虚拟世界中提供简单的菜单选项，来指引用户进入相关应用，使得其他服务在现有 VR 设备中和现有的操作系统中并不能获得较好的支持，现在 VR 设备能力不好，这是一个重要因素。

2 VR 领域亟待突破的难题

要突破 VR 领域陷入的窘境，还有以下几个亟待解决的难题。

2.1 容易让用户产生眩晕感

人们在观看周围的环境时，由于两只眼睛的位置不同，得到的图像略有不同，这种视觉差异产生的图像在脑子里融合起来，就形成了一个关于周围环境的三维立体的整体景象，这个景象中既包含了平面的几何位置和颜色信息，也包含了距离远近的信息 (深度信息)。人眼在感知三维立体世界的深度信息时，有两套系统，一是两眼的视差，二是眼睛焦距的远近比较，即不同距离下人眼晶状体的不一样的变形程度。那么，要有好的 VR 三维立体体验也就需要与人眼一样通过两套系统来感知三维虚拟世界的深度信息，如果两套系统得出的结果不同，人便会产生眩晕感。目前的 VR 系统中，是采用单块显示器来产生图像，为了得到深度信息，采取的办法是让用户戴上一个特殊的眼镜，戴上这个眼镜后，一只眼睛只能看到奇数帧图像，另一只眼睛却只能看到偶数帧图像，利用奇、偶帧之间不同图像，也就是通过双眼视差及画面变形，使用户产生较强的立体感和景深感。但是，这种 VR 产生的图像，都是从同一屏幕上发出的，而人在观看时眼睛晶状体的变形程度是不会改变的，这不符合人眼观看真实三维物体时通过改变眼睛晶状体感知深度信息的习惯，这会导致人眼的焦距紊乱，较长时间观看就会使眼睛感到吃力，产生眩晕感。所以，眩晕感从具有目前的 VR 设备后一直存在，也一直是VR 设备实现影音效果时客观存在的难题[4]。

2.2 “沉浸体验”与“真实感”难以兼得

革命化的视觉体验——“沉浸体验”是被作为衡量VR设备好坏的一个非常重要的指标[5]，然而在如今的技术条件下，沉浸体验却与衡量 VR 优劣的另一项指标——画面“真实感” (即清晰度) 发生了矛盾，两者似乎互为“敌人”。

画面的“真实感”与“清晰度”是密切相关的，想要画面变得更加真实，就需要高清晰度来支持，然而，若清晰度提高了就能看清远处景象，那么画面就会离人眼更远，从而降低沉浸体验，即降低用户真正身临其境的沉浸式临场感和存在感的体验。反过来也是这样，为了加强“沉浸体验”，就希望离屏幕近些，此时的画面清晰度却下降了，画面的“真实感”也减弱了。之所以会发生如此情形，主要是因为受屏幕分辨率的限制。我们可以作如下的理解，离屏幕越近，屏幕上的小颗粒感就越强，而这种颗粒感通过透镜放大后会显得更明显，从而导致人眼获得的画面实境比较模糊，即画面“真实感”下降了。

要解决“沉浸体验”与“真实感”之间的矛盾，就必须提高屏幕的分辨率。分辨率提高了就会降低颗粒感，如果分辨率没有达到一定程度，就很难解决这个难题。而要达到沉浸体验与清晰度的均衡，起码需要 4K 的分辨率。但是，目前各厂家提供的 VR 头戴显示器产品都难以达到 4K 分辨率。如今各厂家都在进行探索，如何在“沉浸体验感”和“清晰度”之间找到更好的“平衡点”[6]，以求得在相对较好的沉浸体验感下不降低清晰度。当然，这也是 VR 硬件所面临的一个较难的问题。

2.3 屏幕刷新速率难以突破

屏幕的刷新率就是屏幕的刷新速率，刷新频率越低，图像闪烁的抖动就会越厉害，眼睛疲劳得就越快，有时会引起眼睛酸痛、头晕目眩等症状。显示屏幕刷新率越高，画面图像稳定性就越好，也越自然清晰，屏幕对眼睛的刺激越小，也更能保护眼睛。由于受到屏幕带宽的限制，在一定屏幕硬件尺寸和一定软件分辨率情况下，屏幕刷新率是受限的。在屏幕带宽不变的情况下，分辨率越高，刷新率就越低，要想提高刷新率，一是采用大屏幕显示器来提高带宽，二是提高显示器的高频处理能力，大幅度提高成本。

对于电视来说，80 Hz 以上的屏幕刷新率就完全满足人们稳定清晰地观看视频节目的要求了。但是，120 Hz 的屏幕刷新率才是 VR 画面接近于现实的最低要求。当然，PC 显示器可以满足这个 120 Hz 屏幕刷新率的要求，这也是高档 VR 设备要求配置高级 PC机的重要原因，但是当前手机屏幕的刷新率基本上还停留在 60 Hz 的水平，所以对于以手机显示屏为显示设备的各种移动式和一体机的 VR 产品，因受屏幕刷新率的限制，往往会使其视觉体验只停留在比“视频”好一些的水平上，而且使用时间不长，就会使眼睛疲劳，人也会感到不适。要想提高屏幕刷新率，就要大力提升 VR 芯片的高频处理能力、计算能力，还要减低对芯片功耗造成的压力，这就会对 VR 设备的硬件和软件提出更高的要求。

3 VR 的其它几个技术障碍

在 VR 前进的道路上除了以上问题外还存在一些其它几个技术障碍，主要的技术障碍有如下两个。

3.1 VR 的部分硬件技术还不成熟

目前，VR 在硬件技术方面，除了线缆影响移动体验，屏幕分辨率和刷新率还待提高外，一个很重要的方面是 VR 头盔体积太大，十分笨重，看上去有点蠢。要向轻盈方向上努力。VR 眼镜也不够轻便，要让用户乐意使用，就要做到使 VR 眼镜与一般人佩戴的眼镜相似或相近。

3.2 VR 内容制作成本太高

如今，从 VR 内容制作的过程来说，首先必须用特殊的拍摄设备才能获得 360 度全景视频内容，要得到体验效果良好的视频内容，必须购买好的拍摄设备，不但价格非常昂贵，而且操作拍摄设备时人数众多，对使用设备的人的技术要求很高，制作一款美国最高级别 (3A 级别) 的游戏，需要千万美元级别的资金投入和超过 100 人的制作团队，这会使内容提供商大幅度加大制作成本，严重影响产品市场化和商业大众化。

VR 内容制作成本太高，导致 VR 游戏和影视内容匮乏，游戏类型小时长短，严重缺少有吸引力的对用户有黏性的内容。VR 内容制作成本的居高不下，也会大大增高 VR 作为一般人员社交功能的门槛。而 VR 要真正在商业市场上获得与智能手机那样的成功，就必须在社会功能上要有重大突破。

4 VR 技术发展的一些重要进展

技术创新、技术进步是 VR 产业发展的基本立足点，欣喜的是近来 VR 在技术上已经或正在获得一批令人兴奋的技术成果。

4.1 VR 的眩晕感难题已获得较大程度解决

突破 VR 技术窘境的一个重大难题是要解决 VR的眩晕感，近来这个技术难题倍受重视，可喜的是它已获得较大程度的解决[6]。

VR 产生眩晕的一个重要因素是显示屏的屏显不够，要不眩晕，VR 输出的画面必须要有足够的刷新率 (120 Hz以上) 以及足够高的分辨率 (4 k 以上) ，还要提高数据传递速度 (头盔延迟要小于 20 ms)。一些 VR 商家已经开始用 2 k 屏、4 k 屏，或者用双屏以及 OLED 柔性屏，来全面提升屏显、刷新率和延迟显示。

Facebook 的 Oculus 想出了一个解决分辨率的较好办法，就是所谓的注视点渲染技术，即着重渲染人眼聚焦的地方以及周围的图像，这部分采用全画幅渲染，而其它部分就进行普通分辨率的渲染。这项技术的提出可在较大程度上解决 PC 和手机屏处理能力不足的窘境。当然，应用注视点渲染技术还需要眼球追踪技术的支持，我国“七鑫易维”公司就是一家致力于眼球追踪技术的公司。应用眼球追踪技术后，VR设备就可以知道 VR 使用者注视点在哪里，并进行相对应的注视点渲染。注视点渲染技术很符合人眼在观看东西时候的习惯，焦点清楚，背景虚化。估计注视点渲染技术 (包括眼球追踪技术) 有可能到 2020 年会成为 VR 产品标配。

高通公司采取了三项技术措施来解决 VR 的眩晕问题。这三项技术措施中首先是控制时延，保证 20 ms 的画面感时延，可以明显减缓眩晕感。其次要提高 VR 芯片的处理能力，在高通骁龙 835 平台的强处理能力下，VR 设备能够取得主观上更轻微的不舒适感。此外还要控制定位音效，使定位音效确保不眩晕的帧数。

4.2 VR 即将进入光场视网膜成像时代

人眼为什么在观察周围场景的时候有很强的三维立体真实感呢？这是因为人眼可以主动选择对焦，当人眼观看近景的时候，远景是模糊的，反之亦然。而目前的 VR 显示技术往往是投射全幅清晰的画面给双眼，这就不符合人眼观看周围景物的习惯，同时也会增加大脑的负担。目前的 VR 虚拟显示原理和 3D 显示都是采用双目视差的方式，即通过左眼和右眼构成一个 3D 景深效果，从而看到景深的概念和感觉。而事实上相对人眼来说画面都是投射在固定的焦距上(显示屏上)，人眼的聚焦距离 (通过人眼的晶状体调节屈光度，使眼球聚光的焦点准确地落在视网膜上) 落在屏幕的位置，而双眼的汇聚距离 (双眼汇聚焦点的距离) 不断调整，这也不符合人眼观看周围真实景物的习惯，会导致人眼的焦距紊乱，长时间观看会使 VR使用者感觉不太舒适，成像不够逼真，也是导致人们头晕目眩，眼睛胀痛不良感受的主要原因[7]。

光场扫描显示技术是对于显示的视野中的每一点生成一个与虚拟深度相对应的调节反应，真实再现景深维度的信息，可以做到观看近景的时候远景模糊，观看远景的时候近景模糊，这时聚焦距离与汇聚距离是匹配的[8]。

光场扫描显示技术能够真实地再现整个光场景物所有方向的光线信息，既包括 (x, y) 平面的几何位置和颜色信息，还保留了最真实的深度光线信息 (例如不同的光强和颜色)，通过模拟整个三维光场，让人眼得到了真实的视觉感受，尤其是在景深这个维度。

光场扫描显示的真实性，主要体现在两个方面：一是使眼睛的聚焦距离与双眼的汇聚距离一致，解决了 VR 晕动症的问题；二是人眼可以主动聚焦，聚焦的球面清晰，该球面以外的距离模糊，符合人眼的观看习惯，理论上与人眼观看周围真实物体没有区别，似乎应该是 VR 显示的理想的终级解决方案。

我国成都虚拟世界科技公司 (IDEALENS) 正在开发这种光场级技术[9]，他们将把我国的 VR 带入光场视网膜成像时代，该公司的做法是在新的光场级技术——光纤扫描中，将光纤扫描器件的体积缩小到比如立方毫米级光纤，把它平铺在人的眼睛前面，通过一个特制的光学组件投入到眼睛当中，其功率非常小，通过这个过程，实现对于各种景深不同的二维叠加过程中重复模拟，实现三维成像效果，以此技术来替代目前的一些 VR 主流成像技术。它不仅可以解决 VR 眩晕问题，还可以把该技术与 OLED (有机发光二极管)显示器相结合，把 VR 眼镜的尺寸做得更小更轻。

4.3 新一代高效视频压缩技术更能满足VR视频的要求

VR、AR 等视频领域的应用带来了新的视频体验，这种 360 度全景视频的应用也需要性能优越的视频压缩技术的支持。新一代高频视频压缩技术——HEVC (Hign Efficiency Video Coding) 能较好满足用户观看 VR 视频的需求，在相同失真性能下，HEVC 可提高压缩效率 50% 左右，比原来视频压缩技术 H.264节约 70% 的码率。意味着可节省网络带宽，享受更高质量视频内容。HEVC 能使 VR 画面实际偏码的画幅变得更大，比如从 2 K 到 4 K，从 4 K 到 8 K 分辨率的变化，使 VR 画面质量得到提高[10]。

4.4 VR 自己专用的操作系统有了较好进展

目前，VR 没有一套专用的操作系统，导致 VR设备只能为用户提供简单的菜单选项。据悉，微软公司推出的操作系统 Windows 10 是专为 VR 和 AR 开发的，微软凭借 Windows 10 推动 VR 和 AR 领域的技术进展，包括宏基、华硕、戴尔、惠普以及联想在内的企业，都打算推出支持 Windows 10 的头戴式 VR设备。

VR 获得的技术成果所显示出来的技术进步可以较大地改善 VR 质量，提升 VR 产品的形象，并带动VR 产品价格逐步走低，使 VR 从试水性产品逐步向更广阔的消费级产品演进，VR 产品的市场销量将会逐步提高，VR 行业也会慢慢的从窘境中恢复过来，进入正常的发展路径。

[1] 张文俊等. 数字媒体技术基础[M]. 上海: 上海大学出版社, 2007.

[2] 孙永杰. 主观与客观：2016年VR为何雷声大雨点小?[J]. 通信世界, 2017(1):8-8.

[3] 赵艳薇, 魏慧. 2017年ICT十大趋势解读[J]. 通信世界,2017(1): 19.

[4] 王新喜. VR越做越便宜被鄙视，到底需要反思什么？[J]. 通信世界, 2017(6): 55-56.

[5] 马国强. 新通信时代视频压缩技术面临哪些机遇与挑战[J]. 通信世界, 2017(12): 48.

[6] 康嘉林. 做对这三件事, VR眩晕难题就解决了[J]. 通信产业报, 2017(8): 17.

[7] 侯云仙. 超线硬件, VR应用成投宽热点[J]. 通信世界,2017(13): 9.

[8] 高超. VR为啥雷声大雨点小?[J]. 通信产业报, 2017(20):23.

[9] 康嘉林. 打令手机: 一键拍出VR照[J]. 通信产业报,2017(32): 25.

[10] 陈聪林. VR进入光场视网膜成像时代[J]. 通信产业报,2017(33):22.