虚拟现实：计算机技术组合而成的复合系统

□文/郑屹



虚拟现实：计算机技术组合而成的复合系统

□文/郑屹

虚拟现实，是一种集成多种计算机技术组合而成的复合系统。虚拟现实技术可以为参与者创造出更丰富的视觉、听觉、触觉、味觉、嗅觉体验。在当今，虚拟现实的研究和发展方向，主要集中在视听觉体验、人机交互这两大分支上。在视听体验方面，体验者可以通过普通显示器、头戴式立体显示屏等显示设备配合立体音响系统，获得视觉及听觉沉浸式体验。在人机交互方面，体验者不仅可以通过鼠标及键盘与虚拟世界中的物体进行交互，还可以通过穿戴及使用具有传感功能的设备，体验到类似于真实世界中的人-物交互体验。而在未来，通过结合计算机网络、人工智能、远程控制等新兴技术，虚拟现实还可以为多个体验者同时营造出真实的共有的临场感，在多人协作、社会交往等领域具有极为广阔的应用前景。

郑屹 锐扬科技联合创始人、CTO

虚拟现实与计算机图形图像学

计算机图形学是计算机科学领域中的一个重要分支。计算机图形学的发展非常迅速，具有非常广阔的应用前景，其中包括科研仿真领域、军事推演领域、电影游戏娱乐领域、教育教学领域等。

在计算机图形学中，包含了很多有意思的分支，包括用户交互设计、真实感画面渲染、物理仿真模拟、GPU实时计算、机器视觉等，是一门综合了计算机、数学、物理、艺术等学科领域的交叉学科。

在非计算机科学的其它专业领域中，通过结合计算机图形学的辅助应用，工程师、科学家、艺术家都可以获得更好的工作辅助。正是结合了这个工具，也使得我们日常的普通生活发生了巨大的改变：更简单的移动设备中用到的界面交互形式，更丰富多样的电影游戏娱乐体验，更简单专业的方案设计等。

三维建模是一种通过多种不同方法，用来呈现真实世界中客观存在的物体的外形的过程。建模方法包括数学表面建模、过程化建模、顶点逼近式建模等。通过建模工具，建模的过程可以是自动化生成或手动制作生成物体的几何数据。常用的数学表面建模方法包括NURBS建模、曲线建模等，都可以生成非常精准且光滑的模型表面，是工业设计中最普遍采用的方式方法。顶点化的建模方式，则是艺术领域中最常采用的方法，艺术家既可以非常方便地对三维模型表面顶点进行大规模修改，也可以对其进行细致入微的逐点雕琢，用以生成具有强烈震撼效果的数字艺术作品。

当三维模型设计结束后，可以通过两种方式呈现出来。第一种方式是通过模仿光学相机照相的方式，将三维数据在二维平面上进行投影成像，该方法称之为“渲染”。第二种方式是通过增量式三维打印的方式，转化为真实物体。

渲染是一种将三维模型通过算法呈现为二维图像的过程。通常一个三维场景数据中，包含多种数据信息，例如三维模型数据、材质数据、纹理数据、虚拟相机数据、虚拟光照数据等。渲染的过程中，这些数据会被渲染工具进行解析，并最终转化为二维图像的结果。

由于渲染是一项计算量非常大但计算方式类似的过程，因此随着计算机硬件技术的发展，一种专门用来处理渲染的硬件——图形处理加速器（GPU）应允而生。它通过并行化渲染流程（将相同的计算过程同时进行），成功实现了渲染加速的效果。

在渲染领域中，真实感渲染是一个最关键且最复杂的分支。它的目的是通过求解真实世界中的光能量的分布，来呈现出与人眼所见的真实世界中相一致的画面。由于这一求解过程非常复杂，因此也在学术领域派生出多种求解方法，例如辐射度照明、光线跟踪照明等，但这些依然无法有效解决真实感渲染中计算效率的问题。时至今日，即使是世界上最快的单芯片计算单元，也无法提供既准确又快速的计算。很多研究者和工程实践者也在完成计算的准确性与完成计算的速度之间进行平衡性探索，不断产生出各种加速解决方案，例如环境球反射计算、屏幕空间光照遮挡计算、小范围全局光照名计算等。这些技术，也被广泛应用于游戏、虚拟现实等对用户交互响应速度有严苛要求的领域中。而高精度计算，则被应用于电影、电视片等对画面精度有要求的应用领域。

由于虚拟现实系统中，用户核心体验需求是“视觉沉浸感”，因此计算机图形图像学作为解决“为虚拟现实提供高沉浸感的视觉图像”的方法，是虚拟现实系统中的核心技术之一。

计算机图形图像学技术可在以下三个方面为虚拟现实系统提供终极解决方案：其一是真实感沉浸式画面呈现，为用户提供一个数字化，高真实感的画面；其二是真实感物理仿真效果呈现，为用户提供高真实感的物体运动效果。其三是自然人机交互方式，为用户提供简单、便捷、舒适的人机交互体验。

但由于虚拟现实系统并不仅仅是“真实世界视觉重建”，还有其它多种方面的真实感重建，因此仅仅依靠计算机图形图像学技术，是无法建设一个完整的虚拟现实世界的。

虚拟现实引擎与传统游戏引擎

游戏引擎是一个专门针对电子游戏开发设计的软件程序框架。开发者们利用游戏引擎开发电脑游戏、游戏主机游戏等。游戏引擎是由在一个核心框架下驱动的不同功能模块的集合。通过游戏引擎，游戏开发者可以有效降低游戏整体开发成本，提高开发效率，并将一次开发结果发布到多个不同的运行平台上。

通常情况下，游戏引擎不仅仅提供游戏开发的核心功能，还提供使用这些功能的可视化编辑工具，方便开发者开发游戏内容。这一切的目的只有一个——让游戏开发者好、快、省地开发出面向市场的游戏产品。

通常情况下，游戏引擎为了在保证提高游戏开发效率的同时，也能保证自身性能的可伸缩性、可扩展性，一般会被设计为一个核心，多个模块的模式。核心部分往往只是基础功能和模块管理功能，具体的功能实现，则被分配到不同模块中。这些模块包括数据资源管理模块、场景管理模块、渲染模块、声音模块、脚本模块、动画模块、人工智能模块、用户交互模块、网络模块等等。在这些模块中，部分模块是被设计成为可被第三方中间件模块替换的形式。例如物理引擎模块。目前市面上存在两套物理引擎，分别是隶属于NVIDIA的PhyX和曾经隶属于Intel 的Havok（已经被Intel出售）。这两款物理引擎专门用来解决高速可交互式运行模式下的物体物理特性的模拟。任何游戏引擎都可以通过接口的方式调用它们的功能，用来加速游戏中的物理表现及提高效果。

通常，一些游戏引擎仅仅只提供实时3D渲染功能（这里面涉及到大量计算机图形学的专业知识，而不仅仅是计算机基础知识），实现游戏的其它逻辑功能，往往需要游戏开发者自行开发或融入其它游戏中间件，所以这类引擎也被称之为“图像引擎”或“3D引擎”。随着游戏场景的扩大，当下的游戏引擎也开始提供“场景管理”模块，用来高效地管理游戏中的三维数据以及对场景画面渲染呈现进行辅助加速功能。因此玩家用户可以看到越来越多的游戏采用了“开放式”、“巨大式”的游戏场景设计。

由于虚拟现实系统并不是一个单行业应用，因此目前市面上已有的虚拟现实引擎产品，均是针对某一个特定行业应用的专业软件，例如针对建筑室内外设计、工业产品设计、军事仿真等。

这些软件大多使用复杂，价格昂贵，功能针对性极强，其生产的内容也大多是针对某一行业产业链中具体的特定环节，因此作为普通大众，是很难感受到这些工具的存在，即使在计算机专业领域中的认知度，也较游戏引擎低很多。

随着当下新的虚拟现实热潮的兴起，伴随着虚拟现实硬件的发展及普及，一款或多款专门针对大众应用的虚拟现实引擎也将逐渐出现。这些引擎将以生产面向大众内容为核心，以面向大众应用领域为切入点，不断进行发展和升级，为未来虚拟现实世界的全面爆发而铺平道路。

虚拟现实行业存在机遇与挑战

虚拟现实行业是一个以技术为驱动，以体验为手段，满足人在物质、精神不同层面、不同目标的追求（娱乐、社交、教学培训、预体验等）。从应用领域角度讲，虚拟现实并不是某一种计算机技术，而是一系列专业领域之间互相交织，综合应用的统称。

通过虚拟现实技术，很多行业将发生改变和升级。在工业生产领域中，高风险、高成本的产业将在虚拟现实技术的辅助下，有效降低甚至规避风险，降低成本，从而加速产业发展。在服务产业中，无论是教育、娱乐、还是旅游、室内装饰等，人们也将通过虚拟现实技术，感受到更丰富的服务体验。

然而，虚拟现实技术依然在应用与科研成果之间存在较大差距，在以下四个核心方面还需要开发者去解决和完善。

缺乏有效、简单、且稳定的与虚拟现实世界中数字物体交互的软硬件解决方案。在目前的人机交互硬件领域，只有鼠标和键盘是认知及普及率最高的设备。但这两种设备均不适合在沉浸式体验环境中进行人机交互。虽然目前出现了大量可穿戴式设备，例如头部跟踪、手持跟踪、身体运动跟踪，但这些设备也普遍存在难于穿戴、难于应用的问题。

缺乏真正意义上的人-人互动和人-物互动软件算法及应用方式。在目前的网络游戏中，人-人之间的交互方式只能采用游戏设计者预先规定好的方式，无法完全按照人在自然世界中的方式去交互——包括面部表情交互、语言语音交互、肢体语言交互。这些交互方式在真实世界中，是人-人交流中最为关键的部分，但如何在虚拟现实世界中去有效呈现，依然没有最佳解答（仅存在可替代式解决方案，例如表情符号）。人-物交互，则在目前虚拟现实世界中，相较人-人交互方案，更难以解决。这里涉及到自然客观物理现象法则的重建和重现、网络延迟、交互信息丢失等问题的困扰，无法解决这些问题，就没有办法建立起真正的可互动式虚拟现实世界。

虚拟现实行业的繁荣需要大量有效内容的存在，且虚拟现实的应用场景要远多于游戏的应用场景，因此在虚拟现实类应用中，非常关键的一个因素就是这类应用的生产成本。生产成本涵盖两方面的因素，其一是生产内容元素的成本，其二是虚拟现实场景的应用成本。然而这两个关键因素在目前解决的并不是太理想。解决这两个问题的核心方法就是软件的算法提升。

虚拟现实世界中的场景规模，要远远大于现实世界中的场景规模，正可谓一沙一世界。这一必然结论，会带来虚拟世界中关于虚拟世界的存在条件、虚拟平行世界间的关联交互性等问题和思考。