远程沉浸：虚拟照进现实

文/周忠 张琳

远程沉浸：虚拟照进现实

文/周忠 张琳

北京航空航天大学虚拟现实技术与系统国家重点实验室在下一代互联网上开展了一系列的远程沉浸技术研究工作，让真实人体实时进入虚拟世界中。

远程再现和远程沉浸一直是很多科幻小说和影视作品的偏好场景。著名的好莱坞大片《星球大战》、《黑客帝国》和《阿凡达》等都是来自于这个主题。近年来一种基于视觉的远程沉浸虚拟现实交互系统成为虚拟现实领域的研究热点之一。远程沉浸（Tele-immersion）系统通过实时、逼真的人体三维重建和远程再现技术将真实的人的动作、表情、姿态、声音等在共享的虚拟环境中同步再现出来，身处不同地域的多个人“进入”到共享的三维虚拟环境中进行“面对面”的互动交流，从而达到身临其境的互动体验。

国际上新兴的基于多相机的远程沉浸在远程交流、教学、医疗训练、协同设计、三维可视化等领域都有着重要的应用前景。美国U.C. Berkeley大学、法国INRIA、伊利诺大学香槟分校、加州大学戴维斯分校、北卡罗来纳大学教堂山分校UNC、南加州大学、布朗大学、马克斯-普朗克信息学研究所等都在远程沉浸系统的软硬件技术等方面开展研究。然而，远程沉浸系统中实时重建的人体三维模型，会产生大量的数据点，这些数据点和纹理图像需要实时通过网络进行传输，对网络带宽有着巨大的需求，因此这些研究或在局域网内进行，如INRIA、南加州大学的工作，或在下一代互联网上开展，如U.C.Berkeley、UIUC、U.C.Davis等合作的远程沉浸互联实验。

远程沉浸（Tele-immersion）系统通过实时、逼真的人体三维重建和远程再现技术将真实的人的动作、表情、姿态、声音等在共享的虚拟环境中同步再现出来，身处不同地域的多个人“进入”到共享的三维虚拟环境中进行“面对面”地互动交流，从而达到身临其境的互动体验。

北航的远程沉浸技术研究

北京航空航天大学虚拟现实技术与系统国家重点实验室近几年在远程沉浸技术方面开展了一系列的研发工作。实时三维重建技术实现了真实人体实时进入虚拟世界中交互，是远程沉浸中的主要核心技术之一，重建的三维模型的精度和模型的重建速度是三维重建技术的两个主要指标。实验室设计了由12台工业相机组成的4米×4米×3米的远程虚实协同采集建模环境和基于三目相机的便携式建模环境。在这两种建模环境下分别研发了基于侧影轮廓的无标识动态物体实时三维重建技术和分层聚合的可变权值立体匹配算法。

基于侧影轮廓的无标识动态物体实时三维重建算法基本原理是先用一棵不断迭代剖分的具有立方体节点的八叉树来描述一个三维物体，然后用行进可视外壳精确立方体算法对得到的体素描述的三维模型进行网格化，并进行视点相关的纹理映射，最终得到被采集物体带纹理的三维模型。

图1 是人体模型与虚拟场景交互的效果图，其中左图是人在一个虚拟足球场的展示，人能够实时地与足球发生交互。右图为人在虚拟的浅水环境展示，图中可以看到人脚下产生了较为真实的水涟漪效果。

立体匹配算法采用实时性较高的基于局部匹配窗口的方法，并通过行列双向聚合的方式进一步降低匹配代价的聚合计算复杂度，引入一种可信度机制来减少聚合过程中的进度损失；利用沿扫描线的动态规划选择视差，将贪心选择和视差平滑约束引入到动态规划过程以提高视差选择的计算速度和准确度。从而在满足实时性要求的基础上达到了较高的建模精度。图2是RealTimeLAW立体匹配算法实验对比与应用效果图。右图中的人正在实验拾取国际象棋，可以看到人可以利用手势来控制虚拟的棋子。该算法的平均误差低于7%，目前在Middlebury平台上实时类算法中综合精度排名第一。测试表明，当图像的分辨率为320×240时运行速度可达15帧/秒，满足实时交互要求。我们正在开展三目的匹配算法研究，初步结果表现出更高的精度，但实时性也有所影响。

图1 重建的人体与虚拟场景交互效果

图2 RealTimeLAW立体匹配算法对比与效果

下一代互联网上的远程沉浸应用系统

近年来，我国在下一代互联网的研究和实践方面开展了大量的工作，尤其是清华大学为主建设的CNGI-CERNET2网络具有很大的影响。北京航空航天大学也是CNGICERNET2的主干节点单位之一，依托该网络条件，初步开展了互联网上的远程沉浸技术探索。

从2008年开始，北京航空航天大学虚拟现实国家重点实验室联合清华大学、北京大学、上海交通大学、复旦大学、华中科技大学、华南理工大学、北京邮电大学、东北大学、电子科技大学等节点单位，在北京、沈阳、广州、武汉、上海、杭州、成都共6个城市的10个主要CERNET2节点部署了基于远程沉浸技术的交流应用平台系统，也就是在下一代互联网上搭建一种新型的虚拟现实交互式交流服务平台。平台软件主要包括：服务中心软件、用户客户端软件、模型编辑软件和门户网站。远程沉浸虚拟现实交流系统的研究目的之一是在下一代互联网实验一种新型服务，因此考虑了互联网上的节点扩展性，系统从总体上可分为服务中心和节点客户端两部分，如图3所示。服务中心软件负责用户身份管理，协调用户及交流研讨小组，并进行一系列的后台维护工作，门户网站可以访问数据库检索信息。客户端软件是研究的主要技术难点部分，主要包括多相机的实时采集与建模、声音采集与播放、虚拟交互系统框架和网络传输等。客户端软件主要包括系统登陆大厅、三维建模及虚实混合绘制两部分。

图3 系统结构

图4 通讯结构

图5 平台运行场景

远程沉浸节点需要交互的实时数据主要包括几何模型、纹理和交互操作，其中模型尤其是纹理部分的数据量很大，如果都通过服务中心转发，服务中心将很容易过载，因此将模型和纹理数据在节点之间直接传输，并且模型、纹理是实时更新的，当其在场景中渲染时，部分数据的丢失并不会带来很严重的影响，而实时性更为重要，因此基于快速的UDP协议进行数据传输；而节点创建、加入交流组，下载模型等操作，都基于可靠的TCP协议通过服务中心在进行节点间进行传输，组内节点共享同一个虚拟环境，系统通讯结构图如图4所示。

另外，在研发过程中，还完成了专用的模型编辑软件，项目门户网站，和数据库中心。

下一代互联网虚拟现实交流平台目前已经建立起了十多项各具特色的科研交流虚拟环境，由各参与学校发挥各自优势，提供一些特色学科或专业的科研数据，开发相应的三维模型，并集成到平台中提供相应的远程科研交流服务。建设的交流场景有虚拟战场、建筑协同研讨环境、蛋白质虚拟研讨环境、协同船体设计、虚拟医疗研讨环境、虚拟制冷设备研讨、协同建筑施工研讨、工业机器人研讨、材料研讨环境、电磁仿真环境等。另外，平台还开发提供了五子棋交互娱乐环境，模拟驾驶环境、虚拟足球场交互娱乐环境，月球漫游环境等不同主题和不同交流、交互方式的虚拟交流与交互场景。图5为平台运行的部分效果图。

我们已经在下一代互联网上开展了大量的性能测试，实验结果表明其带宽已经能够满足大数据的传输需求，但延迟和稳定性还需要提高。总的来说，作为一个新生事物，远程沉浸系统的技术与建设尚属实验阶段，随着该技术的成熟和低成本化，将可能成为下一代互联网上的特色应用，为社会大众服务。

（作者单位为北京航空航天大学虚拟现实技术与系统国家重点实验室）