扩展现实（XR）：空天影像制作的创新应用

2023-08-02赵靖东马瑞青

国防科技工业 2023年7期

关键词：空天虚拟现实现实

赵靖东李悦马瑞青 /文

空天影像及其传统制作应用方法

空天影像可以泛指航空航天领域的一切图形与影像内容。狭义上讲，空天影像主要指基于空基平台的航拍影像，以及来自天基平台的卫星数据等。广义上看，可将空天影像定义为涵盖“地理空间”和“宇宙空间”的地海空天不同种类的相关影像。

空天影像的应用领域非常广泛，包括航空航天和大多数地球科学学科（例如水文学、生态学、气象学、海洋学、冰川学、地质学等），以及与之相关的数据测绘、科学工程、教育科普等。

实景拍摄

实景拍摄是最为常见的空天影像制作应用方法之一，往往利用各种空天摄影平台，直接对真实景物进行影像的拍摄工作。从气球、风筝甚至鸽子，到火箭、飞艇、各式飞机，再到卫星、飞船和空间站，可以通过利用这些摄影平台表现出清晰的地理形态和太空影像，运用于国防军事、交通建设、水利工程、生态研究、城市规划、天体观测等业务，还成为了摄影艺术的一个类别。

现场扩展拍摄场景

在影视作品创作中，也会采用地球上的现实场景模拟空天影像。例如空天题材科幻电影《火星救援》（2015）中，摄制组选择了约旦玫瑰沙漠作为火星室外场景的拍摄地；该沙漠景色开阔、荒芜壮丽，非常接近火星表面的形态。但地球上天空是蓝色，与火星实际情况不符，还需要结合计算机成像技术进行后期处理。

搭景拍摄

搭景拍摄是指先在摄影棚等场景内搭建布景、再进行影像的拍摄工作，常应用于各类场景再现、影视创作等。例如空天影像制作中会涉及到的火箭、飞船、空间站等场景，难以通过实景拍摄来自由地实现拍摄角度、镜头运动等画面控制；同时，在摄影棚中的物理空间中搭建出可触摸、感知的布景，能够实现一些计算机成像难以达到的拟真质感。

计算机成像（Computer-Generated Imagery）

计算机成像或计算机图像（Computer Graphics）可以指通过计算机软件所绘制的一切图形图像的总称，包括计算机图形设计、二维动画、三维动画，以及通常所说的电影视效（Visual Effects,VFX）等。

在电影《流浪地球》（2019）中，大量绚丽宏伟的太空景观，都是依靠计算机成像技术、通过数字绘景工作完成的。例如影片中的行星发动机，首先由电影美术设计人员绘制了其整体轮廓，再结合计算机绘图软件对部分细节进行完善，但并不需要在摄影棚中将其搭建出来。

实拍与计算机成像相结合

实拍与计算机成像相结合，就是指将实景拍摄、搭景拍摄等与计算机成像技术相结合的综合性制作方法。一般而言，其影像制作的主要步骤为真人、实景在绿幕前进行拍摄，再在后期制作阶段对人物进行抠像，进而与计算机成像获得的虚拟场景进行结合，从而完成实拍难以实现的画面，为创作者提供更广泛的拍摄思路、拓宽了特效电影制作的道路。

扩展现实技术及其应用领域

扩展现实技术（Extended Reality，XR）泛指通过计算机制作、显示与交互技术等软硬件条件，所创作的一个真实与虚拟结合、可人机交互的环境。

有观点认为，扩展现实技术是对此前的虚拟现实、增强现实、混合现实等技术的统称；也有观点将其视为对这些技术的高度整合与创造性应用，通过将这些沉浸式交互技术融合在一起，对人的感知系统进行延展。

虚拟现实（Virtual Reality，VR）

虚拟现实技术是一种创建和体验交互式三维虚拟环境的计算机仿真技术，它能为用户提供视觉、听觉、触觉等多重感官刺激，用户可以通过头盔显示器、数据手套、体感控制器等传感设备在虚拟环境中实现交互。

增强现实（Augmented Reality，AR）

增强现实是由虚拟现实技术发展而来的新型技术，通过摄像设备和角度位置判别，来呈现相应的文字、图像、3D 对象等多媒体信息，从而将虚拟空间图像与真实世界共同呈现在同一屏幕上，实现虚拟世界和真实世界的无缝连接。

混合现实（Mixed Reality，MR）

混合现实是基于计算机技术、可视化设计以及传感技术等为用户打通虚拟和现实通道的新一代信息技术，通过对现实世界与虚拟物体进行二次计算，将虚拟情景与现实融为一体，利用计算机构造出全新的三维空间，让用户在混合现实创建的画面中能够进行实时的交互。

扩展现实技术在航空航天与国防等领域的应用

虚拟现实与增强现实技术，已被广泛运用于许多国家的航空航天与国防军事领域，包括飞行员飞行模拟与训练、任务规划与预演及单兵情景意识共享等。例如美国国家试飞员学院开发的融合现实（Fused Reality）创新性虚拟与增强现实综合系统，可通过外部摄像头，捕捉飞行环境信息，并置入显示单元的惯性测量单元来检测用户头部方向，再结合航空总线提供的飞行移动数据生成精确的图像，为飞行员提供虚实融合的飞行环境，实现在航线上生成虚拟空中加油机、模拟危险的空中加油动作等。

扩展现实影像制作工作流程示意

扩展现实影像制作系统架构示意

欧洲宇航员中心（EAC）于2015 年创建了XR 实验室，EAC的XR 活动以多种方式涵盖了国际空间站的任务。例如，XR 实验室开发了一款虚拟现实应用程序，以训练宇航员操作国际空间站17 米长的机械臂，并让他们熟悉空间站的布局；XR 实验室的虚拟环境允许训练宇航员在轨道或行星表面进行太空行走；XR 实验室的“月球门户”设计通过虚拟现实技术对失重状态的高质量模拟，为训练宇航员探索月球提供了条件。

扩展现实技术在国防军事领域上最重要的应用特性是消除时空障碍，使士兵能够实现高效的情景模拟，或者提高人与其他军事资源调动等协同作战的效率。例如，美国军方研制的PARASIM 伞兵指挥官系统，能够实现与其他系统的无限联网，使伞兵指挥官能够在跳伞过程中实时掌握其他成员的位置、状态信息，提高作战指挥素养；又如美国军方研制的Nett Warrior集成化步兵情景意识系统，利用头戴式光学显示器，通过联网平视设备增强士兵的情景意识，使他们能够准确辨别战场情况，从而提高生存概率。

扩展现实技术在影像制作领域的应用

扩展现实技术应用于影像制作领域，可以看作是对“电影虚拟化制作”体系的延伸，在实时交互预演与基于LED 背景墙的电影虚拟化制作技术等电影虚拟化制作的分支基础上更进一步，使影像在现场拍摄与制作过程中实现了对虚拟背景的无限拓展、虚拟前景、甚至是部分虚实交互能力。这一技术不论是对当前影视制作领域的发展，还是对空天影像制作的发展，均有着开拓性的重要意义。

扩展现实影像制作的工作流程也可以参考传统影像制作流程，划分为前期筹备、现场拍摄、后期制作、显示与放映等四个阶段。但它与传统影像制作流程的重要区别在于，强调虚拟场景的前期制作，以及现场拍摄制作环节的统筹协调；整个影像制作周期相较传统制作周期更短、部门协作性更强，对于创作者的技术能力要求更高。

扩展现实技术在空天影像制作中的应用实例

结合空天影像传统制作应用方法与扩展现实技术的创新特点，本项目选取了航天器分离、降落与宇航员出舱、行走作为示例影片内容，用以探索扩展现实技术在空天影像制作中的实际应用。在这一示例影片中，需要保持与真实空天环境的一致性，要能够精确描述地月轨道的运行速度、地球月球自转公转速度、空间站距地月距离、月球环境光照情况、月球环境造成可改变的物理状态等，具有一定的内容典型性与技术挑战性。

在这一示例影片中，计算机成像场景面积占比较大、高光反射现象普遍、动态范围和色彩范围大、拍摄帧率要求较高，其空天影像制作系统的整体架构如图2 所示。

该制作系统需要分为三部分：首先是实拍场景，包括人物对象表演与物理置景部分；第二是与实景在镜头运动、焦点、透视、畸变等方面都匹配一致的虚拟背景，包括由现场LED 立屏显示的部分以及通过引擎实时扩展合成的部分；第三是虚拟前景（图2 中蓝色部分），前景元素可以分为三种类型，一种是不跟随实景运动的前景效果，如风霜雨雪、云层或外太空的星际尘埃等粒子效果，一种是跟随实景运动但无交互的虚拟前景，还有一种是既跟随实景运动又与演员有交互效果的虚拟前景。与传统空天影像制作不同的是，为了体现太空的纵深感，需要系统三个部分同时协调，完成对空间感的塑造。

启示与建议

示例影片《探月模拟》呈现出了扩展现实技术在空天影像制作应用领域的广阔发展前景。空天影像的传统制作应用方法如实景拍摄等，已经愈发难以满足当下用户对于直观呈现、沉浸与交互式体验的需求；而实拍与计算机成像等传统的综合性制作应用方法，不仅制作周期长、成本高，同时在通过其所生产的空天影像科学性、准确性上还有进一步提升的空间。