数字绘景结合三维投影的立体空间呈现研究

王玉珏

北京电影学院美术学院,北京 100088

1 数字绘景概述

数字绘景 (Matte Painting)是指利用数字技术,将绘画、处理过的图像及三维元素等影像内容与实拍镜头画面合成在一起的影视特技方法。常用于组接画面场景、扩充画面背景、渲染画面气氛等。为了保持与实拍镜头的高度一致,要求绘景的内容高度“准确”,透视、光线、色彩、空间、比例、运动等完全匹配实拍画面,做到以假乱真。

1.1 数字绘景的优势

数字绘景起源于“遮罩绘景”“玻璃接景”等影视特效手段,现今随着CG 技术的飞速发展,数字绘景较之从前发生了巨大变革,基于计算机强大的图形处理能力,数字绘景的效果和效率完全淘汰了之前手绘的方式。影视创作中数字绘景技术可以突破实景拍摄的时空限制,实现了很多因客观因素、自然条件的限制无法完成的场景。还可以解决非现实空间及假想空间的扩充,为创作者提供更广阔的想象空间。另一方面数字绘景的应用提高了影片的制作效率,节约了制作成本。

1.2 数字绘景的问题和局限

数字绘景在电影制作环节中主要任务是完成场景画面中背景环境的塑造,类似早先摄影棚中的“天片”“天幕”,这样的功能决定了数字绘景的呈现形态主要是静态的二维图像。如果将一幅 “图片”与动态的镜头画面合成在一起必然会出现一些问题:首先是镜头运动匹配的问题,摄影机运动取景时画面内景物的空间位置会发生变化,数字绘景作为背景需要匹配立体空间中的位移变化。然后是景物、元素本身的立体空间呈现问题,数字绘景作为二维图像只能依靠画面内容来塑造立体感,这样的立体呈现并不能随着镜头移动发生透视变化而改变。这些问题源于数字绘景的二维属性与运动镜头立体时空的矛盾。因此我们常说数字绘景具有 “局限性”,尤其是透视变化幅度较大的镜头画面。越复杂的摄影机运动对数字绘景产生的变化越难控制,如何解决立体透视问题成了关键。

2 数字绘景的三维投影解决方案

要做到与实拍镜头画面的立体空间相匹配,需要把数字绘景中的二维空间元素三维化,三维投影(Project3D)的合成方案无疑是很好的选择之一。通过投影的方式,把二维图像投射到三维几何体上使其具备一定三维属性,把数字绘景图像转化为具有三维属性的场景,在立体空间中完成镜头画面的合成工作。

2.1 三维投影原理

三维数字空间中的投影过程与现实环境中的投影机原理非常相似,主要区别在于三维数字空间的最终成像依靠数字摄影机而不是人眼。在现实环境中,如果用投影机把影像投射在立体物体 (成像媒介)上会产生立体的影像 (图2)。如果我们把这个过程在数字环境中进行模拟操作,利用数字投影机把二维图像投射到三维几何体上形成新的影像,再用数字摄影机拍摄记录其成像内容,形成新的影像结果。这个过程看似是一个放映再记录的重复工作,但是在投影过程中,成像媒介的形态不是平面的幕布而是立体的几何形状就会呈现出不一样的效果。

图1 数字绘景在影视创作中应用广泛

图2 投影到平面与投影到几何体

数字环境与现实空间的投影成像过程相似,只是数字摄影机完成了人眼成像的工作。根据前文的思路,如果我们把成像介质的形态进行变形和拉伸使其成为不规则的几何体,相应的投影影像也会被拉伸变形。但是摄影机和投影机在相同的角度工作时,不论成像几何体如何变形,摄影机的成像结果依旧保持原本的影像不变形 (图3)。也就是说成像几何体的形态,不会影响同轴向数字摄影机成像的结果,仍然会保持数字绘景的图像原貌。这个轴向角度也就是这个镜头画面的主摄角度。

图3 当投影机与摄影机角度相同时成像不会发生拉伸变形

虽然在主摄角度上成像几何体的形态不会改变投射影像的面貌,但是如果离开了主摄角度,数字摄影机产生了旋转或移动,这时成像就会出现空间透视的改变,这个透视的变化是基于被摄几何体在三维空间中与摄影机相对位置关系的变化。也就是说,这个三维几何体作为投影成像的载体,在空间中产生了透视变化,相应的投影在载体上的成像也发生了透视变化。综上所述,虽然数字绘景作为二维图像不会产生立体效果,如果我们根据图像中内容的造型样式,在三维空间中制作出匹配的几何形态,再把数字绘景图像投影在这个几何体上,这样就实现了二维影像的立体转化(图4)。

图4 把数字绘景的影像投影到与之匹配的三维几何体上

2.2 三维投影实践解决方案

不难看出三维投影的基础逻辑是把二维图像赋予三维属性,并在立体空间中与镜头画面结合在一起,所以工作重点就是得到镜头画面的三维空间,并把数字绘景准确地合成在其中。

首先在影视镜头画面中,所有被摄物体在摄影机的运动过程中会产生的相对位移交错,产生了场景的空间透视,利用画面中的物体位移信息我们可以反向得出拍摄时摄影机的运动轨迹,也就是我们常说的反求摄影机(Camera Tracker)。作为关键的一步,其主要作用在于计算出实拍摄影机运动轨迹和实拍场景的空间环境,利用这些数据在三维空间中重新构建和还原,准确模拟出实拍过程中的物理空间,得到数字摄影机和数字三维空间 (Point Cloud)。此步骤是后续工作的重要基础(图5)。

图5 反求摄影机得到实拍现场的空间场景和摄影机运动轨迹

通过反求摄影机模拟出这个镜头的数字三维空间,下一步归纳整理这些信息并按照创作需求重新标定数字空间(图6),标定空间原点用来指定镜头画面中的主摄区域,标定空间平面用来指定空间地面,标定空间纵深用来指定镜头主要拍摄轴向,标定空间距离用来模拟真实空间中的物理距离。建立规范、准确的三维空间是非常有必要的,为后续的数字绘景投影工作创造了优秀的合成环境。

图6 标定三维空间原点、空间平面、空间纵深、空间距离

第二步安置投影机,这一步是三维投影的关键,观察数字摄影机的运动方式,判断移动轨迹和轴向变化幅度是否在合理的范围之内 (透视角度变化不能太大),找到摄影机运动幅度的最大值和最小值,取中间值作为参考来设定投影机的角度、位置的参数(一般是镜头时长的中间帧)。这个过程就好比在电影院为了照顾观众的视角,放映机的位置往往会安放在整个影院的中间正后方,这样左右方向、纵深方向都能够得到最大限度的利用。一般情况下找到摄影机运动轨迹的中间位置来安置投影机 (图7),但这个摆放方式不是绝对正确的,需要根据画面呈现内容进行灵活调整。重要的是这一帧画面就是数字绘景的参考关键帧,依据这个画面完成场景绘制衔接工作。

图7 根据摄影机运动轨迹,居中设定投影机的位置角度

第三步在三维空间中安置几何体 (成像媒介)并投射影像,其中数字绘景的内容会根据镜头创作要求进行分层绘制,调整好构图、光线、色彩、气氛等,对于画面的透视和立体表现需要在绘制过程中规划安排好,比如地平线的位置、纵深比例、近中远景的安排。根据前文思路,数字绘景的立体呈现除了来自于图像内容本身,更是取决于投影过程中作为成像几何体在三维空间中产生的透视变化。如何在三维空间中安置合适的成像几何体,既要参考绘景的内容,又要基于实拍镜头的三维空间,之前“反求摄影机”步骤中把真实空间转化成数字三维空间,这样“三维点云”的分布形态就成为了重要的参考标尺。摆放三维几何体的空间位置首要表现的是纵深关系,“近大远小”在影像上的表现主要是与摄影机的相对位移速度不同,近景的位移距离要大于远景的位移距离。为了模拟出这种效果,一般会按照内容分成多个图层来展现,不同图层展现的内容会依据纵深的空间距离来区别(前景、中景、远景)。依次把每一个图层影像分别投影到对应的三维几何体上,这一步常规使用的是三维卡片(Card)作为成像介质,由近及远依次排列三张卡片形成整体的纵深关系。然后是单个卡片上成像内容的前后透视关系,可以把三维卡片倾斜一定的角度,这样相对摄影机视角单个三维卡片也产生了近大远小的透视变化,高效模拟场景的规模和走向 (图8)。参考反求摄影机步骤时设定的距离参数,调整卡片的面积大小、倾斜角度和空间位置,并结合实拍场景内容和数字绘景内容灵活调整。

图8 利用几何体卡片快速布局出场景空间,并把数字绘景投影到几何体上

最后一步改造投影成像几何体模型,完成整体空间塑造的工作后,观察画面中数字绘景部分的透视准确性,其中远景内容符合基本的近大远小的纵深关系,基础的卡片模型可以满足标准,但是中、前景的透视关系往往会不尽如人意,毕竟卡片模型过于简单只能表现出基础的透视效果,为了达到更真实的体积透视,需要制作与前景元素匹配的三维模型。以本案为例,根据前景的山体的造型样式,在三维软件中搭建出模型的整体结构,由于采用的是三维投影的呈现方式,复杂细小的凹凸结构和表面纹理并不需要制作模型,细节依靠数字绘景的影像内容来呈现,不仅效果好工作效率也很高。制作模型的重点是呈现物体的结构轮廓来表现立体透视。然后把这个三维模型作为投影的成像载体替换之前使用的几何体卡片,并且重新投影绘景影像,这样就完成了立体透视准确的成像方式(图9)。

图9 成像几何体的造型与绘景影像相匹配

三维投影的制作流程环环相扣,每个步骤都互相影响,其中有几个关键问题,首先是场景的尺寸比例问题,既然要做到准确的透视效果那么场景中物体比例就不能有太大差异,难点在于制作流程中涉及到三个空间的比例关系,首先是实拍镜头的真实物理空间距离,第二是合成软件中的三维空间距离,第三是三维软件中的空间距离,三个距离尺寸需要做到明确统一,显然统一的标准必须是实拍镜头的真实距离尺寸,这就需要在拍摄现场实地测量一些距离尺寸,比如明显标识物体的间距,标准物体的常规尺寸等,然后把这些测量数据应用到合成及三维工作流程中 (正如上文 “反求摄影机”步骤中提到的标定场景距离尺寸)。在数字空间的距离尺寸还原真实物理距离,然后在合成软件与三维软件中协调匹配的尺寸标准,搭建出相对准确的投影空间完成合成工作 (图10)。第二个问题是,在这个流程中搭建模型主要依靠作者对图像的主观认知,理解画面中的透视关系来完成制作,会受到很多主观因素影响。因此在影视工业生产过程中,根据不同镜头画面的要求,往往特效公司会收集大量场景环境的数据和图像素材,比如在拍摄地采集真实环境中的三维扫描模型,拍摄地形地貌的图像素材,针对各种类型场景,例如:高楼都市、群山大川、冰原沙漠等,收集的三维数据和图像素材分门别类整合起来形成数据库,作为数字资产在之后的工作中高效使用。

图10 二维数字绘景图像通过三维投影形成立体影像

3 大幅度运动镜头的多种立体解决方案

前文提到数字绘景局限性的问题,主要限制原因还是摄影机的运动幅度,运动幅度越大,透视变化越大,二维图像越难模拟立体效果。摄影机的运动和被摄物体之间发生角度变化,也就形成了立体透视的变化,三维投影的重点也是模拟这个立体透视并赋予给二维数字绘景图像之上,给观众带来立体感的错觉。如果摄影机运动轴向变化不大,这个方案呈现的效果会非常优秀。如果摄影机在1～2个轴向上产生了非常大的运动,那么这种模拟三维立体感的方式还是会穿帮(图像被拉伸),毕竟数字绘景是二维图像,没有第三个体面的内容呈现。针对这个问题,可以展开几类常见的影视镜头运动方式来分析。

3.1 摇动镜头的三维投影方式

摇镜头通常指摄影机的位置不动,镜头在垂直角度(相对拍摄方向的垂直方向)发生旋转,这样的镜头画面常用来展现场景周围的大环境气氛,或角色与周围环境的关系。在用数字绘景展现周围环境大全景的过程中,往往会遇到画幅尺寸不够大的问题,需要采用多个画幅首尾相接分开绘制的方式,然后通过透明通道 (Alpha通道)控制每幅画面之间衔接过渡的部分。在投影数字绘景内容的过程中,围绕摄影机环绕摆放成像几何体。例如,站在高点环绕拍摄周围180°的风景内容,形成多张照片组合,我们可以在数字三维空间中还原这个过程,把几台投影机放在这个高点位置,周围180°环绕摆放三维卡片作为成像媒介,分多个角度投射这些照片,每幅影像分别投射至成像卡片上,这时会出现多个三维投影节点,需要使用 “合并着色器节点(Merge Mat)”把这些投影影像结合在一起。这样就在三维空间中模仿出真实环境中的空间位置,完成环绕镜头投影的基本思路(图11)。

图11 环绕180°投影场景图像

3.2 移动镜头的三维投影方案

移动镜头的运动方式有很多种,以常用的横移为例,将摄影机架设在轨道上沿水平面做各方向移动镜头,是很常用的影视拍摄手段,可以动态地把人物和景物交织在一起,产生强烈的节奏感。与摇镜头的情况类似,这样大幅度的运动方式,场景会产生很大的透视变化,需要采用多台投影机,分不同角度投影成像的解决方案。例如,中远景的楼房作为经常出现在数字绘景中的元素,立体造型可以归纳为立方体,在摇镜头或移动镜头中透视变化较大,楼体的两个立面图像随着摄影机的移动会被严重拉伸,为了避免穿帮,需要摆放两台投影机,分别从成角透视的两个方向投影每个面的图像,这样可以有效地避免图像变形拉伸问题。除此之外,由于移动镜头的拍摄范围跨度相对较大,绘制场景的面积广、层次多,需要分开多层制作,并且投影成像的几何体也应该分开多个层次制作和使用,前后景层次丰富、交错有序,这样投影时可以有效地避免图像之间混乱重叠、拉伸变形(图12)。

图12 横移距离跨度范围大,多摄影机多角度分区域投影

3.3 推拉镜头的三维投影方案

推拉镜头指摄影机沿着拍摄方向做前后运动。其画面效果表现为同一对象由远至近或从一个对象到另一个对象的变化,使观众有视线前后移动的感觉。如果是小范围的推拉镜头呈现的是影像缩放效果,可以应用叠加投影的解决方案。例如,摄影机推进的拍摄某个场景,镜头起幅的景别是全景,随着镜头推进景别逐渐放大来到中景,这时落幅画面的投影内容会出现像素不足的问题,这就需要针对放大部分的影像设置另一台投影机单独投影,也就是说数字绘景的内容也要放大这个局部单独绘制,才能成像更多细节,满足画面品质。这时多幅绘景图像同时被投放到一个几何体上,相互之间的衔接边界问题就凸显出来,如前文所述 “透明通道”配合“合并着色器节点(Merge Mat)”的解决方案可以作为基本思路,更重要的是灵活处理两个画面重叠位置,根据画面的内容找到不易穿帮的位置,比如结构转折处、阴影处等作为影像衔接位置比较理想(图13)。

图13 分区域投影解决推拉镜头缩放效果

比较难处理的是大范围的纵深推拉效果,例如,常见的纵深跟拍车戏的镜头,演员在驾驶交通工具行进时,摄影机跟拍演员中景别表演,周围的景物沿纵深方向向后移动。如果采用三维投影的方式处理身后背景,需要解决场景画面大范围纵深透视的立体效果。以图14镜头为例,首先在三维空间中把场景规划好,根据画面内容 (摄影机运动范围)把场景的深度分成若干小段 (图14),这样做的目的在于解决数字绘景图像的像素不足问题,纵深透视的运动使影像发生大幅度缩放效果,无限放大图像在技术角度和创作角度都是不成立的。

图14 大范围纵深运动镜头使用分段投影方案

既然场景空间被划分成若干小段,数字绘景的呈现方式也需要重新规划,以其中一个侧面的山坡为例,本来连贯的纵深山坡被打散成若干小山坡分开绘制,每部分绘景的结构、光线、色彩又要做到协调统一。相应的投影机和成像几何体也要分若干段来放置在三维空间中,摄影机的运动轨迹作为主要参考,再根据之前规划好的若干分段,分别放置好投影机和成像几何体 (图15)。在这个方案中数字绘景的图像、投影机、成像几何体三者是对应成组的,所以每一组位置可以灵活调整,可以根据成像效果重新安排位置分布。这个过程中由于投影机和成像几何体一一对应的关系,调整位置时需要同时协调两组对应参数才能完成效果,为了简化这个过程可以应用 “UV 投影”的思路,把投影成像固定在成像几何体上,这样调整位置就会便捷很多。

图15 移动镜头同时推拉

3.4 复杂运动镜头的三维投影方案

工作实践中通常遇到的是不规律的运动镜头,例如在横移运动的同时配合升降运动或是推拉运动,摄影机不仅在三个轴向上同时运动,还有一定的摇摆旋转,运动轨迹非常灵活没有规律可循,根据前文提到的基本思路,认真分析镜头成像方式和绘景内容,灵活制定解决方案。需要强调的是,在实际工作中,往往一台投影机是远远满足不了制作要求的。这就需要把一个物体分多个面用多台投影机进行多重投射。并且在一个场景中,会出现很多成像几何体模型,有的几何体结构可能会相对复杂,单个模型投影时还会遇到空间结构叠加的问题。所以场景中出现几十台投影机也是常有的。电影镜头画面的变化是多种多样的,投影方案也不应该是一成不变的,找到其中的规律灵活使用,制定针对性的方案,反复测试找到最佳思路(图16)。

图16 移动镜头同时推拉

4 结语

随着电影数字技术的发展,会有越来越多的场景利用数字技术来完成。数字绘景与三维投影的配合是解决电影镜头画面中背景环境的首选方案之一,也是电影后期制作体系中重要的一环,不仅富有艺术性、创造性还有复杂的技术流程,数字绘景把绘画和摄影的艺术规律 “嫁接”到数字合成中,对于三维空间的构建就是以绘画的透视规律为指导的结合。以上是笔者在工作实践中总结的方法和技巧,希望这部分内容的分享能为热爱电影事业的同仁们提供些许帮助。