从《阿凡达:水之道》浅析3D技术及高帧率技术的发展与应用

柏 龄

中影华夏电影科技(北京)有限公司,北京 100088

1 前言

应卡梅隆团队与片方迪士尼的要求,在2022年6月的欧洲电影展会 (CineEurope)上,我国具有核心自主知识产权的CINITY 品牌使用专属制版工艺制作了《阿凡达:水之道》(暂译名,下同)首次公开的时长8分钟的演示片段,并通过融合了4K、3D、高亮度、高帧率、高动态范围、广色域、沉浸式音频等7大电影放映领域高新技术的CINITY 放映系统在展会期间向参会的业内同行进行了独家放映。在场的很多专业人士对于 《阿凡达:水之道》的艺术和制作与CINITY 的放映相结合的观影效果表示“这是一次前所未有的观影体验”。

《阿凡达:水之道》故事主题依然围绕家园、爱和敬畏自然,但这部影片使用了更先进的视效制作技术、更逼真的角色创作手法以及更清晰流畅的画面,目的是带来“最具沉浸感的3D 体验”。更具创新性的3D 实拍技术,特别是水下3D 拍摄的实现以及高帧率、高分辨率等技术的综合应用都远远超越了《阿凡达》系列第一部。CINITY 版本的高动态范围完美还原了 《阿凡达:水之道》中画面的明暗对比,4K 分辨率使影片细节更清晰,高帧率的运用在保持画面内容力量感与速度感的同时,减少了动态模糊对3D 实拍效果的影响,而CINITY 广色域技术配合高亮度,则更助力将潘多拉星球斑斓的色彩呈现给观众。相信在行业发展的关键时期,《阿凡达:水之道》及该系列后续影片的陆续上映,必将迎来新一轮关于3D、高帧率及其他高新技术应用的持续探索和发展。

2 近年来3D技术在国内的发展及应用

2009年《阿凡达》在电影科技支撑的基础上横空出世,而影片中运用的3D 技术也在当时推动电影工业踏入了一个全新的阶段。当年该片在全球斩获了28亿美元的票房收入,即便在物价大幅提升的今天,这仍是一个难以超越的纪录,潘多拉星球带给一代人的视觉冲击无可媲美。在28亿美元的整体票房中,3D 票房高达18.5亿美元,超过总票房占比的70%,这也是前所未有的。3D 技术带来全新视听体验的同时也大幅促进了观影环境的改造升级。2009年《阿凡达》上映后,我国3D 银幕数量在短期内大幅增加,强大的市场需求掀起了空前的3D热潮,推动电影行业快速进入3D 时代。2010年之后新建的影院,支持3D 放映系统基本可以说成为影厅的标配。截至2021年9月,根据国家电影局的数据统计显示,国内银幕数已突破8万块,位列世界第一,其中88%以上的影厅都支持3D 放映。3D一度成为新技术与高质量影片的代名词。

随后数年内,为解决3D 影片片源不足的问题,3D 立体转制技术开始被广泛应用。但随着观众观影水平的提升,以及影院放映亮度衰减、3D 眼镜佩戴不够舒适、影片本身过度追求3D 效果等问题,使得3D 影片的体验感逐步下降,特别是在新鲜感消退后,匆匆赶制的3D 效果逐渐引发了观影者们的一些负面情绪。其中,许多影片仅在国内市场发行转制3D 版的做法更使观众对“中国特供3D 版”产生抵触。而据相关调研数据显示,3D 影片的票房收入在全球电影票房中的占比在2017年至2021年呈逐年下降趋势,特别是在2021年仅占到6.57%。

3D 技术的本质是突出主题的手段,为内容呈现服务,起到锦上添花的作用,并不改变影片主体。首先,舒适的3D 效果有助于突出影片主旨,将创作者试图传达给观众的信息以更直观、更具冲击力的方式呈现。其次,在影片的创意和设计阶段就需考虑是否有必要通过3D 方式来展现情节与内容。影片如适合使用3D 表现,则在场景设计、动作设计、拍摄设备的选择、景别选取、焦点位置、特效制作等环节都要充分考虑到3D 与2D 的呈现差异,以及如何发挥3D 的技术特点。拍摄时,要对比前期设计,通过现场3D 拍摄效果监看,再调整拍摄的视差或画面构图。而从 《阿凡达:水之道》CINITY 技术演示研讨会上释放出的演示片段来看,正是很好地诠释了这一点。片段中对战斗场面的呈现,在打斗间穿插的对话与表现角色情绪的特写镜头,在交待剧情的同时又有效缓解了连续的3D 打斗场景以避免给观影者造成不适感。

相比13年前《阿凡达》系列第一部,《阿凡达:水之道》在3D 拍摄与制作方面都有了长足发展。据悉,此次《阿凡达:水之道》的3D 拍摄使用了多个索尼全画幅Venice数字摄影机,索尼为满足卡梅隆导演对《阿凡达》系列影片后续的开发需求专门定制了独特的扩展系统,可使光学模块与摄影机机身分离最远达到20 英尺 (6 米多)。而通过Blackmagic的转换盒从索尼Venice摄影机获取的拍摄信号,将根据不同SDR/HDR、2K/4K、24FPS/48FPS的需求,转换成各种组合以进行现场3D 监看。除此之外,据已公开的信息,为完成水下3D摄影,水下3D 拍摄系统和适用镜头的开发、水下拍摄效果监看的实现也成为重要的技术突破点。从演示片段中的水场景来看,也确实全面地展示出3D技术与水的自然效果在该片中的高度结合。同时,高帧率的应用也成为减少闪烁与抖动等影响3D 效果的有效手段。

作为3D 技术的引领者,卡梅隆导演深刻理解这项技术,知道如何利用3D 为故事服务,创造更丰富、更真实的观影体验。此次《阿凡达:水之道》势必又将是一部通过创新技术的展现令人耳目一新的作品。

3 高帧率技术的发展与应用

《阿凡达:水之道》的另一大亮点则是对高帧率的应用,该片已知使用48FPS拍摄。高帧率的运用是近些年备受关注的话题,对这方面的探索走得最远的无疑是李安导演,2016年 《比利·林恩的中场战事》和2019年的《双子杀手》,突破性地使用了高帧率技术,使其一跃成为了新的技术高点。卡梅隆导演表示此次高帧率在 《阿凡达:水之道》中的应用,将“成为减少闪烁与抖动等影响该片3D 效果问题的有效手段”。

3.1 高帧率给影片放映带来的效果提升

与传统24FPS 相比,高帧率影片优势非常明显,高帧率将电影每秒的信息量提高到数倍,大幅减少影片运动镜头的模糊和抖动,能使画面更流畅、更清晰,让观众观影时减少由于画面模糊、卡顿和抖动带来的不适感,避免出戏,使观众更好地沉浸到故事之中。在稳定与流畅的基础上,高帧率在相同时长内呈现出了更多内容细节。以李安导演 《比利·林恩的中场战事》中的镜头为例,高帧率的运用将男主角在战场上因极度恐惧产生的紧张感,通过面部肌肉的僵硬和无法自控的颤抖高度还原给观众(图1)。而《双子杀手》中男主角瞄准高速运动的列车车厢,对目前人物进行射杀的场景,也成为体现高帧率丰富了画面细节的代表镜头之一 (图2)。在《阿凡达:水之道》的演示片段里,也能清楚感受到在水下、战斗等场景中,运用4K、48FPS带来的在画面连贯性和清晰度上的优势。

图1 影片 《比利·林恩的中场战事》一秒钟分镜示意图

图2 影片 《双子杀手》中场景

3.2 高帧率应用如何与创作更紧密结合仍待深入探索

虽然帧率提升对电影呈现有有利的一面,但也有观点指出,过于清晰、过于流畅的画面,会失去电影感。什么是“电影感”一直是业界争论的话题,这其中既涉及艺术的突破又离不开技术的支撑。从黑白到彩色、从无声到有声、从胶片到数字,电影百年的魅力在于带来了无限的可能,创造了无限的想象空间,在艺术与技术相互促进的每个发展阶段,对“电影感”的理解都应是不同的。能够带给观众更美、更真实、更舒适的观感就是我们一直追求的“电影感”,因此观众的接受度才是真正评判一部电影是否有“电影感”的标准。

电影语言的表达方式多样且独特,创作团队为了表达、烘托创作主旨,往往采用各种手段和方式处理镜头画面,对观众进行潜移默化的影响,这就要求影片在使用高帧率制作时,不是一味追求画面线性的流畅度,同时还要考虑到镜头语言的特点。例如,展现力量的镜头,怎样更好保留角色带来的爆发力和冲击力;利用高帧率如何更好表现人物情感冲突或突出画面重心等,这些都要求高帧率的表现方式结合电影内容本身的特点提前进行设计。

3.3 利用人工智能算法实现影片帧率提升

虽然高帧率有可见的优势,但从前端方案设计、拍摄设备准备到后期制作工艺,高帧率相较传统24FPS影片在每个流程环节都有不同,因此现阶段实拍高帧率影片片源不足仍是很现实的问题。为了在合理控制成本的前提下,解决此问题,使用人工智能技术实现帧率提升成为了过渡期的有效方案。

视频插帧技术旨在通过对原始视频序列帧的信息提取、整合及分析,生成中间帧,从而实现对原始帧率进行提升。假设输入帧序列为 {I0,I1,…,In},则在对 {I0,I1}进行插帧运算时,其过程可以描述为:

其中A (·)为辅助函数,负责提取插帧相关的物理量,如光流、深度、语义信息等;而F (·)为插帧函数,用于整合辅助函数输出的物理信息,并生成{I0,I1}的中间帧。

插帧算法的本质为对插帧函数进行刻画拟合,过程比较复杂,传统算法往往通过添加假设条件和简化问题的方式对插帧函数进行重构,这样的估计法会限制算法的泛化性和插帧结果的精确度,难以满足大银幕电影的需求。与传统算法对插帧函数直接建模不同,人工智能技术通过大数据海量学习,对原有帧和中间帧的关系进行数学的刻画,以得到更优的视觉效果和泛化性。其中,最具代表性的是基于深度卷积神经网络(Deep Convolutional Neural Network,DCNN)的算法。深度卷积神经网络在线性分类模型的基础上,通过卷积对输入图像的有效信息进行提取,叠加非线性函数,对复杂的前后关系进行通用建模和刻画,同时在网络设计的过程中引入池化层、重采样层、反卷积层等算子,形成灵活多变的网络结构,对输入数据进行高效的提取与整合。基于深度卷积神经网络的视频插帧技术,根据辅助函数和插帧方式的不同,可大致分为光流法和卷积法。而目前基于卷积神经网络的运算模型常见有:

(1)深度感知视频帧插帧算法 (Depth-Aware Video Frame Interpolation,DAIN),采用深度信息对权重函数进行增强,提升算法精度的同时增强稳定性。

(2)感知视频中运动加速度的视频插帧算法(Quadratic Video Interpolation,QVI),在深度感知视频帧插帧算法基础上进行了增强。进行中间光流生成时,深度感知视频帧插帧算法会假设帧间运动为匀速直线运动,这种假设限制了模型的表达能力,在处理复杂运动时会因匹配度不够而产生负效应。运动加速度的视频插帧算法通过对多帧运动信息的估计,使用二次模型对帧间运动进行刻画。即要对 {I0,I1}进行插帧时,需输入连续四帧I-1,I0,I1,I2,将原插帧函数变形为:

从而增强模型对处理复杂运动的能力,提升插帧精度。

(3)视频帧插值的实时中间流估计(Real-Time Intermediate Flow Estimation for Video Frame Interpolation,RIEF),与常见采用先做前后、再做中间的光流估计框架不同,视频帧插值的实时中间流估计是通过对输入帧的信息提取与整合,直接对中间光流进行估计,有效压缩了运行时间。

由上述代表性的算法可见,拥有更强学习能力的深度卷积视觉神经网络配以大量训练数据,已越来越多的通过定制化开发应用于解决图像处理、画质提升、三维重构、虚拟和增强等各类视觉问题中。而与电影行业的结合应用,最关键是让人工智能深度学习与熟悉电影语言表达方式的特点。不同题材影片虽风格迥异,但往往都集合了推、拉、摇、移、旋转等各种镜头运用,同时要需综合分析画面中物体交互运动类型、形变情况、遮挡关系、光影变换等因素,加上大银幕充分展现画面每一处细节,稍有不准确就会造成不适的观影体验,因此对人工智能算法处理帧率提升的精确度要求格外高。对插帧前后画面焦点虚实及色彩空间的一致性、保证物体边缘无变形或不完整显示、画面内容无非正常闪烁及抖动、运动物体不因帧率提升而产生拖尾及重影,以及画面内容没有非常规的运动不同步等指标的要求,依靠开源算法以自动化方式无法满足需求,是通过定制化开发,并不断输入实拍数据集,对算法模型进行训练、优化与迭代来实现的。

CINITY 制版工艺中的CINITY AMR (CINITY 人工智能母版重制)技术就是在原有CINITY母版制作工艺实现的提高影片对比度、提升动态范围、色彩增强及重新对影调进行精准映射的基础上,创新采用人工智能方式对传统24FPS影片进行的母版重制,在使电影画面超分至4K 的同时提高了帧率,与CINITY 放映系统技术指标相匹配,让影片画面更清晰、色彩更真实、细节更丰富、动作更流畅,为观众带来沉浸式观影体验。目前通过CINITY AMR 技术已制作多部高帧率影片,市场反响良好。《阿凡达》第一部也计划使用人工智能的方式制作高帧率重制版,并在CINITY 影厅展现给观众。

通过对人类感知视觉信息过程的不断模拟、迭代更新和海量数据训练,人工智能的应用水平将会不断提高,继续助力电影级别画面的超分和帧率变换。

3.4 高帧率实现方式的结合运用

实际拍摄与人工智能插帧运算两种实现影片高帧率的方式并不冲突,甚至可以结合运用。从创作需要角度出发,通过前期设计,对要重点突出高帧率优势的场景更多采用实拍方式,而对运动较平缓、固定机位拍摄或不具代表性的场景镜头,则可考虑通过人工智能插帧运算方式来实现帧率变换,有效控制各项成本的同时提高制作质量和效率。

4 总结

卡梅隆导演曾说,“我希望人们遗忘技术,就像你在电影院看到的不是银幕而是真实世界。一切技术的根本目的,是让人们察觉不到技术的存在。”所有的新技术手段都是在为内容服务,不论3D、高帧率还是其他高新技术,归根结底是为更极致地还原创作者本身的意图,更具冲击力地传达给观众创作的主旨,引起共鸣。对于 《阿凡达》系列的探讨,其实早已超越了电影技术和艺术本身的范畴,它引发的思考和带来的影响力已推动电影产业各方面加速发展升级。相信随着 《阿凡达:水之道》及其他国内外重磅大片的上映,电影行业也必将在高新技术发展和艺术创作领域都得到跨越式的提升,尤其在3D 技术与高帧率技术方面,将会得到进一步的发展与应用。