数字逆龄:《爱尔兰人》面部捕捉技术与艺术创新

王腾飞 张懿慧 丁友东

(1.上海政法学院上海纪录片学院,上海 201701)

(2.上海大学上海电影学院,上海 200072)

1 面部捕捉技术简史:从 《宇宙威龙》到《爱尔兰人》

面部捕捉技术是动作捕捉的一部分,指借助机械装置等设备记录人类面部表情和动作,并将其转为一系列参考数据的过程。和其他动作捕捉相比,面部表情更加复杂,对数据精度的要求更高。目前面部捕捉技术广泛运用于影视、游戏等诸多领域,和手动制作的动画相比,面部动作捕捉制作的表情,更加具有真实性。当下面部动作捕捉大多是基于光学技术,从数据来源可以分为两种:二维面部捕捉和三维面部捕捉。其中二维面部捕捉指基于光学镜头记录数据,通过特定算法标记,完成对人物面部表情动作的记录,这种技术广泛存在手机、电脑等设备中,具有代表性的为苹果iPhone中的Animoji,通过抓取用户面部数据并且生成表情;而三维面部捕捉在二维面部捕捉基础之上,借助设备捕捉画面的深度信息,获取人物面部三维动作,一般使用相机阵列,但这种记录方式成本较高,且不利于演员即兴演出等。从拍摄条件可以分为有标记点和无标记点面部捕捉,其中有标记点是当下面部动作捕捉的主要方式,这种方式在演员面部标定一百多个点,同时借助特定的设备捕捉面部动作,如头盔等;而无标记点的面部捕捉方式往往依据人脸面部特征,追踪人脸眼睛、鼻子、牙齿等位置,完成数据记录。面部捕捉技术还有其他分类方法,在电影中的运用一般采集三维数据,更多以有无标记点来区分。

最早关于动作捕捉的技术可以追溯到1915年,动画大师Max Fleischer借助放映机将胶片中的画面投影到墙上,依据投影出来的画面,再结合人工画师,将一帧帧画面画出来。而面部捕捉最早可以追溯到1988年deGraf/Wahrman公司开发的Mike the Talking Head动作捕捉系统,该系统中包含面部捕捉功能。第一次正规使用动作捕捉技术的影片为《宇宙威龙》,但是这部影片中更多是骨骼运用,而非面部捕捉;随后在1992年,Sim Graphics为面部捕捉专门开发系统,这种系统依赖于传感器,将传感器固定在头盔上,追踪演员嘴巴、上下颚等动作信息,完成面部捕捉,这套设备辅助任天堂产品Mario演出,如图1所示。随后运用动作捕捉技术的电影有《极地特快》《丁丁历险记》等,但是大多是针对肢体的动作捕捉为主。

图1 基于传感器的动作捕捉①

较早规模化运用面部捕捉技术且获得奥斯卡视效奖的影片为2001年的 《指环王》。演员安迪·瑟金斯在表演时穿着带有标记点的服装,动画师先制作出安迪的造型,然后再将数据转化到咕噜的模型身上。同年Image Metrics推出无标记点面部捕捉技术,随后《黑客帝国》特效团队又自己研发出无标记点面部捕捉技术,并且成功运用于 《黑客帝国2:重装上阵》以及 《黑客帝国3:矩阵革命》,在电影技术史中具有里程碑的意义。影片《黑客帝国》中采用无标记点的面部捕捉技术,运用5 台Sony HDW-F900高清摄像机同时记录演员雨果·维文的面部,将面部动作数据传入电脑中。这种无标记点面部捕捉技术采用光流照片测量技术,将采集而来的数据和较高精度3D 模型相匹配,如图2 所示。这种方法具有突破性的意义,但仍不够完善,容易出现匹配错误,且制作成本高,没有得到较好发展。随后面部捕捉基本采用标记点的方法,且身体捕捉与面部捕捉分开来做。动作捕捉技术领域又一次取得突破体现在2006年的影片 《极地特快》,该片第一次将身体和面部同时捕捉完成,但是面部捕捉技术并没有真正取得进步,捕捉到标记点位置信息容易出错,依然需要动画师手动大量调整。

图2 《黑客帝国》无标记点面部捕捉②

面部捕捉技术再次提升的契机源于2008年的影片《阿凡达》。在这部影片之前大多采用面部标记点的方式,而《阿凡达》采用标记点加头盔装置,并在前面安置一个摄影机来解决面部细节的捕捉,如图3所示。2008年至2019年期间基于头盔加摄影机这种面部捕捉方式一直延用,《魔兽世界》《少年派的漂流记》《奇幻森林》《复仇者联盟》《阿丽塔:战斗天使》《双子杀手》等都采用了这样的面部捕捉方式。

图3 《阿凡达》头盔式有标记点面部捕捉③

从面部捕捉技术发展过程中可以发现,面部捕捉数据往往较多投射到CG 制作的动画形象,如《猩球崛起》《金刚》《加勒比海盗》《阿凡达》《奇幻森林》等。而《黑客帝国》中对人们面部的投射较多,大多数情况下雨果·维文都佩戴着眼镜,为制作带来很多便利。之所以出现这种现象,源于日本著名机器人学专家森政弘于20世纪70年代年提出的一个“越像反而越不像”的“诡异谷”学说,即人们对与自身差异越大的事物,辨别能力越差,而对差异越小的人和物,辨别能力反而越强。如李安导演的120fps电影 《双子杀手》,将面部捕捉数据投射到人物本身,制作出年轻版的威尔·史密斯,但面部细节之处依然能够被观众识别出来。直到2019年上映的电影 《爱尔兰人》,对真人进行无标记点面部捕捉,借助技术进步艺术创新又有了新的突破。

2 《爱尔兰人》 无标记点面部捕捉详解

在2019年美国国家评论协会奖公布的获奖名单中,《爱尔兰人》获得最佳影片、最佳改编剧本两大奖项。这部影片采用无标记点面部捕捉技术,且在拍摄过程中没有借助头盔等设备,是面部捕捉数字技术的一次重要技术革新。

导演马丁·斯科塞斯和他的制作团队、网飞、工业光魔组队共同创作《爱尔兰人》,突破演员年龄限制,打破视觉特效流程的界限,实现数字逆龄艺术化效果。这部影片的主要演员罗伯特·德尼罗、阿尔·帕西诺、乔·佩西已经无法仅通过化妆来扮演更年轻时候的样子,导演马丁·斯科塞斯曾说:“我不想让演员们彼此说话时,脸上带着高尔夫球,这影响到演员的表演,尤其是这种类型的电影,演员需要相互飙戏”,此时亟需无标记点面部捕捉技术。

为了解决这个问题,制作团队分为两组:一组发展摄影系统和捕捉,另一组继续完善软件。摄影组在摄影机两侧放置两台侧拍相机,如图4 所示。这两台侧拍摄影机为红外摄影机,红外图像不会受到阴影的影响,同时可以获得多个视角,且视角越多,后期越容易转化为三维图像。影片中大量镜头采用三台摄影机同时拍摄,导演马丁·斯科塞斯戏称之为“三头怪兽”。

图4 三摄影机组合④

图5 三摄影机组合拍摄效果④

在素材方面,为了解决演员年轻时候的相貌问题,制作者花费两年时间,搜集三位演员的素材,截取大量参考图用于研究学习,并且建立庞大的参考数据库。从演员过往的作品中截取出大量关于演员年轻时候的片段,如图6所示。这些片段跨越各个年龄段,用于研究每位演员的面部表演状态,以及在诠释角色的过程中,面部表情肌肉的走向等。

图6 演员年轻时的面部图像数据④

在软件方面,制作组并没有让动画师去塑造演员的表演,工业光魔采用一种叫Medusa的技术,为三位主演做面部捕捉,如图7所示。具体过程为:让演员坐在椅子上做一些列表情,借助设备生成一系列表情各异的模型,如图8所示,而且可以借助软件做到从一个表情切换到另一个表情,从而解决动画问题,并在某一帧使这些表情可以相融合。借助摄影机拍摄的素材,分析演员的表演,并将模型和拍摄素材相匹配,同时也借助实拍素材,在3D模型中生成更多的细节。演员每一次表演,其面部都会有很多动作细节,面部肌肉的变化、血液流动的方式等,将这些影响因素融入到面部模型中,使得制作出来的3D 模型更加生动。同时也应注重演员面部在不同光照环境下的细节,将每位演员的年轻版塑造的更写实,如图9所示,即便在不需要标记点以及额外的头盔等设备的情况下,仍能保障演员在表演时不受影响。最终将演员年轻版3D 模型和表演时的面部细节数据相互结合,利用算法合成年轻版本的演员,如图10所示,最终完成数字逆龄的艺术创作。

图7 演员年轻时的面部图像数据④

图8 模型效果④

图9 面部替换④

图10 逆龄化效果对比④

《爱尔兰人》这部影片在面部捕捉技术上的突破在于演员在表演时可以充分发挥表演才能,而无需受到表演环境的影响,既具有里程碑意义,也是当下面部捕捉技术较为先进的体现。从面部捕捉技术起源至今,无不透露出技术革新在艺术创作过程中所起到作用,同时艺术创作需求也在推动技术的进步。

3 《爱尔兰人》:技术与艺术的融合创新

自卢米埃尔兄弟发明电影摄影机,一百多年以来,电影技术与艺术两者处于不停博弈中,随着数字媒体技术日新月异的发展,技术革新与艺术创新同步的可能性也表现得越来越明显。在不断完善技术的过程中,以技术书写影像,满足电影主体们的创作需求。

首先,传统电影理论无不强调“技术服务”论。但是在计算机技术尤其是多媒体技术快速发展的过程中,对艺术的影响也越来越大。电影《爱尔兰人》正是借助面部捕捉技术的创新,较好完成了数字逆龄艺术创作。纵观面部捕捉技术发展,技术的革新让影视艺术有了质的飞跃,为艺术表现提供了充足的条件。恰如电影史学家雷蒙德·菲尔丁的评论:“至少在近几年,我作为历史学家所做的全部工作都产生于下述前提:电影——作为艺术形式,作为传播媒介,作为工业——的历史基础之上是由技术革新及其报偿来决定的……就鲍特、英斯和格里菲斯的影片而言,投入使用的便捷式摄影机、大胶片盒、替换式透镜和改进型感光乳剂所作出的贡献一点不亚于这几位导演个人的艺术才华”。由此可见,技术至关重要,绝非是简单的“服务”,也只有借助技术才可以完成可见影像的书写。

其次,当下融合媒介快速发展,传统电影面临巨大挑战,尤其是互联网带来的冲击。硬件技术快速发展,高新技术格式和虚拟制作已成为大制作影片的实力显示,电影与其它媒体在技术上已无显著区别,专属于电影的技术日益减少,与此同时许多高新技术开始广泛运用于影视行业。传统视听效果已经无法满足人们日益需要的文化生活,随着数字技术发展,以本文中面部捕捉技术为例,从传感器捕捉技术到标记点捕捉,到当下无标记点动态捕捉技术,技术持续的发展,让影视从人偶仿真到动物仿真,乃至《爱尔兰人》中直接制作出年轻版的主演,技术的进步,被才华横溢的导演们所驾驭,在艺术层面有所创新。给予电影创作主体捕捉“无所不在之灵”有力的技术力量,借助将新技术探究可能性新艺术表达方式,也为下一次电影技术与艺术的创新储蓄能力,成为电影区别于其他媒体的重要手段之一。

第三,电影数字化制作流程已经被广泛运用,数字技术与电影艺术深度融合才能够更好地体现技术性与艺术性相统一。影片 《爱尔兰人》利用数字技术尤其是无标记点面部捕捉技术,打造年轻版的三位主演是一次艺术性突破。同时,艺术突破性创作需要技术手段的持续革新,才能满足电影创作主体们对“无所不在之灵”的捕捉,以及造“梦”的需求。电影艺术属于一种现代化的艺术,这种现代化的艺术满足人类生存对世界的探究,人类好奇心、求知欲等不断促使人类探究未知的世界,在不停创作物质世界的同时,也在不停向往精神世界,尤其是美轮美奂的艺术世界。精神分析学认为“看电影的过程,本身就存在着梦幻、想象的特质。这种特质既来自于观影者自我的心理动机,同时又来自于观影者的观看情境——电影院,这种把人和现实分隔开来,而把人与梦幻联系起来的特殊环境。虚构的人物、场景、事件等,需要技术的支撑,电影造“梦”的功能越来越强大,从借助声音、画面、光效等外部环境手段,在3D 电影发展之后,面部跟踪技术持续跟进,以技术完成影像作为某种符号的创建,并以表意影像的方式,以可见的“物质”形式呈现给意识。以技术与艺术共同构建起运动的影像符号,生成电影艺术的价值,也以“再现形式”促使受众主体的认知等,满足观众对影片的需求。

4 结语

面部捕捉技术自诞生以来,大大提升了电影艺术创作的空间,帮助众多导演实现自身的艺术创作,技术的进步也是艺术所需,艺术的创新也需技术的不断革新。因为有了技术的支撑,电影艺术才有了独特的艺术魅力,大大领先于其他艺术形式,同时技术又是在艺术中,获得更广泛的运用与表达。技术与艺术两者共同完成电影影像的创建,将“灵韵”捕捉并呈现在观众面前,借助影像符号,进而将物质呈现给意识,形成电影艺术的价值,满足观众对精神文化的需求。

①图片来源于https://www.zhihu.com/topic/20761446/intro.

②图片来源于https://v.youku.com/v_show/id_XMzI3NTI 1MTky.html.

③图片来源于https://v.qq.com/x/page/t0560ey2wfu.html.

④图片来源于https://www.bilibili.com/video/BV1fJ411G7o J?from=search&seid=4113039948075356645&spm _id_from=333.337.0.0.