面部表情捕捉技术的发展和应用

朱丽莉 张继山 余久久

摘要：面部表情作为一种非常重要的非语言符号，在影视行业中一直受十分重视，面部表情捕捉技术也是近十几年被人们热衷研究的方向。本文综述面部表情捕捉技术的原理、发展和应用。通过影视工业中的具体影视作品来展示动作捕捉技术从萌芽诞生到面部表情捕捉技术的成熟所走过的一个世纪，以及在影视工业中所起到重要作用。最后展望面部表情捕捉技术未来在虚拟现实当中的作用，并讨论无标记点面部捕捉技术、实时面部表情呈现等将是面部表情捕捉技术未来的研究方向，提高读者对这个技术潜能的认知。

关键词：面部表情;面部表情捕捉技术;动作捕捉技术;虚拟现实

中图分类号： TP391        文献标识码：A

文章编号：1009-3044（2021）09-0172-03

开放科学（资源服务）标识码（OSID）：

The Development of Facial Expression Capture

ZHU Li-li， ZHANG Ji-shan， YU Jiu-jiu

（School of Computer Engineering， Anhui Sanlian University， Hefei 230601， China）

Abstract：Facial expression， as a very important non-verbal symbol， has been attached great importance in the film and television industry. Facial expression capture technology is also a hot research direction in recent ten years. This paper reviews the principle， development and application of facial expression capture technology. Through the specific film and television works in the film and television industry to show the action capture technology from the embryonic birth to the maturity of facial expression capture technology and plays an important role in the film and television industry. Finally， the future role of facial expression capture technology in virtual reality is prospected， and the future research directions of facial expression capture technology， such as unmarked point facial capture technology and real-time facial expression presentation， are discussed， so as to improve readers' cognition of the potential of this technology.

Key words： facial expression;Facial Expression Capture;Motion Capture;Virtual reality

1 引言

面部表情（Facial expression）是指通過眼部肌肉、口周肌肉、脸面肌肉的运动变化来表现的不同的情绪状态。表情在传递信息的作用当中占着超过半数的比例，非语言符号专家艾伯顿·梅热比曾提出公示：沟通双方互相理解=语调、语速（38%）+表情、姿态（55%）+语言内容（7%）。观众欣赏电影，接受到其实就是影片中演员通过精湛的表演传递给观众的非语言符号表达的信息。而随着影视工业技术不断革新，大银幕上诞生的越来越多的CG角色，如何赋予他们真实可信的情绪就成了非常迫切需要解决问题，而面部表情捕捉技术的诞生和发展解决了这个问题并让CG角色鲜活和充满魅力[1]。

2 面部表情捕捉技术简介

面部表情捕捉（Facial Expression Capture），又被称为面部动作捕捉（Facial Motion Capture），他是动作捕捉（Motion Capture）技术的一部分，而动作捕捉技术发展到2009年因为技术的革新和动作捕捉演员演绎的精进，又被称之为表演捕捉（Performance Capture）技术[2]。

2.1 动作捕捉技术

动作捕捉技术是一系列技术的统称，从原理上分有机械式、声波式、电磁式、光学式等多种。该技术涉及被捕捉运动对象的尺寸测量、物理空间的定位以及方位测定等方面可以由计算机直接理解处理的数据。典型的动作捕捉技术设备由四个部分组成：传感器，信号捕捉设备，数据传输设备，数据处理设备[3]。

2.2 面部表情捕捉技术

面部表情捕捉技术相较于稳定的人体来说，更为细微复杂，所以对数据的精度要求也就更高，可以基于机械式和基于光学来实现。在预算允许的情况下，CG电影更倾向于选择捕捉真人面部来完成角色的演出，与手动关键帧动画角色表情相比，通过面部捕捉技术支持生成的角色更具有真实感。根据人脸拍摄条件不同，可以分为面部有标记点和无标记点两种方式[4]。

3 面部表情捕捉技术的发展和应用

面部表情捕捉技术作为动作捕捉技术的一部分，研究其发展必然要从动作捕捉技术的诞生和开始说起。

3.1动作捕捉技术的前世

3.1.1.转描技术（Rotoscoping）

上个世纪初，动画刚刚诞生，理论系统并没有完善，相应的技术也比较落后，当时的动画师们有个共同的难题，通过一帧一帧绘制出来的动画无法流畅自然表现物体的运动。针对这个问题，在1915年，Max Fleischer著名的动画家在创作《小丑可可跳出水墨瓶》时发明了转描技术（Rotoscoping）[4]，这是一种逐帧追踪真实运动的动画技术，将预先摄制好的胶片投影到动画师桌面上，动画师再根据每一帧的影像进行拓画。

1937年，迪士尼在制作《白雪公主》时运用了该技术，这是世界上第一部使用转描技术的动画电影，动画角色们的丰富的面部表情是在真人演绎的基础上进行二度创作去贴合角色的性格并符合二维动画夸张的面部表情。在四年后，1941年上映的我国第一部动画电影《铁扇公主》也在影片中使用了转描技术进行创作。影片中，铁扇公主流畅的肢体动作都是通过动画师逐帧转描影像记录的真实人物的动作。

虽然真正的动作捕捉系统还需要几十年的时间才会成熟，但转描技术正是这个行业的概念证明，在动画空间中尽可能地模仿真实人物的动作以及面部表情会让作品更出色。

3.2.2光学动作捕捉技术的雏形

19世纪30年代，俄罗斯科学家为了研究人体运动规律作的科学实验，可以说是今天主流光学动作捕捉技术的雏形：运动员身上绑上发光标记点，在通过高速快门摄影机进行记录，摄影机记录到的画面就是由发光点留下的线条，人体运动时肢体关键点形成的轨迹。（图1）

3.1.3实时动作捕捉的第一个实例

动画大师李?哈里森三世在1959年时，用电位器（可调电阻器）衬了一件紧身衣，并能在显示器上实时记录和模仿演员的动作。在这个简陋的平台上，动画演员本质上是个发光的棒形人物，但这标志着实时动作捕捉的第一个实例诞生了。

3.2在影视工业中的面部捕捉技术和动作捕捉技术

随着计算机的出现，数字时代的到来，人们开始追求通过计算机来自动完成不同关键帧之间的角色运动，为了实现这一目标，科学家们开始研究运动捕捉技术。1983年麻省理工学院（MIT）开发了基于LED的“木偶图像化”技术，是首批的光学动作捕捉系统，为之后的动作捕捉奠定了发展基础和方向。从这时开始，电脑动画行业才逐渐开始应用动作捕捉技术。

3.2.1 动作捕捉技术的首例应用

在1985年的超级碗现场，当时播出了由Robert Abel制作的短《Brilliance》，该片的制作团队在女模特身上18个关节上涂描了黑点（图2），通过多角度多拍摄来获得动作信息数据并导入到计算机生成的女性机器人身上，值得注意的是，这部短片不仅是动作捕捉技术的首例应用，也创作了世界上第一个计算机生成的女性机器人（图3），是一部CGI历史上里程碑式的作品[4]。

3.2.2面部表情捕捉技术的诞生及早期代表设备

为追求面部表情的数字化，20世纪80年代对研究人员也在着手研究面部动作的捕捉技术，最早的面部动作捕捉主要依靠机械装置跟踪测量面部运动情况。面部捕捉技術机械式的设备代表有1992年SimGraphics开发的Face Wald面部动作捕捉系统（图5），通过固定在双颊、嘴唇、下巴、眉毛等位置的传感器追踪脸部动作。这套面部捕捉设备曾在当年的任天堂发布会上，通过屏幕上的Mario形象与观众交流互动。虽然机械式面部动作捕捉设备拥有成本低、精度高、可以实时测量等优点，但使用起来并不方便，对表演者的表情限制较大，随着技术的革新，最终慢慢退出了历史舞台。

3.3 在电影中初露端倪的动作捕捉技术

20世纪末，在动作捕捉设备包括面部捕捉设备支持的情况下，电影行业开始逐渐尝试动作捕捉技术作为电影的制作手段之一，虽然在当时该技术并没有取得瞩目的成绩，但让人们看到了其的巨大潜力。

3.3.1第一部使用动作捕捉技术的电影

1990年，由保罗·范霍文执导的《全面回忆》，这是第一部使用动作捕捉技术的电影，片中使用动作捕捉技术的镜头仅几秒，即施瓦辛格实验的男主角经过X射线时的镜头。（图4）

3.3.2《泰坦尼克号》中的动作捕捉技术应用

1997年詹姆斯·卡梅隆导演的《泰坦尼克号》也借助动作捕捉技术，观众看到的沉船场景中大多数乘客都是计算机制作的，演员穿着白色带有金属标记点的衣服表演摔倒、跌落等动作，通过摄像机和计算机把动作数据导入到CG角色上进行合成和渲染（图5）。

3.4 登上电影舞台的面部捕捉技术和动作捕捉技术

进入21世纪最初的几年，动作捕捉技术是身体动作和面部动作分开进行捕捉，也依旧没有得到电影制作们的绝对重视。

3.4.1 多人同时动作捕捉技术

2001年的计算机动画电影《最终幻想：灵魂深处》在角色的真实感上下来很大工夫，虽然最终票房不尽如人意，但该片全程使用了动作捕捉技术，实现了多人同时动作捕捉（图6），成为动作捕捉史上的经典作品。但是CG角色僵硬缺少情绪的面部表情让观众无法和角色产生情感共鸣，从而投入到故事剧情当中。

3.4.2 经典的动作捕捉角色咕噜姆

同年，当年的奥斯卡最佳视觉奖获奖影片《指环王》中诞生了由安迪·瑟金斯饰演，经典动作捕捉角色咕噜姆（图7），起初这位英国籍舞台演员只是作为咕噜姆的配音演员，然而导演彼得·杰克逊发现他的表演潜力，决定让他尝试掌握动作捕捉技术，完成咕噜姆的表演。第一部影片的动作捕捉过程主要是，安迪·瑟金斯穿着白色的衣服先和其他演员一同对戏，再到棚内穿上带有标记的服装并且在脸上画上标记点通过独自表演进行动作捕捉特别是面部表情的捕捉，最后由后期人员把瑟金斯在画面中擦除替代上咕噜姆CG形象。最终我们在荧幕上看到一个被瑟金斯完美演绎的在魔戒折磨中失去了人形的咕噜姆，从他丰富的面部表情中观众可以发现它拥有着卑鄙、可怜、邪恶、贪婪的多重性格。这一次动作捕捉技术的尝试，成就了具有划时代意义的咕噜姆，也为瑟金斯成为“动作捕捉第一人”奠定了基础。咕噜姆是世界电影式史上最经典的CG角色之一，同时也是电影史上最经典的动作捕捉角色之一，还是最早使用面部捕捉技术的角色之一。

3.4.3 无标记点的面部捕捉技术

到了2003年面部捕捉技术在《黑客帝国2》中有了新的突破，电影中首次采用无标记点的面部捕捉技术。五个同步高清摄像机被摆放为环形阵列捕捉他的面部表情，皮肤表面、动作变形和环境进行修改和渲染最后合成演员脸部被击中的镜头（图8）。该无标记点的面部捕捉技术采用光流照片测量技术，这是一个非常关键的算法，可以追踪通过环形高清摄影设备拍摄到的像素点所在的位置，将这些结果与模型结合，让像素点与模型节点匹配，从而得到模型的运动轨迹。无标记点面部捕技术尽管在当时十分先进，但烦琐的制作工艺，高昂的制作成本以及低效的工作进展，使得该技术没办法被大规模的推广应用。

3.4.4 同时捕捉面部和身体，动作捕捉技术的规范化

2004年，《极地特快》上映，这是一部完全由计算机制作的动画作品，在这部电影诞生之前的十多年中，电影制作者们专注于如何使用计算机制作产生真实的烟雾、水、火等特效，而从这部电影开始设法通过计算机创作人类身体、面部表情、毛发、衣服运动感的真实效果。以“技术狂人”著称的罗伯特·泽米吉斯在影片中运用了虚拟摄像和最新动作捕捉技术，第一次实现了身体和面部运动可以同时进行捕捉，在录制过程中以三维特效的形式，将多名演员的面部表情及肢体行为在显示器中真实地再现出来。虽然在影片《极地特快》中人物的面部表情并没有比手动关键帧动画强多少，根本原因还是当时面部捕捉技术的不够成熟，但是这部影片的诞生也是具有里程碑的意义。

3.5 面部表情捕捉技术走向成熟

3.5.1 头戴式表情捕捉系统

2009年的电影《阿凡达》把面部表情捕捉技术提升到了一个新的高度，导演卡梅隆把一个微小的摄像机系统在头盔前来追踪每一个面部运动，借助头戴式摄像头以及改进的软件算法，完美地解决了如何高精度采集演员面部表情的问题（图9），现在表演者面部粘贴着标记点，嘴巴前的头戴式摄像头已经成为动作捕捉技术的标配。此外卡梅隆并不喜欢面部表情捕捉这个词语的应用，他更喜欢称之为“表演捕捉”（Performance Capture），听上去有些咬文嚼字，但是可以看出在电影制作者的心中技术需要为艺术服务，导演多目标是可以通过这套面部捕捉系统自动获取高精度的人脸面部表情，尽量减少后期人员的手工操作，最大程度去呈现演员最出色的表演从而成就优秀的作品[5]。

3.5.2 首部在日光下运用动作捕捉技术拍摄的影片

2011年的《猩球崛起》首次在真实的地点和布景前进行动作捕捉技术来捕捉演员的表演。因为影片中的主要角色是猩猩，和人脸有着不小的区别，该影片在头套式表情捕捉系统的基础上第一次使用“脸部肌肉组织模拟技术” [6]。十多年前，安迪 瑟金斯曾独自一人在棚中进行咕噜姆的动作捕捉表演，到现在饰演凯撒可以和同事们一同站在阳光下進行表演（图10），在感受技术进步的同时他也为本片也贡献了更加出色的演技。在《猩球崛起》系列中，我们可以看到动作捕捉技术已经炉火纯青，身体面部同时捕捉、户外多人捕捉、面部表情绑定、快速简便的设备架设等，过去的许多问题都得以解决。

3.5.3 年轻版的威尔·史密斯

在过去的电影中，我们看到的CG角色大多比较卡通化，和现实中的人有着很直观的区别。但在李安2019年的电影《双子杀手》中我们看到了一老一少的威尔·史密斯（图11），其中年轻的史密斯是完全由计算机制作的CG角色。李安通过数字建模、表演捕捉、CG渲染、画面合成等多种技术手段，创造了年轻的威尔·史密斯，呈现到我们面前。不仅外形逼真，通过捕捉技术得到的动作形态和面部表情也让CG角色拥有了极高的真实感。当然这部李安用来追求技术应用的电影不仅只有逼真的3D数字人这一个看点，结合着120帧的高帧频率和4K技术，使得电影的细节更加清晰，没有了2009年《阿凡达》在表现运动场景的模糊感。

4 总结及展望

从《指环王》中的咕噜姆到《星球崛起》中的凯撒，从《阿凡达》中的纳美人到《双子杀手》中的年轻的威尔·史密斯， 我们看到大银幕上的CG角色越来越丰富表情与精细的表达。而进入21世纪后，所谓的“特效大片”，大多都采用了面部动作捕捉技术来作为电影拍摄的方式，被赋予了丰富表情的CG角色结合剧情的整体走向，成了生动的形象，通过真实可信的面部表情实现了大众情感的契合，达到了情感的共鸣。但想要获得经典数字角色，首先要获得的是经典的演员表演，技术与艺术的完美结合才能创造出优秀的作品。科技发展和娱乐进步促使人类发明了电影，而随着科技的进步，电影工业也将不断突破创新，每一次重大的技术革新，都使电影艺术焕然一新。我们通过这众多的优秀影视作品中也见证了面部表情捕捉技术从开始兴起逐渐走向成熟。最后，我们一起来看看面部捕捉技术在除了影视工业之外的应用场景还有哪些。

首先，面部表情捕捉技术在游戏制作领域的应用让玩家有更棒的游戏体验。目前流行的大型3D游戏，绝大部分都用到了面部表情捕捉技术，Dimensional Imagin的创始人Colin Urquhar说过：“令人感到信服的真实度一直是开发者不断追求的东西，尤其是面部动画”。随着通信技术和电子设备的迭代更新，游戏角色在游戏中的表演被放大，精致的画质中角色的表情越来越明显，表情的质量也变得更为重要。在游戏市场上，为了让玩家有真正的沉浸式体验，将会有更多的公司把动捕技术和VR结合在一起，毕竟只有逼真的游戏角色及其丰富的面部表情才能使玩家产生良好舒服游戏体验。

其次，包含面部表情捕捉技术虚拟现实技术，将会在各种领域应用，并带来不可估量的奇迹，例如给有心伤的人以情感慰藉，让人在情感上得到治愈。目前韩国已经有案例，一位母亲在纪录片《遇见你》通过VR技术与去世的女儿重逢。技术人员通过女儿生前的照片，三维建模得到一个虚拟的女儿，再对多个孩子进行动作和面部表情的捕捉，结合音频技术，创作一个虚拟女儿。节目中，当母亲戴上VR眼镜与女儿重逢的画面，让无数人泪目。

不难看出，面部表情捕捉技术是支持虚拟现实的主要技术之一，可以增强VR的真实感和沉浸性。文中提到的案例，都有着庞大的制作团队，让人们觉得该技术只能存在于高端的实验室或有着大额预算的片场里。但实际上目前市面上已经有许多更容易接触和学习到的面部捕捉系统，只需要一台电脑和一个网络摄像头就能够在无标记点的情况下快速精准地捕捉到面部表情，而这是面部表情捕捉技术面向大众的未来方向，将被应用于任何需要研究面部表情或表达情绪的领域，例如医学、教育、心理学等以及通过网络社交等。

参考文献：

[1] Dagnes N，Marcolin F，Vezzetti E，et al.Optimal marker set assessment for motion capture of 3D mimic facial movements[J].Journal of Biomechanics，2019，93：86-93.

[2] Rahul M. Review on Capture Technology[J]. Global Journal of Computer Science and Technology： F Graphics & Vision，2018，18（1）：22-26.

[3] 尹钊.动作捕捉在影视作品中的应用[J].影视制作，2010，16（11）：44-48.

[4] 许乐，朱柏宇.计算机技术与电影真实感的建立——以动作捕捉技术和奥斯卡视觉特效奖为例[J].北京电影学院学报，2014（1）：64-72.

[5] 王珊，沈旭昆，赵沁平.三维人脸表情获取及重建技术综述[J].系统仿真学报，2018，30（7）：2423-2444.

[6] 刘辉，朱闯，张天永，等.一种基于头部特征的人头检测方法[J].光电子技术，2014，34（1）：21-25.

【通联编辑：唐一东】