De-aging技术相关专利分析

李 敏

（国家知识产权局专利局专利审查协作北京中心，北京 100160）

0 引 言

2023年春节档开年大戏《流浪地球2》一经上映即迅速获得观众的热烈反响。其以惊险刺激的故事情节和精彩绝伦的视觉效果吸引了众多观众的眼球，成为当季最受欢迎的电影之一。《流浪地球2》的成功与其惊人的视觉效果密不可分。电影中令观众惊叹的是演员吴京饰演的角色只有21岁，而吴京的脸在电影中看起来非常年轻，与真实世界中超过45岁的他在公众面前所展现的形象完全不同。这样的视觉效果是由De-aging技术（即数字减龄、逆龄、去老化）技术实现的。

1 De-aging技术概述

De-aging技术，即数字减龄、逆龄、去老化技术，是指通过数字编辑（Digitally editing）或计算机绘图（Computer Graphics，CG）技术将一个人的外貌年龄变得更年轻，最初是一种用于电视和电影特效的技术[1]。在电视或电影制作过程中，如果故事情节发生在一段大跨度的时间内，需要在银幕上呈现演员在不同年龄之间面容的变化时，通过特效化妆、使用替身演员或年轻演员来出演等方法曾经是许多创作者的选择，但效果不尽如人意。随着计算机图形学、计算机视觉技术的发展，这些技术越来越多地被应用于电视、电影技术中。其中，可对电视和电影创作中拍摄的视频帧中的人脸进行自动处理，从而使演员在屏幕中变得年轻的De-aging（即数字人脸逆龄）技术开始成为电视、电影创作的一种新选择[2]。该技术的发展，使得越来越多真实而生动的逆龄角色出现在观众视野中。近年来，该技术也被广泛应用于其他领域，如视频游戏、虚拟现实、短视频创作和直播、人脸图像美化、人脸年龄模拟及识别、美容/整容/化妆品使用效果预测以及走失儿童人脸匹配等[3]。

2 De-aging技术专利分析

随着De-aging技术的发展和应用，越来越多的公司、科研团体或个人针对该技术在全世界各专利组织申请专利。本文结合实际专利审查工作，采用专利检索数据库CNABS、CNTXT、VEN、DWPI、Himmpat等进行数据检索，采用数据清洗、筛选等手段，对De-aging技术相关专利进行分析。本文所分析的De-aging技术相关专利申请文献的公开日截至2023年6月27日，仅涉及面部的去老化（De-aging）技术，并不包括其逆变换——面部老化（Aging）技术。因De-aging技术仅属于图形/图像处理技术的一个较小分支，因此，与其相关的专利申请数量较少。现就De-aging技术相关专利分析结果进行说明。

2.1 专利申请趋势

De-aging技术相关专利在全球的申请趋势如图1所示。由图1可见，与De-aging技术相关的专利申请最早从1979年开始出现。1979—2004年，全球与De-aging技术相关的专利申请量一直较少，每年申请量不超过10件，但在2005年和2008年分别达到一个小高峰。这两年，美国伊斯曼柯达公司和保洁公司在各国提出了一系列与De-aging相关的专利申请，导致专利申请量的增加。2009—2017年，该领域的专利申请量一直保持低位但持续增长的态势。直到2018年，随着电视/电影特效、虚拟现实技术以及短视频特效技术的快速发展[4]，Deaging领域的专利申请量迎来大幅增加，并在2020年达到顶峰。2021年，De-aging技术相关的专利申请量相较2020年有轻微减少。2022—2023年，该领域的专利申请量因可能涉及尚未被公开的专利申请无法被统计而有所降低。

图1 De-aging技术相关专利全球申请趋势

2.2 专利申请地域分布

De-aging技术相关专利申请的地域分布如图2所示。由图2可见，在De-aging技术相关专利申请国方面，中国的专利申请量遥遥领先，其次是美国。中美两国De-aging技术相关专利申请量超过全球申请量的60%，位于该领域专利申请的第一梯队。处于第二梯队的是日本、世界知识产权组织和欧洲，相关专利申请量相对于中、美两国大幅减少，但它们的申请量几乎占据全球申请量的1/4。处于第三梯队的是加拿大、韩国、德国等，关于De-aging技术的专利申请量占比较少。中国专利申请量的领先地位与近几年电视/电影特效、短视频/直播创作、虚拟现实行业在中国的异军突起和井喷式繁荣有关。

图2 De-aging相关专利申请的地域分布

2.3 专利申请人国别分布

De-aging相关专利申请的申请人国别与专利申请国的数据有所区别。De-aging技术相关专利申请人所属国别分布如图3所示。由图3可见，中国申请人在De-aging技术相关专利的申请数量上虽仍居首位，但美国作为电影特效和科技大国，其申请人在De-aging技术相关专利的申请量上已与中国相差无几，同属于第一梯队。其次是动漫产业、照相和图像处理技术发达的日本以及整容产业发达的韩国，他们关于De-aging技术相关专利的申请量位居第二梯队。再次是德国、加拿大和瑞士等国，有零星申请人就相关专利进行申请。

图3 De-aging相关专利申请的申请人国别分布

2.4 主要申请人

De-aging领域专利申请量排名前20的全球专利申请人如图4所示。由图4可见，在De-aging领域专利申请量排名第一的是宝洁公司。除宝洁公司外，入围前20名的美国申请人还有伊斯曼柯达公司等其他8位申请人。美国申请人的排名相对比较靠前，其专利申请量独占鳌头，体现了美国在Deaging技术上所占的绝对优势。而中国申请人中，仅有北京市商汤科技开发有限公司的申请量跻身专利申请人申请量前10名，位列第4。其他位列排行榜前20名的中国申请人一共有5位，分别是北京达佳互联信息技术有限公司、腾讯科技（深圳）有限公司、百度在线网络技术（北京）有限公司及其分公司、厦门美图之家科技有限公司以及中国科学院各研究所，但它们的排名均相对靠后，且与美国相比，在专利申请数量上也存在较大差距。日本和韩国的申请人入围全球申请量排名前20名的数量较少，但他们的排名较靠前，比较有代表性的日本申请人是卡西欧计算机公司，有代表性的韩国申请人是韩国科学技术研究院。

图4 De-aging相关专利全球主要专利申请人

2.5 专利申请人成分构成

De-aging领域专利申请人的成分构成如图5所示。由图5可见，De-aging技术相关的专利申请人类型中，公司和企业类申请人占据全部申请人数量的近3/4，大专院校和科研机构类申请人的数量占1/4，个人申请人数量相对较少。由此可见，De-aging技术专利申请仍是以市场驱动为主，企业和公司基于市场需求成为相关技术领域的主要专利申请人。同时，在De-aging技术领域，因涉及图形、图像处理、机器学习模型等技术分支，故大学和科研院所在该领域的技术发展和进步中也发挥了较大作用[5]。

图5 De-aging相关专利申请人成分构成

3 重点专利梳理

早期的De-aging技术主要依靠传统的数字合成技术（即图形/图像处理技术）进行人脸年轻化变换。近年来，随着机器学习和深度学习等技术的发展，De-aging技术开始大规模使用和训练神经网络模型进行人脸年轻化处理。神经网络模型的使用，使得可以通过大量样本的训练和模型的迭代，来构建能够更准确地反映人脸特征和年龄变化的模型，从而生成更逼真的De-aging技术效果。以下从数字合成技术和神经网络模型技术两个方向对一些重要申请人的典型De-aging专利申请进行简单梳理。

3.1 基于数字合成技术的相关专利

数字合成技术，是指通过计算机图形/图像学的原理和方法，将多种源素材有机混合成单一复合图像，再输出到磁带或胶片上，最终完成作品呈现在观众面前的一种技术。采用数字合成技术进行人脸De-aging变换的专利申请，一般申请日期较早，且主要采用传统的图形/图像学原理和方法进行人脸去老化变换或处理。以下列举几位典型申请人基于数字合成技术的De-aging相关专利申请。

3.1.1 NANCY B等的申请

全球第一件与De-aging技术相关的专利申请是1979年5月8日美国NANCY B等人在美国提出的，其专利申请号为US4276570A，发明名称为“用于产生不同年龄的人的面部的图像的方法和装置”。该专利申请的核心技术方案是：为了模拟人面部上不同年龄的外观，记录旧面部和对应的年轻面部的图片，找到并记录旧面部与年轻面部之间的差异；然后记录要在不同年龄模拟的人的面部的图片，通过从旧面部减去差异以形成年轻面部，来使较老的面部看起来更年轻，并显示修改后得到的图像。该专利申请在1981年6月30日被美国专利局授权。作为最早的De-aging技术相关专利申请，其后续被各国专利引证202次。

3.1.2 保洁公司的申请

作为全球申请量排名第一的申请人，宝洁公司于2007—2018年在世界各专利组织提出了一系列与De-aging技术相关的专利申请。该公司申请的专利主要通过计算机模拟面部的去老化效果，为化妆品、美容产品、皮肤病治疗等提供去老化预期效果展示。其中，申请较早且比较有代表性的专利申请公开号为WO2008109322A1。其核心技术方案是：利用标准图像的L、A、B通道，在LAB颜色空间中执行斑点/皱纹/纹理去老化模拟，在这些通道中识别人脸皮肤上的斑点/皱纹/纹理等老化特征，再将识别到的上述老化的皮肤特征进行去除，即可实现人脸图像的斑点/皱纹/纹理去老化模拟。该专利申请后续被各国专利引证174次。

3.1.3 西安交通大学的申请

在众多中国申请人中，大学和研究机构作为图形、图像处理技术的研发先驱，成为De-aging相关技术专利申请的重要主体。由他们所提出的专利申请中，比较典型的一件是由西安交通大学于2006年12月29日提出的公开号为CN1870047A，发明名称为“一种基于平均脸和衰老比例图的人脸图像年龄变换方法”的专利申请。其核心技术方案是：以平均脸作为参考脸，采用稠密特征表达，将人脸图像分解为形状矢量和纹理矢量，借助人脸漫画合成技术，通过计算特定人脸图像与平均脸之间的差异，进而减少这种差异程度，来完成特定人脸的年轻变换。该专利申请被中国、美国等专利局引证次数为15次。

3.2 基于神经网络的De-aging相关专利

神经网络又称人工神经网络（Artificial Neural Network，ANN）或模拟神经网络（Spiking Neural Network，SNN），是机器学习的子集，也是深度学习算法的核心。神经网络依靠数据训练来学习，并随时间推移提高自身准确性，通过不断的数据训练和自我迭代，得到更准确的模型，从而能够快速对数据进行分类、聚类、模拟和合成。应用神经网络技术的De-aging专利申请，主要通过构建不同层级/训练数据/迭代条件/训练方法相关的神经网络模型来实现人脸的De-aging变换。下面列举几位典型申请人基于神经网络技术的De-aging相关专利申请。

3.2.1 迪士尼企业公司的申请

作为动画电影大厂的迪士尼企业公司在各国申请了多件基于神经网络技术的De-aging专利。其中一件与De-aging技术相关的专利申请的公开号为US202380639A1，发明名称为“在图像和视频帧中重构人脸年龄的技术”，申请日为2021年9月13日。其核心方案是：将面部图像、输入年龄和目标年龄输入到年龄重构模型中来执行2D或3D人脸的年龄重构；然后将年龄重构增量图像与输入图像组合，以生成面部的年龄重构图像；年龄重构模型可以包括U-Net神经网络模型或其变体。

3.2.2 北京市商汤科技开发有限公司的申请

作为De-aging相关专利全球申请量排名第4的中国申请人，北京市商汤科技开发有限公司在各国、各知识产权组织也提出了一系列专利申请。其中，其于2019年8月28日在中国申请的专利公开号为CN111754415A，发明名称为“人脸图像处理方法及装置、图像设备及存储介质”，其核心技术方案是：在进行人脸年轻化的过程中，获取第一人脸图像的第一关键点信息，对其进行位置变换得到符合第二人脸几何属性（即更年轻化人脸的几何属性）的第二关键点信息；利用神经网络和第二关键点信息，进行人脸纹理编码，使得纹理属性编码与几何属性变换处理分离，从而得到变换后更年轻的人脸图像。

3.2.3 北京字跳网络技术有限公司的申请

作为全球短视频、直播行业的龙头企业，抖音旗下的北京字跳网络技术有限公司于2022年1月30日在中国申请了一项应用于人脸的De-aging特效技术相关专利申请，其公开号为CN114445302A，发明名称为“图像处理方法、装置、电子设备及存储介质”。其核心方案是：获取包括面部区域且皮肤状态处于第一皮肤年龄的待处理图像，将所述待处理图像输入至预先训练得到的目标皮肤图像处理模型中，得到与所述待处理图像对应的面部区域的皮肤状态小于所述第一皮肤年龄目标效果图像，所述目标皮肤图像处理模型根据样本原始图像以及与所述样本原始图像对应的样本效果图像对初始皮肤图像处理模型训练得到。

4 技术发展方向及展望

2022年底，ChatGPT网络大模型技术横空出世，其必然给人脸图像自动生成（AI变脸）技术及其分支De-aging技术带来变革，但由于专利申请公开的滞后性，目前还没有检索到使用ChatGPT相关的AI网络大模型技术进行人脸年轻化/逆龄化变换的专利申请。相信后续基于AI网络大模型相关技术的De-aging相关专利申请会成为该领域专利申请的主流技术。而在ChatGPT技术井喷式发展以及各国技术竞争激烈、技术壁垒较高的背景之下，中国的专利发明主体应加快对基于AI“大模型”的De-aging相关技术研发的步伐，提高专利申请量和专利申请质量，优化专利申请布局，努力追赶，做知识产权领域的追梦人。

5 结 语

从专利申请趋势来看，De-aging技术目前依然在快速发展中，尤其是2018年以来，De-aging技术相关的专利申请迎来了申请量的大幅增加。在De-aging相关专利布局方面，中国超越美国成为各类专利发明主体最热衷的专利申请国。但就申请人国别和各国申请人的专利申请量排名来看，美国申请人与中国申请人在数量上不相上下，且美国申请人的专利申请量排名比中国申请人靠前，体现了美国发明主体在该领域的领先地位。比较有代表性的De-aging相关专利的美国发明主体有宝洁公司、伊斯曼柯达公司等，而中国比较突出的企业申请人是北京商汤科技开发有限公司。在发明主体成分构成方面，公司和企业是De-aging相关专利申请的主要申请人，证明了该领域主要为市场导向的特性。就技术发展方向而言，AI大模型技术可能会成为后续专利申请的主流技术。