基于专利分析的人脸识别技术发展与对策研究*
2020-11-13何培育马雅鑫
何培育 马雅鑫
(重庆理工大学知识产权学院,重庆400054)
人工智能技术是新一轮产业变革的核心驱动力之一。近年来,党和国家高度重视并大力发展人工智能产业,出台了一系列人工智能相关政策,例如科技部《国家新一代人工智能创新发展试验区建设工作指引》等。作为人工智能的重要细分领域,人脸识别技术的应用价值越发凸显。人脸识别相较于传统身份识别技术,在采集模式、数据来源和安全性上具有独特优势[1]。近年来,人脸识别技术创新不断突破,在商业化项目应用中也更加广泛。前瞻研究院在《中国人脸识别行业市场前瞻和投资分析报告》中预测,到2021年,人脸识别市场规模将达到51亿元左右。“深度学习+大数据”成为人脸识别发展的主要发展趋势。专利中蕴含着丰富的技术信息,通过挖掘专利文献中的技术情报,可以分析市场趋势[2],了解技术历史发展脉络、应用范围及市场前景。深入研究人脸识别产业专利,有助于推动我国人脸识别专利技术加速落地。国内学者围绕人脸识别技术专利分析的研究视角主要从技术发展趋势[3,4]、关键技术分析[5,6]、人脸识别应用场景[7]三个方面展开。
总体而言,以往文献主要集中从特定的技术分类角度分析人脸识别领域专利,而且对人脸识别技术的研究往往缺乏系统的方法。本文拟对国内外人脸识别技术的专利数据进行深入分析,进而评估当前人脸识别技术的创新发展水平,直观展示其技术热点、技术贡献、技术前沿等深层次信息,发掘我国人脸识别专利技术发展中存在的问题,并提出发展我国人脸识别产业的对策建议,从而加快人脸识别产业专利的前瞻性布局,实现人脸识别技术的新突破,促进人脸识别产业健康有序发展。
1 数据来源与处理
本文专利数据来源于incoPat全球科技分析运营平台。本文首先对总的“人脸识别”技术主题进行检索,之后检索各技术分支[8]。以人脸识别的检测、分析及特征提取与识别三个环节确定检索要素[7],其中,中文主题词包括人脸识别技术主题的关键词及其同义词等形式[9],英文主题词采用“词根+截断符”的扩展方式。确定国际专利分类表(International Patent Classification,IPC)中人脸识别所属分类号,需要通过检索要素中的中文主题词的初步检索,浏览检索结果中与人脸识别技术主题相关的专利,提取出IPC号,通过查询IPC分类表,了解提取出IPC号的类名及确切含义,最终确定各个检索要素词对应的IPC分类号。
本文最终使用的检索式(TIABC=(人脸OR面部)AND TIABC=(检测OR探测OR侦测OR配准 OR跟踪OR追踪)AND IPC=G06F21/32)OR(TIABC=(人脸 OR面部)AND TIABC=(特征点OR关键点 OR分析)AND IPC=G06K9)OR(TIABC=(人脸OR面部)AND TIABC=(识别OR辨识OR分类OR比对OR验证OR核实)AND IPC=(G06K9 OR G06T7 OR G06T1))OR(TIABC=(“face detection”OR“face trace”OR“face track”OR“face alignment”OR“facial detection”OR“facial trace”OR“facial track”OR“facial alignment”)AND IPC=(G06F21/32))OR(TIABC=(“face feature point”OR“face key point”OR“face analysis”OR“facial feature point”OR“facial key point”OR“facial analysis”)AND IPC=G06K9)OR(TIABC=(“face recognition”OR“face identification”OR“face classification”OR“face test”OR“facial recognition”OR“facial identification”OR“facial classification”OR“facial test”) AND IPC = (G06K9 OR G06T7 OR G06T1)),数据检索时间截止到2020年3月15日。对检索数据结果进行标准化、去噪后,得到全球人脸识别相关技术专利作为本文分析的数据共55158条(“全球”的范围指incoPat数据库收录的120个国家、地区和组织。),其中,美国人脸识别技术专利总量为13369件,韩国4178件人脸识别相关专利,日本专利申请共3984件。我国人脸识别相关专利共25974件,包括发明申请19751件,发明授权3588件,实用新型专利2635件。
2 人脸识别专利技术发展态势分析
2.1 技术生命周期预测
技术生命周期理论反映一种以时间周期变化为特征的技术变革模式[10],可以用来把握人脸识别产业整体发展状况,预测人脸识别技术专利的最大值及成熟期限[11]。S曲线进化指某参数的变化随时间呈S形变化,学界[12,13]将某领域技术进化分为萌芽期(又称导入期、婴儿期)、成长期、成熟期和饱和期(又称衰退期)四个阶段。
全球人脸识别专利技术周期预测的基础数据是每年的专利申请量,依次计算出每年的专利申请累积量,以此为因变量,年份为自变量,借助洛克菲勒大学(Rockefeller University)开发的软件Loglet Lab 4作Logistic模型回归,绘制得到全球人脸识别专利技术周期预测的趋势图(图1),图中S形虚线为回归得出的Logistic模型曲线,估计出全球范围内各年专利累计申请件数。
由Loglet Lab 4软件计算得出全球人脸识别技术萌芽期为1959—2012年;反曲点发生在2024年,即全球人脸识别专利成长速度最快的时间点为2024年。成长时间为24年,以2024年为分界,各向前向后推12年,即可得出全球人脸识别技术成长期为2013—2024年,在此阶段,技术呈加速成长态势;成熟期为2025—2036年,人脸识别专利总量增长,但将呈现减速增长态势,预计累计专利申请量达到199217件。2037年之后,全球范围内人脸识别专利将进入饱和期,届时,专利申请量将达到饱和状态,预计增长率几乎为0,且专利申请数量可能会呈现减少的趋势。
图1 全球人脸识别技术生命曲线预测Fig.1 Global Face Recognition Technology Life Curve Forecast
图2 我国人脸识别技术生命曲线预测Fig.2 Face Recognition Technology Life Curve Forecast in China
Loglet Lab 4绘制得到我国人脸识别技术生命预测曲线(图2)。中国自20世纪90年代开始出现人脸识别相关专利,软件Loglet Lab 4估算出的中国人脸识别专利成长时间约为14年,并且曲线转折点出现在2021年,我国人脸识别技术萌芽期为1993—2014年,成长期为2015—2021年,成熟期为2022—2028年,预计2029年进入饱和期。
2.2 区域分析
一般而言,各研发主体首先选择向其所在国家/地区的专利部门申请专利,之后根据其应用需求通过国际专利合作条约等途径进入其他国家。依据专利文献中的优先权地域、公开地域、申请人地址等信息,分析申请人的专利申请地域分布情况,分析人脸识别技术输入、输出国,可以比较各国/地区人脸识别相关技术实力。
分析人脸识别技术输入输出情况可知,日本籍申请人在本国和美国申请的人脸识别专利均较多,而其他国籍申请人选择在日本公开的人脸识别专利较少,究其原因在于,日本企业,如索尼、日本电气、富士胶片等企业,已于技术萌芽期在本国布局大量专利并取得技术优势,国外企业进入则较为困难。此外,中、美、日、韩四国申请人均重视在本国市场的专利布局。其中,中国籍申请人90.9%的专利在国内申请,出口海外的人脸识别产品较少,这说明中国企业在全球人脸识别领域的技术实力相对较弱,国际市场缺乏竞争力。但是其他国籍申请人却较为注重在中国布局人脸识别专利,这一现象说明中国市场对人脸识别技术需求大,市场也较为开放,对中国人脸识别相关企业来说既是机遇也存在挑战。
分析我国人脸识别领域专利数量省市排名可知,人脸识别专利申请的创新主体涉及30个省、市、自治区,其中申请量在1000件以上有2个,200~500件的有3个,100~200件的有6个,20~100件的有11个,20件以下的有8个。数据表明,排名前五位的分别是广东(1295件)、北京(1042件)、江苏(538件)、上海(356件)、浙江(287件)。广东由于集中了欧珀移动(广东欧泊移动通信有限公司、OPPO广东移动通信有限公司)、维沃移动通信有限公司、华为(华为技术有限公司、华为终端有限公司)等人脸识别领域的重要研发企业,又有华南理工大学、中山大学等院校坐落,故成为申请量最多的地区。而中星微、北京旷视科技有限公司等互联网企业,以及汉王科技等专注于生物特征识别技术的科技企业,成为北京地区从事人脸识别技术研发的主力军。
2.3 参与主体分析
2.3.1 专利权人分布
通过对人脸识别专利的专利权人排序,有助于了解人脸识别技术领域全球主要技术领导者及竞争者。统计拥有人脸识别相关专利数量全球排名前10的专利权人得到图3,图中-C后缀表示申请人类型为企业。在人脸识别相关专利数量全球排名前10的专利权人中,拥有专利数量最多的是三星集团,有1282件人脸识别相关技术专利。总体来看,在人脸识别技术领域,日本、韩国、美国公司处于领先地位。
2.3.2 主要发明人分布
图3 全球人脸识别专利的主要专利权人Fig.3 The Main Patentee of the Global Face Recognition Patent
表1展示了全球人脸识别专利的主要发明人的分布情况,通过分析主要发明人及其涉及技术领域,为企业或者政府引进核心技术人才提供数据支持。来自 FotoNation Limited公司的 Peter Corcoran,Petronel Bigioi,Eran Steinberg,Yury Prilutsky参与了最多的人脸识别技术研究,更进一步说明了美国在人脸识别技术领域的优势地位。Tessera股份有限公司的全资子公司FotoNation有限公司着力开发下一代图像处理平台,致力提供低功耗、高性能的深度学习解决方案,为计算机视觉多个应用场景提供统一的编程环境和预集成的图像功能。
表1 全球人脸识别专利主要发明人Tab.1 The Main Inventor of the Global Face Recognition Patent
除了在如何表示人脸数据方面有所关注,发明人张伟、杨帆研发特定计算机模型的计算机系统取得了一定成果,其主要利用卷积神经网络解决人脸属性识别、性别识别、表情识别等问题。陈志军与张涛尤其关注人脸信息的隐藏、获取方法,提出了较多根据人脸图像进行图片信息分类的方法。孙利华在利用三维人脸识别进行验证的门禁系统上拥有较多的研究成果。
2.4 热点技术领域分析
根据国际专利分类表对专利数据进行归类,可以直观、系统地展示人脸识别专利技术整体构成情况。图4可以看到现有人脸识别专利的主要技术领域(G06K9/00分支专利申请量实际为39147件,为了可视化清晰,将雷区图同心圆代表的最大值限制为10000)。人脸识别的专利技术涉及图像数据处理与识别(G06K、G06F、G06T),数字信息传输(H04N、H04L),人身鉴别(A61B)、用于人脸识别的设备或装置(G02B、G03B),及两类主要应用场景(G06Q、G07C)。其中,涉及图像数据处理与识别的专利占总量约55.7%,是人脸识别技术的研发重点。
图4 全球人脸识别的专利技术构成Fig.4 Global Face Recognition Patent Technology Composition
将人脸识别专利的技术进行细分,发现G06K9/00(识别图形)、H04N5/232(控制图像通信的装置)、G06K9/62(应用电子设备识别图形的方法或装置)、G06T7/00(图像分析)、G06K9/46(抽取图像特征的预处理)、G06F17/30(转入G06F16/00-G06F16/958,使用信息检索、数据库结构、文件系统结构对电数字数据处理)、H04N5/225(电视摄像机)、G06F3/01(用于用户和计算机之间交互的装置,能将要处理的电数字数据转变为计算机能够处理的形式)、G06T1/00(一般的图像数据处理)、H04N7/18(图像通信信号不广播的系统)是人脸识别技术关注重点。
图5展示了主要申请人的研发侧重点,图中-C后缀表示申请人类型为企业。其中,三星在人脸识别领域内覆盖了较为全面的技术,其拥有众多子公司,业务涉及数码相机、手机、安防等电子通信领域。此外,其进驻中国成立三星电子(中国)研发中心,研究开发尖端数码软件、硬件产品,并与天津通信广播集团合资建设天津三星电子有限公司,经营范围包括摄影机、视频监控系统等多元化产品。而在使用信息检索、数据库结构、文件系统结构对电数字数据处理方面,索尼、IBM与微软由于其企业优势,所以在此方面申请的专利较多。
图5 全球人脸识别专利主要申请人的IPC分类号分布Fig.5 Distribution of IPC of Major Applicants for the Global Face Recognition Patents
对我国专利的IPC小组进行统计,发现我国人脸识别技术热点集中在 G06K9/62、G06F21/32、G06K9/46。其中,G06K9/62的技术主题主要有线性鉴别分析方法、人脸特征点检测方法、人脸识别方法(如特征距离值)、压缩编码方法(如小波编码、分形压缩),专利申请人主要有北京工业大学、华南理工大学、旷视科技、云天励飞等。G06F21/32的技术主题主要有用于用户身份确认的活体检测方法、隐私保护方法,专利申请人主要为欧珀移动、维沃移动、平安科技、努比亚。G06K9/46的技术主题主要包括使用卷积神经网络的深度学习方法、运用对数变换方法识别人脸表情,专利申请人主要为腾讯科技、欧珀移动、电子科技大学、中科院、小米科技。
2.5 结论
从全球人脸识别技术相关专利的整体态势分析来看,在20世纪80年代以前,人脸识别技术涉及生物学与密码学的交叉,主要用来鉴别不同主体。日本作为最先进的人脸识别技术国,曾在2003—2011年间是全球范围内每年专利数量来源最多的国家,这离不开日本老牌企业的贡献。其中,东芝公司、欧姆龙、富士胶片均有百余年历史,东芝公司的半导体技术,欧姆龙的传感与控制技术产品,富士胶片的综合性影像产品均为日本人脸识别产业发展提供了基础。2013年开始进入成长期以来,人脸识别技术得到全面突破,并逐渐形成了本行业的基础专利。
相比于全球人脸识别技术发展态势,我国人脸识别技术起步较晚且技术导入时间较短,这与我国初期专利意识不强有关。在国务院鼓励发展软件产业精神的指导下,财政部、信息产业部(现工信部)于2001年提出规范电子信息产业发展基金,发展了电子信息产业,提高了电子信息技术研发能力,为我国导入人脸识别技术提供了政策和资金支持,人脸识别专利也逐渐增多。虽然我国人脸识别技术成长较晚,但进入成长期以来,人脸识别专利申请和专利授权明显增多。这是当时积极回应公共安全与经济发展需要的结果。2008年奥运会、2010年世博会均采用人脸识别系统,前者运用人脸识别实名制门票技术,后者结合近红外设备解决光照问题,为两大盛会的安保工作提供了技术支持。2013年3月全国生物特征识别分委会的成立,促进了人脸识别等生物识别系列产品标准化。如何克服外界环境的影响,如何提升其精确性,确保其安全性是人脸识别技术未来需要着力解决的问题。
从活动主体来看,企业一直是人脸识别行业的主要创新主体,且多为影像产品及信息产品类公司。这说明人脸识别技术的市场化程度较高,技术研发与产业应用结合较为紧密。此外,2017年至今,人脸识别专利公开量中国居第一,说明人脸识别专利申请人逐渐考虑在中国布局,并寻求在中国保护人脸识别技术,未来我国人脸识别市场也将越来越活跃。总体来看,相较于其他国外申请人,日本企业在我国拥有的人脸识别专利较多。
从技术领域来看,各国均在G06K上有所突破;我国在G07C(使用时间或出勤登记器的核算装置)上领先;日本的领先技术集中在G03B小类中,其擅长开发摄影、放映或观看用的装置或设备及有关附件,并掌握摄影术及全息摄影技术等。这归因于该国柯达、佳能等企业的技术实力;美国的领先技术集中在G06T(电数字数据处理的方法及装置)、G06F(一般图像数据的处理或产生,如图像分析、图像编码、3D图像加工与3D图形建模等方法)小类中,微软、IBM、高通、苹果等通信技术企业展现出其技术优势。
3 我国人脸识别专利技术发展的问题剖析与对策建议
人脸识别技术正处在快速发展阶段。美日韩等国已积极投入人脸识别产业,在人脸识别技术和市场尚未成熟稳定的情况下,我国人脸识别产业仍有突破重围的机会。基于此,探讨如何促进我国人脸识别产业健康快速发展是本文的重要意图。
3.1 当前我国人脸识别技术发展的问题
3.1.1 缺乏国际布局意识
我国人脸识别技术起步较晚但发展快速。全球人脸识别技术发展的萌芽期,几乎没有我国主体进入,但我国研发主体后来者居上,在全球人脸识别专利数量中占有一席之地。从人脸识别专利的区域分析来看,我国权利主体主要在本国申请专利,即使拥有人脸识别专利数量较多的广东、北京、上海三省/直辖市企业也较局限于本国专利保护,极少开拓国外市场。而国外企业则较为注重开拓我国人脸识别市场,索尼、佳能、三星、英特尔等在中国拥有较多的人脸识别专利。综上说明我国主要专利权人欠缺国际保护意识,这将不利于我国人脸识别专利相关产品进入海外市场。
3.1.2 研发方向较为局限
就我国人脸识别市场的本土企业的地域分布来看,广东、北京、天津等地的企业较为集中。当前企业研发的人脸识别专利技术应用范围主要包括人脸身份认证、静态人脸图像处理、动态人脸识别、静态人脸识别终端等。例如,广东的欧珀移动、维沃移动等通信企业提供的利用移动设备主要用于人脸检测身份验证;北京的汉王科技、旷视科技等人工智能企业研发人脸及生物特征识别技术重点在于搭建智能软件管理平台。从全球来看,人脸识别相关专利类别还包括面部表情识别技术、数字摄影技术、人脸视频传感器等。总的来说,我国人脸识别产业发展过程中创新主体开发的人脸识别专利产品及服务较为同质化,研发方向较为局限,且创新成果多为方法类发明专利,核心发明类专利较少。当前我国人脸识别创新主体致力于解决复杂环境下的人脸关键点识别等技术层难题,主要实现人脸打卡及人脸监控等功能,而对人脸识别产业链基础层的核心硬件设备的研发和创新较为不足,人脸识别产业链仍需不断拓展和优化。
3.1.3 技术研发薄弱
我国与全球整体人脸识别技术研发方向大体一致,但也存在局部差异。从分析IPC分类号可知,当前全球人脸识别技术的研究热点主要集中于识别图形、控制图像通信、图像分析、抽取图像特征、处理图像数据。我国企业主要在图像捕获、抽取图像特征等识别图形、控制图像通信领域申请专利,在图像分割、以神经网络构建处理器架构上处于劣势地位,而这又是提升人脸识别精确性的必要技术,由此可知我国人脸识别产业的人脸识别技术体系还不够健全,缺乏关于细分技术领域的统筹规划;基础专利较薄弱,在人脸识别基础算法领域开拓不足。
3.2 我国人脸识别技术发展的对策建议
针对上文人脸识别技术发展态势的分析,并为促进我国人脸识别技术发展,本文提出以下建议。
3.2.1 推进人脸识别关键技术领域的研究
在人工智能时代,算法、芯片的竞争更加明显。当前,主流的人脸识别算法、技术、理论多由发达国家掌握,我国在人脸识别技术领域的研究与世界水平仍存在差距。应当不断完善人脸识别产业链布局,加快构建人脸识别数据平台,推动人脸识别数据库等基础设施的建设,促进人脸识别技术的广泛应用,为各行业提供技术服务支撑。
其一,完善人脸识别公共数据库等基础设施的建设。人脸识别系统的核心环节就是使用人脸数据库训练和测试算法,验证基于深度学习的人脸分析技术的有效性。国际上用于人脸识别技术测试的数据库来自于国外且我国的人脸识别技术测试是在二维图像信息上取得的,故不利于我国人脸识别技术应用于复杂场景[14]。我国也应加强建立自己的人脸数据库,整合光学产品(如舜宇光学)、摄影处理(如美图公司)等上下游企业资源,针对不同用途,由行业或者政府牵头建设人脸识别相关软件平台,采集用户人脸识别信息。但同时,使用该数据库的企业或机构主体也应保护所涉用户的个人信息安全。其二,攻克人脸识别技术难题。由前文对全球与我国的人脸识别专利技术信息分析可知,在人脸识别技术细分领域中,图像捕获、图像检测等识别图形等技术是各国专利参与主体关注的重点领域。对于我国人脸识别技术主要集中在G07C出勤登记器上的现状,应调整细分技术的研发重心,在技术薄弱的G03B、G06T上投入更多研发力量,重点关注人脸识别领域图像处理与产生的基础技术。此外,政府、行业、企业可以通过组织实施人脸识别技术专项,整合优势创新团队在3~5年聚焦人脸识别模型和算法瓶颈,重点攻克共性技术问题,为人脸识别等人工智能技术的基础理论和具体应用研究提供知识和资金支撑。
3.2.2 基于产学研资源完善产业创新研发体系
教育部、国家发展改革委、财政部于2020年1月21日联合印发的《关于“双一流”建设高校促进学科融合加快人工智能领域研究生培养的若干意见》指出,学科融合、人才培养模式个性化、课程体系开放式、评价机制多组合的策略,将有助于推动人工智能领域研究生的培养,为丰富人工智能基础理论和实践应用提供高层次人才。通过对人脸识别技术领域主要参与主体的区域及技术构成的统计分析,发现不同主体之间的技术侧重点不同,且不同区域发展人脸识别技术的主体类型不同,故有必要建立高校与企业等研发主体之间的沟通协调机制,从而完善人脸识别产业研发人员体系,及时掌握人脸识别技术的最新理论,挖掘热点领域专利的市场价值,推动人脸识别技术的产业化应用。
其一,充分发挥产业联盟的作用,增强人脸识别产业链上下游企业的合作。其二,利用高校、研究机构的创新优势,实现产教协同发展。在我国人脸识别专利的研发中,高校及科研单位占比约20%,其取得了一定的成果。高校、研究机构的优势体现在研发人员的培养,而企业更关注市场需求,拥有资本优势。高校应在人脸识别技术周期内积极与企业合作,将技术及时转化为生产力,服务社会。
3.2.3 加强人脸识别关键技术应用场景部署
我国是世界各人脸识别相关企业的主要目标市场。就我国本土企业来看,活跃在人脸识别领域的多是互联网公司,传统实体企业参与较少。我国人脸识别产业应继续加强应用导向,以“互联网+人脸识别”为各行各业提供智能化技术支撑。应继续发掘人脸识别技术的应用场景,以市场需求为导向挖掘核心专利,不断创新其应用领域,形成更加丰富的产品序列。
人脸识别技术在智能安防、智慧平安社区已取得广泛的应用。在出入口控制系统、人口信息系统、城市应急反恐控制系统以及金融安全系统四个方面助力“平安城市”,加强公共安全体系建设[15]。未来,人脸识别产业将重点围绕公共安全、金融风险防控、智能医疗、零售营销等场景[16]。其中,具有深度学习神经网络技术的智能医学影像产品将模拟医疗专家诊断和治疗过程,代替以往的经验诊断,从而有效提高医疗诊疗水平;在零售门店领域,运用大规模人脸识别系统打通零售产业链上下游,实现智能支付和精准营销,从而提升零售门店的管理效率。
3.2.4 制定人脸识别产业发展规划
制定政府主导的人脸识别产业发展规划,在世界范围内已形成热潮[17]。各国相继出台与人工智能有关的国家政策,旨在推动人工智能产业高质量发展。例如,2018年7月18日,德国联邦政府通过的《联邦政府人工智能战略要点》强调建设适应人工智能发展的法律体系、技术标准[18]。我国也早在2013年开始制定与“互联网+人工智能”战略有关的政策和战略布局。国务院于2017年印发的《新一代人工智能发展规划》(以下简称《规划》)提出,我国人工智能未来发展的三步走战略目标,最终到2030年形成较为成熟的人工智能理论与技术体系。《中国新一代人工智能发展报告2019》指出自《规划》实施以来,我国人工智能产业化、商业化速度加快,带动了传统制造、金融等行业转型升级。
在国家发展规划的部署下,各区域应结合自身优势制定本地区人脸识别产业发展规划,同时协调各地区之间人脸识别产业建设,形成长效的人脸识别产业链上下游企业协同创新模式,避免产能过剩。具体如,杭州凝聚浙大的科研资源、海量数据等开放优势,以人脸识别核心技术研发、人脸识别行业应用能力、人脸识别产业生态构建、政策保障体系为主要内容建设人脸识别创新发展试验区,在引领浙江数字化转型方面发挥积极作用。