基于双目立体视觉的人眼追踪技术专利分析

摘  要：为研究基于双目立体视觉的人眼追踪技术的发展情况，文章从专利信息挖掘与分析角度对基于双目立体视觉的人眼追踪技术的全球专利及中国专利进行分析，了解该技术近20年的发展趋势、地域分布、各国发展态势、全球重要申请人、中国重要申请人等，并进一步分析应用于裸眼3D场景的基于双目立体视觉的人眼追踪专利实现人眼追踪所采用的装置类型、光源类型以及实现人眼追踪精度和速度提升的手段。

关键词：人眼追踪;双目立体视觉;专利分析

中图分类号：TP391.4      文献标识码：A文章编号：2096-4706（2021）14-0029-03

Abstract： In order to study the development situation of eye tracking technology based on binocular stereo vision， this paper analyzes the global and Chinese patents of eye tracking technology based on binocular stereo vision from the perspective of patent information mining and analysis， understands the development trend of this technology in recent 20 years， the patent geographical distribution， the patent development of various countries， and the important global patent applicants， the important Chinese patent applicants etc. The paper further analyzes type of device and light source used in eye tracking patent based on binocular stereo vision， which realizes eye tracking and is applied to naked eye 3D scenes. It also further analyzes means that achieve the improvement of human eye tracking accuracy and speed in eye tracking patent based on binocular stereo vision， which is applied to naked eye 3D scenes.

Keywords： eye tracking; binocular stereo vision; patent analysis

0  引  言

人眼追踪技术是一种通过计算机视觉对人眼进行定位和跟踪的技术，在人工智能、心理学、人机交互设备、智能交通系统、广告研究、体育运动研究等领域具有广泛应用[1]。人眼追踪应用在驾驶员疲劳检测、裸眼3D呈现、广告研究等领域需要满足追踪精度高、实时性强等要求，而双目立体视觉系统能够对特定目标进行信息提取，具有工作量小、处理速度快、实时性强等优点，其在动态目标识别跟踪等领域具有较高应用价值[2]。基于双目立体视觉系统的人眼追踪技术是利用布设的双目摄像头采集图像信息，通过摄像头标定、建立人眼3D模型、特征提取、视线方向计算等步骤实现人眼的定位和追踪[3，4]。

专利文件是申请人对其技术进行公开以获得专利权保护的一类法律文件，同时，因为专利文件是对技术的公开，其也是一类技术文件。专利文件以文字、图表等形式记载技术方案，能够较为全面地反映研发人员在创新中发现的新问题、用以解决该问题的技术手段及取得的技术效果。因此，本文从专利信息挖掘与分析视角，对基于双目立体视觉的人眼追踪相关专利进行分析以研究该技术的发展情况，同时，本文进一步研究了在裸眼3D显示领域的双目立体视觉的人眼追踪技术情况。

1  全球专利分析

本文检索基于incoPat数据库，截止到2021年4月，共检索到双目立体视觉人眼追踪全球专利1 261条，申请号合并后得到专利1 008件。

双目立体视觉人眼追踪专利的年度申请量趋势如图1所示，尽管2007和2012、2013年的專利数量略有回落，但该技术的专利在近20年总体呈现上升趋势，其中，2009年起专利数量持续快速增长，并在2017年达到最高峰，而2018—2019年专利数量有所减少，2020—2021年的数据因部分专利未公开而不参与趋势分析讨论。可见，近20年来双目立体视觉人眼追踪技术在经过快速发展后进入一个较为平稳的阶段。

从地域分布看，双目立体视觉人眼追踪专利主要分布于中国（311件）、日本（198件）、美国（182件）、世界知识产权组织WIPO（105件）、韩国（90件）、欧洲专利局（60件）等国家和地区。其中，中、日、美、韩的总和专利数量占该技术全部专利数量的77.5%。可见，该技术在中日美韩四国的研究和应用较为活跃。由图2双目立体视觉人眼追踪专利的主要国家专利年度申请量趋势图可知，主要国家的专利年度申请量在近20年间均呈现了由少到多增长并在达到顶峰后有所回落的趋势;在2002—2005年间，日本的专利数量高于其他国家的专利数量，其专利数量的高峰出现在2012年也早于其他国家，这表明该技术在日本最早受到重视并最早达到“饱和”;中、美的起步虽然晚于日本，但在2010、2011年逐渐超过日本，进一步比较中、美两国的趋势线可知，2011年之前，美国的专利数量基本多于中国，2011—2013年间中国逐渐赶超，并在2013年后完全超过美国，表明该技术在中国从2011年进入活跃期。

以专利数量对全球申请人进行排序，排名前九的申请人中，日本申请人3个，包括佳能（排名第一）、松下（排名第三）、索尼（排名第三）;韩国申请人3个，包括三星（排名第三）、韩国电子通信研究院（排名第四）;中国申请人2个，包括京东方（排名第三）、深圳超多维（排名第四）;芬兰申请人1个，为诺基亚（排名第五）;瑞典申请人1个，为tobii（排名第六）。可见，该技术的全球研发主力多为涉及多种综合业务的知名跨国公司，仅有两家专注于人眼追踪技术的企业，其中，深圳超多维是一家致力于VR/AR等创新视觉科技和裸眼3D显示技术的研究、应用、创新产品的研发和生产的企业，tobii是一家致力于眼动仪与眼动技术研究的企业。

2  中国专利分析

为了解该技术在中国的发展情况，本文进一步对双目立体视觉人眼追踪的中国专利进行分析。在311件中国专利中，实用新型专利30件，占比9.3%，发明专利281件，占比90.7%，这是由于发明专利既可以对产品结构进行保护，又可以对方法进行保护，而双目立体视觉人眼追踪的算法是相当重要的一个部分，因此，申请人更倾向于申请发明专利;实用新型专利能够对结构的改进进行保护且获权周期短，对于双目立体视觉人眼追踪的装置系统等则适合申请实用新型专利。另外，该技术的发明专利已授权107件，发明专利授权率仅为38.0%，而根据2020年国家知识产权局年报的统计数据，2020年发明专利授权率为47.3%[5]，可见该技术的中国专利授权难度相对较大。

双目立体视觉人眼追踪中国专利在各省份的分布情况如图3所示，排名前四的广东、北京、上海、江苏的专利申请数量在平均值31.7件之上，而排名第五至第十的省市的专利数量在平均值之下。其中，排名第一的广东为第一梯队，专利数量遥遥领先，突破了100件;排名第二的北京为第二梯队，数量也远超第三梯队的上海和江苏;排名第五至第十的6个省市为第五梯队，6省的专利数量总和仅相当于北京的专利数量，远不及广东一省的专利数量。可见，该技术的活跃度集中，主要活跃于国内的经济发达地区。

从中国专利的申请人类型看，个人申请人占比为10.4%，近90%的申请人为企事业单位，其中，企业、高校、科研单位的占比分别为69.0%、16.5%、3.16%。对中国专利的主要申请人进行排序，深圳超多维排名第一，京东方排名第二，上海大学、北京芯海视界三维科技有限公司和视觉技术创投私人有限公司并列第三，华南理工大学、维沃移动、张家港康得新光电材料有限公司并列第四，上海青研科技有限公司、广州杏雨信息科技有限公司并列排名第五。

对比排名前二的申请人，从全球专利数量看，京东方专利数量多于深圳超多维，京东方在拥有12件中国专利的基础上还拥有6件海外专利，包括美国4件、日本1件、WIPO1件，即33%以上的专利布局于海外，表明京东方更重视海外市场和海外专利布局，而深圳超多维则主攻国内市场，专利均在国内布局。另外，中国专利的重要申请人包括上海大学、华南理工大学两所高校，而根据在前对申请人类型的分析可知高校申请人占比不大，却有两所高校能够成为排名第三、四的重要申请人，可见，高校在双目立体视觉人眼追踪技术研究上具有独特优势。此外，维沃移动通信是知名手机品牌“VIVO”的厂商，其专利均应用于手机，并同时涉及人脸追踪和人眼追踪，可见该技术的发展与手机等智能设备的发展密切相关。排名第三的北京芯海视界三维科技有限公司是视觉技术创投私人有限公司在华投资子公司，是一家专注从事立体显示器件研发的企业。张家港康得新光电材料有限公司、广州杏雨信息科技有限公司都申请了涉及内窥镜裸眼3D显示的人眼追踪专利。上海青研科技有限公司是专业从事眼动技术（眼球追踪）的公司，其眼动技术的软硬件产品包括VR眼动实验、VR戒毒等。

3  關键技术分析

双目立体视觉人眼追踪根据所采用的装置类型，可分为穿戴式和遥测式[6];根据双目立体视觉人眼追踪装置的工作光照环境，可分为红外光源系统和自然光源系统[7]。为了研究双目立体视觉人眼追踪技术在裸眼3D方面的应用以及算法改进，进一步检索了应用于裸眼3D场景的双目立体视觉人眼追踪的专利以及采用图像处理技术的双目立体视觉人眼追踪的专利，截至2021年4月，检索得到70件专利。对以上专利去噪、合并、去重后进行人工标引，按照涉及穿戴式、遥测式、红外光源、自然光源4个方面进行归类统计如下。

如图4所示，25件采用图像处理技术的双目立体视觉人眼追踪专利中，44%的专利为穿戴式，56%的专利为遥测式，表明穿戴式和遥测式设备的应用程度较为接近。而45件应用于裸眼3D场景的双目立体视觉人眼追踪的专利所采用的设备均为遥测式，这与裸眼3D的特殊要求有关。从光源类型区分，采用自然光源的专利数量远大于红外光源，这是由于自然光源无需额外配置光源减少了设备成本、利于推广应用，可见，采用自然光源系统的双目立体视觉人眼追踪是研究的热点。当然，自然光源系统也面临着适应复杂光照环境、摄像机精确标定、建立可靠模型等方面的挑战。

对采用遥测式且自然光源的双目立体视觉人眼追踪专利按照涉及“人脸与人眼检测”“仅人眼检测”“结合特殊标记”“涉及摄像机标定”这4个技术手段进行5个方面的技术功效划分，得到图5的技术功效气泡图。

在裸眼3D中应用人眼追踪技术是为了快速、准确地获取观看者的视线位置，从而根据观看者的视线进行3D视觉呈现，因此，应用于裸眼3D场景的人眼追踪需要满足追踪精度高和追踪实时性佳的要求。人眼追踪的精度和速度提升受多种因素影响，包括：建立可靠的眼睛模型、精确的摄像机标定等，其中，只有实现摄像机精确标定才能有效地利用模型进行可靠识别追踪。图5可知，采用遥测式且自然光源的双目立体视觉人眼追踪专利中37.5%的专利都涉及了对于摄像机的标定。而在人眼追踪的手段方面也可以采用多种手段，其中之一是采用由粗到精的追踪检测策略，即，在图像中先检测和定位人脸，随后在人脸区域内定位人眼，进而检测人眼的特征，该追踪检测策略是一种较为常见的提高人眼检测可靠性的手段。由图5可知，相较于“仅人眼检测”，采用遥测式且自然光源的双目立体视觉人眼追踪专利中较多的专利采用了“人脸与人眼检测”的技术手段，并且，采用“人脸与人眼检测”的技术手段更利于提升追踪精度和速度。

上述人眼追踪的精度和速度提升策略并不是在任意应用场合均适用，例如，应用于腔镜手术等医疗场景的双目立体视觉人眼追踪的相关专利没有采用常规的人脸结合人眼的追踪检测手段，而是普遍采用了在医生手术帽或口罩上设置颜色标记或标签，结合该类特殊标识进行追踪。该方式克服了手术等医疗场景中医生必须佩戴口罩导致脸部被遮挡无法采集全脸图像的问题，巧妙地利用了医生必须佩戴的手术帽或口罩来便利地设置特殊标识，借助特殊标识提升人眼追踪的准确性和实时性。

4  结  论

本文从专利信息挖掘与分析角度对基于双目立体视觉的人眼追踪技术的发展情况进行分析，从近20年来该技术的全球专利申请趋势、各主要国家分布情况及趋势、重要申请人，该技术的中国专利的类型、各省分布情况以及重要申请人等方面对该技术的发展进行分析，并重点选取双目立体视觉人眼追踪技术在裸眼3D的应用进行研究，从装置类型、光源类型对相关专利进行归类，并分析了人眼追踪精度提升、速度提高的手段，还分析了在腔镜手术等医疗场景的裸眼3D呈现这一特定场合双目立体视觉的人眼追踪所采用特殊追踪方式。

参考文献：

[1] 刘冬.基于立体视觉的视线估计方法研究 [D].武汉：华中科技大学，2015.

[2] 朱子阳，陈双.智能驾驶中双目视觉关键技术与应用算法 [J].辽宁工业大学学报（自然科学版），2021，41（4）：236-240+244.

[3] 史豪豪.面向AR-HUD系統的瞳孔空间位置检测技术研究 [D].重庆：重庆邮电大学，2020.

[4] 李默.基于双CCD的人眼视线追踪系统研究与设计 [D].长春：长春工业大学，2017.

[5] 国家知识产权局.2020年国家知识产权局年报-知识产权创造 [A/OL].（2021-04-27）.https：//www.cnipa.gov.cn/art/2021/4/27/art_2616_158950.html.

[6] 王亚飞.复杂光环境下人眼视线追踪技术研究 [D].大连：大连理工大学，2018.

[7] 吴艳繁.基于视线追踪的人机交互系统 [D].长春：吉林大学，2014.

作者简介：周小燕（1986.03—），女，汉族，广西柳州人，助理研究员，硕士研究生，研究方向：知识产权。