增强现实系统中显示设备专利技术数据分析

岳 虹，欧先锋

(1.国家知识产权局专利局专利审查协作四川中心，成都 610000；2.湖南理工学院 信息与通信工程学院，湖南 岳阳 414006)

增强现实系统中显示设备专利技术数据分析

岳 虹1，欧先锋2

(1.国家知识产权局专利局专利审查协作四川中心，成都 610000；2.湖南理工学院 信息与通信工程学院，湖南 岳阳 414006)

增强现实系统中的显示设备关系到图像显示方式和显示效果，是增强现实系统中最重要的设备。利用专利库对增强现实系统中显示设备进行了数据分析，了解相关领域的技术分支，并对其技术演进、申请分布、技术原创国和目标国、重点申请人进行了分析，归纳出技术热点和核心专利，为该领域发展提供参考。

增强现实；显示设备；专利技术；眼镜；头盔显示器；投影；移动终端

20世纪60年代以来，随着计算机图形学的发展，增强现实 (Augmented Reality，AR) 系统应运而生，其主要思想是借助计算机图像技术以及可视化技术产生真实环境中不存在的虚拟对象，通过传感技术将虚拟对象准确“放置”到真实环境中，使用者借助显示设备观看融为一体的虚拟对象与真实环境融，达到亦真亦幻的效果。

AR系统具有虚实融合、三维注册[1]以及实时交互[2]的特点，可以将与真实物体相关的几何或非几何信息提供给用户，让用户对真实场景有更直观、更深入的了解。这些特性使其在制造、医疗、设计、教育、娱乐等领域都有很好的应用前景，因此，很多学者和企业都投入到AR系统的技术研究中。

AR系统的研究涉及许多关键技术，如跟踪定位技术(registration)、用户交互技术、显示技术等。其中，显示技术是指在观察者的眼睛和真实物体之间的光路上成像的技术，它通过特定的显示设备为观察者提供增强现实的图像。显示设备作为AR系统中的硬件设备，集合了图像捕捉、追踪定位、用户交互数据接收与处理、图像合成与显示等功能，其硬件结构与数据处理的研究直接关系到AR的发展，因此本文对AR技术领域的显示设备专利申请进行统计分析，为后续的研究提供参考。

1 AR显示设备技术概况

1.1 AR显示系统原理

虽然AR系统不需要显示完整的场景，但由于需要通过分析大量的场景信息和定位数据来确保由计算机生成的虚拟物体可以精准地定位在真实场景中，因此，AR系统一般都包含以下4个基本步骤：1)获取真实场景信息；2)对真实场景和相机位置信息进行分析；3)生成虚拟景物；4)合并视频并显示。

1.2 AR显示设备的技术分支

目前来看，常用的显示设备可分为固定式显示设备、近眼显示设备、头盔式显示设备、手持式显示设备和空间投影显示设备等。主要的区别在于在光路上的成像位置不同，如图1所示。

图1 增强现实显示设备

1.2.1 固定式显示设备

在需要显示屏较大或分辨率较高的情况下，通常会采用基于计算机显示器的固定式AR显示系统。在固定式显示系统中，由摄像机拍摄的真实世界图像并输入到计算机中，计算机将拍摄的图像与计算机中产生的虚拟图像进行合成，并输出到屏幕显示器进行显示，用户通过屏幕显示器观看最终的增强现实图片。这种AR显示设备属于最简单、最易实现的显示方式，但带给用户的沉浸感较差。

1.2.2 近眼显示设备

近眼显示设备是指通过佩戴在眼镜上进行增强现实显示的设备，包括智能眼镜和智能透镜。智能眼镜是一种带有相机、话筒以及屏幕的眼镜。通过这种设备，用户的现实世界视角被相机截取，通过增强处理后的画面重新显示在用户视野中。智能透镜的理念是在传统透镜中集成控制电路、通信电路、微型天线、LED及其他光电组件，形成一套功能系统。

1.2.3 投影显示设备

随着投影设备功耗、成本、尺寸的降低以及3D投影技术的不断进步，基于投影的AR显示设备开始出现。将投影显示用于空间AR系统中，与其他显示方式不同的是，它不需要设置固定的显示屏，虚拟内容直接投影在显示世界中。任何物理表面，如路面、建筑物表面、甚至人体都能成为可交互的显示屏。投影显示的最大优点是：用户不需要佩戴专门的设备就可以观看，适合观看人数较多的情形。

1.2.4 头盔显示器

头盔显示器(Head Mounted Display,HMD)通常固定于用户的头部，上面设置有摄像头、位置跟踪器等设备。HMD跟随头部的运动而运动，对头部的位置和朝向进行实时检测，并反馈给处理设备，处理设备将真实场景与虚拟对象进行融合，然后控制用2个LCD或CRT显示，并分别向左右眼传送增强后的图像。

根据其实现原理的不同，可以将HMD分为两类：光学透视式HMD和视频透视式HMD。光学透视式HMD通过安装在眼前的2个半反半透镜呈现出真实场景和虚拟场景的融合。其中，真实场景来自于真实的光源，经过透视光学系统直接进入眼睛，虚拟场景由计算机生成，经光学系统放大后进入眼睛，两部分信息汇聚到视网膜上形成虚融合的成像效果。视频透视式头盔显示器通过安装在头盔上的微型摄像头获取外部真实环境的图像，计算机通过场景理解和分析将所要添加的信息和图像信号叠加在摄像机的视频信号上，将计算机生成的虚拟场景与真实场景进行融合，最后通过显示系统呈现给用户。

1.2.5 手持式显示设备

随着科技的进步，智能手机等手持设备飞速发展，处理器、传感器、显示器分辨率、相机成像质量都越来越好，同时具有了加速计、GPS、罗盘等功能，这些发展为AR在手持设备上实现提供了可能。基于手持设备的增强现实简单来说就是AR技术在移动终端的应用，是离开了实验室特定的实验条件和特殊用途的AR系统，基于手持设备的AR利用跟踪定位器和图像传输技术真实图像的显示和交互作用，将额外的数据增加到真实世界的视图中，用户可以根据需要进行显示方式的选择和交互操作。

1.3 技术发展演进

AR系统的概念在20世纪60年代就已经出现，但AR这一技术术语直到20世纪90年代初期才被提出。在研究初期，研究者提出初步的AR系统，但由于设备和精度等方面的不足，这些系统都没有真正投入实际应用。1997年，Azuma[2]对这些系统进行了详尽的分析，引起更多研究者对AR系统的关注。从20世纪90年代末开始，该领域的研究者们开始组织和召开AR领域的一系列国际研讨会和工作会议，大大促进了AR的研究发展。近年来，随着计算机图形技术的发展和移动设备计算能力的增强，AR技术已逐渐从理论走向了应用。

1997年，AR显示的专利开始出现。到目前为止，该领域已经发展到一定规模，具有很大数量的专利申请。本文的数据来源为中国专利文摘数据库(CNABS)和世界专利文摘数据库(SIPOABS)，通过查阅这两个数据库中的AR显示设备相关技术文献以及对该领域的专利文献进行梳理和分析，将其技术发展演进路线归纳如图2所示。

图2 增强现实显示设备技术演进路线图

从图2中可以看出，AR显示的研究大致经历了4个阶段：

第1阶段为AR概念提出阶段。在头戴式显示设备、固定式显示设备、投影显示设备以及近眼显示设备方面都开始有一些研究[3-6]，其中头戴式显示设备的研究更多，技术发展较快，立体穿透式HMD[6]的概念提出；近眼显示设备在这个时期主要用于将无线接收的文字等信息显示在眼镜表面；投影显示设备只是单纯地将合成的AR图像通过投影仪投影显示。

第2阶段为缓慢发展时期[7-10]。在这个时期，提出了视频投射式HMD的概念，同时一些专利中提出了与HMD进行交互的方式，比较有代表性的专利为US2006284791A1[10]；而投影显示和固定式显示中增加了根据旋转来调整图像的技术，其中专利US20050275664A1[7]就涉及这一技术。

第3阶段各分支都开始较快地发展[11-16]。出现了利用手持式设备实现AR显示的专利；利用手机自带的摄像头获取当前图像；利用GPS获取位置信息等，与虚拟对象结合产生AR图像，为后续的实际应用奠定了理论基础。

第4阶段是专利量大规模增长时期[17-20]。投影显示设备分支出现了计算虚拟对象最合适的位置，将其3D投影到显示空间中的相应位置，使效果更加真实[18]；近眼显示设备、手持式显示设备和头盔显示设备主要发展为提升显示质量、设备自适应调整，增加沉浸式效果和用户体验。例如，专利US2013128364A1[19]中提出了根据互用喜好自动设置HMD的显示模式、范围等；同时，有一些专利将AR应用到手持设备中的导航、游戏、购物等应用中，使其从理论研究阶段过渡到应用阶段。

2 AR显示设备领域专利分析

2.1 全球专利分析

图3为1990—2016年AR显示设备国内外专利的申请趋势。可以看出：国外的AR专利申请从1997年开始出现，一直到2008都处于缓慢发展时期；2009-2014年申请量稳步增长；2014年达到了顶峰；2015年起，申请量有所降低，但还是保持在一个较高的水平。

而国内在2004年才开始关注AR技术领域，直到2010年，国内申请量才进入一个稳步增长的阶段，在2015年达到了顶峰。

图3 AR显示设备国内外专利申请趋势

总体来说，AR自出现以来，经过短短十几年的发展就吸引了很多企业、机构的关注，是当下研究的热门之一。而相比于国外的专利申请量，国内申请还是较少，在该领域的技术研究仍有一定的差距。

2.2 技术原创国与目标国分析

技术原创国和地区表征了一个国家或地区在该领域的技术储备和技术实力。目标国和地区表征了一个国家或地区的市场在该领域的重要程度。从图4中可以看出，在AR显示设备技术领域，美国的申请量最多，其次是韩国、中国、日本、欧洲，中国台湾的申请量较少，排在最后一位。美国、韩国、中国具有庞大的消费市场，因此以上述3国为目标国，专利申请较多。

图4 AR显示设备技术原创国/目标国

2.3 各分支申请量对比

图5为国内外各分支申请量的对比。从国外各分支申请量比例来看，投影显示的专利较少，近眼显示设备和固定式显示设备的申请量也只占到10%左右。目前AR显示的专利申请中有近50%的申请涉及HMD，这主要是因为HMD的沉浸效果最好，因此在该分支的专利目前占比最大。而随着手持设备的功能逐渐强大，越来越多地研究将焦点对准到手持式AR显示，这种手持AR显示设备不需要购置高价格的专业设备，不需要固定的环境，因此具有很大的市场前景。

a.国内申请量分布 b.国外申请量分布图5 AR显示设备申请量分布

从国内的各分支专利申请量来看，我国对HMD和手持式显示设备的研究较多，两者加起来约占总申请量的80%。主要原因是：我国对AR的研究起步较晚，在开始研究时，HMD已经有了较好的理论基础，因此很多研究涉及到对HMD的改进；而手持式显示设备是目前研究的热门，还存在技术的不成熟，因此我国很多专利研究将重心转移到手持式显示设备的研究中。

总体来说，头戴式显示设备和手持式显示设备是目前AR领域领头企业关注度最高的，具有很好的发展前景。

2.4 重要申请人分析

图6是AR显示设备领域专利的主要申请人排名的前10名。可以看到，微软高居首位。从整体上来说，美国厂商的技术实力最强，包括微软、高通、谷歌、MAGIC LEAP、OSTERHOUT公司在该领域申请了大量专利，其中，微软公司推出AR头盔Hololens，谷歌公司也推出了google眼镜等产品，创业公司MAGIC LEAP提出利用弯曲的光场来制作立体图像，虽然目前还没有推出实际的产品，但是谷歌、阿里等公司都对MAGIC LEAP公司进行融资。韩国企业在AR显示方面也具有很强的实力，其中，韩国的三星、LG、现代等公司都在AR领域有很多的专利申请，为AR的技术发展作出了很大贡献。目前，虽然很多中国公司也开始进行AR技术研究，包括华为、联想、百度等，还有一些创业公司将目标瞄准AR领域，但还没有公司入围该领域的专利申请量前十，这说明中国在AR领域的发展需要更多的投入。

图6 AR显示设备领域的主要申请人排名

3 结语

本文对AR显示设备领域的分支、技术演进、专利申请态势、重要申请人等方面进行了分析。总地来看，AR显示自提出以来，很快受到各方面的关注，很多网络、视频、汽车等行业的领头企业都开始投入到该行业进行研究，并逐渐将研究应用到实际的产品中。我国在该行业的起步较晚，且申请人比较分散，缺乏核心技术和产品的竞争力，要想在该领域取得巨大进展还需要加大投入。

[1]吴帆,万平英,张亮.增强现实技术原理及其在电视中的应用[J].电视技术,2013,37(2):40-43.

[2]Azuma R T.A survey of augmented reality[J].Presence: Teleoperators and Virtual Environments,1997,6(4):355-385.

[3]ELLENBY J,ELLENBY T,ELLENBY P.Computer games having optically acquired images which are combined with computer generated graphics and images: WO/1998/046323[P].1998-10-22.

[4]VOLKSWAGEN AG.Assistance system for drivers displaying navigation and vehicle data in field of vision,supplemented by audible information,includes data spectacles with receiver:DE10013478A1[P].2001-09-20

[5]HEWLETT PACKARD CO.Method and apparatus for augmented reality using a see-through head-mounted display: US6037914A[P].2000-03-14.

[6]TUCERYAN MIHRAN.System and method for calibrating a stereo optical see-through head-mounted display system for augmented reality: US2002113756A1[P].2002-08-28.

[7]HOBGOOD ANDREW W.Method for advanced imaging in augmented reality: US2005275664A1[P].2005-12-15.

[8]MITSUBISHI ELECTRIC CORP.Method for displaying an output image on an object: EP1504597A1[P].2005-02-09.

[9]UNIV NORTH CAROLINA.Methods and systems for dynamic virtual convergence and head mountable display: US2004238732A1[P].2004-12-02.

[10]NAT APPLIED RES LAB NAT CT FOR.Augmented reality system and method with mobile and interactive function for multiple users: US2006284791A1[P].2006-12-21.

[11]英派尔科技开发有限公司.视频内容的输出: CN103201705A[P].2013-07-10.

[12]OSTERHOUT GROUP INC.Augmented reality eyepiece with freeform optic,image source,and optical dispaly:US2011221659A1[P].2011-09-15.

[13]UNIV MICHIGAN STATE.Augmented reality user interaction system: US2008266323A1[P].2008-10-30.

[14]高通股份有限公司.使用骨骼跟踪来选择性地将手遮蔽在物理表面上的虚拟投影之上:CN103493106A[P].2014-01-01.

[15]TOSHIBA IT SOLUTION KK.System and program for searching structured document:JP2009087162A[P].2009-04-23.

[16]TSP KK.Vote and management system:JP2009282921A[P].2009-12-03.

[17]MICROSOFT CORP.Adjustable display characteristics in an augmented reality eyepiece:US2012212399A1[P].2012-08-23.

[18]CHRAIEF Z.Safety system for at least one occupant of a motor vehicle and method for protecting the occupant:WO2013128346A1[P].2013-09-06.

[19]GOOGLE INC.Method of using eye-tracking to center image content in a display: US2013128364A1[P].2013-05-23.

[20]PANTECH CO LTD.Apparatus and method for providing applications along with augmented reality data: US2013051615A1[P].2013-02-28.

Analysis of Patent Technology Data for Display Equipment in Augmented Reality System

YUEHong1,OUXianfeng2

(1.Patent Examination Cooperation Center of Patent Office,SIPO,Chengdu 610000,China;2.College of Information & Communication Engineering,Hunan Institute of Science & technology,Yueyang 414006,China)

Augmented Reality is becoming more popular in recent years.The most improtant portion of Augmented Reality system is the display equipment,which is related to the image display mode and quality.Based on the statistics of patents in AR field,an analysis is achieved by considering technical branch,technology trends,technology producing countries,technology target countries,and applications.Through the analysis we can get the core technologies and the key patents,it will be helpful to the development of AR field.

Augmented Reality;display device;patent technology;glasses;HMD;projection;mobile terminal

10.13542/j.cnki.51-1747/tn.2017.02.002

2017-03-28

湖南省自然科学基金项目(2017JJ3099)

岳虹(1990—),女，实习研究员，硕士，研究方向：图像处理/视频压缩。 欧先锋(1983—),男，讲师，博士，研究方向：图像处理/视频压缩编码及传输，电子邮箱：ouxf@hnist.edu.cn。

TN94

A

2095-5383(2017)02-0008-05