增强现实/虚拟现实头戴显示专利分析
2017-09-28韩旭,曲丹
韩 旭,曲 丹
(国家知识产权局专利局专利审查协作天津中心,天津 300304)
增强现实/虚拟现实头戴显示专利分析
韩 旭,曲 丹
(国家知识产权局专利局专利审查协作天津中心,天津 300304)
增强现实/虚拟现实(AR/VR)在医疗、军事、工业、教育、娱乐和工程等领域都具有非常广阔的应用前景,是目前可穿戴电子领域的研究热点。从全球及中国角度对AR/VR头戴显示技术的总体专利态势进行分析,分别从专利申请量、专利申请区域分布、主要申请人等方面对AR/VR头戴显示技术的专利申请总体情况进行了探讨,分析了国内研发主体相对于国外研发主体在技术发展和专利保护方面存在的差距。通过归纳分析AR/VR头戴显示设备国内外重要申请人的关键技术,发现AR/VR头戴显示设备的主要技术分支包括图像质量像差修正、人机交互控制、追踪技术实现图像调节以及佩戴调节,并对其中的光学系统和眼动追踪技术分支的技术发展路线、技术发展趋势、重要专利节点技术等方面进行了深入研究,对AR/VR头戴显示设备在上述技术分支的发展趋势进行了预测。
应用光学;增强现实;虚拟现实;沉浸;头戴显示
1 研究概述
随着AR(augmented reality)/VR(virtual reality)产品的广为使用,增强现实、虚拟现实技术越来越为大众所熟知,尤其是AR/VR头戴显示设备。在2016年世界移动通信大会(MWC)上,包括扎克伯格等演讲者在内的与会人士都佩戴了VR设备,2016年被业界称为“VR元年”。这一切表明AR/VR头戴显示技术处于爆发式增长态势。
1.1技术简介
虚拟现实是一种计算机仿真系统,通过多元信息融合、交互的三维动态视景和实体行为的系统仿真,使用户沉浸在计算机生成的模拟环境中。虚拟显示主要包三维计算机图形技术、广角立体显示技术、用户跟踪技术、触觉/力觉反馈、立体声、语音输入输出技术等[1]。增强现实是在虚拟显示的基础上,实时地计算摄影机影像的位置及角度并加上相应的图像、视频、3D模型技术,可以同时显示真实世界信息和虚拟世界信息,两种信息相互补充、叠加。增强现实技术包含多媒体、三维建模、实时视频显示及控制、多传感器融合、实时跟踪及注册、场景融合等手段[2]。
1.2技术发展
AR/VR技术演变发展史大致分为以下几个阶段。
第1阶段(1963年以前),人们提出了虚拟显示思想。这一思想最早被提及可追溯到1932年,阿道司·赫胥黎在小说《美丽新世界》中提到“头戴式设备可以为观众提供图像、气味、声音等一系列的感官体验,以便让观众能够更好地沉浸在电影的世界中。”1955年,莫顿·海利希设计出《美丽新世界》书中所描绘的头戴式设备的原型图,如图1所示。
图1 莫顿·海利希设计的原型图Fig.1 Prototype drawings designed by Morton Heilig
第2阶段(1963-1972年),虚拟显示处在萌芽期。1968年,伊凡·苏泽兰完成第1台真正意义上的头戴显示设备,名为“达摩克利斯之剑”,如图2所示。伊凡·苏泽兰本人也被称为虚拟现实之父。
第3阶段(1973-1989年),虚拟显示理论初步形成,技术得到初步应用。1985年,美国国家航空航天局(NASA)创建了虚拟界面环境工作站(view-virtual interface environment workstation,VIVED),VIVED VR头戴显示器投入使用,用来训练增强宇航员的临场感,这是虚拟头戴显示设备的最早应用。
第4阶段(1990-2010年),虚拟显示理论逐步完善,应用不断扩大。1990年,美国VPL Research公司首次将VR头戴显示设备推向民用市场,该公司创始人杰伦·拉尼尔首次将虚拟显示(virtual reality)的称谓赋予这一技术,当时注解为用立体眼镜和传感手套等传感辅助设施来实现的三维显示。这一时期的VR头戴显示设备比较笨重,售价也高。
图2 达摩克利斯之剑Fig.2 Sword of Damocles
第5阶段(2011至今),虚拟显示技术得到了飞速发展。众多企业投入研发AR/VR 产品,极具代表性的产品有如下3类。1)眼镜式产品:谷歌公司——Google Project Glass,奥林巴斯——MEG4.0,兄弟株式会社——AiRScouter;2)沉浸式产品:Oculus 公司——Rift,索尼公司——PlayStaion VR,HTC 公司——Vive,微软公司——Hololens;3)手机显示类产品:谷歌纸板眼镜,三星Gear VR,暴风魔镜等。
1.3研究内容
专利作为技术信息最有效的载体,内容准确详实。专利分析能将个别的看起来互不相关的孤立信息转化成系统的、完整的情报。笔者基于国家知识产权局专利检索与服务系统(Patent Search and Service System)中的CNABS数据库及DWPI数据库,对2016-08-15前公开的AR/VR头戴显示设备的专利申请情况进行分析。
采用定量分析和定性分析相结合的方式,对宏观数据进行定量分析和对重点技术进行深入定性分析。定量分析主要包括全球专利申请量分析,各国家、地区、组织专利申请量分析,全球主要申请人分析,国内专利申请量分析等,可以帮助创新主体掌握专利发展趋势、专利区域分布、区域市场关注程度和主体研发活跃度。定性分析主要包括与图像质量和人机交互方面的关键技术分析、技术发展路线等,以帮助创新主体掌握技术研发趋势,寻找技术空白。
2 专利分析
为保证专利信息的全面性和准确性,采用了总—分为主、分—总为辅的检索原则,先获取数据库中与AR/VR头戴显示设备相关的各级准确分类资源(包括IPC,CPC,FI/FT等分类),结合中英文关键词(HMD、头戴显示设备等)进行检索,然后将检索结果汇总,从而得到总的文献量,再通过概览的方式对检索结果进行去噪。
AR/VR头戴显示设备涉及的分类号包括以下内容。
IPC分类:G02B27/01(加盖显示器),其他分类号有G02B27/02(观看或阅读仪器)、G02B27/22(用于产生立体或其他三维效果)、G06F3/01(用于用户和计算机之间交互的输入装置或输入和输出组合装置)。
CPC分类:G02B27/017(安装在头部),G02B27/0172(以光学特征为特点),G02B2027/0174(全息),G02B27/0176(以机械特征为特点),G02B2027/0178(眼镜型),G02B27/0093(具有用于监控使用者数据的装置,如头戴式追踪、眼睛追踪),G06F3/011(与人体交互的输入/输出,如虚拟现实的用户浸入),G06F3/012 (头部轨迹输入装置),G06F3/013 (视觉轨迹输入装置),G06F3/014(手戴的输入/输出装置,如数据手套),G06F3/015(基于神经中枢系统活动检测的输入装置,如脑电波(EEG)检测、肌动电流(EMG)检测、皮肤电活动反应检测),G06F3/016(带有作为计算机产生的、输出给用户的力或触觉反馈的输入装置),G06F3/017 (基于交互手势,如基于一系列可识别手势),G06F2203/011(基于感测的人体参数,如心跳、脉搏、虹膜、皮肤温度、声音音调),H04N13/044 (具有安装了与头匹配的左-右显示器)。
FT分类:FT 2H199/CA00(头戴显示设备HMD)及其下位组。
2.1全球专利申请分析
2.1.1 全球专利申请量分布
由于专利申请从提出申请到公开有时间延后,导致2015年和2016年的有关分析存在偏差,如图3所示,AR/VR技术的专利申请总体上分为3个阶段。
图3 全球专利申请量分布Fig.3 Distribution of global patent application
萌芽阶段(1980—1990年): AR/VR头戴显示设备的概念刚刚被提出,AR/VR头戴显示设备专利申请量比较少,决定设备性能的处理器、加工技术等关键技术水平仍然不能具备实现设备商业化的条件。
成长阶段(1991-2009年): AR/VR头戴显示设备专利申请量稳步增长,随着计算机、处理器等相关技术的发展,能够生产实验室级AR/VR产品。但由于成本高和体验不佳等原因,仍无法开展大规模商业生产。其中,2009年受金融危机的影响,企业减少了科研投入,研发活跃度下降,专利申请量出现阶段性下降。
成熟阶段(2010年至今):2010年以后,随着计算机技术和处理器技术以及精密加工技术的快速发展,市场对于增强现实和虚拟现实技术的需求日渐强烈,众多市场主体纷纷开始在该领域着手进行技术研发和专利布局,而从2010年开始专利申请AR/VR头戴显示设备出现爆发式的增长。
2.1.2 全球专利申请区域/组织分布
AR/VR头戴显示设备的申请量前5位的国家、地区或组织分别是美国、日本、WIPO、欧盟和中国。美国和日本的专利申请量占全球申请量的1/2。如图4所示,美国是专利申请量最多的目标国,占全球申请量的31%;其次是日本,占全球申请量的19%;再次是向WIPO提出的PCT申请,占全球申请量的13%;紧随其后的是向欧盟和中国提交的申请,均占全球申请量的10%。在国际市场的排名中,美国、日本仍然占主导地位,中国处于第4位,略微落后于中国经济总量在国际上所处的地位[3-6]。
图4 全球专利申请区域/组织分布Fig.4 Distribution of global patent applicant
2.1.3 全球专利申请人分布
图5 全球专利申请人分布Fig.5 Distribution of global patent applicant
图5列出了全球专利申请人的分布情况。从图5中可以看出,全球专利申请量排名前20位的企业主要来自日本、美国、韩国、德国、法国、英国和芬兰。其中日本企业占据8个席位,美国企业占据6个席位,韩国企业占据2个席位,其余4个国家各占1个席位。主要申请人虽然集中在日本和美国,但专利申请量差异不大,未明显处于绝对垄断地位,企业类型有所差别,其中日本公司在AR/VR头戴显示设备领域最为活跃。排在首位的索尼公司是世界视听、电子游戏、通讯产品和信息技术等领域的先导者,其重点研发的是用于电子游戏和个人观影用的AR/VR头戴显示设备。精工爱普生、奥林巴斯、佳能和尼康公司是传统的光学影像设备生产商。除了网络、软件、通信等领域的商业巨头,如微软、谷歌、三星、诺基亚等,还有高平(KOPIN)、MICROVISION(MVIS)公司等著名头戴显示设备制造商,以及三维图像投影领域的MAGIC LEAP公司。
2.2中国专利申请分析[7-10]
2.2.1 中国专利申请量分布
中国AR/VR头戴显示专利申请与全球申请趋势基本一致,但年申请量远低于全球年申请量,申请量分布如图6所示。2010年以前,国内AR/VR头戴显示设备市场规模不大,AR/VR头戴显示技术专利申请量比较低。一方面原因是国内企业没有开展相关研究,另一方面原因是国外企业没有关注到中国市场。随着全球AR/VR头戴显示技术的发展以及中国市场的崛起,国外申请人逐渐增加了在中国的专利申请量。从2010年开始,中国申请量呈现指数级增长,增长速度不断提高,保持高增长的态势,与国外申请增长速度相当。到2014年,中国AR/VR头戴显示专利申请量相比2009年增长了约6倍,表现出中国AR/VR头戴显示专利布局正在加速进行。
图6 中国专利申请量分布Fig.6 Distribution of Chinese patent application
图7 中国专利申请区域分布Fig.7 Distribution of Chinese patent application region
2.2.2 中国专利申请区域分布
中国专利申请区域分布情况如图7所示。由图7可以看出,中国AR/VR头戴显示设备专利申请中,比较可喜的是半数以上为本国申请,外国申请主要来自日本、美国、韩国3个国家。日本申请量最多,占中国专利申请总量的19%。其次是美国,占中国专利申请总量的17%,两国占比约为其他国家总占比的3倍。其一方面原因是AR/VR头戴显示技术在日本和美国发展最早,另一方面原因是中国作为拉动全球经济增长的重要引擎和众多经济体的全球第一大出口国,倍受两国重视。其余国家/地区中,韩国申请占中国专利申请总量的4%,也不容小觑。
2.2.3 中国专利申请人分布
图8 中国专利申请人分布Fig.8 Distribution of Chinese patent applicant
中国专利申请中,申请量位居前列的仍然以外国申请人为主,但外国申请人的中国专利申请量排名与其全球专利申请量排名不完全一致,如图8所示。其中,索尼公司仍然占据申请量的榜首,而奥林巴斯公司的申请量相比于其在全球专利布局中的申请量排名有所降低。日本的兄弟株式会社和美国的新兴AR/VR头戴显示设备公司甚至排在10名开外,表明上述公司未开拓中国市场。与外国申请人相比,本国申请人在申请量上存在差距,但差距在逐渐缩小。主要申请人中除了联想、京东方、中科院等传统的知名企业或研究机构外,也有如歌尔、理想境界、小鸟看看等新生的创新型企业。比较难能可贵的是,这些新生企业在专利申请量方面表现突出,后来居上(例如:歌尔公司处于第4位,理想境界公司处于第7位),而且分别开展专利的产业运用,产品已进行市场推广(例如:歌尔公司推出基于手机的VR头戴显示设备;小鸟看看公司推出VR头戴显示设备IDEALENS K2,Pico Neo)。
2.2.4 中国专利申请类型分析
中国AR/VR头戴显示专利申请的类型主要为发明和实用新型,如图9所示。从申请总量上看,中国申请人的申请量与外国申请人的申请量大致相当,说明在AR/VR头戴显示领域中国申请人的专利意识有所加强。但从申请类型角度详细比较后不难发现,二者还存在一定程度的差异。外国申请人的申请主要是发明专利申请,实用新型专利申请量几乎为零;而中国申请人的申请中,实用新型专利申请量能够达到发明专利申请半数以上,说明AR/VR头戴显示领域中国申请人的专利质量以及专利背后的创新能力和保护意识还略显不足。此外,外国申请人在2011年以前,通过“巴黎公约”直接在中国提出的专利申请与通过“PCT条约”提出的专利申请数量上总体差别不大,但从2011年开始,PCT申请开始全面超过直接提交的中国专利申请。外国申请人的专利布局表现说明:随着AR/VR头戴显示技术的日趋成熟,作为重要国际市场的中国也会成为专利布局的重要战场。中国申请人对此应给予足够重视,做好充分准备。
图9 中国专利申请类型对比Fig.9 Comparison of Chinese patent application types
3 技术演进[12-17]
图像质量的改进与用户的视觉效果以及用户的体验度具有直接关系,提高图像质量是AR/VR头戴显示设备领域应重点关注并持续改进的技术。有关图像质量方面的专利申请占比也很大,约占涉及图像质量改进专利的20%。交互技术一直引领消费类电子产品的变革和发展,追踪技术是用户体验“沉浸感”、实现人机信息交互的关键保障[11]。手动、头动、眼动、脑电波等信息均作为人体自携带的“遥控器”,使交互更为直接、方便。以下就实现图像质量的光学系统和交互技术中的眼动追踪情况进行详细分析。
3.1光学系统技术
AR/VR头戴显示设备的光学系统是其实现增强现实或者虚拟现实功能的基础,是各个企业一直以来比较关注的一项技术。对于光学系统的改进,需要综合考虑图像质量、设备体积、设备质量、加工难度、装配工艺以及产品成本等因素,而且光学系统的优劣与用户的视觉效果以及用户的体验度具有直接关系。
如图10所示, 在头戴显示设备中,光学系统最初主要分为2类,一类是瞳孔成像的光学系统(US 4961626A),另一类是非瞳孔成像的光学系统(GB 1537276A),两类成像系统特点有所不同。瞳孔成像的光学系统结构成像清晰度高,但光路较长,一般需要通过反射镜折转光路,以使其能够更好地配置在使用者的头部。此外,这类光学系统存在中间像面,可以在中间像面处设置出瞳孔扩展器等功能性光学元件,有利于进一步改善成像的效果。与之相比,非瞳孔成像的光学系统在满足日常成像要求的基础上,结构更简洁紧凑,成本更低廉,易于批量生产,适用于沉浸式的虚拟显示设备。
在瞳孔成像的光学系统脉络中,以1990年的传统瞳孔成像结构(US 4961626A)为起点,进一步发展分化出2条技术路线,一条是偏心结构技术路线,另一条是波导结构技术路线。偏心结构技术线路大致分3个阶段,分别是偏心结构阶段、自由曲面棱镜阶段和自由曲面反射镜组阶段。偏心结构阶段最有代表性的是奥林巴斯公司,其在1993年首次将传统瞳孔成像的光学系统改进成具有偏心结构的光学系统(JPH 06294943A),以获得更为清晰、降低晕眩的成像效果,以及更大的视场角,还进一步降低了显示设备的体积和质量,以便更加适合使用者佩戴。随后奥林巴斯在1994年进一步优化了偏心光学系统的结构(JPH 07218860A),将原本成像用的反射面替换成镀有反射膜的透镜结构。随着光学设计、加工和制造技术的发展, 具有自由曲面光学系统的设计、加工和制造得以实现,进而出现了将自由曲面应用到头戴显示设备光学系统中的结构,在此基础上,结合已有偏心结构的光学系统原理,出现了自由曲面棱镜,将其应用到头戴显示设备的光学系统中(JPH 09281431A),大大降低了光学系统的体积、质量以及装配难度。此后,研究人员不断进行改进,相继出现了各种类型的自由曲面棱镜光学系统(US 6384983B1,JP 2002258208A,US 2014055867A1)。随着自由曲面棱镜结构的演进,出现了一类利用多重反射镜结合自由曲面、实现与自由曲面棱镜结构效果类似的光学系统(US 6046857A1),该系统的质量远轻于自由曲面棱镜结构,而且避免了透射中介质改变带来的光线方向限制和光量损耗。
图10 AR/VR头戴显示设备图像质量像差修正的技术演进Fig.10 Technical evolution of image quality aberration correction for AR/VR on HMD
在瞳孔成像光学系统的发展过程中,还存在一个关键的问题,即随着光学系统期望视场的增大,其会变得越来越重、体积会越来越庞大,并且使用起来非常复杂,为此产生了另一条技术线路——光波导技术。AR/VR头戴显示设备中光波导技术的最早尝试,是通过引入类似波导具有相互平行的平面反射面的结构(US 5880888A),该结构使得光学系统无需在从使用者的头部突出,同时能增大视场并减少畸变。随后开始出现主要以波导结构为主的头戴显示设备的光学系统(WO 0195027A2,JP 2002311379A),此类光学系统结构更加轻便,加工实现更为容易,而且更利于批量生产。此后,全息元件被引入波导结构的头戴显示光学系统中(EP1669792A2),全息元件的引入使头戴显示设备的光学系统能实现三维效果,且能更好地校正色差,系统的复杂度也大为降低。此后,研究人员不断对其进行改进,相继出现了全色体全息平板波导结构、表面微结构波导结构、半透膜阵列波导结构等各类光波导结构光学系统(WO 2007029032A1,JP 2007011057A,JP 2012053379A,US 2014111865A1,US 2014111865A1,WO 2015001839A1)。
非瞳孔成像的光学系统结构在AR/VR头戴显示设备中的应用也源自1990年(GB 1537276A)。为了进一步降低非瞳孔成像光学系统结构的复杂度、减轻质量,半透半反镜或者分光棱镜被引入该类光学系统中(JPH 06250114A),半透半反镜或者分光棱镜的应用大大简化了非瞳孔成像光学系统的结构,使系统更加紧凑。另外,为了进一步改善成像效果,谷歌采用多个半透半反镜或者分光棱镜,扩大光学系统的视场(US 2013016292A1)。
3.2眼动追踪技术
目前AR/VR头戴显示设备的交互技术主要有声音控制、手势控制、头部运动追踪以及眼动追踪。声音控制仅适用于特定场合,但这种控制方式的响应速度很慢且不准确,在公共场合声音太大还会影响其他人。手势控制时,手臂和肩膀很快就会感觉到累,疲惫的手臂会让人们的交互慢下来,并丢失追踪精度。头部运动追踪现在正作为主要的控制方式,但不停地转动头部和倾斜脖子也会让人感觉很累,不实际,并可能会造成脖子损伤。人体头重约5 kg,占人体重量的7%,每只眼重约8 g,占人体重量的0.002%,相比于头部运动,眼动更为简便,并且对身体的负担较小,眼球运动的精细肌肉对疲劳免疫,眼动追踪技术的响应速度很快,追踪很准确,也不会造成疲劳。这样一种交互方式,可以促进人机交互领域的技术突破,尤其是在增强现实和虚拟现实领域。
AR/VR头戴显示设备眼动追踪的技术演进见图11。眼动追踪技术可以分为接触式和非接触式2个技术分支。接触式眼动追踪技术中常用的是眼电图法和电磁线圈法。眼电图法最早出现于20世纪70年代(GB 1492358A),但直至1981年美国斯坦福国际研究院研发了一种稳定视觉系统(US 4443075A)才得以完善。1993年电磁线圈法实现眼动跟踪进入了初步研究阶段,利用电磁信号和预定义的眼手势,实现眼动跟踪接口的方法及系统(EP 0634031B1)。接触法不可避免地使测试装置与人眼有较为直接的接触,用户体验的安全度和舒适度不高,因此对非接触式的眼动追踪系统的研究非常必要。常用的非接触式眼动追踪方法有双普金野图像法、虹膜巩膜边缘法、虹膜分析法、角膜巩膜反射法、瞳孔中心反射法等。其中,最早出现的是双普金野图像追踪法(US 4836670A),其尝试使用摄像机来获取双普金野图像,并对2个普金野图像测量确定眼睛注视位置。20世纪末,人们开始对虹膜巩膜边缘法进行研究,该方法根据瞳孔与虹膜和巩膜之间的反射率进行眼睛定位。进入21世纪后,为了更准确、迅速地获取眼睛的运动,研究人员展开了一系列研究,这期间出现了虹膜分析法(JP 2003150942A)、瞳孔-中心-角膜反射法(EP 2236074A1)、角膜巩膜反射法(EP 2309307A1)。目前,眼动追踪的方法已经较为成熟,如何将较为成熟的眼动追踪技术应用到消费电子产品中,提供更好的用户体验成为当前研究的热点。
眼动追踪最早地应用与人机交互可以追溯到1989年,法国一家公司提出通过追踪用户视线来适时调整光学系统(比如显微镜等)的视场和图像清晰度等。近年来,随着头戴显示设备的发展,眼动追踪技术在头戴显示设备中的应用逐渐受到重视。其在头戴显示设备中的应用主要分为3类。第1类用于身份识别,谷歌公司提出了一种利用虹膜特性同时结合面部和皮肤特征实现身份识别的方法(WO 2006023046A1)。身份识别中还可通过视线追踪实现解锁,如用户仅需用眼睛追踪移动的小鸟或者阅读显示屏上的一段文字即可实现解锁。第2类重要应用是通过视线追踪实现对图像的调节,比如确定图像的运动速度(US 20130106674A1)、调整进入眼睛中的外界光线亮度(US 2016109703A1)等。第3类应用是通过眼睑状态(US 8235529B1,US 2012242570A1)、凝视(US 9096920B1,JP 2014127968A)、视线(CN 105892631A)、左右眼亮度(CN 105867605A)以及眨眼过程中闭眼时间(CN 105867607A)等信号来进行控制操作,不需要使用者的手部操作,在保证图像质量的情况下能大大降低能耗。
图11 AR/VR头戴显示设备眼动追踪的技术演进Fig.11 Technical evolution of eye tracking for AR/VR on HMD
4 研究结论
4.1中国专利申请增长与国际保持同步
中国经济的快速发展,加快了AR/VR头戴显示设备的市场发展,国家对新兴产业的扶持和人才引进政策,促使中国企业涉足该领域,积极开展专利保护。同时外国龙头企业受市场竞争的刺激和国内巨大市场的吸引,也加快了在中国专利布局的步伐,抢占技术优势地位。研究表明,中国AR/VR头戴显示设备专利申请的发展趋势与全球同步,从2009年开始迅猛增长持续至今。
4.2中国专利申请质量和策略有待提高
中国的头戴显示设备专利申请还存在实用新型专利申请占比高、申请领域分散、对外申请量少等问题。在创新能力和专利战略意识方面,与处于领先地位的日本和美国存在较大差距。中国企业今后在保持专利申请增长速度的同时,还要加强对国外专利的包围战略,同时集中优势研究力量,实现关键技术突破,开发更多拥有自主知识产权的产品,逐步提升竞争实力。
4.3中国民营企业的专利活跃性表现不俗
中国民营企业虽然在近几年才刚刚涉足AR/VR头戴显示设备,但在专利战略方向上把握准确,在专利数量和专利质量方面表现不俗,如理想境界、小鸟看看、歌尔等。尽管这些企业在该领域的起步比较晚,但却抓住了人体工程学、图像质量、人机交互等AR/VR头戴显示设备的研发热点,从进入该领域开始就与技术研发同步进行专利布局,为保证市场竞争力打下了良好基础。
4.4图像质量方面的技术生命力保持旺盛
在AR/VR头戴显示设备20多年的发展过程中,图像质量一直占据着市场研发和专利申请的重要地位。显示图像实现高亮度、宽视角,以及使用户在清晰观看影像的同时不产生疲劳感一直是头戴显示追求的重要目标。从作为图像质量重要技术保障的光学系统演变过程不难发现,平均5年就会出现突破性的技术创新,且经久不断。
4.5眼动追踪应用技术浪潮即将到来
用户体验决定AR/VR头戴显示设备的市场价值,人机交互是其中的重要一环。眼动的身体负荷小、耐疲劳性强、追踪响应速度快、准确性高,促使眼动追踪成为人机交互的技术热点。眼动追踪方法发展到2011年趋于完善,而眼动追踪应用技术的发展恰恰从2011年开始拉开帷幕。近几年中国头戴显示设备企业专利申请表现积极,反映出已开始努力尝试把握这一技术研发热点。
/
:
[1] “科普中国”百科科学词条编写与应用工作项目组.增强现实[EB/OL]. http://baike.baidu.com/link?url=oj1npY4khmI- ReMMrheE9kp8QB4J-2ldRQmagZJCt9qsnbQ-KZccXJPl4T41j- j23424GfFCc9lBNqjxJ1VrONfsn9aJ4VynGmM7uHZ2YVivUC- PQsFAoX2pJ4k85xUhtFS,2017-06-19.
[2] “科普中国”百科科学词条编写与应用工作项目组.虚拟现实[EB/OL]. http://baike.baidu.com/link?url=13NrhGsvjMBa8aQ7pIgP_ZPpxi-L5NzICZXFFjvCEunMl_sSRZMZodQg0m-oYP98dUdxYh0yuY1XK9LvA-4osdulD2h-Jk3DJRBCvCA0dze4NEdscboqklvbduKGM09I,2017-06-19.
[3] 马天旗. 专利分析方法、图表解读与情报挖掘[M]. 北京:知识产权出版社,2015.
[4] 杨铁军. 产业专利分析报告[M]. 北京:知识产权出版社,2012.
[5] 杨铁军. 专利分析实务手册[M]. 北京:知识产权出版社,2015.
[6] 贺化. 专利导航产业和区域经济发展实务[M]. 北京:知识产权出版社,2013.
[7] 张阿维,王浩. 可穿戴设备的应用现状分析和发展趋势的研究[J].中国新技术新产品, 2016(4): 15-16.
[8] 徐迎阳. 可穿戴设备现状分析及应对策略[J]. 现代电信科技, 2014(4):73-76.
[9] 侯云仙.可穿戴设备市场发展将呈六大趋势[N].中国计算机报, 2016-03-21(2).
[10] 肖征荣,张丽云.智能穿戴设备技术及其发展趋势[J]. 移动通信, 2015,39(5):9-12. XIAO Zhengrong, ZHANG Liyun. Intelligent wearable device technology and its development tendency[J].Mobile Communications,2015,39(5):9-12.
[11] 孙效华,冯泽西.可穿戴设备交互设计研究[J].装饰,2014(2): 28-33. SUN Xiaohua, FENG Zexi. Interaction design for wearable devices[J]. Art & Design, 2014(2): 28-33.
[12] 李东方.中国可穿戴设备行业产业链及发展趋势研究[D].广州:广东省社会科学院,2015. LI Dongfang. Research on the Industry Chain and Trend in Development of Industry of Wearable Device[D]. Guangzhou: Guangdong Academy of Social Sciences, 2015.
[13] 谢俊祥,张琳.智能可穿戴设备及其应用[J].中国医疗器械信息, 2015(3):18-23. XIE Junxiang, ZHANG Lin. The review and applications of smart and wearable devices[J].China Medical Device Information,2015(3):18-23.
[14] 温广新,李红.浅谈可穿戴智能设备市场和技术发展研究[J].数字技术与应用,2016(2):233.
[15] 周湛学,张文苑,杜永祚,等.虚拟仪器技术及其应用初探[J].河北科技大学学报,2002,23(4):71-75. ZHOU Zhanxue, ZHANG Wenyuan,DU Yongzuo,et al.Research of fictitious instrument technique and its application[J].Journal of Hebei University of Science and Technology, 2002,23(4):71-75.
[16] 邓俊杰,刘红,阳小兰,等.可穿戴智能设备的现状及未来发展趋势展望[J].黑龙江科技信息,2015(28):135.
[17] 朱婧.国内外可穿戴行业发展动态与趋势[J].广东科技,2015,24(14):9-12. ZHU Jing. Development trend and trend of wearable industry at home and abroad[J].Guangdong Science & Technology,2015,24(14):9-12.
Patent analysis of augmented reality/virtual reality on head mounted display
HAN Xu, QU Dan
(Patent Examination Cooperation Tianjin Center of the Patent Office,SIPO,Tianjin 300304,China)
AR/VR has a very broad application prospects in the fields of medical, military, industrial, education, entertainment and engineering, which is one of the research hot spots in the wearable electronic field at present. The patent trend of AR/VR on HMD technology is analyzed from global and Chinese perspective, specifically discussing patent application situation from the aspects of application number, application regional distribution, principal applicants and so on, and analyzing the gap in technology development and patent protection between domestic innovation body and foreign innovation body. By concluding and analyzing the essential technology of important applicants both abroad and at home, the main technical branches of AR/VR on HMD including image quality aberration correction, HMI control, tracking technology for image adjustment and wear adjustment are summarized, of which the technical development route, technical development trend and important patent node technology of optical system and eye tracking are studied deeply, and the development trend of AR/VR on HMD in the above technical branch is predicted.
applied optics;augmented reality(AR);virtual reality(VR); immersive;head mounted display(HMD)
1008-1534(2017)05-0345-09
2017-07-19;
2017-08-31;责任编辑:张士莹
韩 旭(1973—),女,黑龙江明水人,副研究员,硕士,主要从事光电领域专利审查和知识产权服务方面的研究。
曲 丹副研究员。 E-mail:qudan82@163.com
TN873
:Adoi: 10.7535/hbgykj.2017yx05007
韩 旭,曲 丹. 增强现实/虚拟现实头戴显示专利分析[J].河北工业科技,2017,34(5):345-353. HAN Xu, QU Dan. Patent analysis of augmented reality/virtual reality on head mounted display[J].Hebei Journal of Industrial Science and Technology,2017,34(5):345-353.