从专利视角看人机交互企业发展态势

孙剑锋 李秀娟 韩虎 / 工业和信息化部电子知识产权中心

引言

近年来，美国、日本等厂商推出的游戏机风扉全球，其中应用的人机交互技术成为备受瞩目的焦点。而用户被激发出来的多元化对健身、娱乐需求，又进一步让广大企业看到了新的商机。从全球发展状态来看，无论是发展速度还是产业规模，人机交互领域已引起高度重视。我国的人机交互起步较晚，为了缩小与全球的差距，明晰产业发展思路，有必要对人机交互技术、产业进行梳理。

从全球总体状况来看，过去20年，人机交互从最初的人操作计算机、以计算为主，逐渐发展到现阶段的智能化交互阶段，人机交互像人与人交流一样简单、自然，语音、手势及体感和面部等方式成为新的、主流的交互方式。新的人机交互方式迅速推动智能终端设备的发展，使得无论是终端设备的功能和便捷程度或是用户的使用习惯都发生了巨大的变化。

另一方面美国企业在这一领域的积累和实力优势极为明显，完整的产业链支持了美国在这一领域长久的强势地位，从技术研发到网络运营，从技术提供到产民制造，美国企业不仅完成了先进技术的开发，并推出了Xbox、iPhone、LeapMotion等诸多产品。日本企业在人机交互中也具有很强实力，在全球范围内其综合实力仅次于美国。而我国除语音相关技术发展积累较为突

图1全球人机交互领域专利申请趋势

鉴于人机交互快速发展的态势以及我国巨大的市场发展空间，全面准确地掌握主要的市场竞争态势显然是重要而紧迫的。本文将从专利分析出发，依据专利信息独有的各种著录项信息为主要统计依据，以目前，手势及体感、语音和面部为对象，其中：手势及体感主要指通过对肢体的动作和位置以及手指细节状态的侦测而实现的人与机器的信息交互及控制；语音指通过自然语言将信息在人与机器之间传递而实现交互；面部则主要包括对人脸、面部表情等特征的检测识别来实现人机交互的方式，试为读者呈现全球范围内，人机交互技术发展的竞争态势。

全球企业发展总览

图2全球人机交互领域主要申请人

出外，其他方向与国外仍有较大差距。但随着我国经济的发展，消费电子产品销量的快速增加，人机交互相关产品在国内将具有非常广泛的发展空间，因此国外主要企业对中国市场都投以极大的关注，并在技术研发、产品推广、专利布局等多个方面开展工作。

专利的最早优先权统计（或首次申请受理国）数据显示，美国、日本与中国在这一领域最为活跃（图1）。但这三个国家的发展历程和趋势各有特点，美国除2000-2006年这一区间发展速度平缓之外，自上世纪90年代一直呈现较快的发展；日本相关产业初期发展速度惊人，但进入21世纪后未呈现预期的快速增长，反而在近两年出现逐渐下降的趋势；中国起步晚，与美日相比有近10年的差距，而在发展速度上则展示出较大的优势，2008年后一跃成为仅次于美国的主要申请国之一。

全球范围内，微软在人机交互领域中的专利申请量位居首位（图2），达到1,300多件，微软关于人机交互领域的产品包括xBox及Kinect设备以及其他可穿戴设备等，在新产品上市前，微软已针对不同产品布局了专利，所涉及的具体技术较为全面。索尼在人机交互领域申请的专利与微软相差不多，而且索尼的应用产品同样涉及多个领域，包括游戏、电视及笔记本等。

数据显示人机交互领域的活跃企业主要集中在美国和日本。微软、索尼作为代表性企业在该领域的专利申请最多，产业影响力最强。专利申请量在400至1,000件的企业较多，包含了全球范围内这一产业的大多数主流企业。在本文分析中，作者将重点关注美国、日本和中国相关企业。

美国企业分析

1992年ACM图灵奖获得者，时任微软研究院软件总工程师Butler Lampson指出计算机有三个作用：第一是模拟，第二是进行通信，第三是互动。可见微软在上世纪90年代初就已经充分认识到人机互动的重要地位。然而，当时的信息爆炸虽然对人机交互提出强烈的需求，但硬件条件的短板使得语音、体感等人机交互技术的发展更多地被限制在理论研究中。进入路，但产品市场反应的低迷导致这样的大量申请难以维持。而2010年Kinect设备的推出则受到市场高度热捧，在专利数据中，可以明显看到微软早在Kinect发布3-5年前就开始酝酿。而未来，从目前态势来看，微软对这一领域将更加重视。

图3全球人机交互领域美国主要申请人申请趋势

图4全球人机交互领域日本主要申请人申请趋势

IBM在相关领域的研发起步较早，例如其语音识别产品ViaVoice曾引起业界巨大反响。从专利数据来看，其成果在上世纪九十年代就逐步开始积累，但其研究早在多年前就已开始，受九十年代初IBM亏损和破产危机等因素的影响，其专利申请（图3）直到1995年之后才有明显增长。直至2000年左右，申请量达到高峰，而后逐年减少。数据显示IBM进行了成功的转型，从纯技术科技公司转变为提供整体解决方案的服务型公司：到2001年，IBM服务业务收入高达300亿美元，在当年的收入新增贡献中占比超过80%。在这一过程中，IBM对人机交互方面的侧重点有所转移，而其明星产品ViaVoice则在2003年被出售，更加引证了IBM转型的决心和方向。总体而言，IBM由于战略转型而表面上退出这一领域，但专利数据却显示出长期的积累仍然为IBM在这一领域带来较大的影响力。

苹果公司近年来被全球广泛关注。人机交互领域中，苹果是微软之外又一个成功将技术转化为产品的代表。苹果公司目前的代表产品之一iPhone在2007年发布，除全触屏设计外，其配置的陀螺仪、加速度计等用于人机交互的装置使其功能远非一般手机能比，专利数据（图3）则显示，在人机交互领域随着iPhone产品的推出，相关专利申请大量公开，可见苹果公司为iPhone产品进行了大量积累，并在产品推出前集中进行专利申请以获得最长的保护期限，堪称专利运用的典范。随着苹果公司产品种类的增多，各种人机交互的手段必然被纳入智能手机、平板电脑、笔记本计算机、智能电视等产品中，可以预见，苹果在这一领域的投入将会进一步加大，专利储备也将随之丰富。21世纪后，硬件条件逐渐不再是技术产品化的瓶颈，微软开始逐步尝试加大这一领域的投入。2005年微软Xbox360发售，作为其附件的Xbox Live Vision摄像头等是微软早期对人机交互在游戏领域的尝试，虽然其市场反应平平，但专利数据（图3）反映：微软在2003-2005年之间密集申请了大量专利为这一领域铺

日本企业分析

索尼作为目前唯一能够与微软在游戏机领域抗衡（xBox与PlayStation）的企业，其发展历程表明了索尼对于人机交互的发展和应用前景方面具有高度的敏感性。1994年底，索尼推出PlayStation第一代产品时，虽然目前主流的人机交互技术尚未得到应用，但数据分析（图4）则显示索尼已然认识到人机互动在这一领域的巨大发展空间，此时索尼在人机互动的专利布局已经开展2-3年的时间。2000年，索尼发布PlayStation2。之后，与其适配的用于计算机视觉和手势识别的摄像头外设Eye Toy大获成功，市场反应极大地促进了这一应用方式及其背后技术的发展。数据显示索尼在2000-2006年之间对于人机交互的投入始终处于一个较高的水平上。2006年，任天堂发布Wii主机，再一次震撼了家用游戏机这一人机交互的主战场，同年索尼发布PlayStation3则配备PlayStation Move的新型控制器提供体感交互方式。之后这一领域的快速发展，除去日本厂商之外，微软、苹果等美国厂商开始发力，索尼面临的竞争压力增大，2013年底推出PlayStation4，不仅在与其配合的DualShock 4控制器中延续了DualShock3控制器内置的三轴陀螺仪加三轴加速度仪的六轴动作感应系统，更利用摄像头和多屏互动等技术加强人机交互的作用。专利数据对于这一趋势展示了极为清晰的预判：每一次索尼推出人机交互相关的重要产品前3-5年（例如1999，2004，2010等年份），都会有大量专利申请公开，同时将其专利数量水平推至新高。而最近一两年索尼的专利申请仍在高速发展，同时，索尼于2010年收购iCyt Mission Technology，2011年收购Micronics，2012年购入So-net Entertainment Corporation所有股份，表明未来几年索尼将加大对人机交互产品领域的拓展，并有可能推出重要的人机交互产品。

松下与佳能在上世纪90年代至2006年这段时间内对人机交互技术进行大量的投入，但产品方向上更多侧重办公、教育、商业和摄影等方面。对于人机交互技术而言，其需求程度相较家用游戏机等产品有较大差距。但同时，松下和佳能在其各自关注的领域对人机交互技术也有较为成功的应用，例如1992年佳能在EOS 5高端机型上开创了眼控自动对焦选择功能，引起业界轰动；1995年推出改进后的EOS 50E，眼控功能进一步加强；1998年，EOS3准专业机型问世，改进了眼控检测的算法，等等。但专利数据（图4）则显示出松下与佳能在人机交互领域的投入在不断减少，专利积累也速度放缓，然而市场上松下对于智能电视中的人机交互应用也非常积极，其技术来源和发展方向都值得关注。

相较而言，我国企业在这一领域的积累薄弱，市场影响力明显不足。一方面，中国在人机交互领域的研发相对于国外起步较晚，但主要的基础技术都掌握在国外企业中，其发展会受一定限制；另一方面，我国对家用游戏机类产品的禁令在一定程度上也影响了人机交互技术最直接的应用产品开发。从我国企业的专利数据来看：华为在这一领域具有最多的专利申请，但相较国外而言仍显不足；中科院作为我国重要的科研单位，对人机交互各技术都有着深入的研究和积累，但其成果在知识产权保护和产品化方面仍亟待提高。

结论

综上所述，参考美日领军企业的发展态势，作者认为：第一，我国有必要大力扶持人机交互相关产业的企业和科研单位在技术的研发、产品化、推广等环节做大做强，在未来人机交互技术应用领域不断拓广的背景下占据一定优势；第二，学习国外成功企业经验，除坚持不懈地进行技术积累外，更注重产品发布关键时间节点上的知识产权布局；第三，全球主流市场中人机交互技术的应用领域已经从家用游戏机拓展至多种智能终端，在我国政策条件暂时不做调整的条件下，大力挖掘智能终端领域的人机交互应用场景，充分吸收利用国外企业在方案设计和应用思路上的优秀成果，“借道”智能终端实现我国人机交互的后发制胜。

联系方式：

李慧颖：8868-6338 lihuiying@infoip.org

孙剑锋：8868-6371 sunjianfeng@infoip.org

彭德坤：8868-6370 pengdekun@infoip.org

黄蕴华：8868-6369 huangyunhua@infoip.org