智能家居中体感技术的应用和前景

杨 栋，张建强，曹 鹏，徐国祥

（国家知识产权局专利局 专利审查协作北京中心，北京 100190）

智能家居中体感技术的应用和前景

杨 栋，张建强，曹 鹏，徐国祥

（国家知识产权局专利局 专利审查协作北京中心，北京 100190）

智能家居技术中，实现与人交互的一类重要技术是体感技术。体感技术让人不必受限于遥控器等控制终端，以更自然的方式与智能家居进行交互。智能家居中的体感技术一般借助惯性传感、语音、视觉等几种媒介，语音技术的优势是技术成熟，但语音命令的复杂度受限于自然语言理解的限制；惯性传感和视觉的优势是直观，目前惯性传感的商用产品较多。虽然视觉传感目前主要限于手势等的控制，与惯性传感的控制方式类似，但随着技术的发展，视觉传感的发展潜力巨大，属于未来的技术发展方向。

智能家居；体感技术；语音传感；视觉传感；惯性传感

2013年11月25日，首届中国（国际）数字家庭展在武汉开幕，会上众多国内外厂商展示了自己的数字家庭和智能家居相关的产品，例如智能门禁、智能监控、智能厨房、智能照明、智能家电，以及家庭中的健身、娱乐系统[1]。

智能家居是一个完整的系统，它不仅仅是某个家电的智能化，也是整个数字家庭的网络化、一体化。某种程度上，可以认为智能家居是家庭范围内的物联网。与物联网不同的是，智能家居的中心和重点是人。智能家居的各个系统为人服务，就需要整个家居环境与人进行交互，可以将智能家居中的人机交互称为“人居交互”。人居交互的核心就是：找到人，理解人，服务人。找到人就是对人的定位；理解人就是通过有线开关、遥控器、语音、视觉等手段识别人的意图和需要；服务人，就是根据人的意图和需要对人提供服务。

上述“有线开关、遥控器、语音、视觉等手段”，就是从传统到现在各种人居交互技术的发展简史。有线开关，例如各种机械式、电子式的按钮和开关。随着无线技术的发展，红外、蓝牙、WiFi等各种无线遥控手段也开始应用于人居交互中，其中电视、空调等电器的遥控器一般都采用红外方式，耳机、手机、鼠标等一般采用蓝牙、WiFi方式。例如以智能手机作为智能家居的核心设备，所有的智能家居通过无线网络连接到智能手机。而具有惯性传感的遥控器，可以通过人手拿着遥控器进行挥动来区分不同的遥控操作。“人来灯亮，人走灯灭”是最原始的声控开关的写照。而随着芯片技术的发展，可以在家电中实现简单的语音识别，例如，不再是听到有声响就开灯，而是识别出人的语音“开灯”或者“light”才打开灯。语音也是人体的自然机能，因此语音传感也可以算是一种体感技术。视觉传感，就是智能家居设备通过摄像头获取人的活动视频，识别出人的动作，判断出人的意图和需要，智能家居设备再通知其他家电或者服务设备对人提供服务。例如在智能电视中设置摄像头，智能电视作为智能家居的核心设备；又例如使用微软游戏机的视频动作捕捉设备Kinect，作为智能家居的视觉传感设备等等。智能家居的人居交互技术，其发展趋势是从有线到无线，从专用遥控器到万能遥控器（乃至于智能手机或平板电脑），从输入设备（例如遥控器或智能手机）到体感技术（语音传感、惯性传感、视觉传感）。

1 智能家居中的智能手机

由于智能手机一般也具有语音传感器、惯性传感器，而且智能手机的生态系统（按操作系统分，主要包括iOS、Android、Windows Phone）也常常拓展到智能家居领域，因此本文把智能手机单独作为一节。

苹果公司正在试图将iPhone变成智能家居的遥控器。在照明系统方面，iPhone可以控制飞利浦公司的Hue灯泡产品。在温度控制方面，iPhone可以控制Nest公司的恒温器[2]。但有意思的是，2014年Nest公司被苹果公司的竞争对手谷歌公司收购，但是Nest公司称其产品将继续支持iPhone，这也从一个侧面说明了iPhone在业界的重要地位，智能家居公司不能忽视iPhone的市场地位。

谷歌公司也不敢落后，准备在智能家居领域推进An⁃droid手机操作系统的市场地位。2014年谷歌公司收购了Nest公司，Nest公司开发的产品一直为人称道，其推出的第1个产品是温控器，第2个产品是烟雾报警器，烟雾报警器不仅可以感知烟雾，还可以感知一氧化碳、温度、光线、动作和超声波。值得称道的是，Nest公司开放了其产品的API接口，例如，Nest允许美国另一家智能家居公司Control 4的智能设备对Nest的智能设备进行操作[3]。Android系统的开放性和免费政策，吸引了较多用户基于Android系统进行智能家居的开发，在Android系统中简单地调用摄像头和体感遥控器就可以迅速地进行开发[4]。

近年在智能手机领域异军突起的小米公司，也提出了其在智能家居领域的战略，其战略是推出可以设置在智能家电内部的芯片，将芯片以低价格甚至补贴的方式提供给智能家居的开发者。并提供一整套开发工具包，整合其MIUI手机操作系统（其是对Android系统的深度优化）和云服务，从而降低智能家电厂商的门槛[5]。

2 智能家居中的语音传感

语音传感主要涉及语音识别和自然语言理解，语音识别是利用声学模型将音频识别为语音单词，语言理解是利用语言模型对单词组成的句子理解其含义。语音识别技术发展较成熟，近年来，随着移动通信的普及和发展，基于移动终端的语音识别技术发展也很快。知名度较高的语音识别技术提供商，例如国内的讯飞、百度、腾讯等，国外的谷歌、IBM等。自然语言理解则是一个比较困难的科研问题，在不限定语境的情况下，语言理解需要全部的人类知识作为背景，因而具有非常高的复杂度。如果未来自然语言理解技术能够走向实用化，由于语音表意丰富，且含义明确（指语音识别的歧义性较小），则语音传感会成为智能家居控制的一个重要手段。

如果限定语境的范围，甚至将语音传感的词汇表限定为有限的控制词汇，例如“启动”、“关闭”、“增大”、“减小”等，则语音传感技术还是比较可靠的。在限定语境的情况下，基于语音传感的智能家居控制也是比较成熟的技术[6-8]，很多厂商也推出了产品，例如LG公司的home chat就是是用自然语言来进行控制。

3 智能家居中的惯性传感

惯性传感主要测量旋转、平移、加速度等惯性参数，例如陀螺仪、电子罗盘等。惯性传感器的体积比较小，因此可以放置于遥控器、体感游戏控制器、智能手机等手持设备中。在智能家居的娱乐系统中，有代表性的例如任天堂公司的体感游戏控制器Wii。任天堂公司2012年推出了Wii，其可以实现指向定位和动作感应两种功能。其指向定位功能可以控制屏幕上的光束，其动作感应功能可以检测Wii在三维空间中的旋转和移动[9]。

意法半导体（ST）公司开发了多自由度MEMS传感器平台，该传感器平台可以实现陀螺仪和压力传感器的功能，通过测量运动引起的差分电容的改变来输出不同的信号。该传感器平台可设置在用户手持的设备，对复杂电器进行界面控制。该传感器平台支持左挥、右挥、上挥、下挥等8种手势[10]。

英国的Wand公司推出了Kymera魔棒遥控器，可以对多种电器进行手势控制，支持的13种默认手势包括逆时针旋转、顺时针旋转、向上挥动、向下挥动、向左挥动、向右挥动、轻点顶部、轻点尾部、大力挥动、向前移动、点击顶部两次、点击尾部两次、向后移动[11]。

4 智能家居中的视觉传感

视觉传感主要依靠摄像机采集视频，从中识别和定位用户，并理解用户的意图和需要。视觉传感涉及定位问题[12]，相比之下，语音传感和惯性传感没有定位问题，因为声波在空间中向所有方向传播（即没有指向性），惯性传感设备一般采用如蓝牙、WiFi等无线方式和其他设备进行通信，这些无线通信方式也是在空间中向所有方向传播。蓝牙、WiFi、RFID等无线传播虽然没有指向性，但根据距离信号发射源的远近有着信号的强弱之分，人的运动对于WiFi等信号有一定的扰动作用，据此可以进行一定程度的定位。超声波、红外等具有指向性的无线传播方式，则需要定位接收方向。视觉传感涉及的定位问题，主要是指在摄像机拍摄到的图像中，识别出人在图像中的位置。

在很多智能家电中已经采用了视觉传感。如图1所示，摄像机可以内置于空调、电视中。2012年三星公司推出了内置摄像头的智能电视，并运用体感技术来感知用户。例如用户在三星智能电视上可以用动作手势来玩“愤怒的小鸟”游戏，可以用手势选择菜单，可以用手势来投掷小鸟[13]。

图1 基于摄像头的智能家电体感技术（专利截图）

在2013年上海举行的第20届家博会上，海尔公司推出了内置摄像头的智能空调，允许用户用手势控制空调。例如用户在摄像头面前举手即获得空调的控制器（空调必须已经通电），快速握拳并松开即可使空调开机，向左挥手即降低1℃设定的温度，向右挥手即升高1℃设定的温度，握拳保持不动，空调会自动在高风速、中风速、低风速、自动风速之间切换，放下手空调就会停留在设置的状态中[14]。

与单个智能家电相比，一体化、系统化的智能家居系统也可以结合视觉传感技术，即将视觉传感设备作为整个智能家居系统的核心，用户可以使用动作手势来通过视觉传感设备控制智能家居系统中的所有家电。2013年，IBM与意法半导体公司、智能家居解决方案公司Shas⁃pa公司合作研发智能家居系统，支持通过手势和语音进行控制，其中IBM提供云服务，意法半导体提供家庭网关，Shaspa公司提供智能家居的嵌入式软件。2014年，三星公司提出了智能家居战略，以内置了摄像头的智能电视作为智能家居系统的核心，通过无线网连接所有其他的智能家电，支持用户通过手势操作控制整个智能家居系统。三星公司已经和专注于体感技术的韩国VTouch公司合作，该基于智能电视的智能家居系统有望在2016年上市。

除了空调、电视等智能家电，智能家居中的家庭娱乐系统也开始采用基于视觉感知的体感技术，并开始扩展到智能家居的整个领域。其中最知名的产品当属微软公司XBox游戏机附属的Kinect视觉感知设备。

Kinect所使用的视觉感知技术称为Light Coding，该技术对摄像头感知到的三维空间进行编码。Kinect设备向外发射红外激光，当激光穿过粗糙物体或者毛玻璃时会产生随机的衍射斑点，称为激光散斑（Laser Speckle）。空间中任意两处的散斑图案都是不相同的，Kinect设备通过摄像头获取物体上的散斑图案，就知道物体在空间的哪个部位了。Kinect可以30 f/s（帧/秒）的速度进行视觉感知[15]。由于Kinect获取的是用户的全身图像，因此理论上，用户的任意动作都可以被Kinect识别，例如微软公司在XBox上推出了多种运动游戏。

由于Kinect出色的视觉感知能力，已经有研究将其扩展到智能家居的整个领域。微软公司向广大开发者提供了Kinect SDK，但其只能在Windows 7和Windows 8平台上使用。而Kinect核心芯片的提供者Prime Sense公司参与的一个非盈利组织推出了开源的自然人机交互的API，称为OpenNI（Open Natural Interaction），可以分析Kinect获取的视频，识别人的动作。基于Kinect的手势输入主要包含如下的步骤：分割背景和人物，识别人物的手部（例如根据伸出的手的深度较人物其他部位要近，用深度阈值进行分割），检测指尖，判断手势[16]。

Kinect属于3D摄像头，而绝大多数的计算机和移动终端上的摄像头是2D摄像头。在CES2014消费电子展上，PointGrab公司推出了基于2D摄像头的智能家居视觉感知技术，降低了智能家居开发的成本和门槛。Point⁃Grab推出了一款软件AirTouch，可以识别手指动作，并识别手指的相互位置，相当于在空气（Air）中虚拟了一块触摸屏（Touch Panel），支持滑动、拖曳、缩放等手势。Point⁃Grab还推出了家庭环境解决方案PointSwitch，将硬件芯片内置于家电中，不仅可以识别用户的手势，还可以获知用户的手指指向。例如，用户指向台灯，可以通过上下抬手来控制台灯的亮度[17]。

5 智能家居中的增强现实技术

所谓增强现实是在虚拟现实的基础上发展起来的新技术，是指将虚拟信息投射到现实世界，将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，从而实现对现实的增强。如图2所示，其主要包括投影仪和摄像机系统，通过摄像机获取用户的手势并进行识别，通过投影仪将用户的操作结果投射到现实世界的物体上去。2009年TED大会演讲者，麻省理工学院媒体实验室的博士后Pranav Mistry提出了第六感运算装置，就是一种增强现实技术，其将投影仪和摄像机佩戴在用户身上，在指尖上使用有颜色的色块来帮助手势检测。其可以在墙面上、桌面上或者纸面上叠加来自计算机的虚拟信息[18]。对于手势的检测主要分为两类方法，一类使用肤色来检测，另一类使用手部标记来检测（例如特殊的手套）；在检测到手部之后，对于指尖的检测也分为两类方法，一类使用形态学方法检测指尖，另一类使用指尖标记来检测（例如有颜色的胶布）[19]。

图2 增强现实系统

6 智能家居中的WiFi信号传感

虽然WiFi信号在空间中向所有方向传播（即没有指向性），但是人的运动对于WiFi信号有一定的扰动作用，据此可以进行一定程度的定位。华盛顿大学的研究人员开发出了一款名为WiSee的技术[19]，如图3所示，通过检测人体动作造成WiFi信号的变动来进行定位。虽然WiFi信号频率的变动非常小，一般只有几赫兹，但是也可以根据检测到的该轻微频率变动来对人进行定位，以及识别人的手势。

图3 WiSee示意图（专利截图）

WiSee可以接受由室内电子设备（如路由器、笔记本电脑、平板电脑、手机等）发出的WiFi信号。WiSee目前可识别推、拉、刺、投等9种不同的手势，这说明WiFi信号已经可以识别相当精度的手势动作[20]。但是基于WiFi信号的智能家居控制存在着身份鉴别的问题，即通过WiFi信号无法识别做出控制动作的是哪个人（摄像头可以通过面部识别来识别用户）。可以预想的身份鉴别方案例如通过距离WiFi信号接收器的远近来判定用户的权限高低。另外，由于WiFi信号能够穿透墙壁，室外的人的动作同样可以被WiSee感应到，此时保密性就是一个急需解决的问题。在类似的研究领域也有微软参与的SoundWave和Humantenna两个项目：前者采用声音，后者采用电线的辐射来捕捉身体的手势。

7 智能家居中的体感技术前景

在目前主流的几种智能家居感知技术中，基于智能手机的感知技术具有较强的手机业界基础，基于惯性感知的感知技术具有较强的家庭娱乐业界基础，这两者都可以看作是遥控器的升级版。基于语音、视觉的感知技术则解放了用户的双手，虽仍然受制于自然语言理解和视觉理解的精度和准确度限制，但其能够以更自然的方式和用户交互，理论上几乎对用户的输入方式没有任何限制，属于智能家居感知技术的未来方向。基于WiFi的感知技术则属于新鲜事物，但其身份鉴证和保密性问题使得其必须配合其他感知方式使用。基于增强现实的技术，实际上是感知技术和展示技术（投影）的结合，综合了用户输入和输出，相信未来的智能家居体感技术也必将结合增强现实技术。

如果自然语言理解和视觉感知技术在未来都取得了突破，语音感知和视觉感知哪个更具有优势呢？语音感知胜在语言系统表意准确、全面，被误读的可能小。但是语音感知只能感知用户的意图，无法预知用户的需求。而视觉感知则不仅可以通过用户的手势操作来获得用户的意图，还可以通过分析用户的行为来预知用户的需求。例如，当用户回到家中，通过语音“开灯”或者手势打开了照明系统，通过语音“准备热水”或者手势来让智能家居系统准备热水洗澡，但是突然用户接到一个电话，准备紧急出门，测试语音感知没有收到“关闭热水”的命令来关闭热水，但是视觉感知就可以通过用户的出门行为来预判用户短时间内不再需要热水了，从而预知用户“关闭热水”的需求。又例如，对于不会表达自己的婴儿，语音感知技术无法获取婴儿的命令，但是视觉感知则可以通过分析婴儿的行为来预知婴儿的需求。

对于智能家居中的体感技术，其核心要求包括：安全性、稳定性和精确性，能理解用户的意图和需求。其中，体感技术的安全性主要是防止非授权用户通过感知设备来操控智能家居，目前安全性并没有得到太多重视，但是如果没有安全性则智能家居的未来堪忧。随着技术复杂度的升高，体感技术要达到相同的稳定性和精确性，需要付出更多的努力。例如遥控器只需要按对正确的按钮就可以保证非常高的稳定性和精确性，但是语音感知和视觉感知必须依赖于庞大的语言知识库和视觉知识库才可以准确地理解用户。目前大部分体感技术都可以或多或少地理解用户的意图，但只有视觉感知技术才有潜力理解用户的需求。

对于智能家居中的体感技术，也要防止走入以下的误区：

1）避免在不了解消费者需求的情况下，技术的简单堆砌。例如具有电子邮件功能的冰箱有多少用户真正会需要呢[21]？消费者的需求未必是全新的，在这方面Nest公司做得很好，其开发的温控器和烟雾报警器，针对的也是传统市场，但是其产品设计和用户体验做得足够好，因而把握住了消费者需求，也赢得了市场。

2）盲目钻研高新技术，而忽视了用巧妙的方法避开技术鸿沟。例如科研领域的关于自然语言理解和视觉理解的课题，一般都是瞄准技术前沿，但由于成本限制和稳定性和精确性不足而无法推向市场。在这方面Kinect做得很好，针对双目摄像头或者结合深度摄像头的3D视觉理解，也受限于稳定性和精确性而难以直接推向市场，但Kinect通过激光散斑在空间所有位置做标记，从而把3D视觉理解问题转化为简单的激光散斑识别问题。

3）忽视标准和规范，各自为政。目前智能家居的各个领域急需建立中国的国家标准，企业既要根据自身的条件来提出自己的智能家居发展战略，也要注意联合起来共同制定行业标准，开放接口以及互相兼容。同时，企业要进入国外的市场，也要注意兼容国外的标准和规范。在这些标准和规范的基础上，通过研发出充满想象力的智能家居单品来发展壮大和占领市场。

2014年11月6日，第二届中国（国际）数字家庭展将在武汉开幕，相信智能家居中的体感技术会得到更多的发展，期待中国厂商能在这次展会上推出更多的优秀产品。

作者声明：

对于本文的贡献，张建强等同第一作者。

[1] 中国（国际）数字家庭展.首届中国（国际）数字家庭展[EB/OL]. [2014-08-15].http://www.ovcexpo.com.cn/DHEXPO2013/.

[2] 宗仁.全智能家居时代：iPhone可以遥控的12样东西[EB/OL]. [2014-08-15].http://www.leiphone.com/news/201406/k-things-canremote-control.htm l.

[3] 李坤.从Nest看智能家居化进程：离中国用户很遥远[EB/OL]. [2014-08-14].http://tech.qq.com/a/20140114/005300.htm.

[4] 李百森，刑向军，姜振波，等.基于Android系统的家庭体感娱乐平台[J].单片机与嵌入式系统应用，2012（5）：49-52.

[5] 谢璞.新生态玩家：揭秘小米智能硬件布局[EB/OL].[2014-08-18]. http://zennew.baijia.baidu.com/article/24488.

[6]陈哲.智能家居语音控制：系统的设计与实现[D].成都：电子科技大学，2013.

[7] 徐子豪，张腾飞.基于语音识别和无线传感网络智能家居系统设计[J].计算机测量与控制，2012，20（1）：180-182.

[8] 梁昌银，雒江涛，周丽娴.基于Android平台声控应用的研究与开发[J].电声技术，2013（12）：70-74.

[9] 百度百科.Wii[EB/OL].[2014-08-18].http://baike.baidu.com/view/ 126669.htm.

[10]孙凯，严潇然，谢荣平.基于手势识别的智能家居人机交互系统设计[J].工业控制计算机，2014，27（4）：54-56.

[11]徐萧梓丞.带你进入魔法的世界用Kymera魔棒代替家中遥控器[EB/OL].[2014-08-15].http://digi.tech.qq.com/a/20140322/002249. htm.

[12] 杨轶星，刘永敬，焦学军，等.智能家居系统中人体定位技术研究进展[J].中国生物医学工程学报，2013，32（6）：716-722.

[13] 王帆.三星智能电视推体感技术：隔空操控愤怒的小鸟[EB/OL]. [2014-08-15].http://www.newhua.com/2012/0725/169915.shtm l.

[14] 侯维铖.手势控制一切！家博会现神奇海尔空调[EB/OL]. [2014-08-16].http://www.pcpop.com/doc/0/890/890681.shtml.

[15] 百度百科.Kinect[EB/OL].[2014-08-16].http://baike.baidu.com/ view/3766855.htm.

[16] 张仲一，杨成，吴晓雨.基于Kinect的隔空人手键盘输入[J].中国传媒大学学报：自然科学版，2013，20（3）：68-71.

[17] 吴德新.PointGrab：手势操控走得太快，智能家居跟得上吗？[EB/ OL].[2014-08-15].http://www.leiphone.com/news/201406/d-point⁃grab.htm l.

[18] 百度百科.Pranav Mistry[EB/OL].[2014-08-15].http://baike.baidu. com/view/3160304.htm.

[19] 朱中的.基于投影仪摄像机系统的人机交互关键技术研究[D].合肥：中国科学技术大学，2011.

[20]芒果殿下.Kinect哭了WiFi路由器都能用来做识别手势[EB/OL]. [2014-08-15].http://www.evolife.cn/htm l/2013/71208.htm l.

[21] 侯海涛.国内外智能家居发展现状[J].建材发展方向，2004（5）：92-93.

“广东广电大数据产业中心”在莞正式动工

2014年9月28日，投资达10亿元的市重大项目“广东广电大数据产业中心”在东莞正式破土动工。该项目定位为华南区域核心内容节点的大数据中心，预计2017年全面建成。

“广东广电大数据产业中心”是广东广电网络股份公司在东莞投资建设的大型文化产业项目。项目已入选广东省政府《“宽带广东”5年发展规划（2014—2020）》，并成为东莞市政府2014年重大项目工程，规划分一期、二期进行。总投资达10亿元，其中土建投资6亿元，设备投资4亿元。预计2017年将全面建成，包括技术业务大楼、广东省广播电视网络云计算中心等多个项目。

初步测算，项目建成初期年产值达到130多亿元，年税收4亿多元，后续可带动当地网络应用、影音动漫创意、广电内容分发经营、科技研发培训产业等走在全省乃至全国前列。

App lication and Prospect of M otion Sensing Technology in Smart Home

YANG Dong,ZHANG Jianqiang,CAO Peng,XU Guoxiang
（Patent Examination and Cooperation Center of the Patent Office,SIPO,Beijing 100190,China）

In technologies of smart home,motion sensing is one of the important technologies category that help the communication between human and home.Motion sensing helps releasing people from holding a remote controller in hand, encouraging people communicate with machines in a smarter and more natural way.Usually inertial sensing,voice sensing, vision sensing are used in the motion sensing technologies.The voice sensing has been developed for many years,but its application is limited in natural language understanding(NLU).The inertial sensing is more simple and intuitive,and has more market share now.The vision sensing,mainly including hand gesture sensing now,has tremendous potentiality in future.

smart home;motion sensing;voice sensing;vision sensing;inertial sensing

TN919

A

�� 薇

2014-09-10

【本文献信息】杨栋，张建强，曹鹏，等.智能家居中体感技术的应用和前景[J].电视技术，2014，38（21）.