基于Leap Motion手势控制的智能家居辅助控制系统研究

刘希睿 蒋江红 唐盼

摘要：如今智能家居概念逐渐普及并且已经发展应用到生活的多个方面。针对残疾人士及儿童缺乏人机交互的缺陷，对智能家居使用方式进行创新以及进一步开发。首先，展示以KEA128作为单片机的下位机系统设计与实现；然后，选择蓝牙无线网络通信技术作为通信桥；最后，详细介绍Leap Motion实现原理、手势定义设计及其具体实现。文章介绍了本系统在智能家居的基础上进行的应用创新，提供更智能化的生活。实验证明，智能家居环境中可以应用Leap Motion作为新型控制模式。

关键词：Leap Motion；手势控制；智能家居

随着现代科技的迅速发展与人们日益生活水平的提高，智能家居的概念逐渐走入人们的视野，如今已经应用到生活的多个方面，如自动化控制、医疗、智能家电等。越来越多的研究机构研发智能家居产品，如国外的MIT，IBM，Microsoft[1]，还有国内的华为、小米等。人们对智能家居概念的理解越深入，越相信科技能改善生活条件[2]。智能家居系统是指可以及时地[3]满足用户各种个性化需求、拟人化的系统。该系统利用计算机技术、综合布线技术、网络通信技术，集结构、服务、管理、控制为一体[4]，实现家具的智能化，提供交互功能，使家居生活更加舒适、便捷[5]。

传统的智能家居终端以手机、平板或者电脑为主，虽然使用简便，但是对于手指有點触障碍的人群以及小孩来说手机平板点触式的控制方式并不适用[6]。考虑到小孩子以及生活难以自理的残疾人士的生活习惯，本系统在原先智能家居的基础上加入手势控制方式，可以满足生活中人们的需求。实现新型的家居智能化，为用户的家庭生活提供丰富多样的交互模式和舒适便捷的操作体验。

本系统针对智能家居使用方式进行应用创新，采用手势识别对家具电器进行操控。本系统通过对Leap Motion智能手势感应器的进一步开发，定义简单的手势动作，达到控制家居家电的目的。实验中选择成熟的蓝牙技术作为通信连接桥，采用KEA128单片机，使用Leap Motion作为手势智能识别器感知手势动作，并且将捕捉到的手势轨迹信息发送到中央控制台中。控制台统筹管理计算并将信息传递给下位机，下位机根据接收到的数据消息执行相应的动作。

1 硬件结构设计

1.1 单片机选取与结构设计

选择NXP Semiconductors公司生产的KEA128AMLK单片机作为控制器，这款单片机有代码烧录用和供电用的引脚，同时，还可以快速地完成指令与获取数据[7]。

实验电路中只取12个控制引脚用于电路控制，其余未使用的引脚为高阻态。可以控制8个家用电器（220 V电源）和4个低功耗用电器（5 V供电）。

5 V电路中采用低压差稳压器TPS7350QDR，图1为5 V稳压电路。该芯片是TI公司的一款超低压差LDO，具有完善的保护电路功能，包括过流、过压、电压反接保护[8]。使用这个芯片只需要极少的外围元件就能构成高效的稳压电路。与LM2940及AS1117稳压器件相比，TPS7350具有更低的工作压降和更小的静态工作电流。使用此稳压器可以使电池获得相对更长的使用时间。由于热损失小，因此无需专门考虑散热问题。TPS7350作为线性稳压芯片[9]、纹波小，能为单片机及片外AD模块提供稳定的工作电压。

1.2 控制开关选择

考虑到家用电器分为大功率电器与小功率电器。对于大功率电器，使用继电器[10]作为控制开关；于小功率电器选择高压N沟道MOS管。

大功率电器使用继电器作为控制开关，实验中采用高电位控制器[11]；小功率电器采用集成MOS管BTS7960。BTS7960是半桥驱动芯片[12]，只需要1个芯片便可以驱动一个电机、一个小灯泡或者其他低功耗电器。该芯片电流最高43 A，内阻极小，所以发热不厉害，能够满足家庭长时间使用的需要。

1.3 系统设计

在电路设计中使用小容量的钽电容，因为等效串联电阻（Equivalent Series Resistance，ESR）阻值低[13]，系统不易稳定，这时可通过串接0.7Ω左右的电阻解决。但是如果电容的值比较大（10 μF以上），为保证系统的稳定，需要ESR在0.1Ω以上。因此，我们采用在输入端和输出端分别并联100μF钽电容和0.1μF贴片电容的方式使系统更加稳定。

2 蓝牙技术

2.1 通信模块选择

如今流行的无线通信模块有WiFi，ZigBee，蓝牙。表1为三者之间优缺点比较。比较以上三者的优缺点，选择如今较为成熟的蓝牙技术作为通信模块。

2.2 蓝牙技术分析

蓝牙是一种无线数据与语音通信的开放性全球规范[21]。蓝牙的工作频段为2.4 GHz，数据速率为1 Mb/s，它低成本的无线连接技术为移动设备提供通用的接口。蓝牙具有的跳频技术可以防止信号衰弱、减弱无线电产品对其的干扰，以保证链路稳定，使蓝牙通信模块比其他模块更稳定可靠[22]。因此，选择蓝牙无线网络技术作为通信模块非常合适。

2.3 串口通信设计

蓝牙模块与主机之间通过串口发送数据文件进行通信，主机每向单片机发送控制指令，单片机都会返回相应的执行情况，向主机表明执行情况和现在的状态。

此处对应5个方法：InitPort（UINT portNo），OpenListenThread（）， WriteData（unsigned char* pData，unsigned int length），CloseListenThread（），ClosePort（）。portNo为串口对应的数字，该系统中向下位机发送数据的串□为 COM3。

3 Leap Motion工作原理与手势设计

3.1 Leap Motion工作原理

Leap Motion的双目摄像头[23]使用红外线热感应器成像[24]，可以根据从不同角度捕捉到的画面快速构建三维空间[25]中手的运动信息[26-27]。该信息含有手的每一个姿势和手指的动作信息[28]，并且能识别出手中拿的工具，如铅笔。图3为Leap Motion构建的三维坐标系。其中手的运动信息包括手掌的列表信息，每一组这样的信息被称为“帧”，每個帧对象都会包含一组手掌列表信息。

3.2 Leap Motion手势控制设计

定义手势的实际意义如表2所示。手掌向前为打开开关指令，向后为关闭开关指令，向左向右为选择指令。

3.3 Leap Motion手势控制实现

从frame.hands（）中获取手掌信息，Controller.addListener（listener）获取监听权限，可以得到手掌的“帧”信息。从帧中得到前后两次手掌的位置。图3表示LeapMotion手势控制实现流程。

分别记前后两次手掌的位置为LastPosition和FormerPosition。根据方法hands（）[x].palmPosition（）可以得到手掌掌心的位置。比较前后两次手掌掌心的位置坐标，得到手掌的运动信息。设xLast和zLast为后一次手掌位置坐标，XFOR和ZFOR为前一次。记：

disX表示前后手掌在X轴上的位移差，disZ表示Z轴上的位移差。根据disX与disZ可以得到手掌的详细运行情况，差值判定手掌运动情况模型如下：

4 结语

通过实验发现，手离传感器越近，但不低于Leap Motion的最低范围时，获取的数据精确度最高。

实验中存在不可避免的误差：测试的时间不同导致光线不同；并且每个人手运动轨迹也会有偏差。然而这些问题在实际应用中是不允许出现的，因此该算法仍然还有改进的空间。

实验证明，手势控制方式理念可以加入到智能家居中作为新型的控制方式。同时，可以定义更多丰富的手势，为其加入真实的意义。未来智能家居的发展必定呈欣欣向荣之态发展，并且控制方式也会多样化。该系统作为智能家居应用方面的创新，效果显著，具有重要的应用价值。

[参考文献]

[1]JIANG L， LIU D Y， YANG B.Smart home research[J].Machine Learning and Cybernetics， 2004（2）：659-663.

[2]DEMIRIS G， RANTZ M J， AUD M A， et al.Older adults attitudes towards and perceptions of “smart home” technologies：a pilotstudy[J].Medical Informatics and the Internet in Medicine， 2004（2）：87-94.

[3]DAVIDOFF S， LEE M K， YIU C， et al.Principles of smart home control[C].Heidelberg：Internet Conference on UbiquitousComputing， 2006：19-34.

[4]HARPER R.Inside the smart home[M].Heidelberg：Springer Science & Business Media， 2006.

[5]HARGREAVES T， WILSON C， HAUXWELL B R.Learning to live in a smart home[J].Building Research & Information， 2018（l）：127-139.

[6]BASSILY D， GEORGOULAS C， GUETTLER J， et al.Intuitive and adaptive robotic arm manipulation using the leap motioncontroller[C].England：41st International Symposium on Robotics， 2014：1-7.

[7]JIN X， LI Y Y， XU T， et al.Active equilibrium control system for lion battery base on LTC3300 and LTC6804[C].Chengdu：Waveletactive media technology and information processing（ICCWAMTIP）， 2015 12th International Computer Conference， 2015：426-431.

[8]PU B J， XIA G M.Based on the research of self-balancing vehicle posture sensor system and design[C].Washington DC：IntelligentSystem Design and Engineering Applications， 2013 Fourth International Conference， 2013：193-196.

[9]DAS S D， JUE Y， CHOWDHURY M R， et al.Design and implementation of intelligent vehicle control system based on camerasensor[C].Switzerland：Applied Mechanics and Materials， Technology Publications， 2013.

[10]WANG B， HAN Z， KJR L， et al.Distributed relay selection and power control for multiuser cooperative communication networksusing stackelberg game distributed relay selection and power control for multiuser cooperative communication networks using stackelberg game[J].Mobile Computing， 2009（7）：975-990.

[ll]ZOU H W， LIMIN M A， ZHANG Y Y.Design of automotive starting protect controller based on NXP P89LPC901 MCU[J].International Electronic Elements， 2008（7）：23.

[12]SYPE D M， BOSSCHE A P， MAES J， et al.Gate-drive circuit for zero-voltage-switching half-and full-bridge converters[J].IndustryApplications， 2002（5）：1380-1388.

[13]ZHAO C， YIN H， YANG Z，et al.Equivalent series resistance-based energy loss analysis of a battery semiactive hybrid energy storagesystem[J].Energy Conversion， 2015（3）：1081-1091.

[14]WENBO Y， QUANYU W， ZHENWEI G.Smart home implementation based on internet and WiFi technology[C].Hangzhou：201534th Chinese Control Conference， 2015：9072-9077.

[15]WANG L， PENG D， ZHANG T.Design of smart home system based on WiFi smart plug[J].International Journal of Smart Home， 2015（6）：173-182.

[16]DEMETRIOU S N， ZHANG Y LEE， WANG X， et al.Guardian of the HAN：thwarting mobile attacks on smarthome devices usingos-level situation awareness[JJ.ArXiv Preprint ArXiv， 2017（1703）：1537.

[17]YUAN B， YE S.Energy-saving smart home based on ZigBee and fuzzy neural network[C].Fuzhou：International Conference for GreenInformatics， 2017：191-198.

[18]SIEKKINEN M， HIIENKARI M， NURMINEN J K， et al.How low energy is Bluetooth low energy？ Comparative measurementswith ZigBee/802.1 5.4 [C].Paris：Wireless Communications and Networking Conference Workshops， 2012：232-237.

[19]GOMEZ C J， OLLER， PARADELL S J.Overview and evaluation of Bluetooth low energy：an emerging low-power wirelesstechnology [J].Sensors， 2012（9）：11734-11753.

[20]KUMAR S， LEE S R.Android based smart home system with control via Bluetooth and Internet connectivity[C].Changsha：ConsumerElectronics， the 18th IEEE International Symposium， 2014：1-2.

[21]錢志鸿，刘丹.蓝牙技术数据传输综述[J].通信学报，2012（4）：143-151.

[22]GOLMIE N， REBALA O， CHEVROLLIER N.Bluetooth adaptive frequency hopping and scheduling[C].Montergy：MilitaryCommunications Conference， 2003.

[23]JIN H， CHEN Q， CHEN Z， et al.Multi-Leapmotion sensor based demonstration for robotic refine tabletop object manipulation task[J].China Association of Artificial Intelligence， Intelligence Technology， 2016（1）：104-113.

[24]NIGAM M I， VATSA， SINGH R.Leap signature recognation using hoof and hot features[C].Paris：International Conference ImageProcessing， 2014：5012-5016.

[25]BACHMANN D， WEICHERT F， RINKENAUER G.Evaluation of the leap motion controller as a new contact-free pointing device[J].Sensors， 2014（1）：214-233.

[26]POTTER L E， ARAULLO J， CARTER L.The leap motion controller：a view on sign language[C].Australia：Proceedings of the 25thAustralian Computer-Human Interaction Conference：augmentation， Application， Innovation， Collaboration， Association for ComputingMachinery， 2013：175-178.

[27]KHADEMI M， HONDORI H M， MCKENZIE A， et al.Free-hand interaction with leap motion controller for stroke rehabilitation[C].Toronto：CHF14 Extended Abstracts on Human Factors in Computing Systems， ACM， 2014：1663-1668.

[28]SUTTON J.Air painting with corel painter freestyle and the leap motion controller：a revolutionary new way to paint！[C].AnaheimAssociation for Computing Machinery Siggraph， 2013 Studio Talks， 2013：21.

[29]WEICHERT F， BACHMANN D， RUDAK B， et al. Analysis of the accuracy and robustness of the leap motion controller [J]. Sensors，2013（5）：6380-6393.

[30]GUNA J， JAKUS G， POGA6NIK M， et al. An analysis of the precision and reliability of the leap motion sensor and its suitability forstatic and dynamic tracking[J].Sensors， 2014（2）：3702-3720.

[31]MARIN G， DOMINIO F， ZANUTTIGH P.Hand gesture recognition with leap motion and Kinect devices[C].Paris：InternationalConference on Image Processing， 2014：1565-1569.