一种新型智能电视遥控器的设计与实现

蔡龙龙，林志贤，郑德泽

（1.福州大学 物理与信息工程学院，福建 福州 350002；2.冠捷显示科技（厦门）有限公司创新中心，福建 厦门 361101）

一种新型智能电视遥控器的设计与实现

蔡龙龙1，林志贤1，郑德泽2

（1.福州大学 物理与信息工程学院，福建 福州 350002；2.冠捷显示科技（厦门）有限公司创新中心，福建 厦门 361101）

针对当前手势识别的摄像头安装在电视机上，存在受距离和视角的影响以及手势识别率较低的问题，设计并实现了一种将摄像头集成到遥控器，让遥控器完成手势识别，并通过红外通信方式传送到智能电视实现控制的手势识别系统。该遥控器还设计实现了绝对坐标空中鼠标的功能，给电视用户提供更加方便、快捷的智能交互体验。

遥控器；手势识别；绝对定位空中鼠标

追溯到20世纪50年代，第一款应用于电视的遥控器在美国诞生。与现在使用的遥控器有很大的不同，该遥控器是有线的。若干年后，一款依托超声波原理，通过设置不同按键频率来控制电视频道切换以及音量大小的遥控器出现了。

如上所述，两种遥控器功能设置上十分简单。直至60年代，电视遥控器取得很大的发展，无线遥控器得以实现，并且功能上不再局限于频道切换和音量大小调节，在色调、亮度等方面也是可以控制的[1]。

随着时间推移和技术的发展，传统的电视逐渐过渡发展为智能电视。智能电视对交互控制有着更高的要求，传统五向按键操作为基础的遥控器已无法操作现有很多应用软件界面，需要有新的交互模式。在此背景下设计开发了一种新的多功能遥控器以配套智能电视是十分有必要和迫切的。

目前市面上手势识别摄像头一般都安放在电视上，受距离和视角的影响，手势识别准确率较低，用户体验不是很好。本设计将手势识别摄像头放置在遥控器上，近距离操作可以大幅提高手势识别准确率，给用户带来良好的交互体验。同时本设计还加入基于绝对坐标技术空中鼠标功能，用户挥动手中的遥控器便可利用光标轻松操控电视[2-6]。

1 硬件设计部分

1.1 硬件的总体设计

图1为系统的总体设计框图。MCU采用NXP公司的32位ARM微控制器LPC1113FHN33/203。手势识别模块采用PixArt公司的PAC7620，空中鼠标模块采用PixArt公司的PAJ7026。电源模块为系统提供稳定的直流电源。整个系统通过红外协议与电视完成通信。

1.2 电源模块

本设计遥控器采用两节干电池，即3 V电源供电。MCU和PAJ7026直接适用3 V电源即可工作。因为PAC7620的VLED采用4.2 V电源，VDD和VBUS采用3.5 V电源。所以两节干电池3 V电压是不够的。因此采用G5177A进行升压转换。图2所示VBAT为干电池电压，根据公式VOUT=VREF×(1+R44/R45)，其中VREF=1.23，所以配置电阻R44=140 kΩ，R45=57.6 kΩ，计算出输出电压为4.209 V，满足要求。然后采用LDO芯片AZ1117D-AD⁃JTRE1，根据公式VOUT=VREF×（1+R2/R1），其中VREF取值为1.25 V，配置R46为680Ω，R47为1.24 kΩ，计算出输出为3.529 V。

图1 系统的总体设计框图

图2 电源电路原理图

1.3 手势识别模块PAC7620

PixArt公司的PAC7620将手势识别功能集成在一块芯片内，并采用I2C接口与MCU进行通信。该芯片预置8种手势动作，包括向上、向下、向左、向右、向后、向里、向外、顺时针以及逆时针这些动作。

PAC7620的功能框图如图3所示。VDD提供芯片工作电源，VLED为红外LED供电。手势传感器内建一个红外LED作为照明光源，通过辨认使用者手势的变化，针对不同的手指和手掌的动作，将影像转换成相对的移动数据资料输给手势识别模块。手势识别模块可以辨别8种类型的预置手势动作，如上、下、左、右、旋转等。此外由于嵌入红外LED，传感器在低光照度环境下仍然可以正常工作。

图3 PAC7620功能结构图

图4所示为PAC7620的手势操作范围，手势检测可工作在靠近模式或是较远模式。靠近模式手势操作距离为5～15 cm，操作视角为60°；较远模式手势操作距离为15～30 cm，操作视角为30°。

此外，对于在不同操作环境，PAC7620提供了环境照度小于7 000 lx室内模式和照度在3 000 lx和18 000 lx的户外模式。为了检测目标的离开和靠近，PAC7620还专门提供了内置的临近检测。PAC7620在节能机制上有很大的灵活性。

图4 PAC7620手势操作范围

PAC7620通过I2C与MCU通信，如图5所示为PAC7620与MCU接口电路。

图5 PAC7620与MCU接口电路

SCL和SDA是漏极开路，所以加上拉电阻。而且还要把手势识别模块的外部中断口与MCU的中断口连接。

1.4 绝对定位空中鼠标模块PAJ7026

PAJ7026的功能框图如图6所示。PAJ7026采用多物体动作追踪（Multi Object Tracking，MOT）技术，内部集成了高品质的CMOS图像传感器、图像处理DSP及G-Sensor加速度传感器。CMOS图像传感器通过高帧率（最高达200 f/s）技术捕捉移动物体的灰度图，以像素级别（11μm×11μm）的精准度追踪物体的运动，通过内部图像处理DSP提取分析物体的特征，输出物体的中心坐标、大小、轮廓、宽高比及移动量等信息。

图6 PAJ7026功能框图

图7为绝对定位空中鼠标系统的原理示意图。图中（1）表示在电视机机壳上方居中位置放置一光源参考点,光学参考点发射出参考定位红外信号；图中（2）表示光学定位模块（即PAJ7026的CMOS图像传感器）接收参考红外定位信号，通过接收到的信号监控遥控器指向与光源参考点的相对位置，进而计算出绝对坐标信息；图中（3）表示遥控器的红外发光二极管将经过处理的坐标信息传送到电视的接收端，经电视处理后完成操作。

图7 绝对定位空中鼠标系统的原理示意图

1.5 红外发光二极管选型

放置在电视机机壳上方居中位置的光学参考点选用850 nm波长的红外发光二级管，由电视机主芯片产生PWM控制信号，经由PWM驱动电路进行放大，推动850 nm波长的红外发光二级管发出红外定位信号。

遥控器的红外发射选用940 nm波长的红外发光二级管，不会造成和用于光学定位的850 nm红外信号产生相互干扰。

1.6 MCU选型

NXP（恩智浦半导体）的32位LPC1113FHN33/203，是市面上性价比较高的32位MCU，功耗非常低，适用于配备传感器功能的遥控器。该芯片基于ARM Cor⁃tex-M0，工作频率高达50 MHz，包括64 kbyte的Flash，8 kbyte的数据存储器。具有一条快速模式的I2C接口，用于和手势识别模块PAC7620的通信。而空中鼠标模块PAJ7026则通过SPI接口和MCU进行通信。

2 系统软件设计

系统软件设计分为遥控器端及接收端两部分。遥控器端手势识别模块、空中鼠标模块及按键模块围绕MCU工作，并把相关信息通过遥控编码发送到接收端；接收端把接收到的信号传送给电视主芯片，由电视主芯片对遥控信号进行处理并执行相应的命令，控制电视机进行响应。

该系统红外编码方式为RCMM协议。飞利浦的RCMM协议针对多媒体应用进行优化，可实现低功耗高码率传输。本设计中具体红外编码协议定义如图8所示，其中X，Y坐标的范围为0～1 024，按键及手势共采用48个键值，0～40为遥控器按键，41～48为预定义的8个手势动作。

图8 RCMM红外编码协议定义

Android 4.0框架层已支持普通HID鼠标的工作模式[7-9]，但缺乏绝对定位鼠标的支持。普通HID鼠标通过USB接口向主机系统报告的信息包括按键信息、X移动点数、Y移动点数等，而绝对定位鼠标通过USB口向主机系统报告的信息则包括按键信息、X坐标、Y坐标等。本案例软件设计基于标准HID鼠标代码做进一步修改并重新编译系统[10]，实现对绝对坐标HID鼠标的支持，其绝对坐标定位精度为2 048×2 048，即X，Y坐标范围均为0～2 048。

遥控器工作流程如图9所示。

由于用户在操作时同时使用手势功能和按键、鼠标功能的概率极低，本设计把这两种功能设计为互斥模式，即在手势操作时会关闭按键和鼠标功能模块的电源以节省电池的损耗。同样地，在按键、鼠标功能操作时会关闭手势模块的电源以节省电池的损耗。

图9 遥控器工作流程示意图

3 实际测试

所设计的遥控器实物图如图10所示，遥控器控制面上有手势识别功能和空中鼠标功能启动按键，方便两种功能的启动和切换，便于低功耗管理。手势识别模块的摄像头设计在遥控器正面，在空中鼠标功能启动按键的右下方。按下手势识别功能按键，手势识别模块启动，实际测试中发现操作视角在0～54°时，模块能够较准确地识别手势，相当灵敏。空中鼠标模块置于遥控器前缘中间，位于红外发光二极管的旁边，并且应该尽可能地贴近遥控器前缘。元器件布局时，遥控器的红外发射发光二极管要尽量靠近PAJ7026模块。切换至空中鼠标功能时，电视显示界面的光标能够很流畅地随着遥控器的指向进行移动，且效果较好。

图10 遥控器实物图

为了验证手势识别模块集成到遥控器的准确率，本文进行了手势识别模块安装在电视机与手势识别模块集成到遥控器准确率对比试验。从表1中可以看出，本文改进的方法比手势识别模块准确率有很大的提升。

表1 实验准确率对比

4 小结

随着智能电视的迅速普及，智能电视对人机交互的要求也越来越高，智能、快捷、简单的操作方式将会成为人们对智能电视操控的新主流。本文介绍了融合手势功能与绝对鼠标功能的新型遥控器设计方案，实现了自然友好的人机交互操作。该系统手势识别灵敏度高，用户可在红外遥控范围内轻松实现手势操作。该系统空中鼠标功能采用基于光学定位的技术，相对于现有基于陀螺仪传感器的空中鼠标，具有高精度、高灵敏度、高速度的特性。本设计系统成本低廉，以优异的性价比给电视用户带来更加方便、快捷的智能交互体验。

[1] 许永乐.智能遥控技术的研究与实现探微[J].厦门科技，2013（4）：48-50.

[2] 吕颖，方漪.基于摄像头的手势捕捉技术的研究[J].科技信息，2009（1）：108-110.

[3]WRIGHT M，LIN C J，NEILL E O，et al.3D gesture recogni⁃tion:an evaluation ofuser and system performance[M].Pervasive Computing.[S.l.]：Springer Berlin Heidelberg，2011：294-313.

[4]CAMPBELL LW，BECKER D A，AZARBAYEJANIA，etal.In⁃variant features for 3-Dgesture recognition[C]//Proc.the Second International Conference on Automatic Face and Gesture Recogni⁃tion.[S.l.]：IEEE Press，1996：157-162.

[5] DAUGMAN J.Face and gesture recognition:Overview[J].IEEE Trans.Pattern Analysis and Machine Intelligence，1997,19（7）：675-676.

[6] 赵伟，林志贤，郭太良，等.智能电视指向性遥控器的设计与实现[J].电视技术，2012，36（10）：31-34.

[7] 刘莎莎,张哲.基于Android平台的鼠标的设计与实现[J].电子器件，2012（1）：79-82.

[8] 郁亚男.基于Android平台的人机交互的研究与实现[D].北京：北京邮电大学，2011.

[9] 刘敏.移动终端的Android移植与应用程序设计[D].西安：西安电子科技大学，2011.

[10] Universal Serial Bus HID Usage Tables：Version 1.12[EB/OL]. [2014-03-11].http://www.usb.org/developers/devclass_docs/Hut 1_12v2.pdf.

Design and Implementation of New Type Remote Controller for Smart TV

CAI Longlong1，LIN Zhixian1，ZHENG Deze2
（1.College of Physics and Information Engineering，Fuzhou University，Fuzhou 350002，China；2.Inovation Center,TPV Display Technology(Xiamen)Co.,Ltd.,Fujian Xiamen 361101,China）

Aiming at the current gesture recognition camera installed on the TV,the influence of distance and angle of view exist along with the problem that gesture recognition is low.A remote control system which can recognize hand gesture information via IR transfer to smart TV is designed.At the same time,the function of absolute positioning air mouse is designed in remote controller,providing more convenient and fast intelligent interactive experience to television users.

remote controller;gesture recognition;absolute positioning air mouse

TN949.6

A

�� 盈

2014-04-22

【本文献信息】蔡龙龙，林志贤，郑德泽.一种新型智能电视遥控器的设计与实现[J].电视技术，2014，38（22）.

国家“863”重大专项（2012AA03A301；2013AA030601）；国家自然科学基金项目（61101169；61106053）；福建省自然科学基金项目（2011J01347）；福建省教育厅A类项目（JA11013）