嵌入式智能家居人机交互控制系统设计
2017-11-09陈勇汪汉国钱坤李永苏州大学电子信息学院
陈勇 汪汉国 钱坤 李永 苏州大学电子信息学院
嵌入式智能家居人机交互控制系统设计
陈勇 汪汉国 钱坤 李永 苏州大学电子信息学院
嵌入式系统技术应用领域囊括了工业控制、交通管理、医疗设备、传媒影像等等,随着各行各业智能化的发展,用户追求更加安全、更加方便、更加快捷的智能化生活空间体验,智能家居走向了嵌入式。本设计基于嵌入式技术实现智能家居控制系统,即设计集鼠标模式、触摸屏模式、语音模式、视频模式于一体的智能终端人机交互控制系统,在这些控制模式下可以实现其他应用功能,基于Linux操作系统和LPC3131开发板平台采集用户的音频信息,通过差分算法获取和执行控制命令。
智能家居 嵌入式技术 智能终端 差分算法
科技的发展推动了人们对生活环境与氛围的要求,现代家居朝着智能化的方向发展,但是市场上的智能家居产品缺乏统一性标准,且价格不菲。舒适、友好、便捷的人机交互控制系统成为推动智能家居发展必不可少的一环。为提高可移植性、方便系统升级、统一标准提供了可行方案。同时,嵌入式系统主要以应用为中心,以计算机技术为基础,且软硬件可裁剪。它一般由嵌入式微处理器、外围硬件设备、嵌入式操作系统以及用户的应用程序等四个部分组成,用于实现对其他设备的控制、监视或管理等功能。嵌入式系统包括硬件和软件两部分。硬件包括处理器/微处理器、存储器及外设器件和I/O端口、图形控制器等。软件包括操作系统软件和应用程序编程。而操作系统控制着应用程序编程与硬件的交互作用。嵌入式系统具有内核小、专用性强、高实时性和多任务的特点,嵌入式技术在智能家居的发展中发挥着不可或缺的作用。
1 系统总体设计方案
系统的硬件结构是以LPC3131芯片为核心的一套系统。通过鼠标、U盘、扩音器等外设实现命令获取和执行应用功能。利用鼠标或者触摸屏控制LCD图形界面上光标的点击和移动,利用U盘存储启动的驱动程序,利用扩音器采集语音信息并识别语音命令。系统总体设计框图如下图1所示。
图1 嵌入式智能家居人机交互控制系统总体设计框图
2 智能终端不同模式的实现
集多种控制模式于一体的智能终端具有很强的实用性。下面主要阐述鼠标模式、触摸屏模式、语音模式、视频模式设计方案:
2.1 鼠标模式
当前嵌入式系统技术获得了广泛应用,传统嵌入式系统的人机接口多采用小键盘操作的文本菜单方式,用户操作较为不便。利用PS/2接口鼠标,在点阵LCD上实现图形化用户界面的方案。用窗口菜单和图形按钮取代了传统的键盘操作,具有单片机成本低、效果好等特点,具有很强的实用性。利用接口鼠标及采用双向同步串行协议实现鼠标模式。鼠标模式技术相对成熟,本文不再赘述。
2.2 触摸屏模式
用触摸屏来代替鼠标或键盘。工作时,我们必须首先用手指或其它特定物体触摸安装在显示器上的触摸屏,系统再根据手指触摸的图标区域或菜单形式位置来定位所需要选择的信息输入。触摸屏由触摸检测部件以及触摸屏控制器组成。触摸检测部件安装在显示器屏幕前面,主要用于检测用户触摸位置区域信息,获取信息后送触摸屏控制器处理。而触摸屏控制器的主要作用是获取触摸点检测装置上触摸信息,并通过一定算法将它转换成触点坐标送给CPU,同时能接收CPU发来的命令并加以执行。利用SPI同步串行接口以及采用全双工、四线通信系统,配合ADS7843与S3C2410的硬件电路以差分模式提高响应速度和灵敏度,实现触屏模式。触屏模式技术相对成熟,本文也不再赘述。
2.3 语音模式
语音识别系统成为当今热门技术,而应用在智能家居方面突出要求安全性和可靠性。语音模式设计包括语音训练和语音识别两个阶段。两个阶段分别对输入语音信息进行预处理和特征提取。语音训练阶段,用户通过输入若干次语音进行训练,经过后期处理获得特征矢量参数,利用特征矢量参数建立参考模型库。语音识别阶段,用户输入语音,通过输入语音的特征矢量参数与参考模型库中的参考模型进行相似度匹配,相似度最高的输入特征矢量作为语音识别的结果输出。其基本原理框图如图2所示。
图2 语音模式基本原理
2.4 视频模式
程序中通过V4L接口实现从摄像头获得图像数据帧并缓存到FrameBuffer,再由LCD驱动将图像在LCD触摸屏中显示出来。程序有定时器来控制视频数据帧的采集频率,实现清晰流畅的视频采集效果。
采用手动方式时,通过摄像头采集的视频流信息并且显示在触摸屏上,然后进行手动标记,标记的三类点分别是前景、背景和前景范围。ARM将标记过的图像数据信息送给PC服务器,PC通过马尔科夫随机场概率算法实现对图像的分割。分割之后,图像信息被送回到ARM。在ARM端可以对图像进行按号码登记,理论上系统可以登记存储250幅大小的图像,考虑到程序的简洁性,只取50幅演示程序。通过视频识别程序,系统将会把采集的图像数据与存储对比库中的图像进行相似性对比,从而完成视频模式的识别。此外通过修改阈值门限,可以控制两幅图对比的吻合度,根据不同环境背景一定程度上滤除干扰,提高精度。在图像验证时,从触摸屏输入验证号码,如果两幅图相似度较高,系统将提示验证成功;反之,验证失败。采用手动方式原理框图如下图3所示。
采用自动方式时,自动方式与手动方式的不同之处在于分割时不需要进行手动标记,系统将自动确定亮度高的图案为前景,亮度低的作为背景。图像登记、识别和验证原理相同。采用自动方式原理框图如下图4所示。
图3 采用手动方式原理框图
图4 采用自动方式原理框图
3 图形界面QT设计及系统移植
界面设计主要遵循抽屉及抽屉下按钮的设计,其主要框图如下图5所示。在图像分割方面,采用基于高阶马尔科夫随机场的概率推理算法,对场景进行分割处理。
(1)当采用手动方式时,需要对图像进行手工打点,确定图像的前景、背景,通过信息来实现基于概率推理的计算机视觉算法,并送回计算结果,进而实现场景的分割。
(2)当采用自动方式,系统默认将亮度高的画面作为前景,低的画面作为背景,然后进行分割识别。
将PC上完成的系统移植到ARM平台运行,如下图6所示为应用程序在PC上和ARM开发板上编译运行的实现框图。在PC上编译采用QT4的编译环境,通过的话就可以在PC上运行程序了。ARM上交叉编译采用的是QTE4的编译环境,通过的话就可以在ARM开发板的触摸屏上看到程序运行结果。
图5 界面设计框图
图6 系统移植实现框图
4 总结
本设计内容针对的智能终端,他的特色就是人能对开发板进行各种形式的控制。通过鼠标可以实现点击移动,同样也可以触摸屏直接用点击控制,而通过语音模式、视频模式的功能实现对设备的控制具有一定的实用性和安全性。
智能化对市场的冲击,为智能家居指出了发展方向,体验新时代美好生活的期望为舒适、友好、便捷的人机交互控制系统的研究提供了动力。智能家居的可移植性、系统可升级性、标准统一性迫在眉睫。本设计构思为此提出了一种可行的方案。
[1]袁志勇,王景存.嵌入式系统原理与应用技术[M].北京航空航天大学出版社.2009
[2]邢玉娟,谭萍,李明.一种新的说话人识别序列特征提取方法[J].兰州理工大学学报.200904
[3]陈纯.计算机图像处理技术与算法[M].清华大学出版社.2003
[4]黄贤武.数字图像处理与压缩编码技术[M].电子科技大学出版社.2000
[5]成洁,卢紫毅.Linux窗口程序设计:Qt4精彩实例分析[M].清华大学出版社.2008
自然科学基金项目《深部探测技术与实验研究专项(SinoProbe-09-02-03)——地面电磁探测系统》;项目编号:11104313。
陈勇(1989—),男,汉族,江苏连云港人,学生,硕士,单位:苏州大学电子信息学院,研究方向:信息与通信工程。