视觉感知技术在人机交互小车控制中的应用研究

北方工业大学电子信息工程学院 段凯强 苏媛媛 李可心 谷 科

视觉感知技术在人机交互小车控制中的应用研究

北方工业大学电子信息工程学院 段凯强 苏媛媛 李可心 谷 科

基于视觉感知技术完成了一种智能人机交互小车的设计。该小车采用Arduino开发板作为系统控制处理器，拥有集手势识别技术、人脸识别技术、语音识别技术于一体的的多功能控制系统。基本实现了调整小车的运动方向与速度的功能。且运行可靠稳定。该技术可以应用于残障人智能轮椅、服务机器人、智能玩具、无人驾驶机动车、仓库等领域。

视觉感知技术；Arduino；人机交互

1.引言

近年来，随着计算机技术的迅速发展，人机交互逐渐成为计算机应用科学的热门领域。其中，基于视觉感知的识别技术作为人机交互中的一个重要研究方向，得到了大量理论研究人员和工程技术人员的关注，涌现出了许多优秀成果。随着视觉感知技术的成熟，开发者将其应用到人类生活中，特别是家电领域，使得家用电器逐步走向智能化、人性化。无人驾驶小车就是其典型应用之一，本文将语音识别技术、人脸识别技术、手势识别技术结合起来，设计和实现一种具有多功能的智能小车，具有一定的应用价值。简单地诠释了人机一体化的设计思想。且设计理念缩短了人机界面的距离，增强了互动性和智能性，同时使得将信息技术和控制技术引入到车辆的操纵控制中，形成机器智能，使操纵者的感知、决策和执行能力扩展成为可能[1]。

2.系统设计

本设计选用了Arduino作为开发平台，也是智能小车的车身。它是一个基于开放原始码的软硬件平台。具有类似Java、C语言的IDE (Integrated Development Environment)集成开发环境。板子上的微控制器可以通过Arduino的编程语言来编写程序，广泛应用在电子系统设计领域。

本系统由信号采集模块、信号处理分析模块和各种执行部件组成，系统结构如图1所示。

图1 智能小车系统结构

图像采集设备我们选用了3D摄像头，它在整个系统中起到了至关重要的作用。经查阅资料我们了解到，3D摄像头使用了“主动立体成像原理”，它模仿了人眼的“视差”原理，通过打出一束红外光，以左红外传感器和右红外传感器追踪这束光的位置，然后用三角定位原理来计算得出3D图像中的“深度”信息。在不使用任何其它辅助设备的情况下，3D可以在日常生活场景中采集图像。实现与周围环境的交互，支持人脸识别，表情识别和手势识别。

系统整体工作流程如图2所示，在程序初始化后，信号采集模块不断地对端口进行扫描，检测并判断有无声音或者图像信号，若存在有效信号，则3D摄像头马上进行人脸识别，检测使用者是否为主人，识别成功后信号处理模块则对不同类型的信号进行采集、分析、处理，最后根据信号处理结果做出相应反馈动作，如前进、后退、转弯、加速等[2]。

图2 系统工作流程

3.核心技术

3.1 手势识别系统

本设计的手势识别系统包括手势获取、图像预处理、手势分割、手势特征提取、手势分析和识别等部分。基本实现了利用手势识别的结果对小车的行进、转向控制的目标，其流程如图3所示。

为了使所研究的系统能有更好的的适用性，本文主要采用基于表观的手势模型，首先由3D摄像头获取手势图像，再将RGB图像转换成HSV图像，对手势图像进行预处理。之后采用基于H值的静态手势分割方法，此方法是结合了最大类间方差法图像分割法和肤色分割法的主要思想。然后通过将分割后的图片进行处理分析操作，将手势从手势图像中分割出来。分割完成后对手势信息进行分析，主要是提取方向等有用信息，本系统采用手势的外接矩形框的长宽关系、手势的形心和矩形框的中心关系作为特征来识别手势所处的角度，进而识别手势的方向。发射模块将手势识别结果进行无线发射。首先通过用户编程获取数据，经过Zig2 Serial USB转串口信号转换板传送给无线通讯模块Zig - 100发射手势控制方向编码，接下来小车上的Zig-100无线通讯模块接收手势控制方向编码，传送给小车控制系统。这样就实现了小车根据手势信息编码来进行运动的目标[3]。具体手势识别系统的组成如图3所示。

图3 手势识别系统

经比对多次试验结果后我们发现，手势图像的获取方式和周围的环境有很大关系。处理方式的灵活度较差，例如，若获取的图像中的光线亮度差别很大，其选定的阈值范围也完全不同。

3.2 语音控制系统

语音识别技术，也被称为自动语音识别(Automatic Speech Recognition, ASR)，其目标是将人类的语音中的词汇内容转换为计算机可读的输入，例如按键、二进制编码或者字符序列。本设计语音识别系统模块实现的目标为：通过语音识别模块，识别使用者说话的内容，并发送信号给arduino开发板，由arduino程序去控制小车执行相应的反馈动作，例如前进加速等等[4]。从而实现人机互动。

我们的语音控制系统工作原理为：使用者发出的语音信号由语音识别模块进行语音识别，语音芯片我们选择了带声库的syn6288，它将语音转换成数字形式的控制命令[5]；控制命令经串口发送给Arduino开发板，Arduino开发板接收命令并做出响应；小车模型实现各种动作的反馈。其中，Arduino接收端控制程序和发送端控制程序需要按控制要求开发完成后，从PC机上下载到开发板及手机上[6]。具体系统模型如图4所示。

图4 语音识别系统

在测试过程中我们发现，在语音命令输入后，由于噪声等原因，导致最终执行结果错误率较高。因此，我们加入了预处理模块，尽可能的消除噪音，提升语音质量，排除外界干扰。后续实验结果表明，加入预处理之后指令执行错误率明显降低。

4.总结

本文以智能小车多方式控制为应用背景，研究了视觉感知的识别技术的手势识别技术，及语音控制技术。并介绍了该技术在Arduino作为开发平台上的实现，并利用该技术对于智能小车进行了基本的行进动作控制，验证了方法的有效性。虽然系统基本实现了所需的识别与控制功能，但仍有改进的地方，比如如何有效滤除语音控制时的噪音；如何降低系统对光线明亮影响的敏感度；如何进行双手势识别控制等[7]。因此，在后续研究中我们将在理论和实现上做进一步的完善。

[1]张振友,李娜.基于移动终端的感知计算技术初探[J].技术与市场,2015.22.12 171.

[2]张晓辰,殷龙,陈永亮,严磊,曲衡,王曰海.基于视觉的智能电子宠物[J].电子产品世界,2014.12.

[3]王慧,介龙梅.基于多传感器/目标识别的电子宠物视觉系统[J].计算机工程,2006.6 35.11 178-180.

[4]梅明亮,王翠凤,何炳蔚.基于视觉的手势识别技术及在小车控制中的应用[J].长春大学学报,2016.8 26 8 24-31.

[5]林敏,李强.基于arduino的语音控制系统[J].科技资讯,2016.15.038 38-40.

[6]李新科,高潮,郭永彩,何卫华.基于语音识别和红外光电传感器的自循迹智能小车设计[J].传感器与微系统(Transducer and Microsystem Technologies),2015.30.12 105-108.

[7]冯平,张治中.多功能语音控制小车设计与实现[J].寰宇通信,87-90.

We design an car of intelligent human-computer interaction. It based on visual perception.The car uses the Arduino as a system control processor, and it has a multifunctional control system of gesture recognition, face recognition technology and speech recognition technologies.The car has the ability to adjust the direction and speed of movement. This technique can be applied to intelligent wheelchairs for disabled people, service robots, intelligent toys, unmanned vehicles, warehouses and other felds.

visual perception; Arduino; human-computer interaction