基于OpenCv摄像头手势识别

韩正臣

摘要：随着视觉技术发展的不断更新，人们开始对手势交互越来越青睐。这个技术不但可以解决传统的信息交互的弱点，还可以更好融合人们生活习惯。它是一种自然、和谐的人机交互方式，目前已经有许多基于计算机视觉的手势识别研究，但仍然存在很大的改进和拓展的空间。手势识别的客观要求很高，技术限制很多，所以在实际中推广使用普及度不高。当前解决技术壁垒是研究的关键。基于肤色模型提取的方法需要根据个人的经验来设置皮肤颜色的阈值。随阈值分割图像后，可以根据轮廓上的点的数量和轮廓的外接矩形的方式来查找手势的轮廓。这些方法都还需要进一步的改进和完善。OpenCv开源视觉库与VS2008开发环境相结合，通过使用静态识别的方法正确识别了设计的几个基本的手势，目的是通过手势识别来代替传统的输入方式实现一些基本操作。模型共分为四个模块：手势图像捕捉、图像预处理、特征提取以及手势的分类识别。首先该软件从输入设备中采集图像，然后根据采集的图像生成手势特征库。手势特征库采用Hu矩作为特征，Hu矩是不变矩，它不随图像的平移，尺度，图像旋转而变化。很好解决了一般矩在图像旋转，尺寸变化，平移的变化之后特征也变化的问题。在手势识别过程中，对视频的每一帧图像进行特征提取，然后与特征库中的特征进行匹配。每个人对“匹配”的要求不同，因此，本文将匹配程度作为可配置的值。每个手势会有一个与之相对应的指令和根据需要对应不同的系统命令，这个一一对应的规则通过配置文件确定。使设计变得更加的灵活。

关键词：计算机视觉；手势交互；肤色模型；静态识别

中图分类号：TP18 文献标识码：A 文章编号：1009-3044（2016）35-0193-02

1 研究背景

随着信息化的高速发展，人们的生活也进入了网络时代。大数据，云计算也进入了人们的生活，其标志性的现象就是各类智能终端设备的不断涌现，它使人机交互的方式正发生着深层次改变。人机交互的方式正在从传统的鼠标搭配键盘的方式往触控、语音交互、动作识别等技术为主导的更自然的方式转变。其中语音与计算机视觉尤为突出，它使计算机变得更加的灵性化。而这两者中计算机视觉又更能够传情表意，它能够“看”明白用户的肢体语言或者表情。国内外的自然交互研究涉及了人脸识别、眼神识别、表情识别、手势识别、肢体语言识别等。手势识别作为一种人类普遍使用的交流方式，应用在计算机交互上能给人一种直观和自然的感觉。这种自然的输入方式把人们从传统的与输入设备接触交互方式中解放出来，使人们与计算机交互更加的轻松愉悦。

计算机视觉是让计算机可以替代人眼的技术。更进一步说，就是利用视频采集设备和电脑代替人眼对指定的目标进行识别，并进一步做出计算。其中，手势识别技术是计算机视觉的一个的重要的研究方向，它是一种常用并且合理的人机交互方式。随着计算机视觉，包括图像处理技术以及人工智能等技术，特别是虚拟现实技术的迅速发展，手势识别的实现更加成为可能。由于客观环境的多变及人手和手势的多样性，如何在限制较少的条件准确识别手势并能保证其精度、效率以及稳定性是研究的关键。

手势识别按照手势输入设备分类，可以分为基于数据手套的手势识别和基于视覺的手势识别。基于视觉的手势识别中，最常见的手势分类是将手势分为静态手势和动态手势。静态手势是一种较简单的手势，当用户做出一个固定和静止的动作时计算机将其处理后识别出来。动态手势相对要复杂一些，它可以看做是由一系列的静态手势组成的序列。如果将静态手势和动态手势组合，将可以形成语义很丰富的手势系统。

1目前人机交互的不足

人与计算机之间的交互方式是人机交互研究的核心。从现在的姿势交互和语音交互往前追溯，有触摸交互、手写交互、鼠标和键盘交互。姿势交互又细分为手势交互、表情交互、身体姿势交互。

传统的输入设备有很多的不足之处。鼠标和键盘，由于它们的使用需要接触，在某些环境下使用不方便。用户在车站、餐厅、购物商场等场景下要与计算机交互时，使用传统交互方式十分的不便。而且在公共场合下，接触性的使用会有很大的卫生问题。不仅需要占用很大的空间，同时也会有设备损耗的问题。

手写交互和触摸交互改善了传统的机械性输入，它们是更符合人类的使用习惯的。但是它们任然要求用户要与设备接触，这不免会在接触设备的过程中损坏到设备。所以同样有着易损耗等问题。

基于视觉的手势交互很好克服了上述交互方式的不足之处。手势交互是不需要接触的，没有损耗问题，也不会有接触带来的卫生问题。手势交互有符合人类动作习惯和直观自然的优点，使其成为了下一代自然交互方式研究的焦点。

2目前国内外手势识别状况

基于视觉的手势识别不需要昂贵的设备，仅仅需要摄像头和PC机器就够了。其廉价的输入设备会使其将来应用范围十分广泛。手势识别在计算机视觉的研究中是热点。国内外都有很多的学者在不断研究。这些研究在手势的分割、跟踪、识别和应用中有很多的进展。

国外对基于视觉的手势识别的研究工作起步很早。L.H.Howe等人使用肤色阈值和帧相减的技术实现了手的检测和分割。J.Zaletel等人提出了静态手势特征的方法，这种方法是用于提取手指的位置的。它先计算出掌心的位置，然后将掌心的位置作为极坐标的原点，将手掌的轮廓映射到这个极坐标，然后利用极坐标上的局部最大值来提取手指的位置。Huang使用3D神经网络创建的手势识别系统实现了15个不同手势的识别[1]。

在技术的应用上面，从上世纪九十年代开始，国外的科学家就开始不断研究手势识别技术，并且研制出一些实体来进行试验，例如：可以模仿人进行手势操作的机器人；电视控制的传感系统，无需遥控，利用手势识别左右上下进行对电视的遥控；体感游戏，更是完美的利用手势识别，在信息交互中完全释放出手势识别的优势。

我国相对于国外的研究起步要晚，但是目前也取得了很大的研究成果。朱建伟[1]使用两个摄像头正交放置，实现了三维手势的识别，并实现了使用手势实现对照片的浏览。孙玉[3]使用Hu矩特征手势识别和CamShift算法对手势跟踪，实现了手势对Word的输入和操作。

3意义

本文主要研究基于视觉的手势识别技术和对这种技术的应用。目标跟踪识别是计算机视觉领域中的关键技术，多应用于人机交互。手势识别必将使人与机器之间的沟通变得智能化、信息化，与传统的输入设备相比，手势操作则显得直观和自然，更符合人类习惯。

手势识别作为新型的人机交互技术，手势识别技术越来越广泛应用到各个行业。体感游戏首先成熟使用的，改变了传统的手持物体操作。更加互动，真实。使得人与游戏美妙结合，身临其境。

手势识别还可以用于手语识别。手语是聋哑人使用的语言，是聋哑人与正常人交流的平台。在医疗领域中，具有语言交流障碍的患者，可以通过手势识别，在预设好系统中，自助挂号，表达病情。更加体现人性化。综上所述，手势识别技术越来越被研发人员重视，在日常生活中涉及的领域也越来越多，研究价值也越来越突出。这项技术也将被广泛的普及推广到人们生活中的方方面面。

4结束语

基于计算机视觉的识别的功能还可以不断拓展，可以实现摄像头检测人与电脑的距离（当计算机识别出人坐在计算机前时显示器显示，当人离开的时候关闭显示器，达到节约电能的作用）等等。手势识别还可以应用于虚拟键盘，使用一个投影的键盘，然后通过摄像头识别手在虚拟键盘上的相关操作。可以應用在智慧医疗中，解决传统的诊疗挂号方式。从根本上寻找解决病人就医难的状况的合理方案将健康的养生知识传播到更远更广。

参考文献：

[1] Guan Ran and Xu Xiangmin， A Computer Vision-Based Gesture Detectio And Recognition Technique[J]. Computer Applications and Software.2013，30（1）：155-164.

[2] Junyeong Choi， Jungsik Park， Hanhoon Park and Jong-II Park. iHand： an interactive bare-hand-based augmented reality interface on commercial mobile phones[J]. OpticalEngineering. 2013，52（2），027206.

[3] 任雅祥. 基于手势识别的人机交互发展研究[J]. 计算机工程与设计，2006（7）：1201-1204.