基于计算机视觉的手势识别人机交互技术

杨益平 闵啸

摘要 随着数字技术和多媒体技术的飞速发展和广泛应用，人们开始越来越多的利用计算机进行交流，人们希望新的硬件不断出现，希望新的计算機应用领域不断扩展，人们原本所熟知的人机交互方式多是利用键盘和鼠标等辅助设备，但是人们的交流为了达到自然和迅速的效果，就不得不利用新的交流方式，基于视觉感知手势的人机交互技术就成为了新技术当中较为重要的一类技术，通过计算机的视觉感知功能，可以将图像转化为数字信号，借助识别模式等理论技术，使得计算机可以将视觉感知的功能转化为手势的语言，并且便于计算机用户做出必要的反应，实现人和计算机的互相交互功能。

【关键词】手势识别 人机交互 图像识别

人机交互技术已经成为人们日常生活中应用较为广泛的一种科技，成为了人们日常生活的关键组成部分。人机交互技术可以声情并茂的告知人们采用各种语言进行交流，除了利用自然语言例如书写和口头叙述进行交流之外，还可以利用人体语言进行交流，常用的人体语言例如手势和表情都可以被用来与计算机进行交流，手势也是人们进行交流的表达方式之一。人机交互技术是指，在计算机和人类之间建立起来某种联系，方便计算机能够及时根据人的指令而做出来一系列的动作的一种技术，根据计算机手势识别技术，人类可以及时的对手势的识别做出反应，人机交互的主要途径就是应用手势识别，将手势转换成固定的图像，然后对图像进行识别，为了确保技术准确实现，对人的手势进行准确识别，需要对相关识别步骤和关键技术节点进行深入研究。与人与人之间的交流相比，人机交互的形式显得刻意和呆板，手势辅助特定的表情和动作是一个稳定表达系统的关键组成部分，人们进行交流需要依靠动作和视觉传达而形成的特殊语言。同时手势还包括有一个人和人的体系语言，人体语言和书面语言和口头语言不同，用在人机交互技术方面，手势只是作为表达的一种手段，同时具有强大的视觉效果，可以生动形象的表达出人体语言，对视觉人机交互语言进行研究，是一个多学科交叉研究方向，非常具有挑战性。

1 手势识别技术概述

手势识别技术作为人机交互技术的一种，是对人类表达方式的一种机器识别方法，操作者通过不同的手势和计算机之间进行交流，让计算机根据人的不同手势做出不同的反应，因此手势又可以分成动态手势和静态手势，静态手势是指人的单个不发生变化的手型，通过手势的固定，表达特殊的意思含义，静态手势就是通常人们所称的姿势。动态手势又被称为动作，通过动作和姿势的不同，计算机可以做出不同的反应，执行不同的操作，为了促使上述技术能够完美实现，需要设定手势识别系统的不同技术指标。常见的手势识别系统通常会具备如下几种组成。第一，一个摄像机已获得视频数据资源，接着将数据视频资源通过手势验证和数据流分享到检测数据的程序里面，系统之后会根据手势输入的流程和交互实验模型检测手势是否可用，将手势从视频信号之中切换回来，根据手势模型进行手势分析，包括特征检验和参数模型评估。在数据识别的过程中，会对参数模型的手势设置进行评估，最后根据系统生成的模型进行评估，虽然手势已经成为了一种交互的手段，需要根据生成的数据进行描述，根据描述对应用进行指令。但是手势已经成为了已经非常新型的交互手段，通过手势对识别的解决方案进行描述，可以实现表情识别、步态识别、指纹识别、唇读等功能，还可以进行图像拼接等视频检索功能的实现，研究基于视觉的手势识别技术对于提升人机交互技术的潜力而言具有非常重要的价值。

2 手势识别技术的步骤

2.1 手势识别技术的流程

计算机手势识别技术可以分成如下几个流程。首先，摄像机镜头对用户的身份进行识别，将视频信号分成不同的表现形式，将识别的信号传输在系统当中，将不同的手势进行分割，在进行识别程序之后开始对手势进行分析，通过不同的手势模型，对收势实现识别，并作出相应的描述，计算机程序根据相应的识别建立对应的手势模型，并作出最终的描述，最终完成整个识别的过程，上述流程的重要价值在于建模和识别的程序，通过手势分析实现动作识别。

2.2 手势识别系统的设计

2.2.1 通过手势进行建模操作

手势建模技术是通过计算机视觉实现手势识别的重点，通过人机交互实现数据识别，主要依靠手势建模技术，选择合适的手势模型，可以提高系统识别手势的正确率，根据系统设计的目的不同对不同的模型进行建模，可以解决在人机交互模式非常复杂的情况下，通过建立精细化程度比较高的模型来实现手势识别技术。可以选择立体和平面两种不同的模型设定，立体模型主要是3D模型，选择该模型可以有网格模型、骨架模型和几何模型等多种不同的表达模型。模型的手势可能包括了灰度图像模型和二维变换模型等不同的形式，图像识别的属性要求对于运动的图形必须选择直观的表达方式，系统通过模型的选择实现模型的统合利用。

2.2.2 对识别出的手势进行分析

手势分析的意义在于根据特定的手势参数，将数据监测所得到的参数分成不同组成，将特征检测所得到的运动特征和人手的形状赋予运动特征进行检测，参数估计模型则是建立在数据估算的基础上，将数据模型建立在特征值的基础上，参数估计主要是依据特征值来完成，参数估计是识别手势模型的基础。

2.2.3 通过手势识别实现手势分析

手势识别是一种固定的特征量，需要依据参数估计的结果和实际检测的结果将组合的模型综合起来，将数据规整到数据集里面，就目前统计数据的情况看，需要在数据系统较好的情况下，利用静态的数据结构，将系统识别的手势固定。

3 手势识别的实现

3.1 硬件和软件平台

手势识别的硬件设备首先需要具备一台电脑，加上一台可以捕捉图像的摄像头，电脑硬件的配置尽量要高，具备适合的计算能力，网络摄像头需要具备图像捕捉和跟踪能力。同时需要具备软件平台，软件开发平台为C语言编写的平台，具有视觉识别系统，采用英特尔公司的开源数据库，最终形成可以执行的脚本文件，实现所有不同手势的识别功能，实现所有不同手势的人机交互能力。

3.2 利用摄像头摄入视频

通过不同的操作系统对视频识别软件进行开发，使得不同摄像头可以捕捉不同的画面，攝像头捕捉画面的能力显得格外重要，需要调用不同的函数，建立不同的显示窗口，安装适合的摄像头驱动程序，在启动了程序驱动之后，需要根据摄像头读取实时图像的不同，方便摄像头读入不同的数据模型，程序启动之后，网络摄像头需要在捕捉的实时画面上实现摄像头的读取，显示在特定的窗格中。

3.3 对读取的手势进行固定操作

通过不同的检测方法可以实现手势的固定，常见的固定方法有动态数据定位和肤色检测等技术。运动检测技术是指可以从一定顺序变化的图形当中，将背景图片提取出来，背景图片具有动态变化的特点，可能有天气和光照等变化，使得运动检测技术是一项非常有难点的程序设计。肤色检测技术是指，由于运动检测技术通常不具备良好的实行条件，不能够对手势进行良好的定位，因此需要引进肤色检验技术对手势进行定位，通过色彩的色调、饱和度和亮度等对肤色进行检测，由于肤色具有比较强的聚散性质，因此会和其他颜色对比明显，可以和其他形式的颜色对比开来，同时由于光照的原因，一些计算量小的手势往往实效性比较高。实验数据表明，采用数据检验的方法可以定位很多数据的手势，由于定位快速而且计算量比较小，可以在一定条件下实现准确计算。

3.4 手势跟踪技术

在根据视觉检测的数据分析实验中，手势跟踪技术是实现手势分析的关键环节，实验数据表明，根据不同的算法跟踪手势，可以有效地对人脸和手势的不同进行识别，如果手势出现了部分遮挡的情况，需要进一步对之后的手势遮挡做出识别，通过算法的改进对摄像头的问题进行准备，按照适当的肤色跟踪技术，得到具体的投射视图。

3.5 手势分割技术

计算机收势分割技术是指借助计算机软件在视觉领域的应用，将数字和图像处理技术迅速发展应用在手势识别的领域，手势分割技术利用的是人的手在运动的时候，计算机所采集到的数据，当计算机的摄像机所采集到的一系列图像出现在人的手势当中的时候，其图像会被用来被软件识别。如果动态的手势图形被算法和肤色的概率用作一系列的动态处理，将算法数据所输入的概念转换成一系列的形态学指标，可能导致数据模糊和膨胀，出现数据腐蚀等现象，使得输出的图形转化为二维的结果。

3.6 手势识别技术的应用

图像经过处理之后会转化为数值，通过将图像变换为几何特征的数值，可以得到表示图像特征的几个分量，形成手势的一些特征指标。系统进行具体数值计算的具体方法是，由于手势具有向量不变的特征，将数值的应用作为模板，在读取视频的时候，根据向量不变的属性，将模板上的数值进行分离，距离的远近表明数值的差异大小，通过对固定数值的识别，对计算机进行读取操作，通过简单的数据放缩功能，帮助图片放缩的结果交互现实，帮助系统功能良好运转。

4 手势识别作为交互技术的未来发展方向

人与人之间的语言交流，借助手势进行的只是辅助的表达，计算机视觉的手势识别系统的构建，是一种输入设备的构建，可以帮助人们将手势识别当做计算机的输入设备，缩短计算机和人之间的距离，提升计算机应用的效率，降低人类对计算机进行操作的难度。在计算机技术还不发达的年代，计算机交互技术的实现需要依靠字符和命令作为技术支持，但是当计算机技术发展到一定阶段之后，需要进一步加强人与计算机之间的联系，提升计算机操作人员利用电脑技术的便利性，手势识别技术就在这一方面进行了突破，目前的计算机识别技术所进行的识别，仍然是一种动态的识别技术，对收势识别所做的研究努力都是为了静态识别技术的重构。随着计算机科学技术的发展计算机识别和收势识别都会随着交互技术的发展而逐步发展壮大，交互技术很有可能成为广泛应用的教学技术和艺术设计技术，在游戏制作等方面也有可能发挥出独特的作用，提升了人们整体上利用手势操作电脑的水平，能够帮助用户和计算机之间实现互动，帮助人们参与到游戏当中，提升游戏的体验价值，因此，计算机手势识别人机交互技术的应用前景非常广阔。

5 结论

人机交互技术和计算机界面的应用走过了语言界面模式的应用，正在进入图形界面的应用，图形界面的时代已经到来，但是计算机图像技术识别还没有达到发展所需要的高度，计算机科学家都不满足于上述现状，都在积极研究人机交互技术，通过语言识别技术实现计算机人脸识别之后，商业模式的转变让人们看到了商业的曙光，在商业领域的应用前景非常广泛，虚拟现实等技术也需要手势识别技术的突破，在未来用户界面技术迅速发展和人机交互实验大发展的背景之下，继续追求人机和谐以及多维信息空间的基于自然交互的语言风格方式显得格外重要。为了帮助视觉手势识别系统得到更好的应用，需要在实现了手势识别系统设计的基础之上，选择合理的编程语言，提升系统软件设计的能力，帮助用户选择合适的识别系统，将软件和硬件设备相互搭配使用，建立综合的算法，为手势识别提供应用的途径，提升人机交互的实际水平，带来社会综合领域的发展。

参考文献

[1]陈彬彬，基于视觉的字母手势识别技术研究及实现[D].西南交通大学，2017.

[2]杜宇.基于深度机器学习的体态与手势感知计算关键技术研究[D].浙江大学，2017.

[3]易靖国，程江华，库锡树.视觉手势识别综述[J].计算机科学，2016 （S1）：103-108.

[4]郭子雷，基于计算机视觉的手势识别系统的设计与实现[D].华中科技大学，2016.

[5]关然，徐向民，罗雅愉，苗捷，裘索.基于计算机视觉的手势检测识别技术[J].计算机应用与软件，2013（01）：155-159+164.