手势控制智能搬运小车中手指类型识别

黄玉银 李志扬

[摘要]采用手势控制的智能搬运小车可大幅度减轻快递货物分拣中的体力劳动强度，提升工作效率，其中手指类型识别对手势识别有重要辅助作用。通过车载摄像头采集手势，经过图像处理获选取基于中心线的角度FBA和垂直长度FPD两个不受图像旋转和平移影响的特征向量，通过多元混合高斯统计模型实现手指类型识别，识别率可达93%。

[关键词]手势控制；手指类型识别；智能搬运小车；快递分拣

[中图分类号]TP23 [文献标识码]A [文章编号]1005-152X（2018）02-0105-03

1 引言

随着电商爆炸时代的到来，物流业空前繁荣，特别是在节假日大促销期间，时常出现快递分拣人手不够的情况。目前快递分拣在自动化方面还不够成熟，如果引入智能搬运小车可大幅度减轻劳动强度，提升分拣速度。但是分拣车间环境较为复杂，布置固定路径的搬运小车很不方便，成本也很高。

本文采用基于手势控制的智能搬运小车实现分拣工作的半自动化。分拣员通过五指的组合做出备种手势命令，控制小车的前进、后退、左右转弯以及运动幅度等。其中手指识别是手势控制的关键。本文通过车载摄像头采集手势，经过图像处理获取特征向量，借助预先训练好的多元混合高斯统计模型实现手指分类识别。

2 原理

2.1 手势识别流程

本文开发的基于视觉的手势识别系统，其T作流程如图1所示，首先利用车载摄像头采集手势图像，然后通过中值滤波进行去噪，再通过肤色检测進行手势图像二值分割和腐蚀、膨胀和开运算等形态学运算，进一步提取所需要的特征点，如手腕中心，手掌中心，指根和指尖等特征点，最后利用高斯模型分类器进行手势手指识别，如图l所示。

2.2 特征提取

2.2.1 手掌中心和手腕中心。对分割后的二值手势图像，运用下面公式计算手掌掌心的位置：

其中，（xiyi）代表图像处理后所有检测到的边缘点的二维像素坐标。然后以掌心为原点以r为半径，沿顺时针方向跟踪手掌中心网上的每个边缘像素点，即图2中小圆点点，如果半径r过小，则边缘点为零，当r刚好大于手掌时边缘点数目会出现一个跳变增长。多次测试合适的半径之后取得手腕黑白像素交界区域轮廓两个边缘点的坐标WI和W2，手腕的中心就是W1和W2的中间值。

2.2.2 手指指尖和指根。确定手指指尖和指根需要确定手掌的凸包，如图3所示。凸包（Convex Hull）是一个计算几何的概念，在二维欧几里得空间中，凸包可以想象成为一条刚好包着所有点的橡皮圈。简单的描述就是给定二维平面上的点集，凸包就是将最外层的点连接起来构成的凸多边形，进一步需要借助凸包缺陷深度来筛选指尖的凸包位置。图3给出了通过邻域凸包缺陷深度最大原则确定的指尖和指根的位置。

2.2.3 特征向量FBA和FDA。借助上节提取的指尖和指根位置，本节进一步提取对平移、旋转和尺度缩放都不太敏感，且变化较小的角度特征FBA和长度特征FPD作为最后手指识别特征。如图4所示，FBA是指尖点与中心点的连线和中心线的夹角，FPD是指根到中心线的垂直线与中心线的交点到手掌中心的距离，而中心线为手掌中心中指指根和手腕中心的连线。

FBA可以运用向量的夹角公式求出：，a为指根位置到手掌心点的连线所在的向量，b为中心线所在的向量；FPD距离可以根据指根点到手掌心点的欧式距离与指根点到中心线的垂直距离得到。

2.3 多元高斯混合模型分类

一元高斯分布是由均值μ和方差σ两个参数所确定的，期望值决定了函数位置，标准差决定了分布的幅度，其概率密度函数：

多元高斯分布是由均值向量E（x）=μ，cov（x）=∑所确定，协方差矩阵对称且正定，其概率密度函数为：

假设x=（x1，x2….xd）T在任意时刻观察这个随机过程，概率分布服从联合高斯分布，高斯过程都是由均值函数和协方差矩阵组成。本文高斯分类的类别有5种，分别是拇指、食指、中指、无名指和小指。在训练阶段，输入训练样本的图像特征向量x=（ FBA，FPD），可确定多元高斯分布的均值向量μi=（μFBA，μFPD）和FBA与FPD的协方差矩阵∑。在识别阶段，输入实测手势的图像特征向量，可以用训练好的高斯模型计算分别属于5种手指类型的概率，并将实测手势中的手指类型识别为概率最大的手指。

3 特征训练和测试

图5给出了我们对200个样本的训练结果。在输入特征向量FPD的时候，从图5左边图中可以看到大拇指、食指、中指和无名指被正确划分，只是无名指和小指的区域重合部分比较明显，说明输入特征向量FPD对无名指和小指的测试识别不灵敏；从图5右边图中可以看到输入特征向量FBA时也比较正确的划分了五个手指并且对食指和中指的灵敏度较高。实验表明进一步联合检测FPD和FBA，手指类型识别率可达93%。

根据手指的伸展情况，可组合表达种不同手势。进一步结合手指的方向还可组合出更多的手势，图6给出了识别的几种常见手势。在实际应用中选取那些简单易记，接近日常生活的自然手势，可实现对智能搬运小车的灵活控制。

4 结论

本文通过车载摄像头采集手指的特征向量FBA和FPD，借助多元混合高斯统计模型实现手指类型识别，进一步通过各种手指组合表达各种命令，通过手势控制的智能搬运小车，可大幅度减轻快递货物分拣中的体力劳动强度，提升工作效率。