基于KINECT的空中手写数字识别

浩庆波 徐岩 万曙静

摘要

空中手写识别作为手势识别的重要分支具有很高的研究价值空中手写数字的识别是一个非常热门的挑战研究课题。本文提出了一种基于两个关键点和八个方向模型（“2-8”模型）的数字识别算法。经实验测试表明该算法与手写字体之间的匹配精度较高。

【关键词】手写体识别 “2-8”模型 DP匹配

1 引言

数字识别是图像识别领域中一个重要的分支。由于问题本身的难度使其具有挑战性。数字识别使图像分析和模式识别进行融合并成为一个新的研究领域。阿拉伯数字是世界上唯一的通用符号，其研究与文化背景无关。因此它为各个国家的研究工作者提供了一个展示研究成果的舞台。许多领域（如邮政编码、统计报表等）对手写数字识别技术有着巨大的需求，其研究具有很大的现实意义。

2 手写数字识别算法

2.1 特征提取

手写数字识别技术通常采用“2-8”模型描述手写数字轨迹。在“2-8”模型中“2”指的是笔迹的起点和终点，而“8”则是指Kinect传感器视角中垂直截面上的八个方向。即从X轴开始，每45度定义一个方向，共八个方向。事实上，指尖的起始位置是指在空中书写过程中的起始位置，书写的空间对应Kinect视角中的三維空间。指尖在空中的轨迹可以投影到Kinect透视图中的垂直截面上，识别中所描述的轨迹即是投影得到的痕迹。空中手写识别过程中首先需要借助Kinect在空中获取和跟踪指尖的运动轨迹;然后利用“2-8”模型分析运动轨迹，提取相应的特征向量。笔划相对简单的数字其特征非常明显，借助“2-8”模型分析方法很容易提取其特征。

获取空中手写数字的运动轨迹，首先需要确定数字“0”到“9”的起点和终点。因为无论是数字还是字符在空中书写并不像在纸质上书写的那样，在纸质上书写可以随时停止笔，且有痕迹记录。但Kinect跟踪指尖的运动轨迹则是需要一气呵成而不停顿。“2-8”模型中手写数字的起点和终点是关键信息。因此本文以规范的书写作为研究出发点，在使用该方法进行识别中，熟悉书写标准是非常重要的，对提高识别准确率有着非常重要的作用，书写规范如图1所示。

在完成空中手写数字的定义后，接下来就是如何借助“2-8”模型识别手写数字。首先，利用指尖跟踪算法跟踪指尖轨迹并识别出轨迹的起点和终点。把“起点”和“终点”作为“原点”构建8个方向的坐标，如图2。

图2是用“2-8”模型分析手写数字“2”的过程。以手写体“2”的起止点为原点构建两个“8”个方向的坐标。"2"的特征向量即为两个坐标与手写轨迹的交点数量（交点数大于4记为4）。轨迹“2”的特征向量为：

count₀（1，0，0，0，0，0，2，1），count₁（0，0，0，1，4，0，0，0）

2.2 DP匹配识别

手写数字识别中，在获取数字的特征向量之后还需进行DP匹配算法的识别。准确提取手写数字的轨迹特征是提高识别率的基础条件，但在算法的最后一步中，利用这些特征向量识别数字也尤为重要。本算法的识别过程采用DP匹配过程。DP匹配是与标准模板库进行匹配。所谓模板是针对“0”至“9”每一个数字建立自己的标准特征向量，然后利用“2-8”模型识别出数字向量的标准特征向量。多次采集数字的标准特征向量从而建立标准特征库。

如果采集到的某一空中手写数字的特征向量为“A”，对应于标准库中的标准特征向量为“B”，那么“A”“B”之间的DP距离公式为：

其中，W是一个权重参数值，该算法中我们设定该值为0.5。通过公式不难看出，手写数字轨迹识别中需要分别计算开始和结束特征向量的距离值。我们需要依次计算手写特征向量与每个标准向量的DP距离。当d_DP（A，B）最小时，表明两个轨迹是相似的。该相似度计算方法能够有效地解决特征丢失的情况，提高识别准确率。空中数字手写识别算法的核心是使用“2-8”模型分析指尖运动轨迹，提取特征向量。利用DP匹配思想计算与标准库标准特征向量的相似性，最终实现数字识别。算法中需要使用Kinect识别指尖位置和手写轨迹并进行动态跟踪以获得连续视频帧序列的轨迹。

3 实验与分析

测试本算法的识别精度时，考虑到每个人的书写差异，即同一个人在书写相同字符时也会出现差异。因此我们在实验室对20名研究生进行抽样，选择10个学生，每个人从“0”到“9”，每个数字写10次，共计1000次。将采集到的特征向量构建标准数据库。需要识别数据的采集方法与标准库数据采集方法相同。最后，我们对手写数字识别的准确率进行了统计如图3所示。

图3为每个数字识别率的柱状图。从图中可以算出，手写数字识别的总体精度高达97.4%，但某些数字的识别度不高，如数字“4”和“9”。经分析发现“4”和“9”的手写轨迹特征向量存在相似之处，所以其识别率有所降低。而其他数字的识别率甚至高达100%。

4 总结

随着技术的发展，空中手写识别的应用场景越发的广阔，在这一领域的研究仍有很多的可能性。本文提出一种空中手写数字识别算法，实验结果表明该算法在数字识别中取得了较好的效果。然而除了数字还有更为复杂的动作和场景需要进行探索研究。

参考文献

[1]金连文，钟卓耀，杨钊，杨维信，谢泽澄，孙俊.深度学习在手写汉字识别中的应用综述[J].自动化学报，2016，42（08）：1125-1141.

[2]王慧玲，宋威.基于雅克比稀疏自动编码机的手写数字识别算法[J/OL].计算机应用研究，2019（01）：1-2.

[3]Janez Zaletelj，Andrej Kosir.Predicting studentsattentionin the classroom from Kinectfacial and body features[J].EURASIP Journal on Image and VideoProcessing，2017，2017（01）.