基于卷积神经网络视觉融合的动态手势识别

2021-10-28于海鹏王旭辉

河南工程学院学报(自然科学版) 2021年3期

于海鹏，李博，王旭辉

(河南工程学院计算机学院，河南郑州 451191)

随着人工神经网络和计算机视觉分析技术的发展，可融合人工智能算法构建计算机视觉下的动态手势识别模型，通过图像特征分析和动作特征三维重构实现动态手势识别，并将动态手势识别算法应用在体育运动训练及机器人设计等领域。在多帧视觉成像环境下，受到环境扰动和视觉参数多维性因素的影响，多帧视频序列中动态手势识别的智能性不好，故研究多帧视频序列中动态手势识别方法，在提高机器视觉和计算机视觉下的多帧视频序列特征检测和分析的准确性中具有重要意义[1]。

多帧视频序列中动态手势识别建立在机器视觉和计算机图像分析基础上，在人机交互条件下，可实现对多帧视频序列中动态手势的跟踪识别[2]。对多帧视频序列中动态手势识别的传统方法主要有模糊检测方法、Harris角点识别方法和小波识别方法等[3-4]。文献[5]提出了基于自适应后验分割模型的多帧视频序列中动态手势识别方法，采用插值拟合实现了多帧视频序列中动态手势动态识别，但该方法的自适应性不好、模糊度较大。文献[6]提出了基于Harris角点参数检测的多帧视频序列中动态手势识别方法，通过人机交互手势特征分析，结合Harris角点检测和特征分割，实现了多帧视频序列中动态手势识别，但该方法的精度不高。

针对上述问题，本研究提出了基于卷积神经网络视觉融合的动态手势识别方法。首先，采用模糊数据多频谱采集方法进行多帧视频序列中动态手势视觉图像采集；然后，分析多帧视频序列中动态手势的层次化分割特征，采用图像分割和边缘信息增强方法，结合卷积神经网络融合，提高动态手势图像的分辨能力，结合角点优化检测技术，采用视觉动态跟踪分析实现了对手势动作特征点的自动化标定，以实现动态手势识别；最后，进行仿真测试验证了本方法在提高动态手势识别能力方面的优越性。

1 动态手势图像采样和特征分析

1.1 动态手势图像采样

为了实现对多帧视频序列中动态手势的视觉特征分析和识别，结合动态参数分析和传感识别跟踪融合方法，建立动态手势图像的轨迹分布式检测模型。结合特征识别方法[7]，采用卷积神经网络模型(图1)实现对手势视觉图像序列的采集和融合。图1中，将手势视觉图像的像素观测序列通过输入层输入神经网络中，采用卷积运算方法，实现对手势视觉图像采样信息的融合和特征优化提取，在隐藏层中结合动态手势图像的帧动态序列分布，实现卷积运算和信息同步跟踪识别，最终输出提取的动态手势图像特征信息。

图1 动态手势视觉特征采样和融合的卷积神经网络模型Fig.1 Convolutional neural network model for dynamic gesture visual feature sampling and fusion

构建多帧视频序列中动态手势视觉分布坐标系A和B，基于角点特征匹配的动作跟踪方法，假设动态手势采集点有N个，y为多帧视频序列中动态手势视觉图像的高频部分向量y=[fxg′，fyg′]的梯度函数，fx、fy分别表示动态、手势视觉图像的不变矩，g′表示视频序列的形状参数。多帧视频序列中动态手势视觉图像角点分布特征满足约束条件其中，x是多帧视频序列中动态手势图像的空间高频部分，能够获取多帧视频序列中动态手势特征的灰度像素特征信息基团，得到其边缘像素集：

(1)

(2)

采用自适应小波变换，在图像的成像区域进行噪点分离，得到多帧视频序列中动态手势特征的多重色差核函数：

(3)

式中：x1为多帧视频序列长度；x2为模糊检测度；r1为粗糙集；r2为边缘分布集；σ1为检测阈值；σ2为联合特征量。由此，采用模糊数据多频谱采集方法进行多帧视频序列中动态手势视觉图像采集，并根据图像采集结果实现手势动态特征分析[8]。

1.2 手势动态帧差融合

依据多帧视频序列中动态手势特征提取的运动学理论，进行多帧视频序列中动态手势特征分解和边缘轮廓信息的二维邻域提取，采用机器特征分析，在多帧视频序列中动态手势分布连通区域内[9]，得到动态手势特征的灰阶像素：

(4)

(5)

式中：r为多帧视频序列中动态特征的匹配度，0≤r≤1。采用基于SIFT(scale-invariant feature transform)角点检测的图像识别方法，对多帧视频序列中动态手势的位姿实现参数辨识和融合，得到特征分布式融合检测结果：

g(x，y)=f(x，y)+η(x，y)，

(6)

2 多帧视频序列中动态手势动作识别

2.1 基于卷积神经网络的特征提取

采用卷积神经网络视觉融合方法提取多帧视频序列中动态手势动作的边界轮廓特征点信息，采用分区域特征匹配方法进行多帧视频序列中动态手势动作图像分块融合[11]。假设输入的多帧视频序列中动态手势视觉图像视觉成像的暗原色分量为

(7)

(8)

(9)

式中：f(x,y)表示梯度方向动态帧差特征分量；a为多帧视频序列中手势动作分布流形参数；f0为基频频率。综上分析，基于卷积神经网络的特征提取方法可实现多帧视频序列中动态手势特征识别和层次化分割。

2.2 多帧视频序列中动态手势特征识别输出

(10)

式中：Δx为梯度增益；B为卷积尺度；xi+1为二阶矩；yi为一阶不变矩。采用动态帧差融合和手势差异性动作动态检测方法进行人机交互手势特征提取，得到手势图像的整体形状和轮廓特征，并将其表示成FHu=[FH1，FH2，…，FH7]的形式，得到手势图像的一阶和二阶分量：

(11)

(12)

(13)

式中：FBoF-SURF为SURF角点信息的统计特征量；FHu为动态手势图像的Hu矩。分别计算各个点的像素值，采用颜色分量融合方法进行图像的信息增强处理，采用图像分割和边缘信息增强方法提高动态手势图像的分辨能力，结合角点优化检测技术，采用视觉动态跟踪分析实现了对动态手势动作特征点的自动化标定。

3 测试与分析

为了验证本方法在动态手势识别中的应用性能，采用MATLAB进行仿真测试。假设动态手势视频序列的长度为2 400，特征标记点数为120，模糊度检测系数为0.36，粗糙集样本数为1 200，向量量化分割维数ωH1=1.00、ωH2=3.75、ωH2=7.20、ωH4=3.48。实验中，采用量化和统计分析的方法进行性能验算，采集的图像样本序列为2组序列，分别取不同帧点进行识别，结合局部特征检测、全局特征检测及多重特征检测方法进行识别精度验算，并与传统方法进行识别精度的对比，得到不同帧序列点的动态手势图像，如图2所示。

图2 不同帧序列点的动态手势图像Fig.2 Dynamic gesture images of different frame sequence points

以图2为检测对象进行识别，识别结果如图3所示。分析图3可知，本方法能有效实现动态手势识别，对各个动态帧特征点的识别准确概率提升均值为25.3%，比传统的主成分分析PRF(提升12.4%)、自相关特征检测RW(提升13.7%)、模糊度检测KDE(提升20.3%)等方法的效果更显著，证明本方法对动作特征点的定位性能较好。结合不同特征分量测试动态手势识别精度，对比结果如图4所示。