一种融合视觉不变矩参数表征的动态手势识别方法

文政颖，王旭辉，于海鹏

（1 河南工程学院 软件学院 郑州 451191；2 河南工程学院 计算机学院，郑州 451191）

0 引 言

随着计算机视觉跟踪和信息识别技术的发展，结合计算机视觉参数分析，建立视觉融合下的连续帧变换下动态手势识别模型，根据视觉变化参数和遮挡参数分析，实现动态手势识别，并将动态手势算法应用在监控、智能交通、机器人控制规划等领域中，提高动态手势识别和智能检测能力，相关的动态手势方法在计算机视觉领域中具有重要意义［1］。

传统方法中，连续帧变换下动态手势识别方法主要有主成分分析方法、模板匹配方法、联合自相关检测方法等，结合对连续帧变换下动态手势特征检测和匹配分析结果，结合视觉跟踪，实现连续帧变换下动态手势识别［2－3］。文献［4］提出基于约束光照变化下的连续帧变换下动态手势识别方法，结合Harris 角点检测，实现连续帧变换下动态手势检测识别，但该方法识别的精度较高，时间开销较大；文献［5］提出基于最佳特征匹配的连续帧变换下动态手势识别方法，结合匹配滤波检测，实现识别，提高检测精度，但该方法的系统稳定性不好，对连续动作变化下的手势识别能力不好。

针对上述问题，本文提出一种基于融合视觉不变矩参数表征的动态手势识别方法。首先，采用图像处理和视觉融合分析技术进行连续帧变换下动态手势特征采集和信息预处理；其次，对动态手势特征参数检测分析，提取动态手势图像的模糊特征分量，采用空间轮换变换方法，结合融合视觉不变矩参数表征方法，实现动态手势的参数检测和识别；最后，进行仿真测试分析，表明本文方法在提高动态手势识别能力方面具有优越性能。

1 连续帧变换下动态手势视觉图像采集及预处理

1.1 连续帧变换下动态手势视觉图像采集

采用图像处理和视觉融合分析技术进行连续帧变换下动态手势特征采集和信息预处理，通过匹配滤波检测方法，构建动态手势的参数检测模型，结合分区域特征匹配方法进行动态手势视觉图像的分块检测，通过字典集模块匹配，构建动态检测和分布式融合模型，采用相关性融合方法进行动态手势视觉图像的特征检测和聚类处理［6］，得到动态手势图像的随机背景子块分布和背景字典集，如图1 所示。

图1 动态手势图像的随机背景子块分布和背景字典集Fig.1 Random background sub－ block distribution and background dictionary set of dynamic gesture image

根据图1 所示动态手势图像的随机背景子块分布特征，初始化前景字典［7］，手动获取第一帧目标参数，得到动态手势图像的采集和视觉更新模型，如图2 所示。

图2 动态手势图像的采集和视觉更新模型Fig.2 Dynamic gesture image acquisition and visual update model

在第一帧手动截取动态手势特征图像模板尺度，按m × n的大小进行无标记连续帧变换下动态手势特征识别［8］，采用等间隔特征匹配方法，得到动态手势图像子块，∈Rl×M，i＝1：M，其中l＝m × n为子块的维数。将动态手势图像的前景字典Φtarget∈Rl×M汇聚为一个灰度不变矩。由于目标的外观会不断变化，得到图像的随机分布序列∈Rl×N，i＝1：N，图像的背景字典Φbca∈Rl×N，采用随机概率密度分析，得到动态手势图像的分辨率权重，式（1）：

采用模板匹配，得到动态手势图像的状态特征分布最优解，式（2）：

其中，G（x，y；t）是当前帧下动态手势图像检测的观测区域；Gy为模板的像素坐标；Gx是随机分布不变矩；∇u为仿射不变函数，该函数由参数σ决定，根据上述分析，构建图像的梯度融合模型，得到梯度特征增量c（x，y），式（3）：

构建了连续帧变换下动态手势图像的采集和信息融合模型，根据模糊度特征检测结果，实现对连续帧变换下动态手势图像的检测和特征识别［9］。

1.2 连续帧变换下动态手势图像降噪处理

通过匹配滤波检测方法，实现动态手势图像的增强和滤波检测，去除干扰分量，提高图像的空间分辨率。根据图像信息融合分布检测，得到动态手势视觉图像的分区域特征，匹配过程如图3 所示。

图3 动态手势视觉图像的分区域特征匹配过程Fig.3 Sub－regional feature matching process of dynamic gesture visual image

假设连续帧变换下动态手势视觉图像的灰度像素集为（i，j），以此为像素中心，根据运动动作轨迹的特征量进行动作变换［10］，在锐化模板匹配集下，得到动态手势视觉图像的检测分量，式（4）：

其中，T为采样时间；a为边缘幅值；bm为边界区域轮廓特征量。

为了降低连续帧变换下动态手势视觉图像轨迹特征识别的误差，结合平均帧间距离来度量参数分析，进行像素重构，得到连续帧变换下动态手势动作位置误差，式（5）：

其中，σθ（k）为帧点误差；σx（k）为帧输出交叉项；σy（k）为插值系数。

插值重建得到重建运动片段rm，提取动态手势视觉图像W的R、G、B分量，设om，rm分别为原始运动序列和重构运动序列，相应得到动态手势视觉图像的滤波检测输出，式（6）：

其中，0＜t ＜1 表示采样序列；qi为手势的动态误差；t1为第一帧采样点；t2为第二帧采样点。

设定RGB 分量分别为AR、AG、AB和WR、WG、WB，根据上述分析，构建了动态手势视觉的降噪模型。根据图像降噪结果，提高图像的动态识别能力。

2 动态手势识别优化

2.1 手势特征提取

根据图像信息融合分布检测，建立动态手势特征分析模型，采用高分辨的特征变换和模糊度检测方法，得到特征参数分布集，式（7）：

其中，t1＜t ＜t2，t为t1和t2时刻之间的帧序号，p（t1）和p（t2）分别为不同采样点的关联维数，采用连续帧变换检测方法，得到特征参数融合分解结果，式（8）：

其中，Rf为帧干扰项，表示视觉图像的像素特征点在方向上的滤波输出。

构建动态手势动作图像信息检测的模板匹配函数f（gi）为式（9）：

其中，c1为连续帧变换系数；为动态手势视觉检测分量；ρj为匹配参数；ε为空间自由度系数，由此获得图像信息的背景差分量。

在图像的分布域中，采用融合视觉不变矩参数表征方法，实现连续帧变换下动态手势的参数检测和识别，得到特征提取输出，式（10）～式（12）：

其中，wj为联合信息熵，d（omi，rmi）表示原始视觉图像第i帧和重构运动第i帧之间的欧氏距离。

2.2 动态手势检测输出

在提取动态手势图像模糊特征分量的基础上，采用空间轮换变换方法，实现对连续帧变换下动态手势的不变矩特征检测，考虑视觉图像的灰度像素级f，图像的模糊运动序列误差定义为式（13）：

其中，Dp（om，rm）描述动态手势视觉图像的位置误差；Dv（om，rm）表示关节速率之差；u是调整动态手势视觉速率差的比例。

采用灰度不变矩特征分解方法得到图像的任意灰度像素点为（x，y），得到动态手势视觉融合输出，式（14）：

姿态变换特征概率权重ρi可以通过对连续帧变换下动态手势视觉的区域特征分布量化集Si(i＝1，2，…，M) 求得，动态手势视觉图像的像素点子集输出为式（15）：

其中，A为视觉图像三维尺度信息，t（x）为视觉图像采样间隔。

人体动作的轨迹分布场为式（16）：

其中，ft(i，j，k) 为融合视觉不变矩，求得动态手势视觉特征增量Δτ，式（17）：

动态手势特征识别输出为式（18）、式（19）：

其中，σ为关联分布集，Δu为动态手势动作分量。

综上分析，构建连续帧变换下动态手势动作图像的识别模型，实现对动态手势的不变矩特征检测，融合视觉不变矩参数表征方法，实现动态手势的参数检测和识别。

3 实验测试

采用Matlab 仿真实验验证本文方法在实现动态手势的参数检测识别中的应用性能，动态手势采集的图像样本数为200 幅图像，帧变换的速率为290 BPS／s，联合关联匹配数λ 设定为0.01，采用512×512 像素点作为训练集，基本手势动作样本如图4 所示。

以图4 的手势动作作为测试样本序列，实现动态手势视觉分析识别，识别结果如图5 所示。

图4 基本手势动作样本Fig.4 Basic gesture action sample

分析图5 可知，本文方法能有效实现对连续帧变换下动态手势识别，对手势动态特征点的标记能力较强，测试动态手势的二维动作流形分布稀释解，如图6 所示。

图5 动态手势识别结果Fig.5 Dynamic gesture recognition results

图6 连续帧变换下动态手势的二维动作流形分布稀释解Fig.6 Dilution solution of two－ dimensional action manifold distribution of dynamic gestures under continuous frame transformation

分析图6 可知，本文方法对连续帧变换下动态手势的二维动作流形检测的可靠性较高，测试识别精度如图7 所示。

图7 识别精度测试Fig.7 Identification accuracy test

分析图7 可知，本文方法对连续帧变换下动态手势的二维动作识别的精度更高。

4 结束语

本文根据视觉变化参数和遮挡参数分析，提出一种基于融合视觉不变矩参数表征的动态手势识别方法。构建动态检测和分布式融合模型，采用相关性融合方法进行特征检测和聚类处理，根据图像信息融合分布检测，建立动态手势特征分析模型，结合图像降噪和信息增强以及特征提取结果，实现动态手势特征识别，提高图像的动态识别能力。该方法对动态手势视觉特征识别的精度较高，解析结果准确可靠。