四维时空兴趣点提取结合多流形判别分析的人体动作识别*

王向前,　张月芬

(1.平顶山学院 师范教育学院，河南 平顶山 467000；2.云南大学 网络与信息中心，云南 昆明 650091)



四维时空兴趣点提取结合多流形判别分析的人体动作识别*

王向前1*,张月芬2

(1.平顶山学院 师范教育学院，河南 平顶山 467000；2.云南大学 网络与信息中心，云南 昆明 650091)

针对人体动作识别方法较差的稳定性和视角选择的局限性问题，提出了四维时空兴趣点提取结合多流形判别分析(MMDA)的人体动作识别方法．首先，将每个动作通过三维空间体和四维时空兴趣点投影到任意视角；然后，构建运动历史图像和非运动历史图像，并使用类增强主成分分析进行降维；最后，将降维后的矩阵构建为多流形，计算测试图像流形与各个训练图像流形之间的距离，利用最近邻分类器完成识别．在IXMAS数据集上的实验结果表明，相比其他几种动作识别方法，提出的方法取得了更高的识别率，且对任意视角都具有较好的鲁棒性．

视角不变；人体动作识别；多流形判别分析(MMDA)；四维时空感兴趣点；最近邻分类器

为了解决一般情况下固定视角动作识别问题，研究者提出了许多方法，这些方法可以分为3D空间[1，4，5](3D-S, [x,y,z] )和2D空间(2D-S, [x,y] )方法[2，3]．2D兴趣点方法在兴趣点表示范围和效果方面弱于3D兴趣点方法，2D兴趣点比3D兴趣点更简单容易．但是3D和2D兴趣点都无法表征动作随时间变化的特征．

本文提出了一种可以提取4D时空兴趣点(4D-STIP)的方法，以4D-ST [x,y,z,t] 表示．其中，本文方法中3D和4D兴趣点都采用xyz公认的空间坐标变量．

1　提出的方法

1.1四维时空兴趣点提取

1.2MHI和NMHI构建

为了能减少数据量并简洁的表示动作，本文引入运动历史图像(MHI)的概念，MHI将图像中发生的历史动作进行编码．然而，由于目标的运动部位表现相似，因此仅利用MHI不能获得稳定优异的性能．为了解决该问题，提出了无运动历史图像(NMHI)概念，将其与MHI相结合，进而增加目标非运动部位的信息．

利用类增强主成分分析(CA-PCA)算法对MHI、NMHI的特征向量进行降维．

1.3多流形判别分析

将降维后的样本建模为流形MT=[xT1,xT2,…,xTt]，为MT分配一个标记c：

若不充分利用所有样本计算流形距离，则会丢失一部分样本信息．

2　实验与分析

2.1实验数据集

本文方法在INRIA Xmas 运动获取序列(IXMAS)[4]上进行性能测试．图2(a)为IXMAS数据集，图2(b)的第一行为IXMAS数据集中5种不同视角获得的挥手动作．算法用MATLAB 2011b编译，运行的PC机配置为酷睿i5处理器，3.3 GHz和4 GB RAM．实验中，利用重构的3D-S和5个不同视角的视频一起提供动作信息，IMXAS中的每个动作运行3次，每个动作由12名演员分别演示．

2.2参数设置

2.3结果与分析

对于IXMAS，本文有两种实验方案：第一种有已知视角，第二种是未知视角.将本文方法每个相机的识别率和平均识别率与其他几种方法进行比较，如表1所示．

表1　IXMAS数据集进行训练和测试时每个相机的识别率Tab.1　Recognition rate of each camera when training and testing on IXMAS dataset　%

从表1可以看出，在未知视角的情况下，本文方法平均识别率为77.2%，低于[5]方法．在已知视角的情况下，除了[5]方法，本文方法表现出了最好的性能．[5]利用灰度图上的HOG特征去提高性能，灰度图像不能在3D-S体中计算．对于未知视角性能有轻微的下降，这是由于测试的视角是完全随机的，可能与训练视角完全不同．

3　结　语

本文提出了一种非常实用的视角不变动作识别方法，通过扩展广泛使用的3D-STIP，将3D-S体序列结合本文提出的4D-STIP投影到任意的2D-S图像平面可以生成任意视角的特征，对运动和非运动部分的编码增加了识别性能．利用IXMAS和本文的SNU数据集对提出的方法进行评估，发现该方法既准确又鲁棒．

未来会将本文方法应用于其他的人体动作数据集上，并与其他新颖技术相结合，通过大量实验进一步优化算法．

[1]王鑫, 沃波海, 管秋,等. 基于流形学习的人体动作识别[J]. 中国图象图形学报, 2014, 19(6):1 216-1 221.

[2]赵海勇, 李俊青. 基于动作串的人体行为识别[J]. 计算机科学, 2013, 42(10): 296-300.

[3]胡琼, 秦磊, 黄庆明. 基于视觉的人体动作识别综述[J]. 计算机学报, 2013, 37(12): 2 512-2 524.

[4]WEINLAND D,RONFARD R,BOYER E. Free viewpoint action recognition using motion history volumes[J]. Computer Vision and Image Understanding, 2006, 104(2): 249-257.

[5]WU X X, JIA Y D. View-Invariant action recognition using latent kernelized structural SVM [J]. Lecture Notes in Computer Science, 2012, 7576(1): 411-424.

责任编辑：龙顺潮

Human Action Recognition Based on Extracting Four-Dimensional Space-Time Interest Points and Multiple Manifolds Discriminant Analysis

WANGXiang-qian1*,ZHANGYue-feng2

(1.College of Normal Education,Pingdingshan University, Pingdingshan 467000;2.Center of Network and Information,Yunnan University,Kunming 650091 China)

As the poor stability of action recognition method and the limitation of choosing viewpoints, a new view invariant action recognition based on four-dimensional space-time interest points and multiple manifolds discriminant analysis is proposed. Firstly, each action is projected to arbitrary viewpoints with 3D space volumes and 4D-STIP. Then, motion history images and non-motion history images are constructed, and the feature dimension is reduced by class augmented principal component analysis. Finally, matrixes with reduced dimension are constructed into multiple manifolds, the manifold distances between testing image and training mages are calculated, and nearest neighbor classifier is used to finish recognition. The experimental results on the IXMAS data set show that the proposed method has better recognition accuracy than several other outstanding algorithms, and it is robust to arbitrary universal perspective.

view invariant; human action recognition; multiple manifolds discriminant analysis (MMDA); 4D space time interest points; nearest neighbor classifier

2015-06-22

河南省教师教育课程改革研究项目(2015-JSJYYB-139)

王向前(1978-)，女，河南 鲁山人，副教授. E-mail:wangxqpdsu@126.com

TP391.4

A

1000-5900(2016)01-0111-04