一种基于混合特征的人体视角无关动作识别方法

孙 剑，肜 丽

(信阳农林学院 信息工程学院，河南 信阳 464000)



一种基于混合特征的人体视角无关动作识别方法

孙 剑，肜 丽﹡

(信阳农林学院 信息工程学院，河南 信阳 464000)

人体动作特征的选择直接关系到人体视角无关动作识别的准确率，单一的特征往往受到光照、环境、背景先验知识等条件的影响，识别效果不理想。本文提出了一种基于光流直方图与兴趣点视频段词袋直方图相结合的混合特征，该混合特征充分考虑了不同特征的优缺点，应用到视角无关的动作识别方法中。利用多视角IMAS动作识别数据库对该混合特征的实验结果表明，该特征对于人体视角无关动作识别具有较好识别效果。

动作识别；视角无关；光流特征；兴趣点；混合特征

近些年，随着视频监控的普及和大数据技术的不断成熟，在视频智能监控、体感游戏、运动动作分析等领域基于视频的人体运动分析研究正在广泛开展并应用于实践[1]。许多视频由于拍摄角度不同、拍摄任务众多、摄像机移动等问题可能导致不同的观测结果，其中视角无关的人体动作识别是复杂背景下人体动作研究的重难点之一。目前众多的人体动作识别研究对于拍摄视角有一定的要求, 垂直或面向人体，但实际视频的拍摄角度往往不是固定视角。

人体动作识别一般包括运动检测、目标分类、人的跟踪、行为理解和描述四个步骤。运动检测中人体特征提取的好坏直接决定了最终识别分类的准确率。本文提出了一种光流直方图与兴趣点视频段词袋直方图相结合的混合特征，在增加了对人体动作运动信息表达能力的同时，还包含了有目标的运动信息，而且在复杂场景情况下，仍能有效地检测出运动对象，具有较强的鲁棒性。该混合特征可以有效地应用在视角无关人体动作识别算法中。

1 人体动作的特征提取

1.1 分区域光流特征提取

人体运动的局部特征通过分区域的局部光流信息来表示，运用Lucas-Kanade算法[2]计算兴趣区域的灰度图像在当前帧和前一帧在水平X方向和垂直Y方向的两个光流分量，纵向光流和横向光流。

通过对提取出的兴趣区域光流场进行标准化处理，将每一帧的兴趣区域的光流场统一大小，即标准化人体运动的最小外接矩形。然后利用分区域径向直方图方法来对纵向光流和横向光流场各自的18个子区域的光流幅度值进行统计。通过这样的处理，每帧动作图像便可由2个方向的光流分量、2×2的子边框、18个子区域共144维(2×2×2×18)光流特征所表征，其特征提取过程如图1所示。

1.2 兴趣点视频段词袋直方图特征提取

通过兴趣点检测方法寻找兴趣视频帧或者动作信息突变的视频帧并利用3D SIFT描述算子描述。利用Kmeans等人的方法将样本库中的动作视频兴趣点3D SIFT描述算子聚类形成C维(这里取C=60)的标准单词词袋库[3]。每当需要分析新的动作时，利用其前后相邻的F帧(这里取F=4)视频段的描述算子向该兴趣点词袋投影，根据F帧视频段兴趣点描述算子到标准词袋库单词的欧氏距离对视频段内的描述算子进行归类，通过统计此视频段内标准词库中单词所发生频数，形成当前帧兴趣点视频段词袋直方图[4]，基特征提取过程如图2所示。

图1 分区域光流特征提取过程 图2 兴趣点视频段词袋直方图特征提取过程

1.3 混合特征

为了改善特征对人体动作运动识别的准确率，这里将时空兴趣点特征和光流特征结合起来，将局部光流向量和局部兴趣点结合在一起，形成混合特征向量，如式(1)所示。

Ft=[OFx,OFy,OH]

(1)

其中：Ft、OFx、OFy、OH分别为混合特征向量、水平方向光流向量、垂直方向光流向量、兴趣点视频段词袋特征[5]。这样的混合特征能够在保留人体动作整体信息的同时适应一定程度的遮挡问题，在一定的视角范围内具有较好的识别效果。

2 动作识别方法

解决统计分类的动作识别方法有很多，本文选用最易实现的最近邻分类器[6]来测试特征提取方法的识别率。

3 实验结果(算法验证)

本实验是在MATLAB2009a中运行实现的。为了验证本文方法的有效性，在公开的Inria Xmas Motion Acquisition Sequences (IXMAS) 数据库上作了大量的对比实验。该数据库有13个动作，每种动作由11个人完成，并由4个侧面摄像机与1个顶部摄像机同时采集，执行者执行动作有多个摄像机视角，因此选择该数据库用于本文视角无关的人体动作识别算法验证。

表1 分区域光流特征与最近邻方法相结合识别结果(%)

表2 兴趣点视频段词袋直方图特征与最近邻方法相结合识别结果(%)

为了测试人体动作特征视角鲁棒性，分别采用前文的分区域光流特征、兴趣点视频段词袋直方图特征和混合特征来表征动作。测试方法采用留一法 (leave One Actor Out，LOAO)来验证实验效果，每次实验将一个人的动作数据作为测试样本集，数据库中其他人的动作数据作为训练样本集。把每个人的动作数据样本都当作一次测试样本集，汇总统计识别结果。分区域光流特征、兴趣点视频段词袋直方图特征和混合特征与最近邻的方法相结合，在各摄像机子视角空间下的动作识别结果如表1、表2、表3所示。

表3 混合特征与最近邻方法相结合识别结果(%)

由实验结果可以看出，基于兴趣点与光流的混合特征的识别率要比单个特征识别率高。单一的兴趣点视频段词袋直方图特征用于视角变化的动作识别率不高，其主要原因是兴趣点所获得的主要是动作的局部特征，整体运动信息较少；分区域的光流特征由于抗噪性不强，视角变化的动作识别率效果虽有提升，但也不是很理想。将两者结合的混合特征既具有兴趣点局部特征抗噪性强的优点，又能很好地得到人体的运动信息，比单一的分区域的光流特征平均提高了6个百分点。

4 小结

本文提出了一种基于混合特征的人体视角无关动作识别方法，将分区域的光流特征与兴趣点视频段词袋直方图特征相结合，其发挥出了局部特征的抗噪性能力强与光流场在人体运动信息表示方面的优点，使得算法具有较好的鲁棒性能。从识别结果可以看出，这种混合特征具有较高的识别正确率，充分证明了该算法的有效性。接下来的工作将尝试对视角无关的动作识别方法进行更深入的研究，进一步提高算法的计算效率和识别率。

[1] 王 亮，胡卫明, 谭铁牛.人运动的视觉分析综述[J].计算机学报，2002, 25(3)：1-16.

[2] Lucas B, Kanade T. An iterative image registration technique with an application to stereo vision[C]. In: Proc. of the International Joint Conferences on Artificial Intelligence, Vancouver, 1981：121-130.

[3] 王 策. 基于概率图模型的人体动作识别算法研究[D].沈阳: 沈阳航空航天大学，2014.

[4] Bregonzio M, Gong S, Xiang T. Recognising action as clouds of space-time interest points[C]. In: Proc. of the 27th IEEE Conference on Computer Vision and Pattern Recognition, Miami, 2009：1948-1955.

[5] 郭 利, 姬晓飞, 李 平, 等.基于混合特征的人体动作识别改进算法[J].计算机应用研究, 2013, 30(2): 601-604.

[6] 邱天爽, 杨春晖. 一种基于改进近邻分类器的人脸识别方法[J].信号处理, 2008, 24(1)：54-57.

(编辑：严佩峰)

A Method of Human View-invariant Action Recognition Based on Mixed Feature

SUN Jian, RONG Li

(College of Information Engineering, Xinyang Agriculture and Forestry University, Xinyang 464000, China)

This paper proposed a mixed feature which combined the amplitude histogram of optical flow and the interest point words in shot length-based video, which fully considering the advantages and disadvantages of different characteristics. The experimental on multi-view action recognition dataset IMAS demonstrated that the proposed approach has satisfactory performance for the unknown view action recognition.

action recognition; view-invariant; optical flow; interest points; mixed feature

2017-02-06

河南省软科学研究项目(162400410469).

孙 剑(1989—)，男，河南信阳人，助教，硕士，研究方向：模式识别与智能系统.

*通讯作者：肜 丽(1977—)，女，河南新野人，副教授，研究方向：计算机应用.

TP391.4

A

2095-8978(2017)02-0107-03