基于Hu矩和纹理特征结合的人体异常行为识别

王向东, 张丽红

(山西大学 物理电子工程学院， 太原 030006)

基于Hu矩和纹理特征结合的人体异常行为识别

王向东, 张丽红

(山西大学 物理电子工程学院， 太原 030006)

为了提高人体异常行为识别的准确率，采用了一种将多特征结合的异常行为识别算法，主要包括对步行、快跑、慢跑、拳击、双手挥舞及鼓掌6种异常行为进行识别;首先从视频流中提取出人体轮廓，然后从所得的轮廓中提取Hu矩特征与纹理特征;最后通过模板匹配的方法，采用马氏距离度量所需识别的当前行为特征向量与标准模板行为的特征向量之间的相似性，并通过设置相应的阈值判定该行为所属类别;实验证明，该方法比提取单一特征的方法识别率高，且具有一定的实用价值。

Hu矩;纹理特征;马氏距离;模板匹配;行为识别

0 引言

近年来，人体异常行为识别已成为图像处理、模式识别中的研究热点。它在虚拟现实、图像检索、视频检索、视频监控等领域具有广泛的应用价值。但是，由于真实环境的复杂性，行为序列的非刚性等特点使得人体异常行为识别成为一个具有挑战性的研究领域。目前主要有两种行为识别的方法[1]:基于模板匹配的方法和状态空间法。第一种方法首先将图像序列转换为一组静态模式，然后在识别过程中与提前存储的行为进行比较。其优点是实现简单，计算量小，缺点是识别率低。第二种方法首先定义每个静态姿势作为一个运动状态，所有这些状态之间通过概率联系起来。任何运动序列都可以看成是这些静态姿势的不同状态之间的一次遍历过程，然后在这些遍历期间计算它们的联合概率，并且将最大值作为分类行为的标准。其优点是识别率高，但计算量大，在视频监控中异常行为识别时实时性较差。

模板匹配行为识别的关键步骤如下：第一步进行特征提取；第二步进行特征识别[2]。行为识别其实也就是特征的识别。Hu矩对形状的描述比较准确，但对细节未能很好地描述出来，导致对图像的描述不够充分，而纹理特征正好可以描述图像的细节成分，将两种特征结合起来，可以更加准确地描述人体行为。因此本文将图像的Hu矩[3]和纹理特征结合起来度量人体行为，采用马氏距离计算当前行为与模板行为之间的相似度，进行模式识别[4]。

1 纹理特征和Hu矩的特征提取

1.1 纹理特征

纹理特征[5]是识别和描述物体的一种极为重要的视觉特征。图像的纹理特征反映了图像中反复出现的局部模式和排列规律，纹理特征提取的方法主要有结构方法、统计方法、模型方法和信号处理方法。结构方法主要基于“纹理基元”进行分析，找出纹理的基元，它认为纹理是由无数的基元组成，不同种类的基元、数目、方法决定了纹理的表现形式。统计的方法是基于像素及其邻域的灰度特性，研究纹理区域中的统计特性。信号处理的方法是建立在时、频分析的基础之上，首先对纹理中的特定区域进行某种变化，再在变换后的图像中提取平稳的特征值，将这个特征值作为特征来表示图像区域间的差异性和区域内部的相似性。模型的方法，假设纹理是以某种参数控制的分布模型方式形成的，从纹理图像的实现来估计计算模型参数，将该参数作为特征。本文采取了统计方法中的灰度共生矩阵描述纹理特征,该方法提取的纹理特征具有很强的识别能力。

灰度共生矩阵被定义为从灰度值为i的点离开某个固定位置到达灰度为j的概率。灰度共生矩阵用Pd(i,j)(i,j=0,1,2...L-1)表示。i、j表示灰度值，d表示两个像素的位置关系,d一般取1。θ表示矩阵的生成方向，一般取135°、45°、90°、0°四个方向，如图1所示。

图1 灰度共生矩阵

共生矩阵的每一个元素代表了一种灰度组合下的次数，例如pd(m,n)代表了图像中灰度值为m和n的两个像素相距为d的出现的次数。然后将共生矩阵的每一个值除以总和就得到了归一化共生矩阵。

从归一化共生矩阵里可以提取14个特征，研究发现只有4个特征是不相关的，这4个特征可以实现较高的识别率。本文也只提取了这4个特征，作为识别行为的特征向量。

1)能量:

(1)

能量是灰度共生矩阵各元素的平方和，反映了图像纹理的粗细程度和图像灰度分布的均匀程度。

2)对比度:

(2)

对比度反映了图像沟纹深浅的程度和图像的清晰度。

3)熵:

(3)

熵表示图像的非均匀程度和复杂程度。它是图像信息度的测量。

4)相关:

(4)

式中,4个参数的定义为：

相关反映了灰度共生矩阵各元素的相似程度。

1.2 Hu矩

Hu矩[6]是Hu在1962年提出的，Hu矩可以作为图像的形状特征。Hu在文中提出了7个几何不变矩，这些变量满足旋转，平移和伸缩不变性。对于一幅数字图像，假设x，y为图像中任意一点的坐标，则离散的Hu矩和对应的中心矩为：

(5)

p,q为0,1,2…，并且是整数。

(6)

(7)

对应的归一化的中心距被定义为：

(8)

从三阶矩和二阶矩，我们可以推出7个不变矩。

φ1=η20+η02

(9)

φ2= (η20-η02)2+ 4η112

(10)

φ3=(η30-3η12)2+(3η21-η03)2

(11)

φ4=(η30+η12)2+(η21+η03)2

(12)

φ5=(η30-3η12)(η30+η12)[(η30+η12)2-3(η21+η03)2]+

(3η21+η03)(η21+η03)[3(η30+η12)2-(η21+η23)2]

(13)

φ6=(η20-η02)[(η30+η12)2-(η21+η03)2]+

4η11(η30+η12)(η21+η03)

(14)

φ7=(3η21+η03)(η30+η12)[(η30+η12)2-

3(η21+η03)2]+(3η12-η30)(η21+η03)

[3(η30+η12)-(η21+η03)2]

(15)

2 特征提取

主要对跑、慢跑、步行、双手挥舞、拳击、鼓掌六种异常行为进行识别研究。对于每一种行为，提取7个Hu矩和4个纹理特征，由此组成一个11维的特征向量。因此每一种行为的特征可以用一个特征向量表示：Mj=(M1,M2,M3,M4,M5,M6,M7,M8,M9,M10,M11)。提取6种行为的标准模板的特征向量，如表1所示。

3 相似性度量

为了将不同的模式划分为不同的类别，需要定义一种相似性来测量不同样本间的相似性。一般的相似性测量大概有3种类型：相似测量、距离测量、匹配测量[7]。本文使用距离测量中的马氏距离进行测量。

本文采用马氏距离测量正常行为与异常行为之间的相似度。马氏距离是一种有效测量两样本的相似度的方法。与欧式距离不同的是它考虑了各种特征之间的相互关系，并且与尺度无关。欧式距离将样本的不同属性同等看待，这一点有时不能满足实际要求。第i个样本与第j个样本的马氏距离用式(16)计算[8]：

d2(xi,yj)=(xi-yj)TV-1(xi-yj)

(16)

式中,

(17)

(18)

表1 标准行为模板的特征向量值

其中:Xi和yj分别为第i个和第j个样本的m个特征所组成的特征向量，V为样本协方差矩阵。

4 模板匹配

提取出步行、慢跑、快跑、拳击、双手挥舞、鼓掌每种标准行为的11个特征，各自组成一个特征向量。然后分别提取出每个测试样本的特征向量，进行模板匹配。计算测试样本与标准模板的马氏距离，进行判别行为所属类别，如果测试图像与模板图像的马氏距离最小，就将它的类别作为已知的行为类别。

5 实验结果与分析

在Matlab2012b平台下,采用KTH图像数据库对本文的算法进行验证，该数据库包括6类行为：步行、慢跑、跑、拳击、双手挥舞和鼓掌，是由25个不同的人执行的，分别在4个场景下，一共有299段视频。

分别从6种行为各自的视频里面，每种行为连续抽取300帧图片。然后提取每一帧图片的一个特征向量，该特征由本文所提出的Hu矩和纹理特征组成。然后用马氏距离测量它们与标准模板之间的距离，进行判别行为所属类别。表2为其6种行为的识别率。

表2 6种行为的识别率

为了测试提取不同的特征值对算法的识别率，在相同的图像库中进行测试。步骤和之前相同，只提取它的Hu矩，进行6种行为的识别。图2给出了两种算法识别率的比较情况。

图2 两种算法的识别率比较

本方法对于简单的日常行为具有较高的识别率，但由于Hu矩主要描述的是形状特征，对于跑步与慢跑，步行等形状相似的图片识别率未能达到理想水平。也就是如果两种行为的人体姿势形状相似，就容易引起错误的识别。

6 结论

本文基于模板匹配的人体异常行为识别，将纹理特征与Hu矩结合起来，完整地描述了行为的特征，实验证明比单纯提取Hu矩特征的识别率高很多。最后用马氏距离测量当前行为与标准行为的相似度，实验证明比用欧式距离识别率高，它考虑了行为的各种特征的相关性。最后在KTH数据集上测试，取得了较高的识别率，对于形状特征明显的行为，识别率很高。但对于跑和慢跑两种动作的识别率有待于进一步提升。

[1] 徐光祐，曹媛媛.动作识别与行为理解综述[J].中国图像图形学报，2009,14(2):189-195.

[2] 李 彤. 基于 HOG 特征提取的骑车人检测算法研究[J]. 电子技术与软件工程,2015,08:99.

[3] Hu M K．Visual pattern recognition by moment in variant[J]．IEEE Transactions on information theory，2006，8(2)：179-187．

[4] 吴香华,牛生杰,吴诚鸥,等. 马氏距离聚类分析中协方差矩阵估算的改进[J]. 数理统计与管理,2011,02:240-245.

[5] Haralick R M, Shanmugam K. Texture features or image classification[J]. IEEE Trans. on Sys, Man, and Cyb, 1993, SMC-3(6):610-621.

[6] 张 伟,何金国. Hu不变矩的构造与推广[J]. 计算机应用,2010,09:2449-2452.

[7] Hung W L，Yeng M S，Similarity Measures of intuitionistic Fuzzy Sets Based on Lp Metric[J]．Approximate Reasoning，2007，46(i)：120-136.

[8] Qing Q, Zhang X A, Li A H. Research on the application of Mahalanobis distance in catastrophic faults detection of analog circuits [J]. Electronic measurement and Instrument, 2009, 23(7): 41-44.

Recognition of Human Abnormal Action Based on Hu-Moment and Texture Feature

Wang Xiangdong，Zhang Lihong

(College of Physics and Electronic Engineering，Shanxi University，Taiyuan 030006，China)

In order to improve the accuracy of human abnormal behavior recognition, an action recognition algorithm using multiple features is employed in this paper, actions mainly including walking, jogging, running, boxing, hand waving, hand clapping. Firstly, human silhouette is extracted from video flowing. Then, Hu-moment features and texture features are extracted from this silhouette. Finally, the similarity between current behavior feature vectors and feature vectors of standard template is calculated using Mahalanobis distance. Experiment results show that this method has a higher recognition rate than that which extracts unique feature and it is of a great practical value.

Hu-moment; texture feature; Mahalanobis distance; template matching; behavior recognition

2016-11-04；

2016-11-28。

山西省科技攻关计划(工业)资助项目(2015031003-1)。

王向东(1992-)，男，硕士，主要从事图像处理、模式识别方向的研究。

1671-4598(2017)04-0179-03

10.16526/j.cnki.11-4762/tp.2017.04.049

TP18

A