FD+HOG融合人体行为识别

史东承, 衡瑶瑶

(长春工业大学 计算机科学与工程学院， 吉林 长春 130012)

0 引 言

随着人类社会的稳步发展，计算机视觉领域的蒸蒸日上，人体行为识别技术也慢慢深入到我们生活的方方面面，人类的衣食住行已离不开科技产品的辅助。人体行为识别技术的发展对社会公共设施提供了便利，例如养老院、医院、警察局等处处体现了该技术的重要性。人体行为识别主要研究特征提取和分类识别两个方面。近年来，研究者们已经提取出了解决特征提取识别率低的方法。在特征提取研究中主要是根据图像的纹理、梯度、形状等特征提出了许多特征描述子，主要包括局部二值模式(Local Binary Patterns, LBP)、方向梯度直方图(Histogram of Oriented Gradient, HOG)、尺度不变特征变换(Scale-Invariant Feature Transform， SIFT)以及傅里叶描述子(Fourier Descriptor, FD)等。

图像形状的特征方法：

1)区域的形状特征提取，如Hu不变矩[1]分别提取训练样本和测试样本的HOG和加权Hu矩自适应融合参数将两者融合后，进行模板匹配达到识别的效果对噪声干扰有很好的鲁棒性。

2)边界的形状特征提取，如HOG[2]是对织物疵点的检测，通过疵点的灰度和纹理特征用HOG提取的纹理特征，超像素分割提取灰度特征，用低秩分解融合特征来检测疵点。和傅里叶变换[3]将人体姿势的二维轮廓进行傅里叶变换生成傅里叶描述子结合SVM进行姿势识别,其他方法，如小波[4]使用离散小波纹理特征获得均匀完整局部二值模式变换特征提取技术产生了最好的分类精度。

在分类识别研究方面主要有K最近邻(K Nearest Neighbor， KNN)、隐马尔可夫模型(Hidden Markov Model， HMM)、支持向量机(Support Vector Machine， SVM)等方法。文献[5]证明了KNN分类器的性能显著地提高了在给定数据集中成对比较特征时基于训练类组统计的两个标准的使用。文献[6]提出了一种交互的嵌入式隐马尔可夫模型框架的自动检测和分类人类个体行为和群体互动。文献[7]提出了一种结合测地线图和支持向量机(SVM)的人工关节估计算法。文献[8]提出一种基于隐马尔可夫模型和支持向量机混合模型的音频分类方法,用于语音、音乐、语音+音乐、静音四类音频分类。考虑到提取特征复杂度和识别率，文中提出了基于改进后的HOG特征+FD特征融合的方法表征图像的特征+SVM完成分类识别。该方法首先分别提取出人体行为数据库中每帧图像的HOG特征和FD特征，然后用PCA对HOG特征降维，将降维后的HOG特征改进与FD特征融合放入SVM中训练识别。实验表明，文中算法在人体行为识别中识别率可达到86%以上。

1 研究方法

文中算法大概流程有三部分：目标检测、特征融合、分类识别。人体行为数据库为小段视频，首先用背景差分法将视频帧中的前景目标提取出来保存成图片格式，然后对图片进行预处理获取人体的轮廓形状，将人体形状作为输入提取图像的HOG+FD的融合特征，最后进入SVM分类识别。

人体行为识别算法流程如图1所示。

图1 人体行为识别算法流程

1.1 背景差分法提取目标前景

背景差分法实际上就是根据视频序列的图像构建一个背景模板，后面的图像与其做减法的方法。文中采用中值背景建模的方法，选视频帧的前15帧来作为背景建模，然后从16帧开始与背景图形做差分运算，选择出合适的阈值对差分图像作二值化。得到的目标图像做边缘检测得到目标轮廓。

KTH数据库中提取的轮廓图如图2所示。

图2 KTH数据库中提取的轮廓图

1.2 傅里叶描述子

FD描述全局特征的矩阵，表示图像轮廓形状的特征，将处理后的图像轮廓曲线用坐标点构建成一维序列后，对其进行一维的傅里叶变换，从而获得可以描述轮廓信息的一系列傅里叶系数。其能量主要集中于少数几个低频傅里叶系数，因此少数系数就可以描绘该序列特征。人体行为轮廓通过上面方法已经得到，取轮廓任一点(x0,y0)开始，沿着图像轮廓逆时针方向前进，轮廓上的点表示为(x0,y0)，(x1,y1)，(x2,y2)，…，(xn,yn)，构成一条封闭轮廓曲线，在X-Y坐标平面看成一个复平面，则可以看成一列一维的复数序列cn，即cn=xn+jyn(n=1,2,…,n-1)。接下来对该离散序列做傅里叶变换。轮廓的傅里叶描述子见下式:

(1)

1.3 HOG特征提取

HOG是描述局部特征的算法。它提取图像特征的方式是计算图像局部区域的梯度和方向，然后进行统计得到。在一幅图像中，图形局部的边缘或梯度的方向密度分布能够很好地描述图像的形状。对图像进行HOG特征提取的步骤如下：

1)标准化。输入提取轮廓后的图像，将像素点灰度值通过伽马校正归一化[0,1]范围。

2)计算每个像素的梯度。采用[-1,0,1]的梯度算子来计算图像的水平和垂直的梯度。

3)图像分割为单元格。把整个图像分割为一个一个的Cell单元格(16*16像素)。

4)单元格构建梯度直方图。将图像分成若干的Cell单元格(16*16像素)，把0°～360°分成9个bin作为梯度的方向，对cell内每个像素用梯度方向在直方图中进行加权投影，就可以得到这个cell的梯度方向直方图了，即对应9维特征向量。

5)Block块内梯度直方图。把各个细胞单元组合成大的、空间上连通的区间(blocks)。这样，一个block内所有cell的特征向量串联起来便得到该block的HOG特征。

6)收集特征。将图像中的所有Block特征描述子收集起来就是整张图像的特征描述子。

KTH人体行为数据库中跑步动作的梯度方向直方图如图3所示。

图3 KTH人体行为数据库中跑步动作的梯度方向直方图

1.4 对HOG特征降维

主成分分析(Principal Component Analysis， PCA)，通常是用来为高维特征降维。PCA的步骤为：

1)文中将图像的尺寸归一化为120*90大小的图片，用HOG提取图像特征后得到30*24维的特征描述子;

2)通过协方差公式[9]可以得到24*24维的HOG的协方差矩阵，得到特征向量和特征根;

3)根据贡献量从大到小排列得到新的矩阵，将每张图像降维到576维。

1.5 FD+HOG特征融合

FD是一个基于全局提取特征描述子的算法，HOG是一个基于局部提取特征描述子的算法，将两个算法中的改进部分相融合，可以有效地提高人体行为识别的识别率。傅里叶变换可以将能量集中在极少的几个低频系数上，即用少数的几个特征描述子就可以很好地保证序列帧的特征。经过多次试验结果证明，在KTH数据库中采用6维的FD可以集合SVM，达到80.33%的识别率。HOG特征经过PCA降维后得到576维的特征描述子，根据PCA的原理特征，矩阵的特征值是由大到小排列的，根据其贡献量大小排列。文中算法选取其贡献量的90%来识别效果最好，可以达到83.33%的识别率。文中的算法是将两个特征级联融合生成一个新的特征矩阵。

1.6 SVM分类器分类识别

SVM是可以用在很多领域的判别方法。它是一种监督的学习模型，在模式识别、分类和回归的研究上扮演着重要的角色。SVM方法是通过一个非线性映射，把样本空间映射到一个高维乃至无穷维的特征空间中，非线性可分问题转换到线性可分问题。其实就是将输入变量全部映射的一个高维空间，在构造出最优分类超平面用作分类识别。分类函数为:

f(x)=wTx+b

(2)

其中，w是与空间维数有关的，对于样本点(xi，yi)，样本点到分类超平面的距离为yi(wTxi+b)，对w和b进行归一化，用w/‖w‖和b/‖w‖分别代替w和b，即几何间隔为f(x)/‖w‖,求最大几何间隔为等价于：

(3)

式(3)为线性分类情况，非线性分类按照式(3)进行分类可能会降低准确率，因此，加入松弛变量和惩罚因子，则非线性的分类如下:

(4)

另

w=a1x1y1+a2x2y2+…+anxnyn

其中，n为总样本数，则最优分类超平面的求取为:

(5)

即转换成求内积[10]。

2 实验与分析

2.1 实验数据

文中实验是在Matlab的仿真环境下完成的，采用KTH和Weizmann人体行为库来验证文中算法的有效性。从KTH数据库中选出6个动作类，包括拳击、鼓掌、画圈、慢跑、散步、跑步。在Weizmann 库中也选出6个动作类，包括跳起鼓掌、跳跃、单腿跳、跑步、散步、快速双腿跳。在数据库的每类动作中随机抽取60张图像，其中50张作为训练集，剩下的10张作为测试集。

2.2 实验过程及分析

首先，将数据库中选取的图像目标检测后得到特征提取算法的输入图像，处理过后的示例如图4所示。

图4 KTH目标检测后的示例图

完成第一步后，把结果作为输入分别提取出每张图像的FD和HOG，HOG特征描述子用PCA降维后按照其贡献率大小来排列，故选取其90%能量的描述子与FD级联，然后将生成的新的描述子放入SVM中进行训练。训练时依次把一个动作类别的全部样本归为一个动作类，把其他动作类的样本归为另外一类，文中两个库中选用的6个动作类就可以构造出6个不同SVM。有了各自的分类器后，就可以进行最后的分类。将文中算法与提取单个特征的算法相比，识别率占明显优势。不同算法基于KTH、Weizmann数据集的识别率的比较见表1。

表1 不同算法基于KTH、Weizmann数据集的识别率的比较

3 结 语

综上所述，文中将全局特征与局部特征相融合的算法用在人体行为识别中。通过对提取的HOG特征描述子降维与FD想融合构造一个全新的特征矩阵，弥补了单独采用全局描述子或局部描述子的缺陷，有效地提高了分类器的识别率，在KTH和Weizmann数据集的试验中，文中算法得到了证实，识别率最高，可达到91.66%。

[1] 梁琛华,常青,胡谋法.基于加权Hu矩和HOG特征的自适应融合人体行为识别新方法[J].现代电子技术,2014(1):14-18.

[2] 刘洲峰,闫磊,李春雷,等.基于特征融合与低秩分解的织物疵点检测[J].棉纺织技术,2017(10):1-4.

[3] 崔广才,窦凤平,王春才,等.基于傅里叶与局部特征结合的人体姿态识别方法研究[J].长春理工大学学报:自然科学版,2016(1):82-87.

[4] Yadav A R, Anand R S, Dewal M L, et al. Multiresolution local binary pattern variants based texture feature extraction techniques for efficient classification of microscopic images of hardwood species[J]. Applied Soft Computing,2015,32(C):101-112.

[5] Bhattacharya G, Ghosh K, Chowdhury A S. Granger causality driven AHP for feature weighted kNN[J]. Pattern Recognition,2017,66:425-436.

[6] Liu C D, Chung Y N, Chung P C. Anintteraction-embedded HMM framework for human behavior understanding: with nursing environments as examples[M]. [s.n.]: IEEE Press,2010.

[7] Kim H, Lee S, Kim Y, et al. Weighted joint-based human behavior recognition algorithm using only depth informayion for low-cost intelligent video-surveillance system[J]. Expert Systems WithI Applications an International Journal,2016,45(C):131-141.

[8] 史东承,韩玲艳,于明会.基于HMM/SVM的音频自动分类[J].长春工业大学学报:自然科学版,2008,29(2):178-182.

[9] Kim J M, Chung K, Kang M. Continuous gesture recognition using HLAC and low-dimensional space[J]. Wireless Personal Communications,2015,86(1):1-16.

[10] Cervantes J, García Lamont F, López-Chau A, et al. Data selection based on decision tree for SVM classification on large data sets[J]. Applied Soft Computing,2015,37(C):787-798.