特征融合的多视角步态识别研究

王 竣，王修晖

(中国计量大学 信息工程学院，浙江 杭州 310018)

特征融合的多视角步态识别研究

王 竣，王修晖

(中国计量大学 信息工程学院，浙江 杭州 310018)

针对单一特征步态识别率低的问题，提出一种将步态能量图(Gait Energy Image,GEI)中动态部分和Gabor小波特征融合的步态识别算法.首先,通过运动目标检测及二值化和形态学处理等预处理操作得到步态轮廓图，再进一步从步态轮廓图计算得到步态能量图，并从中分割出动态部分.然后，利用Gabor小波从步态能量图的动态部分中提取不同角度的信息，将两步态特征融合在一起，对融合后得到的特征向量用改进的KPCA方法进行降维.最后，将降维后的融合特征向量输入到基于多分类的支持向量机(Support Vector Machine,SVM)中，从而完成步态的分类和识别.经过在中国科学院自动化研究所CASIA步态数据库上进行实验，取得了很好的识别效果，实验结果表明，与单一特征的步态识别方法相比，融合后算法的识别率提高了约10%.

Gabor小波；步态能量图；特征融合；改进的KPCA；支持向量机

近年来，随着计算机视觉和生物特征识别技术的快速发展，步态识别作为一种新的生物特征识别方法，正逐渐受到科研工作者的关注.步态识别主要根据人行走时的步态特征来对人的身份进行识别，由于它具有非接触和隐蔽性等特点，被广泛应用在视频监控等领域.

步态识别通常包括步态序列的运动检测、特征提取和识别三个阶段.步态特征的提取方法主要分为基于模型的(Model-Based Approach)方法和非模型的方法(Model-Free Approach).基于模型的方法通过将人体按照生理特征建模，得到了表征人体一系列静态和动态的参数，并通过分析这些参数实现对步态的身份识别.Niyogi和Adelson[1]是最早利用步态对人的身份进行识别，Nixon等[2]从理论角度验证了利用步态进行身份识别的可行性.Yam等[3]利用钟摆模型描述了大腿和小腿的运动情况，采用改进的傅里叶系数对摆动周期分析和特征提取.杨科等[4]基于Kinect骨骼模型提出了相对运动特征的步态识别.上述基于模型的步态识别方法都需要获取轮廓清晰的步态序列，会导致模型构建过程的时间复杂度相对较高.而基于非模型的方法主要侧重于提取人的侧影图形状，将提取人体目标移动时的侧影图形状作为特征.与基于模型的方法相比，基于非模型的方法并不需要对整个人体或者人体的某个部分建模，非模型的方法对人体侧影图不敏感而且计算复杂度较低.研究人员主要用基于非模型的方法进行步态识别，Bashir[5]基于GEnI(步态熵图)进行特征提取，采用自适应成分判别分析法进行识别.2005年，Han[6]等人首次提出了步态能量图的概念，并将其应用到步态识别中，取得了较高的识别率.

传统的步态特征提取算法仅考虑单一的特征信息，并没有将遮挡和光照等外界因素的影响考虑到步态识别中.2009年，赵永伟[7]提出了一种融合多特征和多视角的步态识别算法，实验得到的识别率较高.在此之后，信息融合理论被广泛地应用在步态识别领域.

我们借鉴信息融合理论的思想，提出一种将步态能量图(Gait Energy Image,GEI)中动态部位和Gabor小波特征相结合的步态识别算法，并将其在中国科学院提供的步态数据库上进行了相关实验.实验结果表明，相比于仅提取单特征的识别率，本文算法识别率提高了约10%，而且对于背包和穿大衣的情况有一定的鲁棒性.

1 步态特征选择与提取

1.1 步态能量图的动态部分特征

步态能量图(GEI-Gait Energy Image)[6]作为一种有效提取步态特征的方法，其核心思想是利用加权平均算法将一个步态周期的图像合成一张图像.步态能量图将人在周期内的行走过程展现在一幅图像上，保留了步态的轮廓、相位、频率特征，并可以消除运动时间的影响.对于一幅侧影轮廓图像Bt(x,y)，步态能量图表示为

(1)

在式(1)中，n表示一个步态周期内的所有帧数；t表示第t帧数；x,y表示坐标值；Bt(x,y)表示第t帧图像在点(x,y)的像素值.图1是90°视角下步态能量图的合成过程，由图2可以看出，人在背包和携带物两种状态下行走的时候，人体的最外轮廓发生了改变，如果基于原始的步态能量图作为步态特征的话，会导致对背包和携带物两种状态下的鲁棒性很差.

为解决服饰和携带物对传统步态能量图的影响，我们尝试对传统的步态能量图进行改进，由于人在正常，背包，穿大衣三种状态行走时，上半身的变化很少，然而腿部变化较明显，本文提取步态能量图中人体的动态部位作为步态特征.首先依据人体解剖学中人体下肢的比例关系[22]即人体腿部约占人体身高的比例(0.480)，将步态能量图划分出腿部区域，然后根据两脚之间的间距，将腿部区域进一步分割，获得动态区域，本文选取的动态区域大小为48像素×39像素.由图3看出，通过提取腿部动态区域可以很好地消除穿大衣和携带物品对识别产生的影响.

1.2 改进的Gabor小波提取方向特征

Gabor小波变换在时域和频域进行信号分析处理时具有很强的能力，利用Gabor小波进行特征提取可以很好地将原始图像的方向和尺度特征表示出来，并且可以描述图像的局部灰度分布.文献[8]利用Gabor小波变换，提取每幅图像5尺度和8方向的特征，虽然获得了更多的细节特征，但特征维数是原始图像的40倍，导致了特征数据的冗余.我们针对传统方法提取Gabor小波维数过高的问题，并根据步态的特点，提出了一种改进的Gabor小波提取步态图像特征的方法.本文选用的二维Gabor滤波器[9]定义如下:

(2)

u=xcosθ+ysinθ,v=-ysinθ+xcosθ.

(3)

图1 步态能量图的合成过程Figure 1 Synthetic process of GEI

图2 三种状态下的步态能量图Figure 2 Three states of GEI

图3 步态能量图的动态部分提取Figure 3 Extract the dynamic part of GEI

(4)

式(4)中*代表卷积操作，I(z)表示步态图像中z=(x,y)处的灰度值，g(z)为取角度参数时Gabor滤波器的系数，Gabor(z)是步态图像I经过Gabor滤波后得到的Gabor特征.在图像z=(x,y)处的幅值特征G为

G(z)=Gabor(z).

(5)

由于本文算法选用的数据库是中科院自动化研究所提供的多视角步态数据库[11]，数据库中的同一个人在每间隔18°视角下的步态特征是有差异的，因此提取多视角下更多的细节特征对于识别是至关重要的.Gabor滤波器可以很好地提取方向特征，通过适当地选取方向参数，使提取的Gabor特征具有较强的类别表征能力[12].考虑到同一个人的步态在不同角度下的特征是有细微差异的，本文利用Gabor小波提取步态能量图动态区域的角度特征，因此并不需要建立40个不同尺度和方向的Gabor滤波器.本文选取单一尺度、多方向的Gabor滤波器，角度参数是根据行人与摄像机之间的角度进行选取的.通常在特征选取中将得到滤波后的图像Gabor(z)按列展开作为GEI的方向特征向量，也就得到了基于步态能量图动态区域的Gabor小波特征.

1.3 特征融合

特征融合技术的核心思想是将提取的特征向量按照一定规则和方法进行组合运算，从而得到更加符合需要的特征向量.文献[13]中针对单个分类器得出了以下结论:运用加法融合的效果要比乘法融合的好.针对单一特征的局限性，为了得到更好的识别效果，本文将步态能量图动态区域和Gabor小波特征融合，在特征层融合的基础上采用加法原则.算法首先根据步态序列得到步态轮廓图，通过计算得到步态能量图序列，分割出动态区域，将动态区域按列展开成一维向量作为特征1，然后将基于动态区域的Gabor小波特征按列展开成一维向量作为特征2.根据加法原则，把两个特征通过加权叠加成的一维列向量作为一个人步态的总特征.融合后的特征相比单一的特征同时具有动、静特征的优点，弥补了单一特征带来的不足.

1.4 算法可行性分析

本文选取融合的特征是利用单尺度多个方向上的Gabor特征进行编码所得到的，有效地利用了Gabor小波能捕捉到空间频率(尺度)、空间位置和方向等局部信息的特点，同时与传统提取多尺度多方向的方法相比，有效地降低了特征维数，减少了数据间的冗余和计算复杂度.融合特征选取的是步态能量图动态区域和具有多方向性的Gabor特征.选择步态能量图表征人体的步态的主要原因是它能清晰的反映人体各部分在运动过程中的频率变化和快慢等特征，而Gabor小波可以提取不同视角下的步态特征，因此将步态能量图和多方向的Gabor小波结合来对人体的步态进行表征可以获取更加有效的步态特征.

2 基于改进的KPCA特征提取

主成分分析法[14](Principal Component Analysis,PCA)作为一种特征提取和数据降维的传统方法，在模式识别领域得到了广泛的应用.核主成分分析(Kernel Principal Component Analysis,KPCA)法的主要思想是将核函数引入到PCA中，是一种基于非线性的特征提取方法,它可以针对像素之间的高阶关系进行提取，从而加强了特征之间的可分性.

KPCA方法通常选取单一的核函数，具有很大的局限性.由于不同的单核函数会通过非线性变换映射到不同的高维特征空间，为了提高KPCA特征提取的能力，本文构造核函数为K(x,y)=mK1(x,y)+nK2(x,y)，将高斯核函数和多项式核函数进行融合.由于核函数里面涉及到的参数很多，参数的细微变化会改变输入空间和特征空间之间的映射关系，最终使得非线性映射和高维特征空间改变.在融合核函数中的系数m和n表示了单核函数对融合核函数的贡献，在选取参数时，由于步态识别是相对复杂的过程，既要考虑人整体的轮廓特征，又要考虑每个人步态区别于他人的局部特征.本文选取局部学习能力强的高斯核函数和全局泛化能力强的多项式核函数，其中K1(x,y)和K2(x,y)分别表示高斯核函数和多项式核函数，参数为σ2=0.000 3，a=8 000,b=0.001.

改进的KPCA算法主要计算步骤:

1)假设步态序列的训练集为Ttrain=(Ttrain1,Ttrain2,...,TtrainN),测试集为Ttest=(Ttest1,Ttest2,...,TtestN).

3 步态识别

使用SVM分类器对人体的步态进行训练和识别，支持向量机(SupportVectorMachine,SVM)作为一种有监督的学习算法，在解决小样本问题时具有很强的优势[23]，并且可以很好地解决高维数据的分类问题.然而，传统的支持向量机解决的是一个两类问题的判别方法，而步态识别是一个多分类的模式识别问题.本文基于“一对一”法构建步态分类器的步骤如下:

1)假设有m类步态待分类识别，记为S1,S2,...,Sm.在训练过程中，首先在任意两类步态样本之间构建一个SVM分类器，因此m类步态样本需要构建m(m-1)/2个SVM分类器fi(i=1,2,...,m(m-1)/2).

2)在测试过程中，当对一个未知的步态样本Sj(j=1,2,...,m)进行分类时，最后得票最多的类别即为未知步态的类别.

图4以三分类SVM进行说明，1and2表示第1类和第2类样本构建的SVM，左右两边的1和2表示两类的分类结果.当1and2和1and3分类器的输出结果为“1”时，则将其归为第1类，当3个SVM分类器的分类结果都不同时，每一类的票数加1，最终统计每一类的得票数，由图4可知第一类得票数最多，因此待分类步态样本属于第1类.

图4 SVM三分类示意图Figure 4 Three classification diagram of SVM

4 实验结果与分析

本文研究所用的是中国科学院自动化研究所的CASIA步态数据库.数据库包含124个人，针对每一个人利用11台摄像机在11个不同的视角(0°,18°,36°,...,180°)下同时进行拍摄.每一个人在一个视角下有10个步态序列，其中包含6个正常走路的序列(行人穿衣对腿部不产生遮挡，无携带物)，2个携带包裹走路的序列和2个穿大衣走路的序列.在步态的训练和识别过程中，本文通过利用林智仁教授开发设计的LibSVM工具箱,首先设置libsvm中svm的类型为C_SVC，核函数选取径向基核函数(radialbasisfunction),并运用交叉验证法来对本文算法的识别率进行评估.

4.1 实验1

为了对特征融合的步态识别算法和单特征算法的性能进行比较，本文引入正确分类率CCR(CorrectClassificationRate)作为算法识别率高低的评价指标，选取124个人的11个视角的序列来进行实验.在实验过程中，对于124个人的步态，每次从6组正常走路状态的序列随机选出3组图像作为训练集，余下的作为测试集，实验结果如表1.表2采用同样的124个人的90°视角的步态数据库，并用交叉验证法对比了单特征和融合特征的步态识别算法的识别率.

表1 九种方法在不同视角下的识别率

表2 几种方法的识别率

4.2 实验2

为了验证本文算法对背包和穿大衣状态具有鲁棒性，本实验选取90°视角下正常状态的前三组图像和一组背包状态、一组穿大衣状态图像作为训练集，测试集同样选取正常状态下的余下三组正常状态下的图像和一组背包状态、一组穿大衣状态的图像.

表3 不同算法的识别率比较

4.3 实验结果分析

由表1可以看出，GEI+KPCA方法与GEI+PCA方法相比，识别率并未取得优势.由于三种步态原有的近邻关系被KPCA方法所破坏，在PCA+SPP[16]方法中，稀疏保留投影(SPP)使得步态样本之间的局部相邻信息被保留，正常状态下的识别率得到了提升.当选取动作能量图[19]AEI作为步态特征时，AEI+2DLPP[19]方法的识别率低于本文算法的识别率，说明本文提取步态能量图的动态区域作为步态特征的有效性.将AEI和GEI融合后实验[22]的识别率相比于单一AEI作为步态特征有了明显的提高，因此可以得出结论:基于单一特征的步态识别算法的识别率低于特征融合后的识别率，将单一步态特征融合的算法是有效的，并且本文选取特征融合算法的平均识别率是最高的.对比在降维过程中选取改进后的KPCA和传统的KPCA可以看出，利用改进后的KPCA进行降维的识别率略高于KPCA，仅有几个角度的识别率低于传统的KPCA，说明改进后的KPCA不仅能降低特征维数，还能增加步态的区分度以便于分类，同样验证了本文将高斯核函数与多项式核函数融合的方法是有效的.从表1中算法在11个视角的识别率实可以看出本文算法在至少10个视角均获得了高于90%的识别效果,说明本文提取Gabor小波的角度特征和GEI融合后的特征可以很好地区分不同行人之间的步态.

从表2看出，本文通过将步态能量图动态区域特征和Gabor小波特征融合后，步态识别率相比于其他单特征的方法提高了约10%.文献[20]中选用的是传统的5尺度8方向的滤波器，并没有针对步态的特点进行具体分析滤波器的参数选取；而本文考虑到步态的方向特征(角度)，所以仅选取单一尺度的滤波器，实验结果表明利用Gabor小波提取步态的方向特征同样取得了较高的识别率，说明了本文提取的Gabor方向特征对于表征步态是可行的.从分类器层面还可以看出，基于SVM分类器的平均识别率达到了94.35%，也说明了本文构建步态分类器的合理性.从表3看出，本文特征融合算法在小样本步态数据库上取得了较高的识别率，高于文献[21]和文献[16]的识别率，说明本文基于步态能量图提取的动态区域特征能够有效的减少背包和携带物的影响，对两种状态具有一定的鲁棒性.本文改进的KPCA算法是将高斯核函数与多项式核函数进行融合，导致了在某些角度的识别率低于传统的KPCA，下一步将研究选用对视角更具鲁棒性的核函数.

5 结 语

本文基于融合理论提出了一种基于动态的步态能量图和Gabor小波特征相结合的步态识别算法，重点研究了步态的特征提取和融合以及改进的KPCA特征提取方法，并且设计了基于多分类的步态识别分类器，从实验结果分析来看，在步态识别中应用信息融合理论可以明显提高算法的性能.本文算法对单一特征识别率低的问题得到了改善，算法的性能明显优于使用单一步态特征的识别算法，同时提高了算法对背包和携带物两种状态下的鲁棒性，是一种有效的步态识别方法.

[1] NIYOGI S A, ADELSON E H. Analyzing and recognizing walking figures in XYT[C]// IEEE Computer Society Conference on Computer Vision and Pattern Recognition. USA: IEEE Press,1994:469-474.

[2] NIXON M S, CARTER J N, CUNADO D, et al. Automatic gait recognition[J]. Biometrics,1999,7(2):231-249.

[3] YAM C Y,NIXON M S,CARTER J N. Automated person recognition by walking and running via model-based approaches[J]. Pattern Recognition,2004,37(5):1057-1072.

[4] 杨科,窦勇,吕绍和.基于相对运动特征的步态识别方法[J].系统仿真学报,2015,27(10):2299-2309. YANG K，DOU Y，LYU S H，et al. Gait recognition based-on relative motion features and kinect[J]. Journal of System Simulation,2015,27(10):2299-2309.

[5] BASHIR K, XIANG T, GONG S. Gait recognition without subject cooperation[J]. Pattern Recognition Letters,2010,31(13):2052-2060.

[6] HAN J, BHANU B. Individual recognition using gait energy image[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence,2006,28(2):316-322.

[7] 赵永伟,张二虎,鲁继文,等.多特征和多视角信息融合的步态识别[J].中国图象图形学报,2009,14(3):388-393. ZHAO Y W,ZHANG E H,LU J W, et al. Gait recognition via multiple features and views information fusion[J]. Journal of Image and Graphics,2009,14(3):388-393.

[8] 刘志勇,冯国灿,陈伟福.基于局部二值模式和辨识共同向量的步态识别[J].计算机科学,2013,40(9):262-265. LIU Z Y, FENG G C,CHEN W F. Gait recognition based on local binary pattern and discriminant common vector[J]. Computer Science,2013,40(9):262-265.

[9] TAI S L. Image representation using 2D Gabor wavelets[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence,1996,18(10):959-971.

[10] 刘帅师,田彦涛,万川.基于Gabor多方向特征融合与分块直方图的人脸表情识别方法[J].自动化学报,2011,37(12):1455-1463. LIU S S, TIAN Y T, WAN C. Facial expression recognition method on gabor multiorientation features fusion and block histogram[J]. Acta Automatica sinica,2011,37(12):1455-1463.

[11] 陈海洋.基于步态的远距离人体识别系统研究[D].天津:天津大学,2013. CHEN H Y. Research on Gait-based Remote Human Recognition System[D].Tianjin:Tianjin University,2013.

[12] 赵英男,杨静宇,孟宪权.一种实用的Gabor滤波器组参数设置方法[J].计算机工程,2006,32(19):173-175. ZHAO Y N,YANG J Y,MENG X Q.Apractical design for parameters of gabor filters[J]. Computer Engineering,2006,32(19):173-175.

[13] TAX D M J, BREUKELEN M V, DUIN R P W. Combining multiple classifiers by averaging or by multiplying?[J]. Pattern Recognition,2000,33(9):1475-1485.

[14] 朱明旱,罗大庸,易励群.一种广义的主成分分析特征提取方法[J].计算机工程与应用,2008,44(26):38-40. ZHU M H,LUO D Y,YI L Q.Generalized PCA algorithm for feature extraction[J]. Computer Engineering and Applications,2008,44(26):38-40.

[15] SCHOLKOPF B, SMOLA A J. MULLER K R. Nonlinear component analysis as a kernel eigenvalue problem[J]. Neural Computation,1998,10(5):1299-1319.

[16] QIAO L S,CHEN S C,TAN X Y. Sparsity preserving projections with applications to face recognition[J]. Pattern Recognition,2010,43(1):331-341.

[17] 王科俊,刘丽丽,贲晛烨,等.基于步态能量图像和2维主成分分析的步态识别方法[J].中国图象图形学报,2009,14(12):2503-2509. WANG K J,LIU L L,BEN X Y, et al. Gait recognition based on gait energy image and two dimensional principal component analysis[J]. Journal Of Image and Graphics,2009,14(12):2503-2509.

[18] 王科俊,贲晛烨,刘丽丽.采用Radon变换和二维主成分分析的步态识别算法[J].智能系统学报,2010,5(3):266-271. WANG K J,BEN X Y,LIU L L, et al. Gait recognition with randon transform and 2-D principal component analysis[J]. CAAI Transations on Intelligent Systems,2010,5(3):266-271.

[19] 刘凤.基于特征融合的多视角步态识别方法研究[D].吉林:东北电力大学,2014. LIU F. Research Based on Feature Fusion of Gait Recognition Under Multi-perspective[D]. Jilin: Northeast Dianli University,2014.

[20] 刘萍.基于泊松方程和Gabor小波的步态识别新方法[J].计算机工程与应用，2015，51(增刊1):1-5. LIU P. Gait recognition method based on Poisson distribution on Gabor wavelet. Computer Engineering and Applications,2015,51(Suppl 1):1-5.

[21] 王科俊,阎涛,吕卓纹,等.核稀疏保留投影及在步态识别中的应用[J].中国图象图形学报,2013,18(3):257-263.

WANG K J,YAN T,LYU Z W, et al. Kernel sparsity preserving projections and application to gait recognition[J]. Journal of Image and Graphics,2013,18(3):257-263.

[22] HUANG X, BOULGOURIS N V. Gait recognition with shifted energy image and structural feature extraction.[J]. IEEE Transactions on Image Processing,2011,21(4):2256-68.

[23] YOO J H, NIXON M S, HARRIS C J. Extracting human gait signatures by body segment properties[C]// Image Analysis and Interpretation. USA:IEEE Press,2002:35-39.

[24] 纪阳阳,赵辉,张晓利.基于多类特征融合的步态识别算法[J].电气电子教学学报,2009,31(5):67-70. JI Y Y,ZHAO H,ZHANG X L.A feature fusion based gait recognition algorithm[J], Journal of Electrical & Electronic Education,2009,31(5):67-70.

[25] 陈华,曹真,胡春海.动静态特征融合的正面视角步态识别[J].光电工程,2013(11):83-88. CHEN H, CAO Z,HU C M. Front-view gait recognition based on the fusion of static and dynamic features[J]. Opto-Electronic Engineering,2013(11):83-88.

Research on multi-perspective gait recognition using feature fusion

WANG Jun, WANG Xiuhui

(College of Information Engineering, China Jiliang University, Hangzhou 310018, China)

Since the low gait recognition rate of single features, a novel gait recognition algorithm based on the feature fusion of the dynamic part of gait energy images (GEI) and Gabor was presented in this paper. Firstly, the gait contour images were extracted through the object detection, binarization and morphological process, to caluclate GEI and divide the dynamic part of GEI. Secondly, the information of different angles was extracted from the dynamic part of GEI with Gabor wavelets. Feature fusion was extracted with GEI and Gabor wavelets and was reduced by improved KPCA. Finally, the vectors of feature fusion were input into the SVM (Support Vector Machine) based on multi classification to realize the classification and recognition of gait. Experiments were conducted on the Central Asia Student International Academic(CASIA) gait database with satisfactory recognition effect. Compared with methods based on the single gait feature, the gait recognition rate after the fusion was executed increased about 10%.

Gabor wavelets; GEI; feature fusion; improved KPCA; SVM

2096-2835(2017)02-0234-07

10.3969/j.issn.2096-2835.2017.02.016

2017-01-18 《中国计量大学学报》网址：zgjl.cbpt.cnki.net

国家自然科学基金资助项目(No.61303146) .

王竣(1991-)，男，吉林省吉林市人，硕士研究生，主要研究方向为计算机图像处理.E-mail:846411409@qq.com 通信联系人：王修晖，男，副教授. E-mail: wangxiuhui@cjlu.edu.cn

TP391.41

A