基于帧差能量图遗传算法的自遮挡步态识别

唐春林

(广东邮电职业技术学院，广东广州 510630)

1.步态识别简介

步态识别是模式识别领域中的一种新的生物特征识别技术，旨在通过人的行走方式识别人的身份，包括人的生理或行为特征等。自动识别身份的需求在许多领域持续增长，如监控、出入境管理、智能接口等［1］。众所周知，生物特征识别是一种可靠的、强有力的可以自动识别身份的工具，现有的基于生物特征的识别技术不仅包括指纹、手形等识别方法，还包括人脸识别、虹膜识别等方法［2］。然而，这些方法或者是侵入型的，或者仅限于非限制环境下，因此，目前的人脸识别技术能够仅仅识别正脸或者接近整个正脸的图像。当在自然条件下识别人的身份，如在战略区中实施自动监控识别身份时，生物识别技术(例如指纹或虹膜)便不再适用［3-5］。此外，借助于这种生物特征在夜间进行人身份识别(监控中的一个重要成分)通常是不可能的。然而，通过人的“步态”可以克服上述生物识别特征的不足之处，作为一种生物识别特征，步态的优势之处在于它的非侵入性，并且它是某个人专属的典型动态特征［6-8］。

步态周期［9］指一只脚从最初脚与地板接触(足跟着地)到下一次着地之间的时间间隔，从一只脚足跟着地开始，标志着支撑相的开始，脚跟着地标志着步态周期的终止。如图1所示为整个步态周期，脚踝弯曲使脚平放在地面上，身体重量便转移到脚上。当脚跟离地，另一条腿便摆动到前边，当身体重量转移到另一只脚时，支撑它的膝盖便弯曲。位于后边的脚的其余部分离地便结束了支撑相。摆动相始于脚尖离地。身体重量便转移到另一条腿上，它向前摆动在另一只脚前方接地。

图1 步态周期

文献［2］提出特征提取取决于多线性投射，它可采集到原始的大部分张量输入变化。基于多线性主元分析的张量目标识别框架已应用到步态识别中。文献［3］提出了步态表示法和识别二元轮廓的Randon变换。文献［4］在运用异常2D特征、3D特征的基础上提出了一种新型步态鉴别和认证方法。此外，遗传算法用于从不同特征提取融合信息。文献［6］提出将Garbor步态方法、常规张量判别分析方法与线性判别分析结合用于步态识别。文献［7］提出了一种称作步态能量图的新的空间时间步态识别方法，通过描绘人类行走特征的步态进行身份识别。文献［9］探索了基于矩阵表现法的步态识别，它是一种监督式算法——张量判别分析用于进一步提高分类策略。文献［10］阐述了一种基于隐马尔科夫模型的新型模型，与特征相模型一起改正了从影子或背景减除法产生的检测轮廓的一般错误。文献［11］提出一种基于视野利用步态来识别人身份的方法，为从图像特征得到观察向量，采用了间接和直接的方法。文献［12］提出利用统计形状分析这样一种简单有效的自动步态识别算法。文献［13］提出动态步态能量图和流形学习的步态识别方法。动态步态能量用于提取运动体轮廓的动态变异部分，它与行走序列中步态平均图像相对应。

2 基于帧差能量图的遗传算法

基于上述分析，为了更好地在自遮挡步态识别中进行特征提取，提出了基于遗传算法的自遮挡步态识别方法，所提方法的流程图如图2所示。首先，从视频序列中分割出的轮廓有噪声，需要进一步处理，于是，采用数学形态学图像处理来填平空洞及消除噪声，接着，利用一种称作帧差能量图像的新型步态模式表现法将不完整的步态图像补充完整，最后，将自遮挡特征从轮廓图像序列中提取出来。

图2 自遮挡步态识别流程图

2.1 预处理

轮廓提取:如图3所示，轮廓通常是通过找出背景与目前图像的不同之处或者通过分组光流提取连贯的动作。

图3 轮廓提取

1)消噪。检测到的部分不可避免地会产生伪像素，运动的物体内部也会产生空洞或其他不规则现象，如腐蚀、膨胀等，数学形态学图像处理已广泛应用在消除伪像素及填充提取出的轮廓中的小洞上。

2)获得不完整的轮廓。步态识别依靠两种类型的信息:形状信息(静态信息)、动态信息。形状信息指外貌，例如身高、宽度、身体各部分比例，头发，耸肩驼背情况、穿着，携带包裹或球等，一些形状信息在人行走过程中保持不变或相近，从单帧提取的信息属于形状信息。动态信息描述了人体动作变化的特征，不包含下列底层结构，例如，人体下肢关节轨迹，从光流得到的动作特征形状等。

3)计算步态能量图。步态能量图是一种有效步态表现方案，它对分段错误辨别力强且具有鲁棒性。它为识别身份节省了存储空间和计算时间，并且在单帧下对轮廓噪声不敏感。步态能量图可定义如下

式中:N为每周期帧数;t为本周期帧的序列数;B(x，y)为时间t的轮廓图像;G(x，y)为步态能量图像。

3)构建帧差能量图。B(x，y，t)的帧差能量图表示如下

式中:B(x，y，(t－1))为本周期最终的帧;B(x，y，t)为t时刻的轮廓图像。

图4所示为不完整的轮廓示例，图5所示为图4中轮廓前面的帧，图6所示为图4中轮廓的帧差能量图。

图4 不完整轮廓示例

图5 对应于第一排轮廓的前面的帧

图6 第一排轮廓的帧差能量图

2.2 提取特征

在前面的处理步骤之后，接下来从轮廓图像序列中提取自遮挡特征。一般情况下，先前不知道3D场景，仅靠It图像不能确定物体在时间t的遮挡或自遮挡。在一般跟踪场景中，没有3D场景信息。然而，遮挡(自遮挡和遮挡去除)可以通过观察者在运动过程中从不同观测点观测到的多重图像得到部分解决。以一个正在运动并且形状不断变化的物体为例，预先对时间t和时间t+1投射到成像平面的物体作判断，便可以轻而易举地应用于确定遮蔽区域Ot。

自遮挡Ot－1以深色圈表示，自我遮挡去除Dt－1以浅色圈表示，两者皆呈现在图7中。

图7 自遮挡呈现

实际上，原则是遮挡的区域Ot是Rt的子集，它并不对应于It+1中的某个区域。这包括遮挡和自遮挡，给出Rt和It+1原先没有看到物体便无法得出物体的遮挡去除和自遮挡去除。如果投射到成像平面上的物体的一部分在时间t+1进入视域，并且先前没有观察到，那么便无法确定新进入视野的部分是不是所关注物体的一部分，是另外一个物体或是物体没有附加假定的背景。自遮蔽步态模型示例显示在图7中。

自遮挡步态模型的详细步骤如下:

1)如图8所示，从最开始的帧，物体便被分割成区段，通过后续帧确定物体的确切形状，即从当前的模板到下一帧的物体(同时可检测到自遮挡)，在大规模变形或运动时有效。

2)通过消除自遮挡部分更新变形的模板。

图8 自遮挡步态示例

3)检测到自遮挡消除(在当前帧进入视野的物体的部分)，模板得到更新。

4)外貌改变也考虑在内，通过非线性观察者进行有效的外貌过滤，模板得到更新。

5)在最新更新的模板和下一帧重复步骤2)至步骤4)。

2.3 利用遗传算法识别步态

遗传算法处理的数据是字符串的集合(群体)，每个字符串有自己的适合值，该值由搜索空间内对应点的目标函数值决定，基于适合值，遗传算法决定当代每个字符串的概率，这些字符串将由遗传算子处理并产生后代。遗传算法中共有3个基因算子:选择算子、交叉算子和变异算子。基于字符串的适合值，选择算子、选择要进行交叉和变异的字符串(为复制而作出的选择)，在生成的后代及当代字符串中将组成下一代的字符串(为替代而作出的选择)。机滤为pc的2个选择字符串在交叉站点进行交叉，该站点是随机选取的，交叉的目的是通过交换好的解决方案中的有效信息产生更好的解决方案。变异在0～1区间内机滤为pm时，改变了随机选定的站点值。通过在群体中引入额外的变动，可以在保持多样性的前提下继续基因搜索。这3个算子连续用于产生下一代，选择的进化周期基因微扰重复进行，直到满足终止条件为止。

3 实验

所有的实验均在配置有2.99 GHz主频、4 Gbyte RAM的PC机上完成，编程环境为MATLAB 7.0，实验在视角步态数据库中科院自动化所-B(CASIA-B)数据库中进行。

3.1 CASIA-B数据库

该数据库存储了大量的从左手侧起的11个摄像头拍摄到的步行图像，相邻视角之间相差18°，也就是说，从左至右，视角分别为 0°，18°，36°，54°，72°，90°，108°，126°，144°，162°和 180°。从每个视角捕获到的样本帧如图9所示，从左到右相对应的相机编号为1至11。数据库中包含了124个人的图像，93名男性和31名女性，每个人有10个序列，6个正常的不行序列，2个挎包序列，2个穿着外套的序列。因此，该数据库中总共有13 640张步态图像，如此庞大的数据库正适合本文的研究。

3.2 参数设置

所提方法中有2个自由参数:线性子空间表示的特征维数K1、识别时的近邻数k以及用于分类的典型相关数目K2。这部分研究并分析了各个参数对所提方法识别性能的影响，分别固定2个参数、变化其中1个参数，观察步态识别率的变化情况。实验取摄像机2，4，6，8，10获取的样本作为训练样本，摄像机1，3，5，7，9获取的样本作为测试样本，充分利用了所有的子空间距离及典型相关系数，实验中，所有的步态序列都在预处理阶段裁剪成了66×44大小的对齐轮廓。

3.3 实验结果

随着不同特征维数变化的识别结果如图10所示，从图10中可以看出，最佳的效果显示在多个值，并在随后的实验中，当线性子空间特征维数K1为13时，取得最佳识别率96.45%。K1的值取13，随着不同的近邻数k的变化，识别结果如图11所示，从图11可以看出，随着近邻数的增加，识别率也呈增长的趋势，当近邻数k为5时，取得最高识别率96.89%。K1的值取13，k值取5，随着不同的典型相关数目的变化，识别结果如图12所示，从图12可以看出，随着典型相关数目K2的增加，识别率呈现一定的上升趋势，当K2取3和4时，达到最高识别率99.23%。

3.4 比较与分析

图10 取不同的特征维数获得的识别结果

图11 取不同的近邻数k获得的识别结果

图12 取不同典型相关数目K2获得的识别结果

为了更好地体现所提方法的优越性，这部分将所提方法与参考文献中在步态识别方面比较先进的几种方法进行了对比，包括镜像融合(S-融合)［2］、特征融合(F-融合)［5］、MSR+WSD［3］，实验取 CASIA-B 数据库中摄像机2，4，6，8，10 所拍摄的图像为训练样本，摄像机1，3，5，7，9，11拍摄的图像作为测试样本，所有比较方法的参数设置均与参考文献中的一致，所提方法中，近邻k取5，典型相关数目取3，变化k的值，如图13所示为各方法取得的前20个最佳识别率的比较。

从图13可以清晰地看出，所提方法的识别率比其他各个方法的识别率都高，最佳识别率接近100%，虽然MSR+WSD方法也取得了不错的效果，但最好的识别率仍然比所提方法低了2%左右，S-融合及F-融合方法甚至比所提方法低了近20%，由此体现了所提方法的优越性。

图13 各方法的识别率比较

4 结束语

随着视觉监控系统不断增长的需求，近年来从远处进行人的身份识别已吸引了更多研究者的兴趣，步态是一种潜在行为特征，许多类似研究已经表明，它可以用作生物识别特征。计算机视觉技术的发展也使人们确信，未来可以进行基于视觉的自动步态分析。本文提出的系统在CASIA-B数据库上取得了高达99.23%的步态识别率，与几种先进的方法相比，所提方法明取得了更高的识别率，由此可见，所提方法可应用于真实环境中识别人类的走路方式。今后会结合其他的算法，将所提方法运用到更多的数据库上，改变初始参数的设置，进一步提高步态识别率。

:

［1］LU J，TAN Y.Uncorrelated discriminant simplex analysis for view-invariant gait signal computing［J］.Pattern Recognition Letters，2010，31(5):382-393.

［2］贲晛烨，安实，王健，等.基于线性插值的张量步态识别算法［J］.计算机应用研究，2012，29(1):355-258.

［3］刘砚秋，王旭，王玉梅，等.傅里叶变换的多视角步态识别［J］.计算机工程与应用，2012，48(6):169-171.

［4］BASHIR K，XIANG T，GONG S.Gait recognition without subject cooperation［J］.Pattern Recognition Letters，2010，31(13):2052-2060.

［5］LIU N，LU J，TAN Y P.Joint subspace learning for view-invariant gait recognition［J］.IEEE Signal Processing Letters，2011，18(7):431-434.

［6］车辚辚，孔英会.基于动态部位特征的步态识别方法［J］.计算机应用，2012，32(12):3418-3421.

［7］KUMAR H P.NAGENDRASWAMY H S.Gait recognition based on symbolic representation［J］.International Journal of Machine Intelligence，2011，3(4):295-301.

［8］杨静，阮秋琦，李小利.基于频谱分析的Procrustes统计步态识别算法［J］.智能系统学报，2011，6(5):432-439.

［9］ROY A，SURAL S，MUKHERJEE J.Gait recognition using pose kinematics and pose energy image［J］.Signal Processing，2012，92(3):780-792.

［10］ARIYANTO G，NIXON M S.Model-based 3D gait biometrics［J］.International Joint Conference on Biometrics，2011，34(3):11-13.

［11］余涛，邹建华.基于Bayes规则与HMM相结合的步态识别方法研究［J］.计算机学报，2012，35(2):386-396.

［12］SIVAPALAN S，CHEN D，DENMAN S，et al.Gait energy volumes and frontal gait recognition using depth images［J］.International Joint Conference on Biometrics，2011，32(2):1-6.

［13］SURAL R S，MUKHERJEE J.Gait recognition using pose kinematics and pose energy image［J］.Signal Processing，2012，92(3):780-792.