视频下的正面人体身份自动识别

贲晛烨，王科俊，马慧，4

(1.山东大学信息科学与工程学院，山东 济南250100;2.哈尔滨工业大学 交通科学与工程学院，黑龙江 哈尔滨150090;3.哈尔滨工程大学 自动化学院，黑龙江 哈尔滨 150001;4.黑龙江大学 电子工程学院，黑龙江 哈尔滨150086)

美国国防部高级研究项目署在2000年资助的远距离身份识别计划中，主要开发多模式、大范围的视觉监控以实现远距离人的检测、分类与识别.国内的中科院自动化所模式识别国家重点实验室最早就“基于步态的身份识别”问题展开研究.步态识别在门禁系统、安全监控、人机交互、医疗诊断等领域具有广泛的应用前景和经济价值，因此激发了国内外科研工作者的研究热情[1].

至今未见成型的步态识别系统，现有研究仅停留在理论上.为了实现实时自动步态识别，设计了一套远距离视频下正面人体身份自动识别系统.步态是大范围的生物特征，当个体与摄像机的距离较远时，能够获得步态信息;人脸是小范围的生物特征，当人脸图像的分辨率足够高时，人脸信息是有效的.步态和人脸都可以通过摄像机采集，都是视觉上的线索，不需要额外的传感器设备.步态和人脸也是相互独立的互补特征:步态特征容易受到外套变化、鞋子、负载和身体状况的影响，而这些因素不会影响到人脸特征;人脸特征容易受到胡须、眼镜、化妆、发型、光照、表情和姿态变化的影响，但是这些因素对步态没有影响.因此将步态和人脸的特征进行融合可以提高身份识别的性能.考虑到Constantine等[2]使用Adaboost方法对物体检测提出了一个整体框架，Oren等[3]使用 Haar小波进行行人检测，P.Viola[4]提出了一种基于 Haar特征的 Adaboost算法，己达到实时的要求，并且Rainer等采用积分图[5]进一步降低计算成本，因此本文也将Adaboost方法嵌入到自动身份识别系统中.目前已存在的步态周期检测方法[6-11]主要是通过分析人体宽度信号或区域像素点数来实现的.但这些方法都是针对侧面步态提出的，对正面步态的周期性判断不准，因此提出根据下臂摇摆区域确定步态周期的方法，该方法对正面步态周期检测准确、计算量小，适用于实时的步态识别系统.首先用Adaboost算法检测行人，若检测到，便自动开启Adaboost人脸检测模块，并加以肤色验证模块判断，同时对步态序列图像进行预处理，以便进行步态周期检测，将人脸图像统一归一化到32×32像素大小，步态能量图(gait energy image，GEI)为64×64像素大小，然后分别采用核主成分分析(kernel principal component analysis，KPCA)进行特征提取，最后识别时采用计分的决策级融合方法.

1 行人检测与人脸检测

1.1 Adaboost检测人脸模块以及肤色验证

将Adaboost与积分图的Haar-like特征结合检测人脸[4]，并采用矩形特征(如图1所示).Adaboost分类器是由多层弱分类器级联而成，从第1层分类器出来的正确结果触发第2层分类器，从第2层出来的正确结果触发第3层分类器，以此类推;相反，从任何一个结点输出的被否定的结果都会导致对这个子窗口的检测立即停止.通过设置每层的阈值，使得绝大多数人脸都能通过，非人脸不能通过，这样靠近级联分类器后端的层拒绝了大部分的非人脸.

检测结果如图2所示，正方形框为检测到的人脸区域.这里存在检测错误的情况，因为视频场景中的某些区域类似于人脸的局部特征，眼睛部位的“黑白黑”与定标带十分相近.若保留这些样本，对远距离的身份识别不利.笔者发现，错误检测的人脸与真实人脸相差甚远，人肉眼很容易区分，因此可以采用肤色模型对人脸区域加以验证.不同种族、不同年龄、不同性别的人的肤色看起来存在差异，这个差异主要体现在亮度上，当去除亮度，肤色就具有很高的聚类性，选取YCbCr色彩空间，归一化色度直方图后假定肤色满足二维高斯模型:

式中:m为均值，C 为协方差矩阵，x=[CbCr]T.

图1 使用的矩形特征Fig.1 Rectangle features used

图2 检测错误的人脸情况Fig.2 Error face detection case

通过式(1)得到肤色似然图像，使用Ostu法求出最佳二值化阈值，从而区分出人脸与非人脸.Adaboost算法加上肤色模型验证的结果如图3所示.

图3 加入肤色验证的检测结果Fig.3 Detection results of adding skin color verification

1.2 Adaboost行人检测模块

设置Adaboost行人检测模块的目的在于该系统能够触发自动开启正面步态周期检测模块和人脸检测模块.Adaboost行人检测模块的设计思想与Adaboost人脸检测基本一致，选用的也是矩形特征，由于想要实现的是正面行人检测，因此没有选择“三角特征”.单纯的Adaboost行人检测也会出现误检情况，如图4所示，长方形框为检测人体的结果，图中支架也被检测为人体，这是因为支架的“腿”与人的腿部形状类似.因此需要验证环节，鉴于步态识别的研究对象是行人的姿态，必然是运动个体，而支架始终是静止不动的，假定室内光线不会出现急剧的变化，将相邻2帧图像中的人体中各像素点的RGB值按式(2)进行运算:

式中:r1、g1、b1和 r2、g2、b2分别为相邻 2 帧的图像中待处理像素点的RGB值.把当前图像的E(R)和预设阈值T进行比较，当E(R)＞T时，认为其区域属于步态区域，人体检测的长方形框给予保留;反之，当E(R)≤T时，则认为其区域属于非步态区域，其中E(*)表示期望.针对CASIA(B)的视频，考虑一定的光照影响，选择T=20.Adaboost加上差分验证的实验结果如图5所示.

图4 人体检测错误的情况Fig.4 Error human detection case

图5 加入差分验证的检测结果Fig.5 Detection results of adding difference verification

2 正面步态的周期检测

步态周期定义为同一只脚连续2次脚跟触地的时间间隔[12].在进行步态识别时，通常提取1个步态周期或多个步态周期的平均来进行分析.因为在1个周期内比较，一方面能够消除图像序列长度不同造成的影响;另一方面，也能够降低特征提取、分类识别的运算复杂度.

现有的步态周期检测方法对正面步态检测无效.针对于此，提出一种基于人体身高比例的步态周期检测方法.解剖学中，利用人体的正面影像抽取人体的骨架，假设H表示人体身高，则各部分肢体占人体的比例关系[13]如图6所示.

基于人体身高比例的步态周期检测方法是统计下臂摇摆区域的像素数目的逐帧变化.具体方法如下:设累计区域像素值为NH，找到NH的一个局部极小值(极大值)，然后按顺序向后查找NH的第3个极小值(极大值)，记下这2帧图像在序列中的帧号，则2帧中间的时间就是一个步态周期.采用文献[14]的步态预处理方法，将人体居中，大小归一化到64×64像素大小，进行正面步态的周期检测.图7为采用下臂摇摆区域(即图像平面的第25～29行)测试正面步态周期的检测结果.

图6 部分肢体占身高比例Fig.6 Height ratios of the various parts of the human body

图7 根据下臂摇摆观测步态的周期性曲线Fig.7 Measured gait period characteristic curves based on lower swinging arm region

3 实验结果与分析

实验采用CASIA(B)步态数据库上的正面视角样本库，该库包含124个人，选择正常步态作为研究对象.实验分为2个阶段:训练阶段和识别阶段.训练时，读入视频文件，首先采用Adaboost方法和差分验证进行行人检测，一旦检测到存在运动人体，便自动开启步态周期检测模块和人脸检测模块(包含Adaboost人脸检测模块和肤色验证).由于远距离情况下，人脸区域很小，主要以步态特征作为身份识别的依据，人脸为辅助特征.然后将人脸图像归一化到32×32像素大小，通过对检测到的一个周期的步态图像加权平均生成GEI，即

式中:Bt(x，y)为步态单帧图像，N是步态周期的长度，t为时间，x、y为二维图像平面坐标.

采用KPCA方法分别进行步态和人脸的特征提取，通过核映射升维，使原输入数据在Rn空间中线性不可分的模式在特征空间F中可能变得线性可分.文中并没有采用基于矩阵的核主成分分析方法(如核二维主成分分析 K2DPCA)，这是因为K2DPCA 定义的图像矩阵 Ai(Ai∈Rm×n，i=1，2，…，M)的核映射为

3.1 单独步态特征

由于CASIA(B)库中每人有6个样本，分别选择前5、4、3、2个样本和单样本训练，余下的样本采用最近邻分类器(NN)来测试识别.实验结果如图8所示，其中:fn表示前n个样本训练，sn表示单独第n个样本训练.

图8 单独步态特征的识别结果Fig.8 Recognition results using gait features individually

从图8中可以发现，当特征维数等于样本数时，有最佳识别率;当保留特征的维数减少时，识别率下降;当特征维数相等时，每一类提供的训练样本越多，识别率就越高;单样本训练的识别率较多样本训练下降得很多，因为一个样本存在很大的局限性与特殊性，而且如果没有先验知识，也很难做到通过一个样本去扩充生成多个样本.前5个样本训练时得到的识别精度为95.97%，此时的特征维数为110维;而单样本训练的平均识别精度为88.52%，特征维数保持在124维.

3.2 人脸特征辅助步态特征

当存在多个训练样本时，识别性能较好，但是一旦出现训练样本只有1个时，识别率会大大降低，所以针对此问题，采用人脸特征辅助步态特征进行远距离视频下的正面人体身份自动识别任务，分别采用KPCA对GEI和人脸灰度特征进行特征提取，识别时采用文献[17]中的计分法对2组特征在决策级进行融合，计分方法如式(3):

式中:X是待识别样本;Xi是待识别样本X的第i种特征;wi是一个权值，其值来自利用第i种特征识别时的识别率，是一个先验概率;μj(Xi)表示待识样本X利用第i种特征对第j类的隶属度:

式中:b＞1是一个可以控制聚类结果的模糊程度的常数，通过实验选取b=1.5;k为总的类别数;cij为利用第i种特征的第j类的聚类中心，且cij通过K-均值聚类方法得到.若c=argjm ax Score(X，j)，则 X 属于类c.

在单样本训练步态识别中，为了验证人脸特征辅助步态特征的有效性，采用上述决策级融合方法在CASIA(B)库上进行实验.实验结果如表1所示，人脸特征辅助步态特征识别与单独的步态特征相比，正确识别率可以提高2.4个百分点.辅助人脸特征的优点在于，即使步态训练样本是单样本，而人脸图像是多个的，这样便从另外一个角度扩充了训练样本的数目，有助于身份识别.

表1 人脸特征辅助步态特征识别的性能(CASIA(B))Table 1 Recognition performance using gait features assisted by face features(CASIA(B))

仍然在单样本训练的步态识别中验证人脸特征辅助步态特征进行身份识别的有效性，采用上述决策级融合方法在CASIA(A)库[18]的正面步态条件下进行实验.该库含有20个人，每个人4个序列，与CASIA(B)的采集环境不同:(A)库是室外环境，(B)库是室内环境.实验结果如表2所示，以单步态样本为训练样本的平均识别率为87.92%，融合人脸后的平均识别率为90.84%，与单独采用步态信息相比提高了2.92个百分点.

表2 人脸特征辅助步态特征识别的性能(CASIA(A))Table 2 Recognition performance using gait features assisted by face features(CASIA(A))

3.3 与现有方法的比较

笔者在前期的工作提出了组合投影[19]、线性插值[20]、GEI[21]、子模式 GEI[14]和能量信息融合[17]等算法，现在将这些算法应用到 CASIA(B)和CASIA(A)中，测试单样本训练的步态识别的平均识别率.实验结果如表3所示，可以看出，本文提出的算法的识别率远远高于前期工作的识别率，这是因为本文是采用的核方法来提取步态特征，核方法可以使原始空间中线性不可分的模式在特征空间中变得线性可分;除了步态特征以外，还融合了人脸特征，大大地提高了身份识别的识别性能.文献[22-23]同样采用了正面步态特征进行身份识别，将本文方法与以上2种具有代表性的方法——三维中心矩[22]和曲线展开[23]方法进行比较，可以看出步态识别融合人脸识别确实对身份识别卓有成效.

表3 本文方法与其他方法的比较Table 3 Comparison with other algorithms and our method

4 结束语

本文研究了视频下人体身份自动识别系统研发中，有关检测和识别算法等方面的关键性技术.提出的根据下臂摇摆区域确定步态周期的方法对正面步态周期检测准确，克服了传统的步态周期检测算法只适用于分析侧面视角下的步态的不足，而且所提出的算法计算量小，适用于实时的步态识别系统.本文给出了视频下身份识别新的解决思路，即通过人脸特征辅助步态特征在决策级的计分融合方法来实现.在单样本的步态识别中，融合人脸特征可以提高识别精度.辅助人脸特征的优点在于，即使步态训练样本是单样本，但是人脸图像是多个的，这样便从另外一个角度扩充了训练样本的数目，有助于身份识别.下一步的工作重点是研究其他形式的人脸和步态特征的融合方法以进一步提高识别精度.

[1]王科俊，贲晛烨，刘丽丽.采用Radon变换和二维主成分分析的步态识别[J].智能系统学报，2010，5(3):266-271.WANG Kejun，BEN Xianye，LIU Lili.Gait recognition with Radon transform and 2-D principal component analysis[J].CAAI Transactions on Intelligent Systems，2010，5(3):266-271.

[2]CONSTANTINE P P，MICHAEL O，TOMASO P.A general framework for object detection[C]//Sixth International Conference on Computer Vision.Bombay，India，1998:555-562.

[3]OREN M，PAPAGEORGIOU C，SINHA P，et al.Pedestrian detection using wavelet templates[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Los Alamitos，USA，1997:193-199.

[4]VIOL P，JONES M.Rapid object detection using a boosted cascade of simple features[C]//IEEE Conference on Computer Vision and Pattern Recognition.Kauai，USA，2001:1511-1518.

[5]LIENHART R，MAYDT J.An extended set of haar-like features for rapid object detection[C]//IEEE International Conference on Image Processing.Rochester，USA，2002:900-903.

[6]CUTLER R，DAVIS L S.Robust real-time periodic motion detection，analysis，and applications[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22(8):781-796.

[7]BENABDELKADER C，CUTLER R，DAVIS L S.Stride and cadence as a biometric in automatic person identification and verification[C]//Proceedings of the Fifth IEEE International Conference on Automatic Face Gesture Recognition.Washington，DC，USA，2002:372-377.

[8]COLLINS R T，GROSS R，SHI J B.Silhouette-based human identification from body shape and gait[C]//Proceedings of the Fifth IEEE International Conference on Automatic Face Gesture Recognition.Washington，DC，USA，2002:366-371.

[9]SARKAR S，PHILLIPS P J，LIU Zongyi，et al.The humanID gait challenge problem:data sets，performance，and analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27(2):162-177.

[10]WAGG D K，NIXON M S.On automated model-based extraction and analysis of gait[C]//Proceedings of the Sixth IEEE International Conference on Automatic Face and Gesture Recognition.Seoul，Korea，2004:11-16.

[11]KALE A，SUNDARESAN A，RAJAGOPALAN A N，et al.Identification of humans using gait[J].IEEE Transactions on Image Processing，2004，13(9):1163-1173.

[12]NIXON M S，CARTER J N，CUNADO D，et al.Automatic gait recognition[M]//BOLLE R，PANKANTI S.Biometrics:Personal Identification in Network Society.Norwell，USA:Kluwer Academic Publishers，1999:231-250.

[13]YOO J H，NIXON M S，HARRIS C J.Extracting human gait signatures by body segment properties[C]//The Fifth IEEE Southwest Symposium on Image Analysis and Interpretation.Sante Fe，USA，2002:35-39.

[14]王科俊，贲晛烨，刘丽丽，等.基于子模式的完全二维主成分分析的步态识别算法[J].模式识别与人工智能，2009，22(6):854-861.WANG Kejun，BEN Xianye，LIU Lili，et al.Subpatternbased complete two dimensional principal component analysis for gait recognition[J].Pattern Recognition and Artificial Intelligence，2009，22(6):854-861.

[15]ZHANG D，CHEN S，ZHOU Z.Recognizing face or object from a single image:linear vs.kernel methods on 2D patterns[C]//Proceedings of the Joint IAPR International Workshops on Structural and Syntactic Pattern Recognition and Statistical Techniques in Pattern Recognition.Hong Kong，China，2006:889-897.

[16]王海贤.有限混合模型、非线性二维主成分分析及其在模式分类中应用[D].合肥:安徽大学，2005.WANG Haixian.Finite mixtures of models，nonlinear twodimensional principal component analysis and their applications to pattern classification[D].Hefei:Anhui University，2005.

[17]王科俊，贲晛烨，刘丽丽，等.基于能量的信息融合步态识别[J].华中科技大学学报:自然科学版，2009，37(5):14-17.WANG Kejun，BEN Xianye，LIU Lili，et al.Gait recognition using information fusion of energy[J].Journal of Huazhong University of Science and Technology:Nature Science Edition，2009，37(5):14-17.

[18]WANG Liang，TAN Tieniu.Silhouette analysis-based gait recognition for human identification[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25(12):1505-1518.

[19]王科俊，贲晛烨.基于线性插值的特征模板构造的步态识别算法框架[J].南京理工大学学报:自然科学版，2009，33(Supl.):215-219.WANG Kejun，BEN Xianye.Framework for gait recognition based on feature template construction using linear interpolation[J].Journal of Nanjing University of Science and Technology，2009，33(Supl.):215-219.

[20]王科俊，贲晛烨.基于线性插值的步态识别算法[J].华中科技大学学报:自然科学版，2010，38(2):41-44.WANG Kejun，BEN Xianye.Gait recognition using linear interpolation[J].Journal of Huazhong University of Science and Technology:Nature Science Edition，2010，38(2):41-44.

[21]王科俊，贲晛烨，孟玮，等.基于广义主成分分析的步态识别算法研究[J].哈尔滨工程大学学报，2009，30(9):1022-1028.WANG Kejun，BEN Xianye，MENG Wei，et al.Research on a gait recognition algorithm based on generalized principal component analysis[J].Journal of Harbin Engineering University，2009，30(9):1022-1028.

[22]MICHELA G，CARTER J N，NIXON M S.Front view gait recognition[C]//Proceedings of the 2nd IEEE International Conference on Biometrics:Theory，Applications and Systems.Arlington，USA，2008:1-6.

[23]MARICOR S，ALESSANDRA A，CAESAR S.Curve spreads:a biometric from front-view gait video[J].Pattern Recognition Letters，2004，25(14):1595-1602.