夜间监控下基于步态的行人身份识别

李珊，孙鹏，郎宇博

（中国刑事警察学院 辽宁沈阳 110854）

步态是人在行走过程中的姿态的变化，其中包括了行走人的静态体态特征和个人动态行走特征。心理学和生理学证据表明，人人都有截然不同的步态特征，因此步态可用于身份的鉴别［1］。相对于人脸、指纹、虹膜、耳廓等其他生物特征，步态对图像质量要求低、远距离非受控状态下可采集，与当今普及程度极高的视频监控设备相结合，成为当下生物特征技术的热门研究方向。步态识别指利用步态信息对人的身份进行识别的技术［2］。在公安应用领域，步态能够弥补人脸在夜间环境下识别率大大降低的缺陷，所以对夜间环境下利用步态进行人身鉴定的研究十分必要。

目前，视频监控下步态识别的研究集中在对步态特征的更新和对分类方法的改进。基于非模型的步态特征从传统Han 和Bhanu 提出的步态能量图［3］到Bobick 和Davis 提出的运动能量图和运动历史图［4］，再到现在邵虹、王呋昀提出的基于集成Gabor特征的步态特征提取方法［5］；基于模型的步态特征从传统的Lee 等人提出的椭圆模型［6］到Nixon 等人提出的简化腿部模型［7］，再到现在Zhao等人针对于二维模型易受遮挡问题提出的三维模型［8］；分类方法从传统的决策树算法、支持向量机SVM、BP 神经网络等到更为复杂的卷积神经网络［9］、递归神经网络及在原基础上改进的各种人工神经网络算法［10］等，如近期周兰等人提出的基于深度卷积限制玻尔兹曼机的步态识别［11］以及中科院自动化研究所吴子峰，黄永祯等提出基于深度卷积网络的步态识别方法［12］。近期，深度学习与步态识别相结合、多特征融合、多视角融合这些成为热点研究方向，但是对夜间监控视频下的步态识别的研究相对较少。夜间环境下光线条件差、拍摄背景复杂、行人亮度变化不明显等因素导致在夜间对行人的轮廓特征、面部姿态、指纹等精准信息的捕捉较为困难［13］，同时采集到的步态图像也常常具有不可避免的较强噪声或缺损。因此，与白天环境下步态识别相比较，夜间环境下步态识别的难点在于视频图像预处理过程更为复杂，步态特征的选取范围更窄。

本文首次专门性地对夜间监控视频下的步态识别进行探究。视频图像预处理上，采用去噪、闭运算、孔洞填充、边缘平滑化和提取轮廓等形态学处理方法对夜间图像进行降噪处理；步态特征的选取上，选取人体关键点间距离随步行前进的变化作为步态特征，并且创新性地针对夜间行人步态图像出现的缺足现象提取检测及特征优化算法；步态分类环节，选取较适合所选取步态特征的SVM分类算法进行分类，并将分类识别率与白天环境相比较。

一、夜间步态图像预处理算法

红外（热感）摄像机在夜间拍摄的原始视频序列图像如图1所示。将白天与夜间环境下数据库中的步态剪影进行对比，如图2 所示。可见夜间红外摄像机采集到的步态图像具有较大的噪声且在一定部位出现缺损，直接采用会对后期的步态特征提取和识别阶段产生较大影响。因此，需要进行图像预处理操作，使得夜间步态图像更好地用于步态识别后续操作。

针对夜间步态数据库，进行去小块噪声、闭运算、孔洞填充、平滑边缘、边缘提取等形态学操作。去小块噪声主要利用连通区域的数量与大小之间的关系，对一些属于噪声的小块区域进行去除；闭运算是对图像现进行膨胀再腐蚀，实现断连的身体部位之间的连通；孔洞填充主要对闭运算后仍然存在的孔洞进行填充，使图像中的步态剪影成为一个整体连通区域；边缘平滑操作将步态剪影轮廓上的高频噪声去除。边缘提取过程将人体轮廓边缘提取到，有利于后续人体特征点的定位。经过各个步骤形态学处理后，效果如图3所示，可见夜间步态图像中原本具有的噪声和缺损被消除掉。

图1 红外摄像头在夜间拍摄到的步态

图2 白天与夜晚环境下步态图像对比

图3 形态学处理效果

二、步态特征的提取算法

（一）步态能量图

步态能量图（Gait Energy Image，GEI）采用简单的加权平均方法将一个周期的步态图像合成一幅图像，是步态识别最常用的步态特征。一个步态周期定义为在行进过程中，同一只脚从脚跟离地跨出到下一次该只脚脚跟离地跨出之间的行进过程。

1.步态周期的分割。步态周期最常用的分割算法就是按照人体步态剪影长宽比的周期性变化作为分割依据，如图4 所示。连续三个波峰之间或者连续三个波谷之间可以被定义为一个步态周期。

图4 步态周期分割依据

2.步态能量图的计算。给出一个步态周期内的N 张步态二值图像，t代表周期图像序列，Bt(x,y)代表t时刻步态二值图像，该周期内步态能量图G(x,y)是对该周期内所有步态剪影图进行加权平均得到，计算公式如公式（1），步态能量图式样如图5所示。

虽然步态能量图计算简单，包含步态信息丰富，但是计算量较大。本文主要针对的夜间环境下步态识别，由于多是顶光照射的原因，提取到的步态图像常出现缺足现象，如图6所示，此类缺损特征对步态能量图影响较大，所以本次不选取传统步态能量图作为步态特征。

图5 步态能量

图6 缺足现象

（二）人体关键点特征

人体关键点特征实际属于简化的基于模型的特征，利用在行进过程中，人体骨骼关键点的状态与变化规律作为人体步态的模型，但又不需要建立实际模型，降低运算复杂度和运算量。

1.特征的选取。参照论文监控视频中基于人体关键点的步态识别研究［14］，选取人体质心-头顶距离与嫌疑人身高比a、质心-足右距离与嫌疑人身高比b、质心-足左距离与嫌疑人身高比c，人体形态宽长比d四个特征在连续30张视频图像序列下的变化作为特征，如图7所示，并在最终形成1*120的一维向量特征。四个特征的变化曲线如图8所示，可以看出特征的周期性变化。

图7 步态特征

图8 特征值的变化曲线

2.异常特征的检测及优化。异常特征检测和优化流程图如图9所示。异常特征的检测过程实际就是是否提取到足部位置的判断问题:若提取到的特征数量与输入的图片数量相同，则表明该段视频图片序列内无缺足现象。若提取到的特征数量少于输入的图片数量，则明该段视频图片序列内出现缺足现象。优化的过程实际是对关键点坐标进行滤波的过程，本文选择巴特沃斯滤波器进行数据优化。巴特沃斯低通滤波器可用公式（2）表示:

其中，H(ω)是振幅，n是滤波器的阶数，ωc是截止频率（振幅下降到-3dB 时的频率），ωp是通频带边缘频率。分别对质心点、头顶点、右足点、左足点的横坐标和纵坐标变化趋势进行巴特沃斯滤波，得到的结果如图10所示，可见滤波后的坐标在滤波前异常变化部分的波动明显减小，达到降噪效果。将降噪后的关键点坐标标记于步态图像上，与降噪前进行对比，如图11所示，可见定位到的人体关键点更加准确。为保证不丢失步态的个人特征，本文只是将检测到的具有缺足现象的步态关键点的坐标进行处理，优化异常点，而原正常点的坐标值保持不变。将优化前后提取到的特征值进行对比，对比图如图12所示，可见特征值在一些变化紊乱的图片中的得到了优化。

图9 异常特征检测和优化流程

图10 滤波前后关键点坐标变化趋势对比

图11 滤波优化前后关键点位置对比

图12 优化前后特征值变化对比

三、实验

本文实验环境为Matlab 2018a，实验所用数据库来源于中科院步态数据库中的Dataset B 和Dataset C。Dataset B 在正常环境下采集，共124 个人，每个人有11 个视角（0，18，36，……，180 度），在3种行走条件下（普通，穿大衣，携带包裹）采集。Dataset C 是一个用红外（热感）摄像机在夜间拍摄的大规模数据库，包含153人，每个人在4种条件下行走:正常行走，快走，慢走，带包走。白天数据较好，直接进行特征提取和分类；夜晚数据由于光线原因，具有较大噪声和残缺，利用本文提出的预处理和特征优化的方法处理后，再进行分类操作。最终通过白天环境下和夜晚环境下的识别率来进行步态识别效果的对比。

（一）数据准备

本文对比实验的数据有白天环境下步态数据和夜晚环境下步态数据。白天环境下的步态数据来源于B数据库（本文仅探究与摄像头成90°视角下的步态），每名实验对象具有的10段视频（背包+大衣+正常行走）全部备用，从每段视频中提取20段不同的特征序列，因此每名实验对象有200段特征序列。夜间环境下的步态数据来源于C 数据库，从每名实验对象具有的10 段视频中取出6段（2 段背包+4 段正常行走）备用，从每段视频中提取出34 段不同的特征序列，因此每名实验对象有204段特征序列。

为尽量保证白天夜间实验条件相同，B 和C 数据库中每名实验对象均取出200 段特征序列（需注意:白天环境下，每名实验对象的步态特征来源于10 段视频；而夜间环境下，每名实验对象的步态特征仅来源于6段视频）。都将3/4的数据用作训练集，另外1/4的数据用作测试集。

（二）视频中行人分类识别

利用Libsvm 对提取到的步态数据进行多分类，类别数从2 逐渐增至25，最终的分类识别率如表1所示。通过分类识别率可以看出:通过步态对监控视频中的行人进行身份识别，夜间环境下的步态识别效果略低于白天环境，但是也能够达到较高的识别率。

表1 分类识别率结果

四、结论

本文针对夜间步态数据的噪声和缺足现象，进行算法优化后，提取人体关键点特征，最终用SVM 进行分类。实验结果表明，相比于白天环境，夜间环境下的步态识别率略低，验证了步态识别技术在夜间的可行性。虽然取得了不错的分类效果，但是本文对步态数据的优化算法仅考虑了对部分关节点的恢复，对现存步态特征算法不具有普适性，下一步工作计划将对夜间步态数据库中的数据优化算法进行改进，以减少光线条件对步态识别结果的影响。