基于贝叶斯网络的人体异常行为检测与识别

韩飞龙 应捷

摘要：使用卡尔曼滤波算法检测视频中的运动目标，并对检测到的行人进行特征提取。采用图像熵、Hu不变矩和长宽比特征，建立贝叶斯网络结构对人体目标进行分类，从而对人的正常行走和倒地、奔跑、挥拳4种行为进行识别。正常行走是正常行为，摔倒、挥拳和奔跑是异常行为。实验结果表明，通过特征提取的贝叶斯网络分类具有较好的实时性，其准确率可达90%。

关键词：行人检测；卡尔曼滤波；贝叶斯网络；特征提取

DOI：10.11907/rjdk.172040

中图分类号：TP306

文献标识码：A文章编号：1672-7800（2018）007-0009-05

Abstract：MovingobjectsinvideoswaredetectedbyKalmanfilteralgorithmandobjectfeatureswareextracted.NaveBayesiannetworkisestablishedtoclassifythefourbehaviorssuchasnormalwalking，thefalling，runningandpunchingbyusingentropy，Humomentinvariantandsymmetryfeatures.Normalwalkingisnormalbehavior.Falling，runningandpunchingareabnormalbehavior.Experimentalresultsshowthatthemethodissimpleandhasgoodreal-timeperformance.Theaccuracycanreach90%.

KeyWords：detectionofmovinghuman；KALMANfiltering；Bayesiannetworks；featuresextraction

0引言

随着信息化的发展和科技的进步，人类进入到一个数字信息爆炸时代。如今，数字图像、视频等数字影像信息已广泛应用于生活管理、安全监护等各个方面，大大提高了人们生活质量。特别是随着恐怖袭击和各类安全事件的频发，安全部门开始更多地将注意力集中到智能视频监控领域，以快速检测出监控区域的异常行为，及时推测出可疑的异常行为，从而减少事故发生几率，并对事故进行及时处理。

目前，国内外在异常行为检测方面进行了大量研究。根据不同的目的和功能要求，其检测分类方法也不尽相同。一种是基于模型的方法，该方法通过建立某种准则，从图像上提取相关特征，从而构造分类器进行分类；另一种是基于推测的方法，该方法利用异常行为难定义、易发现等特点通过学习正常模式，从而推断可疑行为。YibingWang等提出基于极端学习机的异常分类算法（L1-NormMinimizationELM）；ASargano等提出基于Hu不变矩的多视觉特征结合支持向量机（SVM）进行分类检测；王威等提出一种基于时空联合特征的支持向量机分类检测算法；Wu等利用PCA进行边缘特征提取，然后用SVM将行为分为正常和异常两类；Vishwakarma等[1-8]提出基于边缘梯度的空间分布方法进行行为识别。

上述方法虽然能对异常行为进行检测和分类，但准确率不高或实时性不好。本文研究一种具有通用性的行人异常行为检测方法，首先采用卡尔曼滤波进行目标检测，然后对检测到的目标进行贝叶斯网络分类，从而对行人姿态实现实时检测与识别分类。

1行人检测与分类方法

行人异常检测与分类系统处理流程如图1所示。采用固定摄像机实时获取视频图像，中央处理单元（可以采用笔记本电脑）对图像进行检测与分类。行人检测采用卡尔曼滤波实现，然后对检测到的障碍物进行特征提取。提取目标的Hu不变矩特征、长宽比和图像熵特征，建立贝叶斯网络对障碍物进行分类，分类结果通过语音进行提示。

1.1卡尔曼滤波障碍物检测方法

卡尔曼滤波检测流程如下：

首先建立系统模型，设定初始参数，读入图像序列；然后读取图像序列中的一帧图像，预处理后产生初始化背景图像；依次读入下一帧图像，采用卡尔曼滤波的背景估计法，通过计算图像中的像素点变化判断该点属于前景或背景图像；然后将前景图像进行连通运算，标记出前景运动目标；计算运动目标面积，面积小于阈值的目标不予标记，将面积大于阈值的目标进行连通运算，标记连通区域得到理想的运动目标；最后使用最小矩形框将运动目标分割出来，以便于后续的分类处理。

1.2基于贝叶斯网络的行人异常分类方法

贝叶斯网络又称为信念网络或有向无环图模型，是一种用于描述变量间不确定性因果关系的图形网络模型，由节点、有向连接和节点概率表组成。贝叶斯分类通过先验分析，得到分类对象的先验概率，再利用贝叶斯公式计算需要分类对象的后验概率，通过选择最大后验概率判断需分类对象的所属类别。

本文设计的贝叶斯网络如图3所示，提取行人目标的3个特征进行分类，提取目标的Hu不变矩特征、图像熵与目标长宽比。通过大量样本图像的特征值提取，可以得到图像的特征值分布；计算图像特征值的高斯概率分布，得到样本特征属性的先验概率，作为贝叶斯分类器的输入；然后对待测样本图像进行贝叶斯分类计算，得到测试图像类型概率，概率最大的对应的类即是待测样本类别。本文采用最小误差概率的拓扑贝叶斯能够有效地将未知图片进行分类，錯误率较低。

2行人特征提取

基于贝叶斯网络进行行为异常分类，必须先确定行人特征。特征选取很重要，它是行为分类的依据。本文选取3个特征，提取目标的Hu不变矩特征、图像熵和长宽比。

长宽比可以有效地将异常倒地和正常行走、挥拳、奔跑区分出来。利用卡尔曼滤波进行障碍物检测后，可得到动态目标的最小外接矩形，从而得到目标的长宽比。其中倒地长宽比的数值范围是1.2～1.8，正常行走长宽比的数值范围是0.2～0.4，奔跑长宽比的数值范围是0.18～0.4，挥拳长宽比的数值范围是0.3～0.45。行人的图像熵和Hu矩通过以下方法得到：

2.1图像熵

熵（entropy）表示一个系统的无序程度。1948年Shannon将熵的概念引入到信息论中，表示系统（信源）的不确定性，用于衡量信息量的多少，称为“信息熵”。图像熵是图像的信息熵度量，表示图像中信息量的多少。由于卡尔曼滤波检测图像序列包含了场景的大量运动信息，通过计算其熵值，可以准确量化行人的运动变化情况。当异常事件发生时，剧烈变化的场景必然表现为熵值的急速上升，因此利用图像熵检测异常事件是可行的。

对于灰度值为8位的图像，其一维熵的计算公式为：

本文首先进行图像熵提取，图像熵值H在4.7～6.0之间可以判断为正常行走，实验结果较为理想，误差较小。其中奔跑的图像熵值范围是6.2～7.3，倒地的图像熵值范围是6.7～7.8，挥拳的图像熵值范围是6.0～7.9。

通过对图像熵的检测，可以迅速判断行人是否处于正常行走状态，从而可对后续异常作进一步判断。

2.2Hu不变矩

矩特征主要表征图像区域的几何特征，又称为几何矩，是由Hu在1962年提出的。由于其具有旋转、平移、尺度等特性的不变特征，所以又称为不变矩。在图像处理中，几何不变矩可作为一个重要特征表示物体，可以跟据该特征对图像进行分类等操作。如果将图像灰度值看作一个二维或三维的密度分布函数，矩方法即可应用于图像分析领域，并用于图像特征的提取。在模式识别中，一个重要问题是识别目标的方向性变化。Zernike矩是一组正交矩，具有旋转不变性，即旋转目标而不改变其模值。由于Zernike矩可以构造任意高阶矩，所以Zernike矩的识别效果优于其它方法。

对于每一帧图像，这里只提取最显著的Hu矩特征M5，从而减少相应数据的运算量，提高实时性。对于提取到的相关特征，采用贝叶斯网络分类器进行训练和分类，以实现对可疑行为的检测。

3实验结果及分析

3.1实验数据集与实验性能评价指标

在本实验中，摄像机安装在固定角度，实时采集监控区域视频图像序列输入到图像处理器，本文采用笔记本电脑进行图像处理。卡尔曼滤波算法在Windows7平台上使用MATLAB函数库实现。数据来源于HMDB51数据库和KTH动作识别数据库，KTH数据库包括行走、奔跑、挥拳等6类动作，共有600个视频片段，序列像素的分辨率大小为160×120。本文选取奔跑、挥拳、正常行走3个动作，倒地的一部分图像序列来自网络。识别系统的定量评价指标主要有3个，即虚警率、漏警率和处理速度。

3.2行人检测结果

图6-图9为卡尔曼滤波检测得到的效果。卡尔曼滤波对采集到的图像进行运动目标标记和提取，并将检测到的结果保存起来，以便后续的特征提取。经验证，该算法对障碍物的检测率达到95%。

本文的卡尔曼滤波利用迭代递推计算方法，对存储空间要求小，实时性更好，可以及时进行背景更新，并且该方法受外界噪声影响更小，同时减少了对硬件质量的要求，降低了应用成本，具有很好的应用前景。

3.3异常行为分类

3.3.1训练图像选取与处理

选取100幅不同姿态的行人图片作为贝叶斯分类器训练样本，包括正常行走，以及异常状态的奔跑、挥拳和倒地，每种类别各25幅。如图10所示为每一类的典型样本。分别提取训练样本的3个特征：障碍物的对称性、边缘直线水平度和目标长宽比。统计得到训练样本特征值的平均值和方差，如表1、表2所示。将得到训练样本的平均值和方差作为贝叶斯网络输入。

对每一类训练样本的3个特征值进行统计分析，观察其特征值分布。理论上每一类样本的图像特征值分布应该是一致的。通过分析图像特征值分布，可以得到每类图像特征值的高斯概率分布。

3.3.2贝叶斯网络分类结果

本实验在Windows7的计算机上完成，采用MATLAB_R2015a实现代码编程。贝叶斯分类器有3个输入：①400（行）×3（列）的训练样本特征值矩阵；②100（行）×3（列）的测试样本特征值矩阵；③分类图像类别数为4。贝叶斯分类器有一个输出：1（行）×100（列）的测试样本分类类别，每个数据表示测试样本的类别种类。实验结果表明，行走识别率为98%，倒地识别率为100%，奔跑识别率为93%，挥拳识别率为90%。图像处理实时性可达每帧0.29s。

为了更有效地与其它分类算法进行对比，在实验样本和分类种类选择与本文方法相同的情况下，从客观角度对SVM[5]、ShapeFeatures[8]、BP网络分类[9]、AdaBoost[11]及本文分类结果进行定量比较分析，实验结果如表3所示。

由表3可知，朴素贝叶斯分类器可得到更好的分类精度。由于传统的BP算法需要较长训练时间，容易陷入局部极小值，分类准确率低于其它方法；SVM方法的关键在于核函数，而低维空间向量集通常难以划分，且其核函数选取以及参数确定不具有普遍性，当训练样本较大时，难以实施；AdaBoost方法适合于各种分类场景，但当出现多次分类错误后，会影响误差计算与分类器挑选，从而出现典型退化问题。传统形态特征需要较复杂的算法支持，实时性不强，而且不能智能地判断出是何种异常。由于本文所涉及的障碍物特征相互独立，所以采用朴素贝叶斯网络进行分类可避免模型过于复杂，降低模型维数，有效防止過拟合，节约模型计算成本，从而得到更精确的分类结果。

4结语

本文采用一种基于卷积神经网络的人体异常行为检测分类方法。首先利用卡尔曼滤波进行监控区域行人目标的检测和提取，然后对检测到的帧图像进行特征提取，提取目标的图像熵、不变矩和长宽比特征，将其分为人物正常行走、摔倒、奔跑和挥拳4类行为。贝叶斯分类器依据最大后验概率进行决策分类，可以减小由于图像噪声干扰带来的分类误差。但在实际监控分析时，目标检测受人群密度、天气、光线等因素影响，情况更为复杂。所以如何找到用于提取异常目标更有效的对比信息、提高算法效率是将来的研究方向。

参考文献：

[1]宋丹妮，王平，张晓华，等.基于视频监控的中小群体异常行为检测[J].计算机工程与设计，2016，37（9）：2507-2514.

[2]张旭光，王梦伟，左佳倩，等.介观小团体运动聚类的人群异常检测[J].仪器仪表学报，2015，36（5）：1106-1114.

[3]MOUSAVIH，MOHAMMADIS，PERINAA，etal.Analyzingtrackletsforthedetectionofabnormalcrowdbehavior[C].ApplicationsofComputerVision.IEEE，2015：148-155.

[4]GUOW，CHENG.Humanactionrecognitionviamulti-tasklearningbaseonspatial–temporalfeature[J].InformationSciences，2015，320（C）：418-428.

[5]王威，张鹏，王润生，等.行人行为的奇异性检测和正常行为分类[J].计算机工程与应用，2010，46（9）：173-176

[6]GUX，CUIJ，ZHUQ.Abnormalcrowdbehaviordetectionbyusingtheparticleentropy[J].Optik-InternationalJournalforLightandElectronOptics，2014，125（14）：3428-3433.

[7]JIS，XUW，YANGM，etal.3Dconvolutionalneuralnetworksforhumanactionrecognition[J].IEEETransactionsonPatternAnalysis&MachineIntelligence;，2013，35（1）：221-231.

[8]VISHWAKARMADK，KAPOORR，DHIMANA.Aproposedunifiedframeworkfortherecognitionofhumanactivitybyexploitingthecharacteristicsofactiondynamics[J].Robotics&AutonomousSystems;，2016，77：25-38.

[9]ZHANGY，LUH，ZHANGL，etal.Videoanomalydetectionbasedonlocalitysensitivehashingfilters[J].PatternRecognition，2016，59：302-311.

[10]韩飞龙，应捷，朱丹丹.一种新的车辆辅助驾驶动态障碍物检测与分类方法[J].计算机应用研究，2017，34（6）：1909-1912.

[11]LIX，YEM，FUM，etal.Domainadaptionofvehicledetectorbasedonconvolutionalneuralnetworks[J].InternationalJournalofControl，AutomationandSystems，2015，13（4）：1020-1031.

[12]湯春明，卢永伟.基于改进的稀疏重构算法的行人异常行为分析[J].计算机工程与应用，2017（8）：165-169.

（责任编辑：黄健）