群体突发异常事件检测与事件源定位算法

李海丰，姜子政，范龙飞，陈新伟

（1.中国民航大学计算机科学与技术学院，天津 300300；2.闽江学院福建省信息处理与智能控制重点实验室，福州 350121）

随着中国经济的高速发展和人口的不断增加，公共场所的安防问题日益突出，对机场、车站等公共场所中群体行为的监测非常重要，突发群体异常行为会给人民生命和财产带来极大的损失，因此群体突发异常事件检测有着非常重要的应用价值。

近年来，随着计算机视觉领域的不断发展，国内外学者已经在群体异常行为检测方面取得了一定成果。如Mehran 等[1]采用社会力模型构建局部时空立方体对群体异常行为进行检测；Xiong 等[2]采用能量模型对群体异常行为进行检测；Raghavendra 等[3]通过粒子群优化算法来检测群体异常行为，该方法可对扩散、定向移动等典型群体异常行为进行检测；Chan 等[4]使用隐马尔可夫模型（HMM,hidden Markov model）可以避免定义大量的正常行为，提高了检测效率；Chen 等[5]提出利用人群加速度特征在异常情况下产生突变的特点来检测人群的异常行为。这些算法主要提取群体的全局特征分析空间上的特征变化，缺乏人群在时间角度上行为变化的信息关联，将人群空间特征与时间特征的变化信息融合是群体异常事件检测的一个重要思路。Wang 等[6]提出基于时空体特征的群体异常检测算法，该算法能够分析群体在空间和时间上行为状态的变化情况，但由于时空体特征维度较高，对运动平缓的群体异常行为检测效果并不明显。目前方法中并没有对事件源位置进行定位的处理。一旦突发群体异常事件，掌握突发事件的事件源位置信息对事故现场的资源分配、人员调度、应急策略的制定与实施都有着极高的参考价值，因此对事件源实时定位是群体突发异常事件检测问题的重要部分。Sabokrou等[7]将视频数据处理成若干互不重叠的立方块，可对场景中出现行为异常的物体进行定位，但该方法仅能对单个异常行为的行人定位，并不能对事件源的位置进行定位；Duan 等[8]采用混合动态纹理模型综合了时域与空域的影响，达到了较高的检测率，但该方法并不能精确地判断出事件源的具体方位，亦不能实时跟踪事件源位置的持续变化。

为解决上述问题，提出一种群体突发异常事件检测与事件源定位算法，分为群体异常行为检测和事件源实时定位两个阶段。

1 算法概述

所提算法可对事件源进行较为准确的定位，同时提高了对异常事件的检测效率，对机场、车站等公共场所的安全监控具有较为现实的意义。

1.1 算法流程

第1 阶段从空间、时间两个角度进行联合检测，首先从空间角度提取前景图像的光流幅值直方图，进一步提取平均动能分布直方图特征来反映群体的运动状态，并采用支持向量机（SVM，support vector machine）模型进行检测；其次，从时间角度，由于“异常事件总是发生在某一连续的时间段内”，即当前场景中的人群行为只依赖于时间上临近的人群行为与人群的历史行为无关这一特点，采用隐马尔可夫模型进行检测。第2 阶段首先根据群体异常事件检测结果，判断当前场景中是否发生异常行为；如果发生异常行为，则在RANSAC 框架下定位场景中事件源的位置，最后实时输出当前场景中事件源的个数以及每个事件源的位置信息。算法流程如图1所示。

图1 算法流程图Fig.1 Algorithm flow

1.2 群体异常行为检测

此阶段分别从空间与时间两个角度进行检测。空间角度，根据对异常行为的定义，群体异常行为往往伴随着人群运动幅度的激变，因此采用平均动能分布直方图客观地描述人群运动特征；时间角度，由于异常行为的发生不是在某一帧或几帧，而是在某一个连续的时间段内，在时间轴上与前、后人群的行为紧密相关，因此用隐马尔可夫模型对视频中的人群行为进行检测可减小由于噪声导致某帧误判所带来的误差。该阶段算法整体分为离线训练和在线检测两步。

离线训练具体步骤如下：

1）预处理，采用基于混合高斯背景模型的背景差分法得到前景图像；

2）特征提取，对步骤1）中得到的前景图像提取光流幅值直方图特征。采用平均动能分布直方图来描述场景中人群的运动特征，首先根据方向分类，将360°平均分成12 个区间，即每30°为1 个方向子区间，然后统计落在每个方向子区间内的前景图像光流点个数，得到光流幅值直方图。为了更加准确地描述场景中人群的运动特征，对光流幅值直方图特征的每个子区间计算平均动能，得到每个区间上平均动能的分布直方图，反映不同方向上人群的运动状态，即其中：前景图像光流幅值表示该点的即时速度，hj、θj分别为前景图像光流矢量的幅值和方向；θr为第r 个方向子区间；nr为方向子区间r 中前景图像光流点的个数。

3）支持向量机模型训练，从空间角度采用SVM 模型训练步骤2）中提取的训练样本平均动能分布直方图特征，得到用于检测人群运动特征的SVM 模型。

4）隐马尔可夫模型训练，从时间角度，由于公共场所中群体异常事件的发生是一个随机事件，发生形式多变、突然、迅速、不确定性很大，仅与时间上临近的人群状态有关，即当前时刻的人群行为仅与相邻时刻的人群行为相关。考虑以上特点，选取隐马尔可夫模型检测异常事件的发生具有实际意义。隐马尔可夫模型是一种统计模型，用来描述一个含有隐含未知参数的马尔可夫过程，因此训练HMM 模型即优化模型参数λ={A，B，Π}，其中A 为状态转移矩阵，B 为混淆矩阵，Π 为初始状态矩阵。首先定义观测序列Oi，通过每帧视频图像人群的运动特征来表示观测序列中每个元素的值，即

其中：观测序列Oi中的元素ol由步骤3）中SVM 模型分类结果计算得到，即

其中：f（x）为训练的SVM 模型目标函数，根据经验设初始模型参数为λ0={A0，B0，Π0}，使用Baum-Welch算法计算得到隐马尔可夫模型的一个最大似然估计

在线检测步骤如下：

1）预处理 对输入图像进行预处理，采用基于混合高斯背景模型的背景差分法得到前景图像；

2）特征提取 提取输入图像的光流幅值直方图及平均动能分布直方图特征；

3）异常行为检测 将步骤2）中提取的平均动能分布直方图特征采用支持向量机分类器分类，根据分类结果由式（2）～（4）得到输入图像的观测序列Oi，最后采用隐马尔可夫模型对人群行为检测，即由前向算法计算观测序列Oi与隐马尔可夫模型λ 似然函数的值P（Oi|），若P（Oi|）大于阈值Tt则判断为异常。

1.3 异常事件中心定位

此阶段为算法的核心步骤。事件源即异常事件发生的中心位置，如火灾事件的火源位置、打架斗殴事件的人员打斗位置、聚集事件的人群中心位置等，根据异常事件源的运动状态可分为两类情况：静态事件源在其发生位置保持不动；动态事件源随着异常事件的持续发展而移动或者扩散。异常事件现场人群的运动状态总是和事件源位置息息相关，即人群总是向着事件源的当前位置逃散或聚集，因此，通过计算异常事件中人群运动方向延长线的交点位置，可判断事件源的近似位置。目前算法中对异常事件检测有一定进展，但大部分算法只限于“判断”，并没有后续处理，而现实场景中对危险事件事态的持续关注，以及对事件源位置的准确定位，能够给相关人员提供更具有价值的信息。在实际应用中，由于场景环境复杂多变，对异常事件中每个人运动方向的延长线计算会产生噪声数据，从而对事件源定位结果产生干扰，经典的参数估计算法很难排除异常数据对模型的影响，因此，异常事件源定位算法基于RANSAC（randon sample consensus）框架实现，RANSAC 算法被广泛应用于提纯数据，其特点可从包含大量局外点（不符合模型的异常数据）的数据集中通过迭代的方式，估计出数据的数学模型参数，从而得到有效的数据，利用RANSAC 算法剔除人群运动方向的噪声点后，再拟合模型，减少了局外点对事件源定位的干扰，提高了事件源定位的准确性，具体步骤如下。

1）将检测结果为异常行为的图像等分成m×n 个子块，并计算出每个子块中像素点光流的向量和Qi。

2）从步骤1）中得到的向量和Qi的集合中随机选择两个向量Qa和Qb，计算其对应所在直线的交点q，如果两条直线平行，则重新随机选取两个向量并计算交点。向量Qa、Qb所在的直线方程为

其中：ka、kb为对应直线斜率；ba，bb为对应直线截距。

3）计算交点q 到其余向量Qi所在直线的欧式距离di，如果欧式距离di小于某一距离阈值Td，则将该交点视为内点，否则视为外点，最后选择获得内点数目最多的交点q 作为真实值。其中选取前景图像区域的中心点到各向量Qi距离的均值作为距离阈值Td。

4）利用步骤3）得到的内点集重新优化估计交点q，得到优化估计交点q′，满足优化估计交点q′到所有内点所在直线的距离Φ 最小，即

其中：Z 为最后获得的内点总个数；kj、bj分别为内点j所在直线的斜率、截距。

5）由步骤4）得到的优化估计交点q′即为突发事件的事件源位置，为检测场景中是否存在多个事件源，继续将其余外点重复步骤1）～步骤3）再次计算，如果获得的最多内点集数目大于某一内点集数目阈值，则认为存在多个事件源，重复步骤4），由此计算出多个事件源位置。

2 实验结果

分别从群体异常行为检测与事件源定位两个阶段进行实验。数据取自明尼苏达大学标准公共数据集UMN[9]，包含室内、室外两种环境，以及在草坪、大厅、广场3 种不同场景下的群体正常行为和奔跑逃散行为。

群体异常行为检测阶段分2 个部分：①离线训练检测模型。取平均动能分布直方图特征为12 维，人群正常行为与异常行为平均动能分布直方图特征对比如图2所示。为方便与文献[10]进行对比，HMM 模型的观测序列长度取10，即每连续10 帧图像作为1 个观测序列，并选取每种场景中图像序列的10%作为正、负训练样本，其余作为测试样本；②在线实时检测。

图2 人群正常行为与异常行为平均动能分布直方图对比Fig.2 Comparison of average kinetic energy distribution histograms between normal behavior and abnormal behavior

采用ROC（receiver operating characteristics）曲线对结果进行描述，并用计算AUC（area under ROC curve）作为群体突发异常行为的评价指标。对输入的视频进行实时检测，将其AUC 值与光流法[1]、社会力法[1]与SIFT 点检测法[10]进行比较，如表1所示。为了清晰直观地反映对突发异常行为的识别效果，绘制出UMN数据集上该算法与光流法、社会力法检测结果的ROC曲线对比图，如图3所示。

表1 不同算法AUC 实验结果对比Tab.1 Comparison of AUC experimental results with different algorithms

图3 异常行为检测结果的ROC 曲线对比Fig.3 ROC comparison of abnormal behaviors

图3中：真正类TP定义为正确识别的异常事件，假正类FP 为被误检测为异常事件的正常事件，真负类TN 为正确识别的正常事件，假负类FN 为被误检测为正常事件的异常事件。

真正率TPR，即识别率为

假正率FPR，即误检率为

由图3可知，每个场景中发生异常行为的人群在各个方向分布的平均动能明显大于人群正常行为的平均动能值，且每个方向都体现出比较高的动能，与实际突发异常事件中人群恐慌、四处加速、群体能量增大的特征相符合。文献[10]通过对相邻帧的前景图像提取SIFT 点特征获取人群的运动信息，并用HMM 模型进行异常行为检测，由表1可以看出，该算法的AUC 值高于光流法、社会力法和SIFT 点检测法，对群体突发异常事件有较好的识别结果。

异常事件源定位阶段，则针对上一阶段实验的检测结果，实现对突发异常事件的源定位。事件源，即异常事件发生的中心位置，如火灾事件的火源位置，打架斗殴事件的人员打斗位置，聚集事件的人群中心位置等。根据运动状态可将异常事件源分为两类：静态事件源在其发生位置保持不动；动态事件源随异常事件的持续发展而移动或者扩散。及时掌握现场突发异常事件中事件源位置和个数，对减少财产损失和人员伤亡，以及突发异常事件的事后应急资源调度和人员分配都有着重要的参考价值。因此，事件源定位是现实安防系统中必不可少的关键环节。UMN 数据集仅模拟人群突发异常事件产生的异常逃散行为，并没有对引起异常行为的事件源位置进行标记，由于缺少真实值，故对本阶段实验结果进行人工分析。

从主观上判断，人群总是远离产生危害的位置进行逃散，因此，可近似认为人群逃离的中心点即为异常事件中心的真实值。事件源定位算法在RANSAC 框架下的实现过程如图4所示，采用光流法描述人群的运动状态，光流方向即人群的运动方向。图4中实线箭头表示通过RANSAC 算法计算后，符合事件源定位算法中数学模型的人群运动方向（内点），虚线箭头表示人群运动方向的噪声点（局外点），通过RANSAC 算法计算后，从内点集中排除，从图中可以看出，事件源位置距离人群运动方向延长线的距离最小。

图4 事件源定位算法在RANSAC 框架下的实现过程Fig.4 Event source localization algorithm based on RANSAC framework

在UMN 数据集上的定位结果如图5所示，其中，符号▲代表当前场景中事件源的位置，当人群从正常行为突然向四处逃散的同时，快速对场景中事件源位置进行定位，并实时更新。由图5可以看出，在人群突发异常行为场景中，人群快速逃离现场，远离图中定位的异常事件源，可认为该点即为事件源的最优近似估计位置，故算法的定位结果是合理的。

图5 事件源定位算法在UMN 数据集上的定位结果Fig.5 Event source location algorithm results on UMN datasets

3 结语

首先对群体突发异常事件进行检测，该阶段从空间、时间角度进行联合检测，空间角度选取反映人群运动特点的平均动能分布直方图特征并采取SVM 分类器进行分类。时间角度基于空间角度的检测结果结合隐马尔可夫模型对场景中的人群行为进行检测，通过对比实验分析，所得算法对群体突发异常事件检测的准确度高于目前主流算法。其次，基于群体突发异常事件的检测结果，进一步对场景中事件源的位置进行实时定位，该阶段在RANSAC 框架下实现对事件源位置的快速定位，能够实时检测出突发异常事件的场景中事件源的个数与每个事件源的实时位置信息，弥补了目前算法中“只检测、不定位”的不足。

由于主观意识不同，观察者对人群异常行为与正常行为以及事件源位置的评判标准并不相同，目前也没有统一的评判标准，该算法能够准确地描绘出不同行为状态人群的运动特征，并能够直观检测出场景中事件源的位置，对发生危险事件的后续处理提供了及时、可靠的信息，可为实际应用提供参考。