基于运动矢量交点密集度的人群恐慌行为检测①

钟 帅, 蔡坚勇,2,3, 廖晓东,2,3, 黄 澎, 张炜隽

1(福建师范大学 光电与信息工程学院, 福州 350007)

2(福建师范大学 医学光电科学与技术教育部重点实验室, 福州 350007)

3(福建师范大学 福建省先进光电传感与智能信息应用工程技术研究中心, 福州 350007)

基于运动矢量交点密集度的人群恐慌行为检测①

钟 帅1, 蔡坚勇1,2,3, 廖晓东1,2,3, 黄 澎1, 张炜隽1

1(福建师范大学 光电与信息工程学院, 福州 350007)

2(福建师范大学 医学光电科学与技术教育部重点实验室, 福州 350007)

3(福建师范大学 福建省先进光电传感与智能信息应用工程技术研究中心, 福州 350007)

为了更准确有效的识别人群恐慌行为, 本文提出了一种利用视频中人群运动矢量的交点密集度来判断人群恐慌异常的新算法. 该算法以LK光流法为基础来提取运动人群的运动矢量信息, 接着通过获得的信息求取运动矢量间的两两交叉点, 然后运用分块法求得区域交叉点密集度, 并以此来识别人群异常. 对多个视频进行测试, 测试结果表明: 该算法能够以较高正确率识别视频中人群的恐慌行为.

人群恐慌; 行人检测; 点密集度; 智能视频监控

引言

近年来, 随着城市人口密集度的提高, 当人群过于集中时所导致的人群公共安全问题越来越突出.

2014年12月31日晚23时35分许, 上海外滩陈毅广场发生群众拥挤踩踏事故, 致35人死亡, 至少48人受伤.2014年10月10日, 巴基斯坦发生踩踏事故, 造成40余人伤亡. 2015年9月24日麦加朝觐踩踏事故至少1300人死亡. 除了上面列举的人群踩踏事件外还有各种暴力恐慌事件时有发生. 这些异常事件给人民群众的安全带来了极大的威胁, 同时严重的破坏了社会秩序, 并造成了重大的经济损失.

为了能够在人群发生异常时及时发现并有效的处理, 学者们提出了许多在智能视频监控中识别人群异常的有效可行的方法. 光流能量法[1-3]是其中最常用的一中方法, 光流能量法先利用像素强度数据的时域变化和相关性来确定运动场, 然后利用运动场计算出人群运动的速度和能量, 并通过观察每帧视频的能量变化来判断人群异常. 然而在实际运用中光流能量法的错误率太高, 其ROC面积[4,5](ROC为“receiver operating characteristic”的缩写, ROC曲线下面积可从量上表征统计事件发生的准确率)大约为0.8. 为了提高视频中人群异常判断的正确率, 本文提出了基于运动矢量交点密集度的人群恐慌行为检测算法, 并通过实验验证了该算法的正确性. 本文算法的主要工作有:通过LK光流法提取运动矢量信息、检测人群矢量交点和人群平均动能、计算交点密集度、判断识别人群恐慌并通过ROC曲线检测算法性能.

1 算法原理

本文算法思想来源于人群逃离行为检测[6]的思想并加以改进. 该算法先确定光流场, 然后检测光流矢量交叉点, 继而计算出每帧视频的交叉点密集度, 通过观察每帧视频交叉点密集度的变化判断人群异常. 基本算法流程如图1所示.

图1 人群恐慌检测算法流程图

1.1 光流场及运动特征的确定

本文通过LK光流算法[7]来确定光流场, LK光流法是一种两帧差分的光流估计法, 该算法由Bruce D.Lucas和Takeo Kanade提出. LK光流法具有效率高,易于实现等特点, 是现阶段求解稀疏光流的重要方法.LK光流法基于三种假设: 一是物体点的亮度是恒定的;二是时间是连续的; 三是局部区域的像素点有相似的运动. 针对本文所提算法, 以上三种假设是成立的. 首先每帧所检测的矢量交点是基于上下两帧视频中人群的变化得到的, 而帧间时间间隔很短且已知短时间内物体点的亮度可以看做是恒定的. 其次因为算法检测的是视频中的异常人群, 而每一个人运动时, 此人身上的局部区域的像素点有相似的运动. 最后由于视频人群监控系统中的一个时间段内时间是连续的, 固针对本算法以上三种假设是成立的. 假设I(x, y, t)是图像上坐标点(x, y)处的灰度值, u, y为该点光流X和Y方向上的分量. 其中, 根据短时间灰度保持不变原则, 有约束方程:

将上述公式用泰勒级数展开且使 有:

由于方程(3)有两个未知量, 所以对于单个像素不能得到此点的二维运动的定解. 这时可以利用光流的最后一个假设. 若局部区域的像素运动是一致的, 则可以建立领域像素系统方程来求解中心像素的运动. 然后利用最小二乘法估计光流. 通过LK光流法可以获取图像特征点的运动特征. 假设图像上的像素点的速度为V, 方向为F, 则有:

其中, u, v为该点光流X, Y方向上的分量.

1.2 运动矢量交点个数检测

为了检测每帧视频中所有光流矢量两两相交的交点个数. 本文引入检测发散中心的思想来检测交点个数. 假设同一个像素特征点在上下相邻两帧的位置投影到同一个平面为A1和A2, 如图2所示. 其中A1的坐标为(b1, a1)A2的坐标(b2, a2), 向量A1A2即像素.

图2 光流矢量坐标示意图

点A的光流矢量. 向量的长度即特征点A的速度大小, 箭头方向为光流方向, 则:

其直线方程为:

将每一个光流矢量都用与其对应的直线方程表示后, 通过解二元一次方程可求得直线两两相交后的交点. 设每帧视频图像求得交点个数为Ni, 则有第i帧交点个数为Ni, 因此有交点集Ni=(N1, N2……Ni).

在公共视频库UMN数据集上分别检测人群正常和人群异常时的交点分布图如图3、图4所示.

图3 人群正常时交点分布图

图4 人群异常时交点分布图

图中红色小点即为所求交点, 从图中可以看到人群正常时交点分散, 当人群异常时其交点集中.

1.3 人群恐慌行为检测

本文通过计算每帧图像中运动矢量交点密集度的大小进而判断视频中人群的异常行为. 因此对交点密集度的计算尤为重要, 设第i帧交点密集度为Pi, 第i帧交点区域所占图像上面积为Si, 根据散点密集度的物理意义有:

其中, Pi表示第i帧图像的交点密集度, Ni表示第i帧交点个数, Si表示第i帧交点区域面积.

从图3和图4可以看出对于同一帧视频图像, 不同区域的交点密集度是不一样的, 若用整个图像的交点密集度来表示本帧视频的交点密集度将不能反映真实情况, 因此为了更好的反映交点的集中程度, 本文通过分块法[8]来计算区域交点密集度. 分块法具有效率高,降低计算量、计算更精确等特点. 对每帧图像进行分块, 在本文中分成相同大小的3*3块区域. 分别计算这9块区域内交点个数, 然后计算Pi(n), n的取值从1到9分别代表9个不同区域.

最后求出Max(Pi(n)), 即为这帧图像的交点密集度,其分块示意图如图5所示.

图5 交点分块示意图

由于每一个分块的尺寸是相同的, 因此每一块的面积也认为是相同的. 这时只需要求出其中一个分块的面积Si即可. 然后对比9个分块, 交点密集度最高的分块的密集度就是这帧图像的交点密集度.

对比每帧图像的交点密集度发现人群异常和人群正常时交点密集度存在较大差别, 人群恐慌逃逸时其交点密集度要远远大于人群正常时交点密集度. 因此可通过比较每帧视频图像的Pi大小来判断人群是否发生异常.

2 实验结果分析

为了使本文提出的算法具有代表性, 实验选取的视频数据集来自标准的公共数据集UMN数据集[9].UMN数据是明尼苏达大学人工智能、机器人和视觉实验室创建的. UMN视频分拍摄于3个不同的场景, 共7740帧, 里面共包含11次异常事件.

在本实验中, 先求出每帧视频的交叉点密集度, 并将视频的前3000帧作为训练集, 然后根据训练集结果定出阈值, 并用此阈值检测后4740帧的人群异常, 最后求出本文方法的ROC曲线下方的面积. 为了比较本文方法的性能, 将使用光流法、社会力法作为比较.

如图6为前3000帧交叉点个数散点图, 图中纵坐标为交叉点个数、横坐标为帧数.

图6 前3000帧交点个数散点图

从图6中可以看到视频在0-3000帧共发生4次人群恐慌, 分别在4个波峰发生. 对比图7(光流能量法能量散点图)发现本文方法波峰更加凸显、对人群恐慌的判断更加容易, 且由于本文方法的散点图毛刺较少使得判断人群恐慌异常更加容易及准确.

为了显示本文方法与其他方法的定量比较, 本文选取实验视频中3个不同场景的前一部分帧为训练集剩下的为测试集, 并采用支持向量机(SVM)[10]作为分类器, 然后分别画出3个场景下的异常帧ROC面积, 如表1所示.

结果表明我们提出的方法能够更好的检测人群恐慌异常, 具有更强的鲁棒性.

图7 光流能量法能量散点图

表1 ROC曲线下面积大小比较表格

3 结语

当人群发生恐慌异常时, 人群会出现四散而逃的现象, 此时人群运动矢量间的交叉点密集度升高. 因此本文提出基于人群运动矢量交点密集度来的人群异常检测算法. 该算法通过研究人群异常与人群运动矢量交点密集度之间的关系来判断识别人群异常. 通过在UMN视频集上的大量实验表明:该算法能够有效的检测出人群恐异常, 并且与其他算法相比具有漏检率低、高准确率、且受外部影响较小等优点.

1Horn BKP, Schunck BG. Determining optical flow. Artificial Intelligence, 1981, 17(1-3): 185–203. [doi: 10.1016/0004-3702(81)90024-2]

2Wang Q, Ma Q, Luo CH, et al. Hybrid histogram of oriented optical flow for abnormal behavior detection in crowd scenes. International Journal of Pattern Recognition and Artificial Intelligence, 2016, 30(2): 1655007. [doi: 10.1142/S0218001416550077]

3Rao AS, Gubbi J, Marusic S, et al. Crowd event detection on optical flow manifolds. IEEE Trans. Cybernetics, 2016,46(7): 1524–1537. [doi: 10.1109/TCYB.2015.2451136]

4毛世彪. 复杂环境下人群异常状态检测方法研究[硕士学位论文]. 重庆: 重庆大学, 2014.

5闫志扬. 视频监控中人群状态分析及异常事件检测方法研究[硕士学位论文]. 天津: 天津大学, 2014.

6陈春雨, 邵宇, 赵春晖. 视频监控中的人群逃离行为检测与定位. 黑龙江大学工程学报, 2015, 6(2): 68–73.

7Lucas BD, Kanade T. An iterative image registration technique with an application to stereo vision. Proc. 7th International Joint Conference on Artificial Intelligence.Vancouver, BC, Canada. 1969. 674–679.

8林沁. 视频中的大规模人群密度与异常行为分析[硕士学位论文]. 厦门: 厦门大学, 2014.

9Loy CC, Gong SG, Xiang T. From semi-supervised to transfer counting of crowds. Proc. 2013 IEEE International Conference on Computer Vision (ICCV). Sydney, VIC,Australia. 2013. 2256–2263.

10Chang CC, Lin CJ. LIBSVM: A library for support vector machines. ACM Transactions on Intelligent Systems and Technology (TIST), 2011, 2(3): Article No. 27.

11Helbing D, Molnár P. Social force model for pedestrian dynamics. Physical Review E, 1995, 51(5): 4282–4286. [doi:10.1103/PhysRevE.51.4282]

12Cong Y, Yuan JS, Liu J. Sparse reconstruction cost for abnormal event detection. Proc. 2011 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Providence, RI, USA. 2011. 3449–3456.

13Helbing D, Farkas I, Vicsek T. Simulating dynamical features of escape panic. Nature, 2000, 407(6803): 487–490.[doi: 10.1038/35035023]

Panic Crowd Behavior Detection Based on Intersection Density of Motion Vector

ZHONG Shuai1, CAI Jian-Yong1,2,3, LIAO Xiao-Dong1,2,3, HUANG Peng1, ZHANG Wei-Jun1

1(College of Photonic and Electronic Engineering, Fujian Normal University, Fuzhou 350007, China)
2(Key Laboratory of Optoelectronic Science and Technology for Medicine of Ministry of Education, Fujian Normal University, Fuzhou 350007, China)
3(Fujian Provincial Engineering Research Center for Optoelectronic Sensors and Intelligent Information, Fuzhou 350007, China)

In order to identify the panic crowd behavior with a more accurate and effective method, a new scheme is proposed which can utilize the intersection density of motion vector in the video to judge the abnormal panic crowd behavior. This algorithm is based on LK optical flow to extract information of motion vector from moving people, and to obtain the intersection between two motion vectors, then uses divided image blocks to get the intersection density which is the key to identify abnormal crowd. Experiments on several datasets show that this algorithm can identify the panic crowd behavior with high accuracy.

panic crowd; pedestrian detection; intersection density; intelligent video surveillance

蔡坚勇, E-mail: cjy@fjnu.edu.cn

钟帅,蔡坚勇,廖晓东,黄澎,张炜隽.基于运动矢量交点密集度的人群恐慌行为检测.计算机系统应用,2017,26(7):210–214. http://www.cs-a.org.cn/1003-3254/5871.html

省科技厅区域科技重大项目(2015H4007)

2016-10-31; 收到修改稿时间: 2017-01-04