一种基于运动相似熵的人群异常行为检测

李斐，陈恳，李萌，郭春梅



一种基于运动相似熵的人群异常行为检测

李斐，陈恳，李萌，郭春梅

（宁波大学信息科学与工程学院，浙江宁波 315211）

实现对人群异常事件的检测是图形处理在智能视频监控领域的重要研究内容。提出了一种基于运动相似性熵（EMS）的人群异常行为检测算法。该算法在对视频图像进行光流计算的基础上，以底层光流块为基本单位获取场景运动信息，根据社会网络模型的概念，提出构建场景的运动网络模型（MNM），完成对场景粒子运动相似性的划分，并在时间域上计算MNM的粒子分布熵值EMS，最后将得到的图像熵与设置合理的阈值相比，判断异常行为是否发生。实验证明，该算法可有效检测异常行为，与其他经典检测算法相比有较大优势。

人群异常检测；运动相似性熵；运动网络模型；图像熵；光流法

1 引言

随着人们社会活动的不断增加，在大型商场、游乐园、火车站等公共场所发生群体性异常事件的可能性增加。公共安防问题引起人们的广泛关注。由于传统的监控视频采取人工观测的方法，对于爆炸性增长的监控数据不能及时地处理分析、检测出异常行为实现实时预警。这一现状使得智能视频监控技术成为时下研究的热点。

群体异常事件多发生于高密度人群，在高密度人群中进行异常行为的检测，实际是对人群骚动行为的识别，当异常事件产生时，人会本能地做出一些反应。表现为：异常状态下，人群的运动要比正常情况更为剧烈。因此，通过分析人群的运动特征（如速度）来检测异常事件具有可行性。目前对人群异常事件的检测算法在不断更新，其中基于对象的方法是将人群作为许多个体集合，对人群中的每一个对象进行运动分析，在低密度人群取得很好的跟踪效果，可检测出异常行为，但在高密度人群中，由于复杂的人群运动以及个体之间的相互遮挡，使得基于对象的分析方法准确率锐减。因此对于人群的分析大多以人群整体为基础，通过提取整体特征实现对异常的检测[1]。

参考文献[2,3]提出将人群作为整体来提取特征建立模型，利用机器学习及训练对视频检测分类。Saira等人[4]首次通过社会熵来衡量光流场的不确定性，将每一个非重叠块作为一个独立的社会系统，在各自块内完成光流场分布统计和特征向量的计算，最后利用支持向量机（support vector machine，SVM）直接探测人群异常行为。针对SVM复杂性高、实时性差的问题，许多研究尝试仅依赖熵进行人群异常行为分析，提出基于熵异常检测算法。Ren等人[5]提出的行为熵模型，通过信息理论和能量的概念定义每一个像素的行为确定性，估计每个像素和整个场景的行为熵，场景熵行为可用于检测异常。Susan[6]提出利用连续3帧图像间运动矢量的相关性求得非广泛性熵，然后将其与非广泛性熵阈值相比较来判断人群异常行为是否发生。此算法的优势是不需要提前训练数据或参考数据，当连续帧的运动幅值超过阈值就会发出异常警报。参考文献[7]在提取特征点的基础上，利用光流法得到稀疏光流场，通过计算粒子运动尺度构造全局光流图，计算全局光流图的图像熵，与训练得到的阈值相比判断异常。实验表明，该算法有较好的实时性、准确性。Chaker等人[8]提出社会网络模型的概念，将场景中运动的物体作为网络模型的节点，节点间的连线则代表运动物体之间的关系，通过构建相似性度量公式实现场景粒子的局部网络模型（local social network，LSN）、全局网络模型（global social network，GSN）的构建。分析视频帧间各个LSN内粒子个数来实现对异常行为的检测。在此基础上，从运动的尺度和方向两个维度分析异常行为，提出了一种基于运动相似性熵（entropy of motion similarity，EMS）的异常行为检测算法。正常情况下个体运动有较大的相似性，而异常行为表现为较弱运动相似性，因此该方法通过设置运动尺度阈值得到感兴趣底层光流块，并在每一个光流块内采用阶特征窗口提取感兴趣粒子减少算法计算量。在此基础上，结合粒子运动的尺度与方向，设定运动相似性度量公式用以建立运动网络模型（motion network model，MNM），通过得到的MNM分布熵EMS判断异常行为是否发生，最后将其与正常情况下设置的EMS合理阈值相比，若大于阈值则有异常行为发生。实验表明，该算法可有效地检测出异常行为。

2 算法思路和步骤

本文算法主要包含以下几个步骤。

步骤1 在光流计算的基础上将光流场划分为×个光流块B。

步骤2 设定运动尺度阈值，将运动贡献较小的光流块舍去，得到感兴趣光流块（block of interested，BOI）。

步骤3 在步骤2的基础上以阶特征窗口对每一个光流块提取粒子运动信息，形成以粒子运动尺度与方向为变量的运动相似性度量公式，建立场景的MNM。

步骤4 计算场景的EMS，结合得到的阈值判断是否发生异常事件。

算法流程如图1所示。

3 底层特征光流块提取

光流法是比较经典的运动估计算法，反映图像上每一点灰度的变化趋势。常用的光流法有Horn-Schunck光流法和Lucas-Kanade光流法[9]。

本文运用Lucas-Kanade光流法计算图像的光流场，并将光流场平均分为×个光流块。输入的视频图像尺寸为×，光流场具体计算如下。根据光流约束方程：

I+I+I=0 （1）

求得、，即：

其中，I、I、I为图像的空间灰度对、、的偏导数，由式（2）可得：

（3）

将得到的光流场平均分为×个光流块，考虑到异常发生时，异常行为主要表现为速度的突然增大，则根据式（4）设定速度阈值：

其中，B为时刻对应视频帧的第个光流块，Qmax为第个光流块中的最大速度尺度，Q为设置的速度尺度阈值。若光流块中的最大速度尺度仍小于阈值Q，则认为该光流块不可能异常。

图1 算法流程

对于速度尺度较小的块，即对异常行为贡献较小的光流块，直接舍去，达到减少计算量的目的。同理在每一个光流块中，正常情况下视频运动目标的速度具有较大的一致性，可按照一定的密度间隔选取同块中粒子的速度矢量，得到感兴趣粒子，在保持提取效果的同时也可减少计算复杂度。

计算时刻特征点的速度尺度Q,t与运动方向为：

Q=||V,t(,)|| （5）

4 运动网络模型

社会网络模型来自于西方社会学理论，最初用于对社会有界群体中独立个体行为的分析[10]。社会网络模型认为群体成员单独存在，但个体之间又存在错综复杂的社会关系，从而构成关系网络。根据此概念，提出运动网络模型，对场景运动的相似性进行度量，并从速度尺度与运动方向两个维度设定相似性度量公式，将得到的感兴趣粒子依据其在速度尺度与运动方向的相似性，聚类为若干个局部运动网络模型（local motion network model，LMNM），表征场景粒子的运动分布。

4.1 速度尺度的相似性度量

经资料查阅[11,12]并结合人类生理实际极限速度lim，将速度尺度Q按照式（7）进行分级：

4.2 运动方向相似性划分

正常情况下，个体运动相似性较大，包含运动尺度与运动方向的相似，所以当异常事件发生时，目标运动相似性减弱不仅表现在速度尺度的突然增大或减小，其运动方向变化也应作为衡量异常行为的一个重要特征。本文采用式（5）所示粒子的运动方向，通过对函数阈值界定，将粒子的运动方向平均划分为8个方向区间，具体划分定义如图2所示。本文认为若粒子间运动方向的变化范围在45°以内，可看做粒子在运动方向上具有相似性。

4.3 局部运动网络模型

经过Q相似性度量分级、运动方向划分，完成对粒子在尺度和方向上的分类。属于局部运动网络模型1，即LMNM1的粒子应满足的相似性的度量公式为：

其中，V表示时刻粒子对应的速度，如果其速度尺度属于level a，角度满足在区间[0,45°]，则可判定该粒子属于LMNM1。

对于其他的局部运动网络，有类似的相似性度量公式，由此可以将整个场景提取到的粒子聚类为24个LMNM。通过统计各LMNM内的粒子数目，完成场景中粒子到MNM的映射。图3给出了3×4 MNM概念，速度尺度分3级，由上方a、b、c表示；运动方向分4个区间，由右侧1、2、3、4表示，每个方格的数字代表处于该运动网络模型的粒子个数。

为了更加直观地表示场景粒子的运动分布，对由速度尺度、运动方向、LMNM粒子个数构成的图3进行降维处理。类似于式（8）的思维，在编程实现时将速度尺度等级level a、level b、level c分别定义为数字97、98、99；将不同的运动方向区间定义为[-1,-2,-3,-4,1,2,3,4]，若运动方向属于[0°,45°]则定义其方向为1，若运动方向属于[45°,90°]则定义其方向为2，以此类推；最后将速度尺度与运动方向的线性乘积作为是否属于对应LMNM的决策量，若粒子满足97×(−1)条件，则粒子归于LMNM1，类似地，满足99×4的粒子属于LMNM24。具体的MNM降维过程如图4所示。通过此算法，可将图3的MNM转化为以LMNM为横轴，以粒子个数为纵轴的二维柱形图，便于实现对MNM熵的计算。

本文采用UMN数据集标准视频库中的场景作为测试对象，与正常情况下速度大多集中于低速区不同，当人群异常时，个体速度大小不一，其运动分布柱形图必然会越均匀，即LMNM分布变广。考虑到异常行为在极短时间内速度变化不显著与实时性出发，实验中采取每帧进行MNM构建，结合速度尺度与运动方向对粒子进行统计，得到UMN场景一正常帧与异常帧的运动分布柱形图如图5所示。

由图5可知，正常帧与异常帧的MNM差异明显，理想情况下根据相似性度量公式可以将粒子划分到24个LMNM中，但是由于各时刻粒子运动速度可能不能完全包含式（7）中所有的速度等级，比如正常帧中的大部分粒子运动平缓，其速度尺度大致分布在level a，则其对应的较高等级MNM可能粒子数就为0，例如正常帧图5(a)中LMNM9~LMNM24都没有粒子分布。

5 MNM熵的计算

熵（entropy）表示体系的混乱程度与不确定性，它在概率论、信息论等领域都有应用，是十分重要的参量。由克劳德·艾尔伍德·香农（Claude Elwood Shannon）第一次将熵的概念引入信息论中用来表达信息量的大小，并将熵的概念引申到图像上得到图像熵[13]。熵也可以用来表示任何一种能量在空间中的分布均匀程度，能量分布得越均匀，熵值就越大。基于此，可利用粒子分布熵值（以下简称为粒子熵）来描述人群的行为，同时直方图中也包含有场景运动特征，可以准确反映人群的运动情况。因此利用粒子熵EMS来检测异常事件是可行的。

实验中考虑到视频中每帧图像的持续时间大概是0.042 s，而群体的异常行为是在一个时间段内发生，这个时间段最小也应该是整数秒的级别。相应地，检测异常行为时需要综合一个时间段的运动信息，这样可避免由于某一帧粒子熵突然不一致而带来的误差[14]。所以本文在实验中采用每间隔10帧进行MNM构建，然后计算MNM的粒子熵。粒子熵的计算式为：

图6(a)为UMN场景一部分帧段，通过计算可看出，50~60异常帧段与其他正常帧段相比EMS值差异明显；图6(c)选取UMN场景三部分视频段，折线图结果显示异常帧段，即63~70帧段EMS值较大。通过图6可以看出，EMS总体上如实反映场景的运动状态，可作为场景异常判断的决策量。

6 实验结果与分析

为测试基于EMS的人群异常算法的有效性，本实验硬件采用Intel i5 3.30 GHz + 4 GB内存的电脑，软件采用MATLAB R2014a为开发工具。实验以UMN数据集[15]标准视频库中的3个场景，即场景一、场景二、场景三作为测试对象，对以上视频序列进行实验，结果如图7所示，其中(a)、(c)、(e)分别为3个场景中的正常视频帧，(b)、(d)、(f)为其对应的异常帧。

本文算法在3个场景中的准确率见表1，其中准确率为检测正确帧数与总帧数的比值。本文算法与参考文献[7]算法、经典算法（混沌不变算法（CI）[16]、社会力算法（SF）[17]、稀疏重构算法（SRC）[18]）的准确率比较见表2。由表2场景一、场景二两行中可看出，相较于其他算法，所提算法准确率最高。本文算法、参考文献[6]算法以及其他经典算法的受试者工作特征曲线（receiver operating characteristic，ROC）如图8所示，通过图像的表示方法反映本文算法与其他几种算法的性能比较。其中横轴为假阳性率（false positive rate，FPR），纵轴为真阳性率（true positive rate，TPR），一般认为ROC曲线越趋于上方，即ROC曲线与坐标轴所围成面积值（area under curve，AUC）越大，则算法检测准确率越高、检测效果越好。算法与其他算法的AUC比较见表3，其中平均速度（fps）一行中的fps表示算法平均每秒可处理的帧数。fps值越大，表示算法的处理速度越快，实时性越好；反之，实时性越差。虽然在场景三一行中，本文算法的准确率较参考文献[7]算法略低，但根据表3中的平均速度（fps）一行可得，本文算法1 s内平均可以处理85帧图像，而参考文献[7]算法只能处理32帧图像，因此综合考虑本文算法更具有优势。

表1 本文算法在3个场景中的准确率

从图8可明显看出，本文算法的ROC曲线位于其他几种算法之上。由表3中场景一、场景二两行可看出，本文算法的AUC值分别为0.999、0.963，与其他算法相比，本文算法的AUC值最高，这也与表2中的数据吻合。表3 平均AUC一行中，本文算法的AUC为0.981，相比于混沌不变算法CI的0.99略低，但由平均速度（fps）一行可知：CI算法每秒处理帧数小于5，而本文算法每秒可处理85帧视频帧，CI算法在实时性方面不如本文算法。

表2 本文算法与参考文献[7]算法、经典算法的准确率比较

表3 本文算法与其他算法的AUC比较(单位：mg/ml.min)

综上说明，本文检测算法可有效检测视频中的异常行为且具有较高的准确率。

7 结束语

本文提出了一种基于EMS的人群异常行为检测方法，算法通过对运动粒子的运动速度尺度与运动方向的相似性度量，将粒子聚类到对应的LMNM，从而得到整个运动场景的MNM，而后经过降维处理得到以粒子数为纵轴、LMNM为横轴的MNM分布柱形图，通过计算得到MNM的粒子熵EMS并将EMS作为异常判断决策量，与合理阈值相比进行异常行为检测。实验表明，该方法可以实现对于异常行为的检测，且有较高的检测准确率。针对光流法本身的复杂性，即使去除了一定量的光流块，算法实时性仍有进步空间。后续工作会尝试实现对异常行为的检测与定位。

[1] WANG W H, WANG X J. Research on the human motion analysis and key technology based on intelligent video surveillance[J]. Sensors & Transducers, 2013, 161(12): 98-106.

[2] ZHANG J, CHU Y X. Study on anomaly detection in crowd scene[C]// 4th International Conference on Mechatronics, Materials, Chemistry and Computer Engineering (ICMMCCE 2015), December 12−13, 2015, Xi’an, China. [S.l.:s.n.], 2015: 604-609.

[3] WANG H, FU R Q, LI N N, et al. Anomaly detection in crowds assisted by scene perspective projection correction[C]// IEEE International Conference on Information Science and Technology, April 26-28, 2014, Shenzhen, China. New Jersey: IEEE Press, 2014: 686-689.

[4] PATHAN S S, ALHAMADI A, MICHAELIS B. Incorporating social entropy for crowd behavior detection using SVM[J]. Lecture Notes in Computer Science, 2010(6453): 153-162.

[5] REN W Y, LI G H, CHEN J, et al. Abnormal crowd behavior detection using behavior entropy model[J]. Wavelet Analysis and Pattern Recognition, 2012: 212-221.

[6] SUSAN S, HANMANDLU M. Unsupervised detection of nonlinearity in motion using weighted average of non-extensive entropies[J]. Signal, Image and Video Processing, 2015, 9(3): 511-525.

[7] 潘磊. 基于图像熵的密集人群异常事件实时检测方法[J]. 计算机科学与探索, 2016, 10(7): 1044-1050.

PAN L. Real-time detection method of abnormal event in crowds[J]. Computer Science and Exploration, 2016, 10(7): 1044-1050.

[8] CHAKER R, AGHBARI Z A, JUNEJO I N. Social network model for crowd anomaly detection and localization[J]. Pattern Recognition, 2016(61): 266-281.

[9] BAUER N, PATHIRANA P, HODGSON P. Robust optical flow with combined lucas-kanade/horn-schunck and automatic neighborhood selection[C]// International Conference on Information and Automation, December 15−17, 2006, Hong Kong, China. New Jersey: IEEE Press, 2006: 378-383.

[10] WANG D, ABDELZAHER T, KAPLAN L. Chapter 8-understanding the social network[M]. Amsterdam: Social Sensing Elsevier Inc. 2015: 129-151.

[11] LI LY, LI D R. Fuzzy entropy image segmentation based on particle swarm optimization[J]. Progress in Natural Science: Materials International, 2008, 18(9): 1167-1171.

[12] 劳义. 我国男子百米技术差异分析——以亚运会男子100米冠军劳义和世界纪录保持者博尔特为比较案例[D]. 南昌: 江西师范大学, 2015.

LAO Y. Analysis of the different between the men’s 100 meter technology in China—in the asian games in the men’s 100 meters champion of LAO Yi and world record holder BOLT as a comparison case[D]. Nanchang: Jiangxi Normal University, 2015.

[13] 科学网. 空中漫步助力宇航服设计[J]. 科技创新导报, 2014(30): 2.

Science network. Space walk booster space suit design[J]. Science and Technology Innovation Herald, 2014(30): 2.

[14] 周洁, 郭立君, 张荣. 基于粒子熵值的异常行为检测[J]. 无线电通信技术, 2015, 41(3): 66-68.

ZHOU J,GUO L J, ZHANG R. Abnormal behavior detection based on particle entropy[J]. Radio communication technology, 2015, 41(3): 66-68.

[15] University of minnesota. Unusual crowd activity dataset of university of minnesota[EB/OL]. (2006−10−25)[2015−08−29]. http: / /mha.cs.umn.edu / movies / crowd activity-all.avi.

[16] OZTURK A, ARSLAN A. Classification of transcranial doppler signals using their chaotic invariant measures[J]. Computer Methods & Programs in Biomedicine, 2007, 86(2):171-180.

[17] MEHRAN R, OYAMA A, SHAH M. Abnormal crowd behaviordetection using social force model[C]// IEEE Conference on Computer Vision and Pattern Recognition, June 20−25, 2009, Miami, USA. New Jersey: IEEE Press, 2009: 935-942.

[18] 王汗三, 陈杰. 稀疏重构算法[J]. 电子科技, 2013, 26(5): 106-108.

WANG H S, CHEN J. Sparse reconstruction slgorithm[J]. Electronic Science & Technology, 2013, 26(5): 106-108.

Crowd abnormal behavior detection based on motion similar entropy

LI Fei, CHEN Ken, LI Meng, GUO Chunmei

Institute of Communication Technology, Ningbo University, Ningbo 315211, China

It is an important research content of graphic processing in the field of intelligent video surveillance to detect abnormal events. An algorithm based on entropy of motion similarity (EMS) to detect abnormal behavior was proposed. Based on the optical flow algorithm, taking the bottom flow block as the basic unit to get the scene motion information, according to the concept of social network model, the construction scene of the motion network model (MNM) was proposed, the division of the scene particles motion similarity was completed, and the distribution EMS of MNM was calculated in the time domain. Finally, the obtained image entropy was compared with the reasonable threshold, to determine whether abnormal behavior occured. Experimental results indicate that the proposed algorithm can detect abnormal behavior effectively and show promising performance while comparing with the state of the art methods.

crowd abnormal detection, entropy of motion similarity, motion network model, image entropy, optical flow method

TP391

A

10.3969/j.issn.1000−0801.2017117

2017−02−22；

2017−04−26

国家自然科学基金资助项目（No.60972063）；宁波市自然科学基金资助项目（No.2014A610065），宁波大学科研基金（理）/学科资助项目（No.XKXL1308）

The National Natural Science Foundation of China (No.60972063), The Natural Science Foundation of Ningbo of China (No.2014A610065), Scientific Research Foundation of Ningbo University (No.XKXL1308)

李斐（1992−），女，宁波大学信息科学与工程学院硕士生，主要研究方向为视频图像处理、监控视频中的人群异常分析与检测、多媒体通信技术。

陈恳（1962−），男，宁波大学信息科学与工程学院副教授、硕士生导师，在核心期刊和重要国际会议发表论文100多篇，参与和主持国家级、省部级、市厅级和校级科研项目共16项，获得相关科研相关奖项3项，主要研究方向为图像及视频信息处理、多媒体通信、智能控制。

李萌（1992−），女，宁波大学信息科学与工程学院硕士生，主要研究方向为监控视频中的人群异常分析与检测、多媒体通信技术。

郭春梅（1990−），女，宁波大学信息科学与工程学院硕士生，主要研究方向为视频跟踪、多媒体通信技术。