群体异常行为识别技术研究

中国电子科技集团公司电子科学研究院 陈 诚

随着社会经济的不断发展，信息化技术越来越成熟，信息的动态性、多源性、开放性等特点促使人们之间的联系越来越紧密，群体性活动和事件也日益增多，增加了群体事故的发生，例如人群滞留、聚集等。目前中国正处于快速发展的关键时期，频发的群体事件为社会稳定和公共安全带来了新的风险和挑战，是对社会治理能力的进一步考验，因此需要对群体的异常行为识别技术进行研究。相比于个体异常行为，群体异常行为具有规模化、易扩散、多模式的特点，其形成机理更复杂，影响后果更严重，传统方法难以识别和预测，因此亟需借助大数据、机器学习等技术，对群体异常行为进行分析建模，实现群体异常行为的智能识别和发现，加强对群体行为的理解和异常行为的检测能力，提高群体异常行为识别的准确性和时效性。

随着群体异常行为的识别逐渐成为各行业领域的关注焦点，它已经在多个领域得到了研究应用，如公共安全领域、交通管理领域、网络舆情领域等，也取得了很多研究成果。本文对群体异常行为识别技术进行了概述，基于已有研究和成果，首次提出了群体异常行为识别的标准建模思路，并分别从行为类别、使用技术和应用领域等多个方面详细介绍了群体异常行为识别，最后对群体异常行为识别常用数据集进行了归纳并对全文作了总结。

1 群体异常行为识别建模

整体来说，对群体异常行为识别的建模方法可以分为三大类。第一类是微观建模法。这类方法将群体行为理解为个体行为的集合，通过对各个个体行为的特征（如方向、速度等）分别进行提取分析，再对所组成的群体行为进行融合分析，从而识别整个群体的异常行为。但群体中往往存在遮挡等情况，增加了个体行为理解的难度，因此在微观建模法中，容易造成个体行为分析的偏差，从而影响群体异常行为识别准确性。第二类是宏观建模法。这类方法将群体作为一个有机整体进行建模分析，通过对整个群体的行为特征进行提取分析，进而识别出群体的异常行为。但该方法忽略了个体之间的相互作用和关联关系，难以捕捉到个体间的细微差别，因此影响群体异常行为的理解和判断。第三类是混合建模法，该方法结合了微观和宏观两种建模方法，让两者优势互补，平衡各自的缺点，得到一种综合的建模方法。

目前，对于群体异常行为识别还没有相关研究给出一个统一的、标准的建模思路。如图1所示，本文在已有研究和成果的基础上，给出了一个通用的群体异常行为识别建模思路，通常可分为以下几个步骤：

图1 群体异常行为识别建模思路

（1）原始数据输入。将视频监控数据、通信网络数据、移动互联网数据、公共交通数据、景点闸机数据、社交网络数据等多源数据作为模型输入。

（2）提取特征信息。基于统计学方法、机器学习方法等从原始数据中提取出特征信息，并建立特征表示模型。

（3）群体发现和群体特征表示。基于个体的特征表示模型，通过分析个体间的特征相似性或关联性，挖掘出群体组织，并建立各个群体的特征表示。

（4）行为识别。行为识别过程可以看作行为分类过程，利用带标签的行为特征数据训练分类器，根据标签粒度可将行为分为正常行为或异常行为两大类，也可进一步分为细粒度的具体的某一类正常行为或异常行为。

（5）异常行为检测。利用已经训练好的分类模型，对测试数据进行自动分类，并输出异常群体信息及其相应异常行为类别。

2 群体异常行为识别技术

本文分别从异常行为类别、常见识别技术和应用领域等三个方面对群体异常行为识别技术研究进行归纳总结。

2.1 群体异常行为类型

不同研究对群体异常行为有不同的分类方法。有研究根据应用场景和实现技术不同，将群体异常行为分为非法闯入、滞留、混入、人员密集等四类；有研究根据人群运动模式将群体异常行为分为滞留、奔跑、汇聚、散开等四类。

综合考虑群体异常行为的研究领域和应用场景，本文将群体异常行为分为以下七大类：

（1）人群聚集。指多人从任意方向往某一指定区域或位置点汇聚的行为。该类异常行为识别过程主要关注人群运动方向和人群密度两个方面，通常在公共安全、交通管理、区域防护等领域研究比较多。

（2）人群滞留。给定时间段内，在特定区域里三人以上的长时间停留行为。该类异常行为的识别主要应用在公共安全和区域防护等领域。

（3）混入。这类异常行为是指非法人员跟随合法人员混入特定区域的行为，其识别技术通常应用于区域防护和公共安全等领域。

（4）四散奔跑。指多人从聚集位置朝四周突然奔跑、散开的行为。这类异常行为的识别主要可以用于公共安全和区域防护领域。

（5）非法闯入（潜入）。通常是指非法闯入或无人时间段（如夜间）偷偷潜入限制进入或禁止进入区域的行为。这类异常行为识别研究可用于交通管理、区域防护和公共安全等领域。

（6）异常社交。该类异常行为识别主要应用在社交媒体、网络舆情等领域，主要指社交网络上，多人之间的异常关注、发帖、点赞、转发等异常行为。

（7）异常共现。主要指特殊群体在敏感时间段内的同行、同宿等异常共现行为，同行包括飞机、火车、出租车等所有公共交通工具的同行行为。这类异常行为的识别主要应用于公共安全、交通管理等领域。

2.2 异常行为识别技术

本文将常见的群体异常行为识别技术主要分为以下几类：

（1）基于聚类或分类的识别技术

此类识别技术基于行为特征之间的相似性对群体行为进行划分。对于无标签数据，可通过无监督的聚类方法，如k-means聚类、层次聚类等，将群体行为自动聚类为正常行为和异常行为；对于有标签数据，则利用有监督的分类方法，如支持向量机（SVM）、KNN、神经网络等，识别群体的异常行为和正常行为。有研究采用张量形式表示群体在每帧中的行为，利用多路非线性特征映射分解张量核，最后通过张量核孪生支持向量机实现视频中的群体行为分类和识别。

（2）基于能量的识别技术

这类技术通过群体活动产生的能量值是否超过一定阈值来识别是否为异常行为。目前，常用的能量方法包括群体动能、方向势能、距离势能、KOD（kinetic orientation distance）能量、玻耳兹曼熵以及群体熵等。有研究根据群体的运动剧烈程度、群体运动方向一致性和群体中个体的相对位置来定义、计算群体动能、方向势能和距离势能，并构建群体行为高层KOD能量特征，最后通过隐马尔可夫模型实现群体异常行为检测及类型识别。

（3）基于主题模型的识别技术

这类技术将群体行为类别当作主题，通过主题模型从一系列行为特征数据中发现潜在的主题信息，来对群体异常行为进行识别。常见的主题模型有概率潜在语义分析（PLSA）模型、潜在狄利克雷（LDA）模型等。有研究利用三层局部因果关系编码群体行为，采用自我因果关系，双人因果关系，群体因果关系分别描述个人层级、双人层级、群体层级的运动特征，并结合外观特征来描述群体行为，最后采用PLSA主题模型进行群体行为识别。

（4）基于词包的识别技术

词包模型在计算机视觉领域应用广泛。基于词包的识别技术主要包括群体行为特征检测、特征表示、码本生成和行为识别四个步骤。有研究根据人群视频的多种社会属性构造加权社会力图，并将图分割成多个粒子组来表示群体视频中相似的运动模式，然后通过对所有局部粒子群进行聚类，构造码本，最后利用LDA模型检测群体异常行为；有研究通过整合静态和动态对象信息，将群体行为表示为一个词包，以确定群体行为的异常。

（5）基于深度神经网络的识别技术

随着深度学习的发展，该类识别技术引起了学术界的广泛关注，主要通过抽取群体行为特征的深层描述对群体行为进行分类、识别。常见的深度神经网络方法包括多层前馈神经网络（RNN）、卷积神经网络（CNN）、长短期记忆网络（LSTM）等。有研究结合静态的场景特征和动态的群体运动特征构建高层语义CNN模型，从而提高群体异常行为的识别率；有研究利用双流卷积网络的空间流网络和时间流网络获取群体行为深层特征，并通过迁移学习获得融合的时空特征进行群益行为识别。

各类识别技术都有自己的优势和劣势，其适用范围和领域也不尽相同。本文总结了上述五类群体异常行为识别技术的优缺点，如表1所示。

表1 群体异常行为识别技术优缺点

2.3 应用场景

根据所应用的数据，群体异常行为识别的应用场景主要分为基于视频监控、关系网络和内容三大类。其中，基于关系网络的应用场景又可以分为虚拟空间关系网络和实体空间关系网络。目前，国内外研究最多的是基于视频监控的群体异常行为识别。

（1）基于视频监控的应用场景

视频监控应用场景下，关于群体异常行为识别研究主要集中在群体异常行为特征提取、人群密度估计、多目标检测与跟踪、群体行为理解、群体路径分析等热点问题上。但现阶段视频监控应用场景下，群体异常行为识别仍面临着诸多困难和挑战，如人群中个体相互遮挡、复杂背景、运动速度多变、运动方向多变、摄像视角多变、光照变化等，这导致大多数技术、算法很难兼顾识别精度和鲁棒性。此外，视频监控场景下的群体异常识别技术其预知性较弱，通常只能识别当下正在发生或即将发生的群体异常行为，不适用于对预测预警有较高时效要求的情况。

（2）基于关系网络的应用场景

基于关系网络的应用场景又分为虚拟空间关系网络（即微博、twitter等社交网络）和实体空间关系网络（即通过同行、同宿、同事等实体空间关系构建的网络）两种场景。该场景下的研究热点主要包括关系网络构建、群体识别（社团挖掘）、群体行为特征建模、异常行为识别等，其中这里的异常行为主要指异常社交行为和异常共现行为，如社交网络上的异常转发和关注、同出行、同宿等异常行为。基于关系网络应用场景下的群体异常行为识别技术在网络舆情、网络安全和公共安全等领域研究较多，能在萌芽、串联和组织阶段就发现群体异常，实现预测预警，有较好的应用前景。

（3）基于内容的应用场景

现实世界中经常面临没有实时监控数据或很难找出个体间直接关联关系的情况，因此基于内容的群体异常行为识别技术引起了研究者们的关注。例如，通过个体的言论信息、互联网浏览记录、移动轨迹信息等建立用户行为表征模型，然后利用表征模型之间的相似性或相关性识别出群体和群体行为规律，再进行群体的异常行为检测。目前，基于内容的应用场景下群体异常行为识别研究相对较少，还需进一步研究。

3 常用数据集

目前对于群体异常行为识别的研究大多是基于视频监控的，因此视频监控方面的可利用数据集较多，基于关系网络和内容的相关数据集还比较少，主要包括：PETS数据集、UMN（University of Minnesota）数据集、CAD（collective activity dataset）数据集等。本文根据数据集的获取方式将数据集分为了公开数据集、构造数据集和未公开数据集。

3.1 公开数据集

（1）UMN（University of Minnesota）数据集

UMN数据集是明尼苏达大学创建的专门用于群体异常行为检测的视频数据集，由Lawn、Indoor和Plaza三个不同场景下的11个视频数据组成，共有7739帧图像，其分辨率为240×320，帧率为每秒25帧。视频中群体的正常行为是行走或闲逛，异常行为主要为人群四散奔逃。

（2）PETS数据集

PETS数据集是雷丁大学创建的数据集，包含park场景多种视角下的4个视频，共15200帧图像，分辨率为768×576，帧率为每秒25帧。视频中群体的正常行为是行走或闲逛，异常行为包括群体聚集、突然奔跑等异常行为。

（3）BEHAVE数据集

BEHAVE数据集包括不同场景下的4段视频，帧频为25，图像分辨率为640×480，记录了10类群体行为，包括InGroup、Approach、Meet、WalkTogether、Split、Ignore、Chase、Fight、RunTogether、Following，每一类行为由2-5人完成。

（4）CAD（collective activity dataset）数据集

CAD1数据集包含了5种不同的群体行为：crossing、waiting、walking、talking、queueing。该数据集中每段视频都含个体行为、双人交互行为和群体行为；CAD2数据集共有74个视频片段，在CAD1数据集的基础上增加了两种类别，同时删除了walking类别，因此共包含6种群体行为：crossing、waiting、talking、queueing、dancing、jogging，每一类群体行为由3-7人完成。

（5）Geolife数据集

Geolife数据集收集了182名志愿者在五年间的GPS轨迹数据（2007.4-2012.8），共包含17621条轨迹，总里程1292951km，总时长50176h，每条轨迹包含时间戳，经纬度和海拔。该公开数据集适用于基于内容的群体异常行为分析。

（6）hetrec2011-lastfm-2k数据集

hetrec2011-lastfm-2k数据集是一个社交网络数据集，来源于Last.fm在线音乐网站，包括社交关系数据、用户的音乐标签数据、音乐家收听情况数据和用户朋友对数据等。该公开数据集适用于基于关系网络的群体异常行为分析。

3.2 构造数据集

这类数据集主要是视频监控方面的数据，通过从网络视频、电影等资源中截取合适的视频片段来构造数据集。例如，有研究通过收集的网络视频构建实验数据集，共21段视频图片，包含3种群体行为：gathering、fighting、running，每一类群体行为由2-5人完成；有研究从电影中截取视频来构造数据集，包括两个场景下的fighting视频，共8个视频片段，每个视频片段含有260帧由2-5人完成的群体目标图像。

3.3 未公开数据集

这类数据集主要包括自摄视频数据、自采集（爬取）的互联网数据、第三方机构或单位有限提供的业务数据等。例如，有研究利用某市1075个酒后驾驶人的性别、年龄、居住情况、教育程度、婚姻状况等数据来分析交通管理领域的异常群体及其行为；有研究通过河南省某地区抽样1000户居民的用电行为数据来识别群体用电异常行为；有研究基于自摄视频数据集研究群体异常行为，通过在学校某处教学楼下的封闭广场上，拍摄了3个不同的镜头，视频中正常行为包括散步、驻足、向前走动等，异常行为分别是四散、群殴、加速跑动，自摄视频的分辨率为320×240。

结论：本文分别从群体异常行为识别的标准建模思路、异常行为类型、常见技术、应用领域和常用数据集等几个方面对群体异常行为识别技术进行了概述。虽然目前群体异常行为识别技术在国内外已经取得了许多研究成果，但是主要集中在视频监控领域，对于社交网络、开放环境等场景下的研究较少，并且没有建立合理规范的群体异常行为识别理论模型，未来需对这些方向进一步探索。