基于时空信息约束的密集人群分割方法

易 娴, 董 楠, 魏建明, 朱文浩

基于时空信息约束的密集人群分割方法

易 娴1,2, 董 楠2, 魏建明2, 朱文浩1

(1.上海大学计算机工程与科学学院,上海200444;2.中国科学院上海高等研究院安全与应急实验室,上海201210)

在密集场景中,人群可以看作是由三五成群的、具有运动一致性的子群体构成的集合.为了能划分这些子群体,以便对人群的交互行为进行分析,提出了一种基于时空信息约束的分割方法.该方法首先利用背景建模和特征点跟踪,获取视频图像帧中运动目标的时空信息;然后,利用前景中群体分布的空间区域信息,将空间上相邻近的人群划分为若干个子群体;最后,通过一段时间内的运动相关性将子群体进行进一步的分割.这两种约束信息相互作用,得到具有运动一致性的子群体.通过大量实验验证测试,表明该方法可以应用于不同人群密度、视角范围等多种场景视频.

群体分割;子群体;运动一致性;时空信息约束

世界人口的日益增加和城市化进程的加快使得公共场所的人群安全问题日渐突出,对密集体进行智能监控也显得尤为重要.群体分割是智能监控技术中一项具有挑战性的课题,为人群行为分析等后续工作提供了重要的分析素材,在公共场所的人群管理、突发情况监控等领域中有着广泛的应用[1].

目前,关于群体分割主要有3个层面的研究:宏观、微观和介观层面.Li等[2]、Zhang等[3]和Andrade等[4]从微观角度入手,将人群视为若干个体的集合体,利用颜色、轮廓、尺度不变特征变换(scale-invariant feature transform,SIFT)等局部特征来进行单个运动目标的识别与划分.基于单目标对象的分割方法有着共同的局限性,即对密集的、有遮挡的群体目标的分割效果较差.宏观的分割方法利用光流、密度等整体特征进行分割,这种自顶向下的方法回避了人群遮挡的问题.Andrade等[5]对光流向量进行建模,然后利用谱聚类对具有相似运动模式的场景进行划分;Chan等[6]通过混合动态纹理建模的方法进行群体分割.但是,这些方法忽略了群体运动的局部特征.

有研究发现,在密集群体场景中人们往往不是自由地单独行动,而是更加倾向于三五成群地共同运动[7-9].由此可见,群体运动并非简单的个体运动的叠加.Moussaid等[10]认为,在密集群体运动中,个体会调整自己的运动状态使之和旁人保持一致,形成具有运动一致性的子群体.基于此,本工作将从介观的视角入手,将人群划分为由三到五人构成的子群体.目前从子群体的角度分析群体运动的研究还比较少.Chang等[11]首先提出子群体的概念,将人群分成几个具有一定结构的子群体,利用成对相似性、距离等条件实现对小群体的划分,但该方法仍依赖对个体的检测,且实现起来较为复杂.Chang等[11]还利用基于多摄像头多目标跟踪系统识别人群中子群体,然而此方法成本较高.

为了解决上述问题,本工作提出了一种基于时空信息约束的算法.将运动群体中个体之间在时间上的运动关系和空间上的邻近性作为划分群体的依据,两种条件相互约束,将群体划分为具有运动一致性的子群体.通过大量的实验测试,验证了本算法能够适用于不同群体密度和观察视角的监控视频流,且实现简单,运行速度快.

1 运动群体的时空信息提取

Ge等[12]和Kaewtrakulpong等[13]的研究表明,小群体的成员间具有运动一致性,而这种一致性可以通过个体成员和周围邻近成员的交互关系来表示.将运动一致性定义为2种:空间一致性和时间一致性.空间一致性反映了个体之间距离的远近,通常距离较近的个体会自发组成运动团体;而时间上的一致性则反应了个体运动的目的,同一个团体内的个体在一定时间内运动趋势相同.

对于空间一致性,通过实现Kaewtrakulpong等[13]的基于混合高斯背景建模的方法,得到前景运动区域斑块,划分出在空间上邻近的个体.而在时间一致性方面,通过Kanade-Lucas-Tomasi(KLT)算法[14]得到跟踪点的位置、运动轨迹等信息.结合这两种信息,本工作实现了一种融合的方法来得到介观的运动目标群体.具体算法流程和描述如图1和2所示.

1.1 前景特征点的运动信息提取

为了获得运动人群的运动信息,在视频图像帧上获得若干特征点,并采用KLT算法进行特征点的匹配跟踪.

设在t时刻对应的图像帧为I(x,y,t),在t+τ时刻对应的图像帧为J(x,y,t+τ),其位置变化满足

运动量d=(Δx,Δy)称为点X(x,y)的偏移.

图1 本算法流程Fig.1 Process f l ow of the proposed algorithm

图2 本算法描述Fig.2 Description of the proposed algorithm

接下来找到使灰度差平方和(sum of squared dif f erences,SSD)最小化的d:

式中:W为给定的特征窗口;J(X+d),I(X)代表相邻两帧图像的对应关系;ω(X)为加权函数,通常取1.得到的偏移量d=(Δx,Δy)可以看作是帧与帧之间特征点的位移,记v=(Δx,Δy).可以用一个4维向量P=⌊Px,Py,Pvel,Pdirc⌋来表示每个KLT特征点P的运动信息,其中Px,Py表示跟踪点的空间坐标;Pvel表示该点的位移大小,其值为|v|;Pdirc表示该点的运动方向信息,其值为v.图像帧I包含由这些KLT特征点构成的点集SI={P1,P2,···,Pk}(见图2(a)).

1.2 前景斑块提取

采用混合高斯背景建模算法获得前景运动区域斑块.混合高斯背景建模算法是一种适合检测群体运动目标的方法[13],常被用于处理复杂背景下的运动前景检测.

混合高斯模型使用K(基本为3～5)个高斯模型来表征图像中各个像素点的特征,在获得新一帧图像后更新混合高斯模型,用当前图像中的每个像素点与混合高斯模型匹配,如果成功则判定该点为背景点,否则为前景点.该算法获得的前景区域是一个二值化的前景掩模,将掩模中前景点的连通区域标记为Bk,则图像帧I包含由这些斑块构成的集合BI={B1,B2,···,Bk},表示图像帧I中包含k个连通的斑块(见图2(b)).

2 基于时空信息约束的群体划分

在获得了特征点运动信息和前景斑块后,可以将问题简化为已知图像帧I中所有特征点构成集合SI,通过本算法将特征点集合SI分割为包含若干点的子集,结果为SI={CI,FI},其中C={C1,C2,···,Ck}为图像帧I中经过划分后具有运动一致性的点集,其含义为构成人群的子群体.而FI则是包含被剔除的点的集合.

2.1 基于空间信息约束的群体划分

在1.2节得到每帧图像中的前景斑块集合BI={B1,B2,···,Bk}.在本节中,本工作将利用斑块Bk的空间信息对KLT特征点集SI进行初步划分.

为了便于处理,用矩形表示斑块的空间位置.在找到斑块的边界像素位置之后,按照其坐标值划分出一个矩形区域,并获得其边界属性BR(bottom-right)和TL(top-left),分别为矩形的右下角点坐标和右上角点坐标(见图2(b)).如果特征点P的位置处在斑块的轮廓范围内,则将该点划分为该斑块的点.伪算法描述如下.

已知Bk斑块的属性有BR和TL,当前特征点P的坐标值为(px,py).

其中,TLx为斑块矩形左上角的x坐标值,TLy为斑块矩形左上角的y坐标值,BRx和BRy同理.如果点P∈Bk,则将P加入Bk中;反之,则进行下一个斑块匹配,若P不属于任何一个斑块,则将其剔除.此时的分割结果可以表示为SI={BI,FI},其中BI为图像帧I中包含经过空间约束的特征点的斑块,FI为图像帧I中不在前景运动斑块上的点集.场景实例如图3所示.划分后的结果如图3(c)所示,运动人群中空间位置相近的个体被划分为一个小群体.

图3 场景实例1Fig.3 Real scene example 1

图3(a)为原图,(b)为特征点位置示意图,(c)为通过混合高斯背景建模算法得到的二值化掩模,(d)为经过斑块边界约束的特征点划分示意图,(d)中不同的人群由不同的颜色显示.

由图3可以看出,在加入边界约束的条件下位置邻近的特征点被分为若干个不同的子群体.但是从场景图(a)中可以看出,人群A中明显存在两个运动方向不同的个体,一个向北运动,一个在向西运动.因此在下一步的处理中,本工作将加入运动一致性条件,来划分在这种情况下空间约束条件不能够区分的群体.

2.2 基于时间信息约束的群体划分

特征点P的运动信息向量中的Pdirc属性表明了时间上帧与帧之间特征点的运动关系.利用这种变化关系可以将斑块BI={B1,B2,···,Bk}进行更细粒度的划分.

首先,计算特征点P的位移向量v=(Δx,Δy)与x轴(图像的水平方向)形成的方向余弦cosθ,进而获得其方向夹角

将方向夹角从0到2π划分为12等份,每个区间分别标记为Di(i=1,2,···,12).为Pdirc赋值:

将同一个斑块中属性值Pdirc相同的特征点聚合为一个点集Ck,经过方向夹角约束后,原来的斑块集合BI进一步划分为BI={C},其中C={C1,C2,···,Ck}.这样,运动趋势相近的特征点就标记为一个子群体.经过运动一致性约束后的划分结果如图4所示.

图4 场景实例2Fig.4 Real scene example 2

图4(a)为仅通过空间约束对群体进行划分后的效果图,(b)为加入运动一致性约束后的分割效果图.可以看出,仅仅是空间上的约束划分并不能区分出向两个方向运动的群体.图4(a)中人群A无法通过斑块边界约束辨别出运动方向不同的两个运动个体.而加入对运动信息的处理后,人群A被划分为两个不同的群体:人群B和人群C.

位移方向划分的间隔大小对子群体划分也会产生影响.间隔越大,对群体的划分越粗糙;间隔越小,对群体的划分越精细.在极端情况下,划分的子群体为单独的运动个体.如图5所示,(b)为划分间隔为8个区域时的子群体划分情况,(c)为划分间隔为12个区域时的子群体划分情况.可以看出,当划分为12个区域时,划分的效果较好.在原场景图中可以明显观察到运动方向有细微差别的运动群体A,B,C,如果划分间隔较小,则无法区别出3个运动群体.当位移方向划分的间隔为12时,产生的噪点可以通过修正的方法得到改进,如果划分的范围再细致,则会产生很多噪点,且更不容易得到修正.因此,通过实验本工作选择12个划分区域进行分割,但在实际应用中可调整该参数以适应不同场景的分割计算.

图5 方向夹角划分间隔不同对结果的影响Fig.5 Ef f ects of dif f erent intervals of direction angel division on the results

2.3 划分结果中异常点的剔除和修正

为了提高分割的精确度,需要修正一些异常的噪点.通过分析这些异常出现的位置,发现行人的头部和脚部常常被误认为是两个团块,手臂和头部的摆动也会造成划分的误差.为此本工作提出了以下基于常识的改进方法.

(1)修正异常点.对于头部和脚部方向的细微角度差导致的划分错误,将跟踪点P向量中运动方向Pdirc的划分间隔放大,尽可能减小因位移方向划分过细引起的误差.具体方法如下:计算特征点P的K个临近点中,假设各临近点的属性值Pdirc出现频率最大的标记值为Di;特征点P的Pdirc值假设为Dj,那么对于所有的特征点,若i+1=j或i−1=j,那么将P的Pdirc值修正为Di.

(2)剔除异常点.通过大量数据观察发现,异常点值的周围通常缺少同类点的存在,尤其是手臂处和头部的摆动造成的异常点,因此计算特征点P的L个临近点中与其运动趋势相同的点的个数N.设定一个临界值M(M ≤L),如果N＜M,则将P点认为是异常点,从子群体Ck中剔除.

如图6所示,在该场景中由于地面的灯光反射和人体的不同部位的轻微运动差别,群体划分的结果含有许多噪点,经过改进后,基本可以消除这些噪点.

图6 异常点修正效果Fig.6 Results after eliminating the outliers

3 实验结果

3.1 群体视频数据库

选择CUHK Crowd Dataset数据库[15]进行实验.CUHK数据库由香港中文大学提供,其内容包含了街道、商场、公园等公共场所中多种不同密度人群、视角范围的群体视频.该数据库是目前最权威、包含场景数目最多的数据库.

3.2 实验结果与分析

在现有的群体分割算法中,效果较好的算法有基于Collective Transition(CT)priors算法[16]和Coherent Filtering(CF)算法[17],由于CT和CF算法的划分结果十分相近,故选取CF算法进行分割结果的比较.

图7～10分别为同一场景中的算法对比结果,每个场景选择两个片段进行对比.不同群体由不同颜色的特征点来表示.从图7和8中可以看出,CF算法经常会把大于或等于10人以上的群体划分为一个子群体,不符合生活中对小群体的界定,而本算法划分出的群体个数比较多,比较符合实际生活中人群里自发形成的子群体的情况.

通过与人工标定的结果对比,可以得到如表1所示的CF算法与本算法分割效果对比结果.从定量角度来看,本算法的划分结果更符合子群体的划分要求:划分的群体个数比CF算法多,而且划分出的小群体的运动个体数比较少.

图7 场景1算法对比Fig.7 Algorithm comparisons in scenario 1

图8 场景2算法对比Fig.8 Algorithm comparisons in scenario 2

图9 场景3算法对比Fig.9 Algorithm comparisons in scenario 3

图10 场景4算法对比Fig.10 Algorithm comparisons in scenario 4

表1 CF算法与本算法分割效果对比表Table 1 Comparisons between the CF algorithm and the proposed algorithm

综上所述,本算法在人群划分上粒度更精细,在相同人数的场景中,不仅划分的群体个数更多,而且每个群体的人数符合群体行为描述中“小群体”的要求,因此对小群体的描述更准确.

4 结束语

本工作提出了一种基于时空信息约束的子群体分割方法.该方法融合了运动目标人群的空间邻近信息和一定时间内的运动趋势信息,来代表实际生活中人群运动在空间和时间上的一致性,从而有效地将密集的人群分割为3～5人的自然子群体.在进一步的研究中,本算法的结果可以用于群体运动特征的建模,成为群体行为分析的重要基础.但该方法也存在不足的地方,如在空间信息的利用上,由于算法的局限性,可能会出现人影粘连导致的误判,故在今后的研究中,本工作将借鉴随机选择[18]的方法,使得本算法能获得更准确的结果.

[1]BEN X Y,HUANG X F,ZHUANG Z Y,et al.Agent-based approach for crowded pedestrian evacuation simulation[J].Intelligent Transport Systems,2013,7(1):55-67.

[2]LI J Y,LU X F,DING L Y,et al.Moving target tracking via particle f i lter based on color and contour features[C]//Proceedings of International Conference on Information Engineering and Computer Science.2010:1-4.

[3]ZHANG Q,RUI T,FANG H S,et al.Particle f i lter object tracking based on Harris-SIFT feature matching[J].Procedia Engineering,2012,29:924-929.

[4]ANDRADE E L,BLUNSDEN S,FISHER R B.Modeling crowd scenes for event detection[C]//Proceedings of 18th International Conference on Pattern Recognition.2006:175-178.

[5]ANDRADE E L,FISHER R B.Simulation of crowd problems for computer vision[C]//First International Workshop on Crowd Simulation.2005:71-80.

[6]CHAN A,VASCONCELOS N.Modeling,clustering,and segmenting video with mixtures of dynamic textures[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2008,30(5):909-926.

[7]AvENI A.The not-so-lonely crowd:friendship groups in collective behavior[J].Sociometry,1977,40:96-99.

[8]KARAMOUZAS I,OvERMARS M.Simulating and evaluating the local behavior of small pedestrian groups[J].IEEE Transactions on Visualization and Computer Graphics,2012,18(3):394-406.

[9]LAN T,WANG Y,YANG W L,et al.Discriminative latent models for recognizing contextual group activities[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(8):1549-1562.

[10]MOUSSAID M,PEROZO N,GARNIER S,et al.The walking behavior of pedestrian social groups and its impact on crowd dynamics[J].PloS One,2010,5(4):e10047.

[11]CHANG M C,KRAHNSTOEvER N,LIM S,et al.Group level activity recognition in crowded environments across multiple cameras advanced video and signal based surveillance[C]//Proceedings of International Conference on Advanced Video and Signal Based Surveillance.2010:56-63.

[12]GE W N,COLLINS R T,RUbACk B.Automatically detecting the small group structure of a crowd[C]//Proceedings of Workshop on Applications on Computer Vision.2009:1-8.

[13]KAEwTRAkULpONG P,BOwDEN R.An improved adaptive background mixture model for realtime tracking with shadow detection[C]//Proceedings of 2nd European Workshop on Advanced Video Based Surveillance Systems.2001:149-158.

[14]TOMASI C,KANADE T.Detection and tracking of point features[J].International Journal of Computer Vision,1991,9:137-154.

[15]SHAO J.CUHK crowd dataset[EB/OL].[2015-04-30].http://www.ee.cuhk.hk/～jshao/cuHKcrowdfi les/cuhk-dataset-htm.

[16]SHAO J,CHEN C L,WANG X G.Scene-independent group prof i ling in crowd[C]//Proceedings of Conference on Computer Vision and Pattern Recognition.2014:2227-2234.

[17]ZHOU B,TANG X,WANG X.Coherent f i ltering:detecting coherent motions from crowd clutters[C]//Proceedings of Conference on Computer Vision.2012:857-871.

[18]BARNICH O,VAN DROOGENbROECk M.Vibe:a universal background subtraction algorithm for video sequences[J].IEEE Transactions on Image Processing,2011,20(6):1709-1724.

Segmenting groups in crowd based on spatiotemporal restraint

YI Xian1,2,DONG Nan2,WEI Jianming2,ZHU Wenhao1
(1.School of Computer Engineering and Science,Shanghai University,Shanghai 200444,China;2.Safety and Emergency Laboratory,Shanghai Advanced Research Institute,Chinese Academy of Sciences,Shanghai 201210,China)

Pedestrians in crowded scenes can be seen as a collection of groups moving coherently.To segment the crowd into groups and analyze interactions between them,a method using group spatiotemporal relationships is proposed.Spatiotemporal information of crowds by modeling the background and tracking the feature points is acquired.Then the individuals are grouped according to aspatial neighborhood restraint.The groups are further divided by motion correlation over time.These two restraints work with each other ef f ectively,and generate groups with coherent motion.Tests on many videos of real-world pedestrian scenes show that the method can be applied to a variety of scenes with dif f erent crowd densities and perspective of videos.

crowd segmentation;sub-group;coherent motion;spatiotemporal restraint

TP 391.41

A

1007-2861(2017)05-0742-10

10.12066/j.issn.1007-2861.1760

2015-11-02

国家自然科学基金资助项目(61302151);上海市自然科学基金资助项目(13ZR1455100)

董 楠(1982—),男,副研究员,博士,研究方向为视频图像理解、机器学习等.E-mail:dongn@sari.ac.cn

本文彩色版可登陆本刊网站查询:http://www.journal.shu.edu.cn