面向公共安全图像监控的人群行为分析

陈 平

(上海市公安局 科技处，上海200042)

近年来，随着我国政治、经济、文化与社会活动日趋活跃，大型活动已经成为促进经济发展和文化交流的重要载体。各种商业性的展销展览、文艺演出和竞技体育比赛，以及各种国际性会议大量增加，规模不断扩大。大型活动由于场面热烈，观众情绪高涨，其控制难度迅速增大。上海已经成为一个2 000万人口级别的、充满流动性的超大规模城市。尤其近年来，体育赛事、娱乐活动、节日庆祝活动、大型展会的举行在规模和数量上的不断扩大，群体安全成为城市公共安全关注的重点问题。根据2009年中国社科院公布的《社会蓝皮书》显示，据不完全统计，1993年我国发生群体性事件0.87万起，2005年上升为8.7万起，2006年超过9万起，近几年也有上升的趋势。针对大型活动的有效防范成为当前乃至今后我国公共安全管理的一项重要工作。

无论是大型活动的安全管理还是群体性事件的防控，都对我国的公共安全管理提出了较高的要求。近年来，我国公共安全管理部门通过实施“金盾工程”、“平安城市”等一系列的安防工程信息化建设，建立了较大规模的城市图像监控与应急指挥信息系统，在社会公共安全常态管理及大型活动安保等方面发挥了重要的作用。视频图像监控系统由于具有监视范围大、采集信息丰富直观、反应迅速准确，且对环境和用户透明而又非入侵等优点，同其他防控手段相比更具优势。另一方面，目前上海街面已有5万多个摄像头，共享社会资源2万多个，遍布全上海市的重要场所、道路交通、重点区域、敏感地带等，如果能充分利用这一系统，将对上海市社会公共安全管理系统提供重要的保障，也有利于社会管理的信息化、智能化和高效化的发展。但目前的视频监控系统仍以被动监控为主，远远不能满足当前社会经济发展的需要，尤其对于群体性活动的事态分析、重大活动和突发事件尚缺乏预判能力和实时响应能力。如何通过高技术信息手段，利用公安视频物联网络有效监控和分析人群活动规律和发展态势，进而有效防范群体性事件的发生和态势的分析，是城市公共安全急需解决的重要课题。

1 上海城市公共安全图像监控系统建设和应用现状

从建设和应用的角度看，上海公安自1985年建设道路图像监控系统以来，经历了金盾工程、上海城市图像监控系统以及围绕重特大安全保卫工作的一系列重大工程建设项目，尤其是2010上海市博会的召开，上海已经建立起公共安全图像监控专网，应急联动指挥系统，包括3DGIS等一系列的信息平台，在街面监控点数量和录像容量上也已具有一定规模。城市公共安全防范手段不断增强，目前已形成覆盖快速路和地面干线道路的大规模数据采集系统和视频监视系统，极大地提升了城市的公共安全保障能力，为进一步提升城市化智能水平奠定了良好的平台。但用户应用的模式仍处于传统阶段，与投入、应用成本相比，成果产出和系统成效未能实现最大化，在智能图像监控领域的研究与应用仍未实质启动。目前国内外主要城市的视频监控系统仅仅实现了“看得见”的效果。为了有效地推进城市视频监控系统向“看得更清楚”、“看得更明白”的更高效能转化，上海乃至我国需要发展信息获取智能化、信息表示标准化、信息分析关联化的视频物联网关键技术和应用系统。

从技术角度看，为了改善目前城市公共安全图像监控系统的应用效能，一种技术手段是采用高清摄像设备，解决了信息采集质量不高的问题，但是没有解决存储图像质量下降问题，并带来了更高的存储压力;另外一种技术手段是采用智能视频分析产品，可以部分替代实时人工监看，但仍以单点的应用为主，并受到环境、工程安装角度等条件的限制，智能化的应用程度不深，无法做到基于视频物联的多点协同分析和综合处理。

多尺度人群行为的监控和分析作为基于视频物联的最典型的智能分析应用，目前已经引起了包括美国卡内基梅隆、华盛顿大学和我国香港大学在内的多家研究机构的重视，在群体密度估计和流量统计、群体的建模和群体行为分析等方面进行了大量的研究工作。上海世博会期间，以“客流眼”为代表的智能视频分析系统也为世博会客流的疏导等方面提供了重要的依据。

在视频监控应用中，大尺度群体行为具有群体规模大、事件范围大、时间跨度大的特点，由于遮挡等问题严重，传统的基于目标分割、跟踪等分析方法将变得异常复杂而难以实用。对拥挤群体的异常行为分析而言，在研究方面将面临以下4个方面的困难:

1)粒度的选择。人与人之间的作用机制是非常复杂的，因为同群体在目标约束下表现出来的动力特性和心理特性有密切的关系。同时，对于高密度甚至是极高密度的群体来说，选择合适的粒度对群体的描述变得更加困难。小到一个像素，大到一个个体甚至是一个小的群体，都可以作为研究的尺度，但是如何选择合适的尺度既与所要分析的场景模式相关，又与系统的任务密切相关，确定统一的粒度标准是一个难题，但又是群体分析中必须解决的问题。

2)异常行为的表征。在拥挤的人群当中，个体之间相互作用很难进行观测，其分析将变得非常复杂，因此传统的以个体为中心的异常行为表征在拥挤人群的描述中将变得不切实际。另外，社会心理学的研究表明，在高密度的拥挤人群当中，异常事件往往会在群体中呈现迅速扩散的趋势，越发使传统的基于个体描述的异常行为分析变得不适用。

3)相对分辨率较低。对于大范围异常拥挤的群体分析而言，在图像分辨率受限的条件下，在画面中每个个体的描述像素会大幅度降低，从而对每个个体而言，画面中所能提供的轮廓、形态和颜色等外观信息及其有限，因此很多基于个体的特征分析、跟踪算法将不再适用。这也从另一个角度促使相关的研究者去通过其他的信息源来弥补这一问题。

4)事件的演化关系复杂。相比于个体事件而言，群体事件往往表现出“人群的规模大、事件范围大和时间跨度大”的特点，一个群体性的事件往往蕴含着非常复杂的内在逻辑和因果关系，事件的发展和演化的规律也更加复杂，因此传统的针对个体分析的统计学习的思路往往很难直接应用于群体性事件的分析。

2 监控系统中大尺度人群行为分析研究

在面向监控的大尺度人群行为分析研究领域中，国内外相关学者进行了大量的理论和实践研究，提出了一系列算法和系统框架，如图1所示。

图1 群体行为分析的一般框架

总得来说，可以归纳为以下三个方面:

1)群体建模。在对群体进行数学建模时，有三种不同的方法理念［1］，即宏观、介观、微观，如图2所示。

图2 群体建模的三种方法理念:宏观(左)、介观(中)、微观(右)

这三种不同的建模理念也表示三种不同的观测尺度。从宏观角度上来讲，将群体看作是一个整体，着重于群体在宏观上所呈现出的整体状态。由于其观测尺度远超过了个体目标的尺度，所以这种建模方法忽略群体内部个体的具体行为。从介观的角度上来讲，将具有相同时空特性的多个相邻目标当作一个整体进行分析，此时观测尺度更细致了一些，同时兼顾整体特性与个体行为。从微观角度上来讲，也就是从目标级尺度进行分析，即对群体中每个个体目标进行检测和跟踪，然后进行统计分析得到群体行为特性。这类方法的优点是可以得到十分精细准确的行为描述，但是随着群体密集程度越来越高，目标之间相互遮挡越来越严重，这类方法就变得不那么有效。总得来说，在群体分析中，目前的研究比较推崇宏观角度和介观角度，这样可以避免密集群体中难以检测和跟踪个体目标的难题，而基于微观的群体模型更适合用于稀疏群体行为分析。其实，这三种建模理念各有优缺点，针对实际的问题和具体的监控场景，选择合适的分析角度进行分析。比如在进行群体全局特性分析时，更多的是从宏观角度进行分析，没必要具体分析每个目标的行为。但是在进行局部行为分析时，就要求从微观角度对每个感兴趣目标进行细致的分析。

2)群体状态分析。群体状态包括群体密度分布、群体运动状态以及群体稳定性。在群体密度估计方面主要有三种研究思路［2］:(1)基于像素级特征的密度估计，这类方法需要提取前景目标区域，构建前景像素与行人个数映射关系模型，从而可以通过像素的相关统计信息来估计群体密度。但是，当群体比较密集，相互遮挡比较严重时，简单的映射关系模型就不那么有效;(2)基于纹理特征的密度估计，如基于灰度依赖矩阵特征、最大稳定值区域特征、时空LBP特征等的密度估计算法。这类方法的思路与前者类似，也是通过构建纹理特征与人数之间的映射关系模型来估计群体密度;(3)基于目标级特征的密度估计，这类方法主要通过检测人头或行人并进行数量统计。和前两者相比，这类方法可以得到更精确的人数或密度。但是，在密集的人群场景中，个体目标的检测就变得非常困难。群体的运动直接反映了群体的运动方向、速度等运动特征。基于运动特性的统计特征，比如平均速度、速度方差、最高速度、最低速度等都可以从不同层面上来体现群体的运动特性。关于群体运动分析，主要有两类方法:第一类是把群体看成一个整体，通过计算光流及其统计特性来分析群体运动;第二类是对群体中每个个体目标进行检测跟踪，然后对轨迹进行聚类，从而得到群体的运动信息。显然，第一类方法更适合于群体较为密集的情况，而第二类方法在稀疏场景中更加易行。如果不需要得到非常细致的群体运动特性，只需知道宏观运动特性，那么第一类基于光流场的方法就足够了。当然，光流场的计算受光照条件影响很大，还需要其他视频处理技术进行辅助处理。群体稳定性则是监控管理者最为关注的一点，同时它也是群体行为分析里热门的研究点之一。目前的群体稳定性分析主要基于群体运动特性，即使是近年来较为热门的基于社会力模型［3］的异常行为检测［4］也是要用到目标的运动特征，如运动速度、方向等。文献［5］指出，群体密度分布亦是影响群体稳定性的另一重要因素。所以，如何综合考虑群体密度分布特性和运动特性来更好地进行群体稳定性分析是一个值得进一步深入研究的问题。

3)群体行为分析。群体行为具有规模大、覆盖范围广、时间跨度长和整体事态复杂等特点。一个完整的群体行为同时具有时间和空间上的跨度，简单的群体全局特性分析和局部行为分析都不能很好地描述群体行为的动态演化过程。所以要对群体行为进行时空关联分析，深入挖掘群体系统内在演化规律，更好地预测群体行为发展趋势。目前在行为关联分析方面主要有分层贝叶斯网络模型、MDA模型(Mixture model of Dynamic pedestrian-Agents)、MERM模型(Mixed Event Relationship Model)。从本质上讲，这些模型就是挖掘场景中行为的时空关联性。在一个特定的监控场景中，从宏观上看，必定存在全局约束规则，比如十字路口的红绿灯、斑马线，这些代表的是路口的交通规则。还有火车站候车大厅的出入口、排队区域所代表的空间约束等。从微观上看，在全局规则的约束下，群体会呈现特性鲜明的局部行为，比如在十字路口，什么时候走，什么时候停，什么时候转弯等。换句话说，全局规则约束局部行为，局部行为体现全局规则。另一方面，群体局部行为亦可引发全局状态的变化，比如局部的行人之间的摩擦和争斗有可能演化成群殴，并且引起大规模人群聚集围观。

3 应用前景分析

群体行为分析有很广泛的实际应用［6］，例如:

1)人群管理。群体分析可以为人群管理提供一些策略，尤其是在频繁发生的事件或活动中，比如大型运动比赛、音乐会、示威游行等，可以帮助避免群体恶性事件，保障公共安全。

2)公共空间规划设计。群体分析可以为公共空间设计提供指导方针，比如在设计购物中心时可以最大程度地方便顾客，同时有效利用空间。

3)虚拟环境。人群的数学模型可以应用在虚拟环境中，以此增强仿真群体行为，从而丰富人们生活体验。

4)视频监控。群体分析可以用于自动检测异常事件，并进行报警。甚至可以在群体中进行个体目标跟踪，从而帮助警察抓住嫌疑人员。

5)智能环境。在一些具有智能系统的环境中，群体分析可以帮助引导群体或群体中的个体。比如在博物馆中，智能系统可以根据人群的行为来引导其进行更好的观看和浏览。

4 总结

综上所述，基于图像的智能化分析和综合应用服务是城市公共安全图像监控系统发展的必然趋势，为了使智能图像监控系统发挥更大的应用效能，加快适应上海城市人口密集、大型群体活动繁多的现状，通过大尺度群体的异常行为感知建模及实现方法的研究，以期加速在车站、机场、体育馆、城市商业中心等人群聚集场所和大型演唱会、集会和体育赛事等重大活动中进行示范应用，该研究可以极大提高视频监控网络对于群体性事件的防控能力，对城市公共安全智能化、信息化管理具有重要的现实意义。

［1］ZHAN B，MONEKOSSO D N，REMAGNINO P，et al.Crowd analysis:a survey［J］.Machine Vis.Applicat.，2008，19(2):345-357.

［2］CEZAR J，JACQUES S，MUSSE S R，et al.Crowd analysis using computer vision techniques［J］.IEEE Signal Processing Magazine，2010，27(5):66-77.

［3］HELBING D，MOLNAR P.Social force model for pedestrian dynamics［EB/OL］.［2013-01-25］.http://www.ncbi.nlm.nih.gov/pubmed/9963139.

［4］MEHRAN R，OYAMA A，SHAH M.Abnormal crowd behavior detection using social force model［C］//Proc.2009 IEEE Conference on Computer Vision and Pattern Recognition.［S.l.］:IEEE Press，2009(2):935-942.

［5］JOHANSSON A，HELBING D，ALABIDEEN H Z，et al.From crowd dynamics to crowd safety:a video-based analysis［J］.Advances in Complex Systems，2008，11(4):497-527.

［6］杨华，苏航，郑世宝，等.大规模群体密度估计算法［J］.电视技术，2010，34(5 ):113-116.