国家重点研发计划专项子课题“异常事件视觉感知与识别技术研究”(2017YFC0822204)项目介绍

1 研究背景与意义

在经济与社会快速发展的背景下，车站、广场、商场、体育场馆及学校等人群密集度较高的场所数量急剧增加，容量规模不断扩大。各类人群聚集活动频繁出现，这些聚集活动通常具有人群高度密集、人员构成多样、流动性强等特点。高密度聚集且流动的人群隐藏着巨大的安全隐患，极易发生拥挤踩踏等突发公共事件，给城市公共安全管理提出了巨大的挑战。《国家中长期科学和技术发展规划纲要(2006-2020年)》中特别强调“加强对突发公共事件快速反应和应急处置的技术支持，以信息化、智能化技术应用为先导，发展国家公共安全多功能、一体化应急保障技术，形成科学预测、有效防控与高效应急的公共安全技术体系”。公共场所人群聚集事故属于典型的危害社会公共安全的突发公共事件。此类突发事件具有典型的动态复杂特征和潜在的衍生危害，破坏性相对于普通犯罪活动更加严重。视频监控作为安全防范系统的重要组成部分，可以及时发现异常情况并进行联动报警。视频监控已经广泛的应用于公共场所，面对监控产生大量的视频，如何快速、准确识别视频中的异常事件，成为实现智能监控预警急需解决的技术难题。

2 研究目标

本项目提出一种依托城市网络视频监控系统，该系统是面向公共场所人群聚集事故防控的智能监控预警技术，基于该技术设计并开发智能监控预警软件系统，并将开发的软件系统集成在城市网络视频监控系统的指挥中心或智能终端，实现城市公共场所或重点区域中人群状态的监控、预警，实现公共安全防范的智能化、自动化和系统化，提高公安机关维护社会秩序稳定，保护人民生命财产的能力。

以项目为依托的中远期研究目标是整合国内重点院校、研究所在智能监控、应急预警等领域的研究力量，逐步构建以遍布城市的网络监控系统为基础的面向危害公共安全事件防控的突发事件应急管理理论体系与技术应用平台，增强我国在应急管理基础研究领域的自主创新能力，为决策部门应对危害公共安全的突发事件提供实时、科学、量化的决策参考，可以进一步提高公安机关公共安全防范水平与应对危机的快速反应能力。

3 主要研究内容

目前，常规视频侦查的主要技术还停留在依赖视频侦查员人工浏览视频进行分析研判的状态。面向人群聚集事故的智能预警与监控技术研究尚处于起步阶段，难以满足反恐维稳的国家战略与公安技术信息化需要。项目主要从以下几个方面展开研究工作：

(1)研究人群聚集事故预警与防控智能模型。公共场所人群聚集事故中人员构成复杂、流动性强，事故发生的影响因素众多，具有典型的非线性、不确定性的复杂动力学系统特点，难以建立精确的数学模型。采用流体力学理论中的流函数、速度密度模型及势场法等，结合深度学习等智能技术手段，研究人群密度、人群运动趋势、人群混乱程度等事故关联特征与事故预警防控之间的关联关系。

(2)研究异常事件特征定义与量化估计方法。监控视频中人群聚集事故发生的关联特征尚未形成统一标准定义，且难以实现精确计算或量化估计，从而无法形成可视化的结果。利用监控视频中的像素统计特征、变换域特征与语义特征等，研究聚集人群中撕打、跑跳、攀爬、跌倒等异常事件关联特征，从不同角度描述人群聚集事故发生的可能性，估计人群聚集事故的发生概率。

(3)研究异构网络环境下监控系统的兼容技术。现有的城市网络视频监控系统类型众多、数量庞大，分布在城市的各个角落。网络视频监控系统的网络结构趋于一致，但设备多样，在硬件参数、压缩编码算法等方面存在巨大差异，彼此兼容性极差。研究满足不同设备访问要求的标准化协议，构建服务于突发公共事件检测的异构网络环境下视频监控系统的兼容平台。

4 研究成果

(1)针对环境光照变化、夜间复杂场景等条件下人物衣着、车辆等犯罪嫌疑目标颜色特征不确定性强，难以稳定获取其关键特征或轨迹的问题取得的研究成果如下：夜间场景中的光源多为单色，且光质较硬，色温较低，所以检测和校正夜间偏色图像的难度大大增加。针对上述问题，首先采用基于等效圆的偏色检测法计算夜间偏色图像的偏色因子来量化其偏色程度；之后使用结合直方图均衡的动态阈值算法对其进行校正；最后通过计算校正后图像的色差对提出的算法进行评测。仿真实验表明，基于等效圆的偏色检测法能够准确量化夜间图像的偏色程度，结合直方图均衡的动态阈值算法比其他算法更适用于夜间偏色图像的校正。相关研究成果相继发表于《中国人民公安大学学报》《计算机辅助设计与图形学学报》。

(2)针对夜间复杂场景条件下利用步态等特征确认犯罪嫌疑人身份的问题取得的研究成果如下：对夜间环境下，监控视频中利用步态进行行人身份识别的情况进行探究，并与白天环境进行对比。针对夜间环境下步态图像中出现的噪声和缺损，利用形态学方法进行预处理。然后，选取人体头顶点、质心点、左足点、右足点作为特征点，提取点间距离比值关系的变化作为步态特征。针对夜间多是顶光的光线条件，产生的缺足现象，利用巴特沃斯滤波器对关键点横、纵坐标进行滤波的方法进行特征优化处理。最后，利用支持向量机(Support Vector Machine，SVM)分类方法分别对白天和夜间环境下2-25人的步态特征进行分类识别。结果显示，夜间环境下利用步态识别行人身份的准确率仅略低于白天环境。通过对夜间步态数据进行优化处理，同时通过对比验证了步态识别技术在夜间环境下的可行性，为步态识别结果作为法庭证据使用提供重要理论支撑。相关研究成果发表于《中国人民公安大学学报》《四川警察学院学报》和《计算机工程与设计》。

(3)受人眼视差几何模型原理构成的双目系统启发，将特征匹配算法(Speeded Up Robust Features,SURF)应用在基于双目立体视觉的犯罪嫌疑目标追踪测距问题取得的成果如下：首先利用摄像机标定技术对双目图像进行标定求得摄像机内外参数，并对双目图像进行极限约束，立体校正成共面行对准，然后将SURF用于校正后的双目图像实现双目图像的立体匹配，最后在使用双目几何模型求得双目图像视差后，基于三角测量原理估计双目图像中犯罪嫌疑目标与成像设备之间的实际距离。实验误差分析表明SURF具有匹配准确率高、计算复杂度低、实时性好等明显优势。将该方法应用于夜间暗环境下的实验效果，如图1。其中尺度不变特征变换匹配算法(Scale Invariant Feature Transform,SIFT)与SURF算法准确率相近，但SURF算法运算速度远快于SIFT。而将随机抽样一致算法(RANdom SAmple Consensus,RANSAC)与SURF算法相结合的方法，在保证运算速度快的同时，消除了误匹配点，极大的提高了立体匹配的准确率。该技术现已用于对复杂环境下徘徊行为的感知与识别，相关研究成果将于《沈阳工业大学学报》发表。

(a)SIFT算法匹配结果

(4)针对室内灯光环境下，视频人脸检测受图像偏色及复杂背景干扰所导致的人脸漏检及误检问题，在YCbCr色彩空间内提出了一种基于Cr通道的OTSU二值化快速肤色分割算法，并将其应用于经灰度世界算法进行偏色校正后的人脸检测预处理阶段，经预处理后的视频帧人脸检测由自适应增强(Adaptive Boosting,AdaBoost)算法完成。实验结果表明：相较以常规肤色分割算法做视频帧预处理的人脸检测方案，所提方案在3类人脸检测评价指标及运行速度方面更优。同时，针对人脸追踪过程中，基于目标颜色特征的连续自适应的CamShift(Continuously Adaptive Mean-Shift，CamShift)算法易受类肤色背景干扰导致的搜索框偏移及尺寸异常问题。提出在YCbCr色彩空间内使用SVM针对视频帧中人脸模板构建肤色分割模型，并对目标场景进行肤色分割的视频帧预处理方法；另外针对在视频中光照强度及场景改变时，肤色分割模型出现错误及CamShift算法在人脸追踪过程中易出现的颜色特征失效问题，对CamShift算法返回目标窗口内的Cr均值设置合适的阈值以判断追踪器及肤色分割模型性能，在高于该阈值时使用Adaboost算法构建的人脸检测器进行人脸复检以初始化追踪器并重构肤色分割模型。在OTB-2015目标追踪数据集中进行测试，实验结果表明，所提方案相比传统CamShift算法在类肤色背景及光照变化下具有更高的追踪准确率及鲁棒性；相比近几年的追踪算法则在保证了高准确率的同时具有更快的运行速度。相关研究成果发表于《中国刑事警察学院学报》《计算机工程与设计》。