视频中异常行为自动检测技术研究

柏万胜 孙 鹏，2教授 郎宇博 单大国

(1.中国刑事警察学院，辽宁 沈阳 110854；2.公安部痕迹检验重点实验室，辽宁 沈阳 110854)

0 引言

随着视频监控的广泛使用，视频侦查在案件侦破中发挥的作用越来越明显[1]，但是，由于不同人的注意力水平和理解能力存在差异，同一图像证据，不同的人做出的判断和获得的信息有可能存在很大差别[2]。如何通过监控及时发现违法人员的不法行为并阻止其造成更大损失成为智能视频监控领域专家们的研究热点。

在视频影像中目标特性会随着时间推移而变化，由于人注意力的局限性，很容易对目标做出错误地区分和识别[3]。利用计算机对视频进行分析研究成为视觉研究者关注的焦点，国内外学者针对计算机视觉研究的异常行为检测方法大致可分为2类：基于建模的方法和基于相似度的方法[4]。基于建模的方法利用正常样本训练正常行为的算法模型，然后用该算法模型来检测异常行为。例如文献[5]利用最大似然比算法，对运动目标和光流矢量建立高斯模型，对光流直方图建立隐马尔可夫模型。基于相似度的方法适用于数据点的聚集程度高、离群点较少的情况。但是，通常需要对每一个数据分别进行相应计算，计算量大，不适用于数据量大、维度高的数据。例如文献[6]通过聚类分析形成的特征对车辆的异常行为事件进行监测。

本研究从视觉低层特征出发对视频监控中存在的攀爬、逆行异常行为提出2种检测方法。

1 异常行为检测原理及特征提取方法

异常行为检测技术基于智能视频监控的需求，利用模式识别、计算机视觉、机器学习等方法对监控视频序列进行学习、理解和分析检测。检测过程主要利用计算机对视频中连续帧画面进行分析，从低层视觉特征出发研究每一类异常动作在视频监控中呈现的相同特征，根据相同特征判断视频中是否存在异常行为。视频监控中异常行为检测技术的发展受到诸多阻碍，首先，视频监控的拍摄环境很多是室外，这意味着视频中存在光线变化、画面抖动及天气变化等外在干扰因素，多数异常行为检测算法还停留在手工描述特征的低层语义阶段[7]，对于其算法处理视频会有很大影响；其次，画面中经常出现目标遮挡、视角过小等不利于计算机作出异常行为判断的问题；再次，视频监控技术、设备快速发展，视频监控图像的像素也随之升高，带来的更大的数据处理量不利于视频监控的实时性处理要求。

1.1 异常行为检测原理

异常行为的定义很难一概而论，一方面异常行为种类繁多；另一方面定义异常行为需要具体的周围环境描述，例如在人行道和机动车道上骑自行车。在基于计算机视觉对异常行为的研究中默认背离社会规律的行为皆为异常行为。异常行为检测可以视为高层次的图像理解操作，首先，对输入视频帧的逻辑信息进行提取并建立模型，建立模型后利用正常行为的视频集进行训练，使参数更加拟合，模型对正常行为有更准确的识别判断；其次，利用存在异常行为的视频对训练后的模型进行检测，模型识别异常行为的准确率越高则模型的异常行为检测能力越好。

运用异常行为检测技术处理视频可以分为4个阶段：视频帧序列化阶段，将训练视频转化成视频帧；视频帧预处理阶段，对转化的视频帧进行数据清理；提取特征阶段，从视频帧中提取行为特征；检测分类阶段，利用分类器对送检视频检测分类。流程，如图1。

图1 异常检测技术原理示意图

1.2 异常行为检测特征提取方法

异常检测技术的性能与特征选取和模型建立直接相关，其中特征选取的优劣又影响模型的建立与训练。故选择、提取描述行为的特征时，应尽量秉持特征不变性、唯一区别性的原则。

描述行为特征的主要方法有2种：一种是基于对象的方法，主要关注单个对象在视频中所呈现的运动特征，如运动时在连续视频帧中运动目标的大小变化、运动轨迹、运动速度及运动形状参数；另一种是基于整体的方法，此方法将所有对象看作一个整体，基于像素级对运动目标的运动方向、轨迹进行描述，以颜色、像素梯度衡量，光流法因其良好的时空特性成为这种方法的典型代表。

2 视频中攀爬及逆行异常行为检测

异常行为检测是智能视频监控的重要分支，实现异常行为检测有助于减少在监测时投入的人力、物力，攀爬检测和逆行行为检测都是基于异常行为检测的设计初衷，分别对视频中存在运动目标活动于警戒高度区域内和行人逆行行为进行检测和预警。

针对视频监控中攀爬的检测是基于运动目标检测，对运动目标的活动范围作出高度限制，当运动目标的运动范围超过视频监控中设定的预警高度时则发出警报；针对逆行的检测是通过光流法进行聚类，初步判断出视频中是否存在逆行行为，再利用目标追踪得到目标运动的轨迹及方向，根据运动轨迹进一步精确判断逆行行为是否真实发生。

在视频分析中提取运动前景的优劣直接关系计算机视觉利用低层特征检测异常行为性能的好坏，目前常用的检测方法分为3大类：帧间差分法、光流法及背景减除法[8]。

2.1 攀爬自动检测技术

日常生活中人受到自身重力的影响，攀爬行为通常较为缓慢，故选用高斯混合模型提取运动前景。

通过高斯混合模型将运动目标二值化处理，设定视频监控中的预警高度，为防止噪声干扰设定阈值，对超出预警高度部分的像素值个数进行统计，公式如下：

(1)

式中：

pi—为警戒区域第i个像素的像素值；

pa—为像素值的阈值，前景图像为二值化图像，故设定pa为1；

ni—为统计警戒区域内目标像素的个数；

M—为像素个数总和的阈值；

s—为超过像素值阈值个数的总和。

当满足公式(1)时，则代表运动目标攀爬进入了预警区域内，不满足则继续读取下一视频帧。算法流程，如图2。

图2 攀高算法整体流程图

2.1.1 攀爬自动检测实验设计

实验选用手机后置摄像头拍摄的2个不同场景下的攀爬视频进行检测，如图3。图3中(a)场景位于室内，有稳定的光线且人员较少；(b)场景位于室外，光线易变化且人员较多，画面中存在树叶晃动等微小重复运动。

图3 场景环境示意图

2.1.2 实验过程

第一步，读取开始视频帧，并初始化参数和实现建模。实验中设定警戒高度为一条直线，如图4。图4中(a)、(b)分别为2个场景下提取的前景二值化图像，图像中存在明显的噪声干扰，故需通过设定阈值降低误判率。

图4 混合高斯模型处理后的二值化图像

第二步，读取下一视频帧，依据当前视频帧与背景模型匹配进而判断是否需要更新参数，参数更新的公式如下：

ωi，t=(1-α)·ωi，t-1+α

(2)

μi，t=(1-ρ)·μi，t-1+ρ·xt

(3)

(4)

式中：

ωi，t—在t帧第i个高斯分量所占的权重；

μi，t—在t帧第i个高斯分布的均值；

xt—t帧某个像素的像素值；

α、ρ—更新系数。

若不匹配则增加新的分布。

第三步，利用公式(1)计算危险区域内运动像素个数的总和是否超过阈值来判断是否存在攀爬行为，若存在则发出预警警报，不存在则读取下一视频帧。图5显示的是2个场景都不存在攀爬行为，而图6是2个场景监控中警戒高度区域内运动像素个数总和超过规定值后发出了攀爬警报。

图5 无攀爬警告效果图

图6 有攀爬警告效果图

第四步，判断检测视频是否结束，若未结束则返回第二步继续检测有无攀爬行为。

2.1.3 实验结果分析

分别对室内单人和室外多人2个不同场景下的攀爬行为进行多次检测，结果显示，2个场景的误判次数均为0(见表1)，证明该算法适用于室外复杂环境的较高密度人群。基于图像的视觉低层特征，利用手工设计攀爬的异常行为特征，能够及时有效地发现视频监控中出现的攀爬行为，进而可以阻止危险攀爬行为并减少可能造成的损失。

表1 攀爬检测实验结果

2.2 逆行自动检测技术

针对逆行行为的异常行为检测最为简单高效的检测方式是利用光流法根据运动矢量快速检测，然而单纯依靠光流法检测容易受到噪声的影响导致误判率较高；光流—聚类法是改进算法，用于检测逆行行为有效降低了环境噪声对检测效果的影响，但视频监控中出现人挥手、徘徊行为时仍易出现误检。针对这种情况，文中提出了一种先初步检测再精确确定的逆行检测方法，初步检测是通过光流—聚类法检测监控视频序列中是否存在逆行，其流程，如图7。

图7 光流—聚类法初步检测逆行流程图

2.2.1 逆行自动检测实验设计

实验选用手机后置摄像头拍摄的一段室外道路逆行视频进行检测，检测过程中选定感兴趣区域即逆行检测区域以降低计算复杂度，如图8。图8中出现的白色矩形框即为选中的感兴趣区域。

图8 逆行检测场景示意图

2.2.2 实验过程

第一步，首先利用L-K光流法提取目标的角点作为特征点(如图9)，继而得到光流场运动矢量(如图10)，利用特征点在范围内一定数量的特征点与正常运动方向不一致，则可以初步判定存在逆行行为。

图9 光流法提取的特征点图

图10 光流场运动矢量图

第二步，在光流—聚类法初步检测逆行异常行为的基础上，利用模型对运动目标进行检测、追踪，目标检测阶段选择Faster RCNN[9]模型，在目标跟踪阶段主要借鉴SiamFC[10]模型，其效果，如图11。

图11 SiamFC模型追踪逆行行人效果图

第三步，通过光流—聚类法可以得到一个或多个在规定范围中异常特征点超出阈值W的外接矩形框(设定为Hi)，将第一个外接矩形框(即H0)与Faster RCNN模型检测出的行人外接矩形框(设定为Qk)依次进行IOU计算，选择IOU值最高的行人外接矩形框并记录其IOU值E0，再将H1与剩余的Qk-1依次进行IOU计算，选择IOU值最高的行人外接矩形框并记录其IOU值E1，依次类推，选择出所有可能存在逆行行为的行人外接矩形框，根据E0、E1、E2……等数值，选择最大数值对应的行人外接矩形框进行目标跟踪并记录其运动轨迹。根据运动轨迹方向与设定正方向的偏差值判断是否存在逆行行为，存在行人逆行时的实验效果，如图12。

图12 存在逆行行为时检测效果

2.2.3 实验结果分析

文中所提算法在视觉低层特征的基础上，向高层视觉特征求证了检测准确率，检测效果，见表2。

表2 算法准确性实验结果

实验结果表明，文中提出的算法比改进后的光流—聚类法对逆行行为检测的准确率更高，并通过连续帧之间的相关性，能够排除对初步检测中存在的挥手、徘徊等微小往复行为的误判。

文中算法虽在初步判断是否有逆行时增加了计算复杂度，但计算时间并未有大幅增加，不同算法实时性实验结果，见表3。分析其原因主要有以下3点：在目标检测时划定感兴趣区域，减少了处理范围；文中选用了SiamFC模型进行单目标跟踪，其速度快、精度准已得到广泛认可；存在多个逆行目标，仅选择IOU值匹配最大的行人矩形框进行跟踪，意味着有一位行人逆行则判断存在逆行行为符合算法设计的目的，同时减少了计算量为目标跟踪减轻了负担，提升了跟踪效率。

表3 算法实时性实验结果

3 结论

文中提出的2种算法分别对攀爬、逆行行为进行检测，实验结果表明，攀爬检测中利用手工设计的特征完成对攀爬行为的检测，检测准确率得到保证的同时，实时性也得到了保证；逆行检测在利用光流—聚类法初步检测的基础上，再利用目标跟踪对逆行行为实现精确检测，实验结果表明，检测率得到提升，实时性也可满足。目前，大多数的视频异常事件检测研究还处于理论探讨阶段，成果还没有实现实际应用。

视频监控中存在的一些传统干扰检测的问题，专家们都已在积极解决，但随着更高层次的视频特征被学习理解，视频监控中异常行为检测的挑战主要有：需要更加丰富的特征层次理解异常行为，建立由低层特征向高层特征理解的通道。例如对于逆行的监测，文中设置了正向，模型学习中也默认了何为正向，但何为正向更应该随着情况、时间的转变而转变，这就需要算法自主更新判断正常事件；面对环境噪声、极端天气及遮挡视角等情况的干扰，需要增强模型的鲁棒性。另外，对于视频监控所需的实时检测预警对云计算平台也提出更高的发展要求。

此项技术应用前景广泛，不仅可以应用于司法刑侦，亦可在大型活动、人员密集度高的公共场所中应用，提前预警，以应对突发事件。