交通监控视频中的车辆异常行为检测

宋 耀，宋建新

（南京邮电大学 江苏省图像处理与图像通信重点实验室，江苏 南京 210003）

随着我国经济的迅速发展，全国汽车保有量年年攀升。汽车为人民生活带来了极大便利，但车辆违章违规所带来的交通事故多发，给全国交通管理信息系统带来了巨大压力。为保证公路交通的正常运行，我国政府采用了智能交通系统，以实现大范围、多场景的交通监控与管理，提升交通系统综合运输能力[1]。同时随着信息技术几十年的迅猛发展，海量视频数据的存储与处理得到了广泛的普及与应用。本文提出的基于交通监控视频的车辆异常行为检测技术便是通过对交通监控视频数据进行实时处理与分析，实现异常车辆行为的自动识别。

当今相关领域已经进行了广泛的研究，例如：Weiming Hu等人提出基于3D跟踪模型的交通事件检测方法，获取车辆运动轨迹后，运用模糊自组织神经网络学习轨迹模式，通过概率匹配预测行驶行为[2]；赵海提出基于自适应单类支持向量机的车辆异常行为检测方法，将车辆轨迹映射为高位空间中的向量点，通过支持向量机算法学习样本轨迹并建立模型，实现对车辆的异常轨迹检测[3]。但这些方法都有计算复杂、所需存储容量过大等问题，会占用过多硬件成本与开销。

本文主要就道路监控视频中的运动车辆检测、跟踪与违章行为识别所涉及到的若干关键技术进行了研究，使用改进Surendra背景差分[4]与三帧差分[5]相结合的算法进行车辆目标检测，之后结合CamShift算法[6]与Kalman滤波器[7]进行车辆目标跟踪，提取车辆质心绘制运动轨迹，针对车辆运动方向判别、违章变道、调头等行为提出了检测方法。本系统能够在保证结果准确性的前提下，降低计算复杂度，实现对车辆异常行为的实时检测。系统流程如图1所示。

图1 基于交通监控视频的车辆异常行为检测系统流程

1 基于改进Surendra背景差分与三帧差分相结合的车辆检测算法

车辆检测本质上属于基于视频的运动目标检测研究，后者是当今计算机视觉领域的一个重要研究分支，为图像视频更高层次的处理提供了基础。目标检测利用图像处理技术，分割运动目标与背景，检测出运动的目标，常用的检测方法有：帧见差分法、背景差分法与光流法[5]。本文在对这3种目标检测进行对比分析后，提出了使用改进Surendra背景差分与三帧差分相结合的算法进行车辆目标检测，能够较好满足系统的实时性需求。

1.1 改进的Surendra背景差分算法

利用背景差分法获取运动目标的关键是完整背景的构造，Surendra背景更新算法能够自动地更新背景。Surendra背景更新算法操作简单，易于实现，实时性强。但由于算法采用的是固定灰度阈值，需要人工的干预，因此不太适用于光线随时改变的自然环境[8]。为了克服这个问题，可以采用阈值自适应的方法进行改进，改进后具体步骤如下：

1）取视频第一帧图像I0作为初始背景B0。

2）求出当前帧图像的最大灰度值gmax和最小灰度值gmin，然后令

3）根据T对图像的灰度值进行划分，分为大于T的灰度值和小于T的灰度值两组，分别求出两组的平均灰度值μ1和 μ2。

4）更新阈值T

5）重复步骤3）和4），直到T 的值不发生变化。

6）迭代次数初始化，取m=1，最大迭代次数为M ；计算当前帧与前一帧的帧间差分图像，并二值化

式中：It为输入的t时刻的单帧图像；It-1为输入的t-1时刻的单帧图像。

7）根据二值化后的图像Dt来更新背景

式中：Bt(x,y)为t时刻背景图像；α为更新速率系数，取典型值0.005。

8）迭代次数m每次迭代自增1，当迭代次数 m=M 时结束迭代，此时Bt(x,y)为更新后的背景图像。

1.2 基于改进Surendra背景差分与三帧差分相结合的车辆检测算法

三帧差分法主要思想是通过提取连续三帧图像来分别计算相邻两帧图像的灰度差分图像，然后将所得到的两个差分图像的对应像素进行对应“与”操作，从而提取出运动目标。三帧差分法对运动目标的定位较帧差法更加精准，并且减少了帧差法在待检测区产生的空洞现象。

本文以下融合改进Surendra背景差分与三帧差分这两种方法，综合两者的优点，提高运动目标检测的精度。具体步骤如下：

1）对获取到的交通监控视频帧图像，使用改进的Surendra背景差分算法重构背景图像，将输入当前帧与背景图像做差分处理，得到背景差分检测区域；

2）与步骤1）并行处理，对当前输入的视频帧，结合对应的前一帧与后一帧，利用三帧差分法对相邻的两帧做差分处理，获取三帧差分法检测区域；

3）将步骤1）与2）的结果进行“或”运算处理，得到综合车辆检测结果，并进行形态学滤波与联通域分析，以去除非车辆目标带来的噪声干扰；

4）根据步骤3）得到的结果标定车辆在视频帧中的区域，以外接矩形框分割出目标车辆。

2 基于Kalman滤波预测的CamShift车辆跟踪算法

车辆跟踪建立在车辆检测的基础上，通过对车辆进行实时跟踪，不仅能获取车辆的运动轨迹与运动状态，还能为车辆行为理解、车辆分类、事件监测以及车流量统计提供可靠数据。本文采用基于Kalman滤波预测的CamShift算法进行车辆跟踪，以解决传统CamShift算法半自动化、搜索区域过大、因遮挡造成跟踪丢失等问题，实现了对车辆有效实时的跟踪。

2.1 Cam Shift目标跟踪算法

CamShift算法是MeanShift（均值漂移）算法的修改，其利用目标的颜色直方图作为特征，判断目标之间的色彩特征是否匹配来建立目标之间的对应关系，从而进行目标跟踪。

CamShift算法的主要关键步骤如下：

1）直方图反向投影：利用目标检测算法检测到运动目标，通过色域转换，在HSV颜色模型中分离出目标图像的H分量，之后确定运动目标的初始搜索窗，并且生成目标图像的H分量颜色直方图，最后使用反向投影获取目标在原图像的离散二维颜色概率分布图。

2）MeanShift算法处理：在单帧视频的目标二维颜色概率分布图上使用MeanShift算法，进行目标质心点的匹配，如此，在若干次迭代计算之后便可求出目标质心坐标。

3）自适应调整搜索窗口：根据目标颜色概率分布图求出目标的大小，利用外接矩形框标定出运动目标，之后便可获取当前帧中运动车辆目标的长宽尺寸与质心坐标。

4）迭代搜索：在接下来的视频帧中，将各自上一帧中目标的质心作为下一帧的输入，重新进行MeanShift算法处理，寻找运动目标。

2.2 基于Kalman滤波预测的Cam Shift车辆跟踪算法

CamShift算法的默认搜索区域是整帧图像，因此引入Kalman滤波器预测，将CamShift算法检测到的车辆质心作为变量输入Kalman滤波器，之后将预测值作为CamShift新一轮的起始搜索框，在这个位置的邻域内搜索最佳位置，再将搜索到的最佳位置信息反馈给Kalman滤波器，这样可以加快CamShift算法的收敛速度[9]。

另外，CamShift算法在跟踪过程中遇到目标遮挡会造成跟踪失效的情况，此时使用Kalman滤波器的预测值代替CamShift算法计算的车辆质心位置，作为观测值去更新Kalman滤波器，可以抵抗因目标遮挡带来的车辆跟踪失效。

综上，针对车辆进行目标检测与跟踪的算法流程如图2所示。

3 车辆违章检测研究

在道路交通系统中，各种违章行为是造成道路安全事故的主要原因，准确、稳定、实时地检测车辆违章行为，对减少交通事故发生、降低经济损失具有重要意义。

本文之前已经完成了车辆的检测与跟踪，跟踪结果以外接矩形来表示每帧视频图像中的目标车辆，取矩形的质心表示车辆的具体坐标，生成坐标序列，集合后可得到车辆的运行轨迹，并通过分析轨迹信息实现车辆运动行为的检测与识别，并将其应用于车辆运动方向、逆行、变道、调头等行为的判断。

t时刻车辆在视频顿中的质心坐标点记为(xt,yt)，则L帧后可以得到车辆的行驶轨迹

下面对具体车辆行驶行为进行分析。

图2 车辆检测与跟踪算法流程图

3.1 车辆运动方向判决与逆行判断

设t1时刻视频帧图像中车辆质心坐标为(xt1,yt1)，t2时刻釆集到的视频帧图像中车辆质心坐标为(xt2,yt2)，则从t1到t2时刻，车辆运动方向判断条件为：

1）xt2-xt1＞εx，车辆速度有向右方运动的分量，记为DR；

2）xt2-xt1＜εx，车辆速度有向左方运动的分量，记为DL；

3）yt2-yt1＞εy，车辆速度有向上方运动的分量，记为DU；

4）yt2-yt1＜εy，车辆速度有向下方运动的分量，记为DD。

其中，εx与εy是误差阈值，防止因自然环境变化导致判断失准。其中，εx=0.05×W，W为车辆外接矩形框宽度；εy=0.05×H ，H 为车辆外接矩形框高度。

综上，正常行驶的车辆运动方向可用(DR,DU)，(DR,DD)，(DL,DU)与(DL,DD)表示。若在单一车道中，当前车辆运动方向与先验规定运动方向相反，则判定此车运动轨迹为逆行轨迹，该车正在逆行。

3.2 车辆违章变道行为判断

为了识别车辆与车道的位置关系，进而判断车辆是否变道行驶，首先需要标定车道实线在视频图像中的位置坐标。本文采用Hough变换直线检测算法进行车道线检测[10]。

正常行驶的车辆，其运动轨迹通常与车道线平行。轨迹是车辆单帧坐标的集合，即可认为视频帧序列中车辆质心与车道线距离波动较小。定义识别变道行为的方法为：车辆在变道行为中，从一个车道变换到另一个车道，其车辆质心与车道线的距离会出现较大波动，并且与车道线距离最近的两个质心点分列车道线两侧。具体步骤如下：

1）使用Hough变换进行车道检测，设置禁止变道直线为Forb[N]，其拟合直线方程为

2）计算车辆跟踪轨迹Traj[M]上所有的点与其对应车道线的距离d

3）与车道线距离最近的两个质心点记为(xc1,yc1)与(xc2,yc2)，令

R＞0表示两个质心点位于车道直线同侧；R=0表示至少有一个质心点在直线上；R＜0表示两个质心点位于直线两侧。

4）计算距离的离散程度，即车辆与车道线距离的均值E与方差S，即

5）判决标准

当车辆与车道线距离的离散度S大于阈值TC，并且与车道线距离最近的两个质心点分列车道线两侧，将CL置为1，表示发生了变道行为，反之为0代表未发生变道行为。

3.3 车辆调头行为判断

车辆在调头时会跨越多个车道，此时司机视线存在死角，容易造成严重的交通事故，导致路面交通拥堵甚至瘫痪，因此当今城市交通路口通常设有禁止调头标志。

针对调头行为，本文提出以下具体判定条件：

1）对双向车道进行讨论，在右侧直行车道中，使用跟踪算法进行跟踪车辆质心的y值在车辆行驶过程中持续增大，车辆调头之后y值持续减小。

2）车辆目标 y值持续增大的时间段中，车辆行驶轨迹拟合直线段的斜率在右侧车道斜率区间内，同理，车辆目标y值持续减小的时间段中，车辆行驶轨迹拟合直线段的斜率在左侧车道斜率区间内。

3）车辆 y值从减小转为增大的过程中，车辆变道判决标准CL置为1，即发生了变道行为。

4 实验结果与分析

实验软件开发环境采用VS2008+OpenCV2.1；系统运行环境为Intel 1.60 GHz Windows XP平台，内存：3 Gbyte，显存：256 Mbyte。实验样本选取城市道路视频。

实验结果如图3所示。从图3中可以看出，本文提出的车辆检测算法能够有效检测出车辆目标，细节保存完好，并且能够有效更新当前视频背景，抗干扰性较强。由图3d可以看出，本文采用的基于Kalman滤波预测的CamShift车辆跟踪算法能够有效跟踪当前帧车辆目标。

图3 车辆检测与车辆跟踪效果图

图4 是对监控视频2的第226～275帧之间发生变道行为车辆的检测和跟踪结果，其轨迹坐标特征点与单帧计算耗时如表1所示。为了简化计算，本文每隔5帧取一个质心点绘制车辆运动轨迹；跟踪车辆所跨越车道由Hough变换得出，其直线方程为：2.943x-y-546.415=0，车辆轨迹与提取车道直线如图5所示。根据本文的车辆行为判别规则，可以得出结论：被跟踪车辆运动方向为(DR,DD)，即正朝图像的右下方行驶，变道判决CL=1，发生变道行为，并且在当前跟踪范围内，车辆质心坐标y值一直减小，没有发生调头行为。

图4 车辆检测、跟踪与车道线示意图

表1 车辆行驶轨迹点

图5 车辆轨迹与车道位置关系

5 结束语

为了满足智能交通系统对城市交通的有效监管，本文提出了利用交通监控视频对车辆异常行为进行检测的系统框架，分别在车辆检测、车辆跟踪与异常行为判别等方面进行了讨论。提出的使用改进Surendra背景差分与三帧差分相结合的算法能快速检测车辆目标，之后结合CamShift算法与Kalman滤波器对车辆进行有效跟踪，根据外接矩形框求出车辆质心，拟合轨迹，并通过轨迹分析给出了车辆运动方向、逆行、违章变道、调头等行为的判别标准。实验结果表明，本文提出的系统具有较高的实时性与违章检测准确性。

[1] 黄良.我国智能交通系统的现状及新技术的应用[J].信息系统工程，2015（2）：69.

[2] LOU J，YANG H，HU W，et al.An illumination invariant change detection algorithm[C]//Proc.Asian Conf.Computer Vision.[S.l.]：IEEE Press，2002：13-18.

[3] 赵海.视频序列下的车辆轨迹异常行为识别[D].昆明：昆明理工大学，2014.

[4]GUPTE S，MASOUD O，MARTIN R F K，et al.Detection and classification of vehicles[J].IEEE Trans.Intelligent Transportation Systems，2002，3（1）：37-47.

[5] 万缨，韩毅，卢汉清.运动目标检测算法的探讨[J].计算机仿真，2006，23（10）：221-226.

[6] BRADSKI G R.Real time face and object tracking as a component of a perceptual user interface[C]//Proc.Fourth IEEE Workshop on Applications of Computer Vision.[S.l.]：IEEE Press，1998：214-219.

[7] KALMAN R E.A new approach to linear filtering and prediction problems[J].Journal of Fluids Engineering，1960，82（1）：35-45.

[8] 王正勤，刘富强.自适应背景提取算法的比较[J].计算机工程，2008，34（23）：220-223.

[9]SALHI A，JAMMOUSSI A Y.Object tracking system using Camshift，Meanshift and Kalman filter[J].World Academy of Science，Engineering and Technology，2012，64：674-679.

[10] 尤小泉，彭映杰.结合Hough变换与运动估计的车道线提取方法[J].电视技术，2013，37（11）：191-193.