高速公路监控视频中运动车辆对象提取*

严 明,李玉惠,李 勃,张帆

(昆明理工大学 信息工程与自动化学院,云南 昆明 650505)

近年来,随着经济水平的发展和国内市场需求的扩大，汽车持有量的持续增长使公共交通监管面临巨大压力和挑战，针对交通监管的智能交通（ITS）的发展势在必行[1]。监控视频的内容检索中车辆对象检测与识别是智能交通系统中的重要组成部分[2]。我国在智能交通的建设和理论研究领域也得到了国际的认可，纪筱鹏[3]结合轮廓特征和车辆跟踪方法提取监控视频中的车辆对象取得了很好效果；冯文刚[4]转化颜色空间到VIRGBC中，通过条件随机场训练得到的调和平均数对车辆的阴影进行了很好的分割；王正玉[5]利用车辆特征实现视频中车辆关键帧的提取。

我国西南地区的智能交通监控体系还不太成熟，硬件设备相对落后，致使很多监控视频资源无法得到有效的利用。监控视频提供了车辆的动态行驶信息，视频分辨率较低、车辆特征信息不明显，视频可用价值不突出，而车辆对象的提取是视频资源利用的前提。本文结合高速公路仅有运动车辆的特点，消除车辆对象提取过程中的干扰因素，提取视频序列中RIO特征最显著的车辆对象。最后将研究成果运用到实际工程中，开发出基于事件定位的播放器原型，提高了交通监控系统工作人员的视频检索效率。

1 车辆对象的提取算法

交通监管中对车辆对象的检测方法有基于地磁传感线圈、红外、雷达波频检测的硬件检测，还有利用光流法、背景差分法和帧间差分法等算法对视频资源进行车辆对象检测。车辆对象检测相对于基于硬件的检测有成本低、安装维护简单和数据信息量大等优点。本文对视频车辆对象提取方法进行对比分析，并选择背景差分法中的混合高斯背景建模法提取车辆运动对象，并在该算法的基础上优化处理流程。

光流法[6]是通过比较视频图像序列在时间轴上空间域的灰度改变量达到检测运动对象的目的。光流法对速度差异的多目标运动对象提取具有优势，但其模型计算量高,不利于工程化应用。帧间差分法[7]是对图像序列中的相邻两帧或者3帧图像进行阈值化的灰度差分检测运动车辆对象。帧间差分法实现简单，但运动对象有较大的孔洞,不利于图像序列中车辆对象的完整性检测。背景差分法[8]将当前图像帧与事先建立的背景进行灰度化阈值差分得到运动车辆对象。背景差分法的复杂度低，运算速度比光流法快，适合工程化应用。混合高斯模型[9]克服了单一点处受环境、光照和噪声等因素的影响。混合高斯背景模型的数学模型表示为：

实际试验结果表明，基于背景差分法的运动车辆对象提取容易受天气、树叶等环境因素影响，并且车辆对象完整性较差;基于混合高斯建模的背景差分法对图像中的每个像素建立多个高斯模型,有效地克服了白噪声、字幕和树叶周期性抖动的影响，对监控视频中车辆对象的提取保留了对象车辆的相对完整性。

2 车辆对象提取的优化方法

背景差分法提取出来的车辆对象存在以下问题：(1)车辆对象仍然有孔洞的存在，其原因是视频的分辨率相对较低，车辆对象的挡风玻璃与背景道路的灰度值相似而被误认为是背景，导致孔洞效应的出现；(2)经过背景差分和形态学处理后得到的二值图像中有点状白噪声的出现；(3)无法检测到视频车辆对象特征最明显的视频帧 (即车辆对象出现在视频中面积最大且清晰的帧)。为解决以上问题，本文提出车辆对象提取的优化方法，其流程如图1所示。

图1 车辆对象提取的优化方法

2.1 ROI的设定

感兴趣区域ROI(Region Of Interest)的设定是图像处理领域常用的方法,可减少图像处理算法中的计算量，实现只对限制区域内图像进行处理的目的。公安交通监控系统产生的监控视频图像序列上下边框中有卡口的时间、地点信息，此区域对车辆对象提取没有实质性影响。本文对要处理视频图像序列设定ROI，以减少这些因素的干扰。

2.2 形态学处理

形态学处理可以简化图像数据，消除噪声、骨架化，填充和分割等图像处理任务。对车辆二值图像利用形态学闭操作填充背景差分出现的孔洞,实现车辆对象的完整性。实验结果表明，经过形态学闭操作的处理可以得到较完整的车辆对象,如图2所示。

图2 形态学处理的效果

2.3 自适应车辆对象提取的优化算法

自适应车辆对象提取的优化算法将根据图像面积的评估解决序列图像中的白噪声问题和车辆对象特征明显的关键帧提取优化问题。分配4帧图像内存Cn-2、Cn-1、Cn、Cn+1(为了 表述 方便，并未从下标 0 开 始)，车 辆对象提取优化算法的伪代码如下。

(1)经混合高斯背景差分得到车辆对象二值图像Ci。

(2)检测Ci中各对象的轮廓和面积mi，提取出 Mi＝MAX(mi)。

(3)if(Mi＞(ε:＝ 人 工 标 定 阈 值 ε0)),记 录 Ci到 Cn,进 入步骤(4)，Else，返回步骤(1)。

(4)循环读取下一帧Ci+1,计算出 Mi+1,if(Mi+1≥Mi),Cn-2＝Cn-1,Cn-1＝Cn,Cn＝Ci+1;Else,Mi+1达到了最大面积，记录 Cn-2为关键帧。

(5)更新阈值：if(｜ε-ε0｜＞δ),ε:＝(1-α)ε+αMn-2；Else,ε＝ε0。

(6)执行步骤(3)。

图3 噪声干扰以及对象边框图

首先,通过面积阈值的设定解决了形态学处理后白噪声的干扰问题(如图3(a)所示)，且当对象面积超过设定阈值时才进行步骤(1)中的帧存储，从执行流程上有利于算法的执行效率。其次,避免了车辆对象撞击图像边框造成的对象缺失问题，根据道路中车辆对象的行驶方向得知，从车辆对象驶入监控视角，对象面积将变大且车辆特征愈加明显，随着车辆驶离监控画面，车辆对象撞击图像边框将会造成车辆特征的缺失(如图3(b)所示)，但此时对象面积检测的结果仍可能有增加的趋势，随着车辆对象的驶离,对象面积将再次减少，结合车辆速度和视频播放帧率建立函数N＝Function(V)，N的选取与视频中车辆对象的速度V相关,针对本文所用视频采取了后退N＝3帧的策略,避免了车辆对象撞击视频边框而造成的对象特征缺失问题。最后，面积的自适应阈值更新算法借鉴半监督学习的思想，首先人工设定阈值ε0，然后根据图像序列中提取出来的对象对阈值进行更新，α是更新的权值，Mn-2为提取车辆对象的面积。为了避免面积阈值的单调递增而产生小型车对象的漏检，当阈值增长超过阈值限度δ后，算法采取阈值下降策略，将阈值回归到ε0，阈值自适应更新的同时也优化内存图像序列替换流程的执行。

3 基于事件定位的播放器原型的应用

监控视频中车辆对象的提取可以应用到公安交通的监控视频检索系统平台，本文对车辆对象提取作了应用性探索，开发了基于事件定位的播放器软件，其应用原型及原理图如图4所示。

图4 应用原型及原理图

监控视频中车辆对象出现的关键帧代表视频中的事件。监控视频与车辆对象所在关键帧之间的时间映射关系存储在检索数据库中，播放器软件通过加载视频资源ID检索服务器中此视频资源的关键帧，通过播放器加载的关键帧组直观地了解此视频资源中所出现的车辆对象，点击相应的关键帧快速定位到事件的视频位置。这种基于事件的视频检索流程提高了公安交通部门工作人员的检索效率，有着实际的应用价值。

本文提出了针对交通监控视频中车辆对象提取的优化方法，利用高斯背景差分、ROI设定和形态学处理等技术，结合后退N帧与自适应阈值的思想，在解决混合高斯背景差分得到车辆对象具有的孔洞、噪声干扰、对象不完整性与特征不显著性方面得到了很好的效果，同时优化了算法的执行效率，并在工程应用方面进行了探究。

[1]LI L,SONG J,WANG F Y.New developments and research trends for intelligent vehicle[J].IEEE Intelligent System,2005,20(4):10-14.

[2]姜旭.视频图像处理技术在智能交通系统中的应用[D].苏州：苏州大学,2009.

[3]纪筱鹏,魏志强.基于轮廓特征及扩展Kalman滤波的车辆跟踪方法研究[J].中国图象图形学报,2011(2):267-272.

[4]冯文刚,高隽,BUCKLES B,等.多颜色空间中目标约束的车辆阴影分割研究[J].中国图象图形学报,2011,16(9)：1599-1606.

[5]王正玉,李勃,张明辉,等.基于车辆特征的关键帧提取方法研究[J].微型机与应用,2011,30(22):49-51.

[6]BARRON J L,FLEET D J,BEAUCHEMIN S S.Performance of optical flow techniques[J].International Journal of Computer Vision,1994，12(1):42-77.

[7]ANDERSON C,BURT P,VANDER W G.Change detection and tracking using pyramids transformation techniques[C].Proceedings of SPIE Conference on Intelligent Robots and Computer Vision,1985.

[8]SEKIM,FUJIWARA H,SUMI K.A robust background subtraction method for changing background[J].Proceeding of IEEE Workshop on Applications of Computer Vision,2000:207-213.

[9]WAND Y Z,LIANG Y,PAN Q,et al.Spatiotemporal background modeling based on adaptive mixture of gaussians[J].Acta Automatica Sinica,2009(04):321-328.