基于特征点光流的车辆检测

徐 蕾 ，潘晓璐，李一民，赵晓辉

(昆明理工大学信息工程与自动化学院，昆明 6 50000)

运动目标检测与跟踪已经成为图像处理技术与计算机视觉领域中一个重要的课题。就其作用和地位来说，它是图像理解和行为分析的前提，也是计算机视觉要解决的基础性问题。运动检测与跟踪已经深入到人们生活的各个领域，发挥着不可替代的作用。运动区域的有效提取对于目标分类、目标跟踪以及行为分析等都具有重要意义。运动目标检测与跟踪常常用于军事侦探、智能监控和交通检测等领域。运动车辆的检测与跟踪是智能驾驶的重要组成部分，也是目前比较热门的研究领域，吸引了不少学者的热情参与。

基于视频序列图像运动车辆的检测与跟踪，根据所处场景的性质可分为静止背景、运动背景2种情况。本文将分别对这2种场景下的运动进行分析。

运动车辆所处场景的复杂程度、稳定程度都会影响到目标检测与跟踪的效果。在实际场景中，背景往往都是比较复杂多变和不稳定的，背景中物体的变动、光线的忽明忽暗、物体之间的遮挡、与目标物体有相似特征的物体等都会给实际的准确检测与跟踪带来的麻烦。提高目标检测与跟踪的实时性、鲁棒性和准确性，一直以来都是人们研究的热点和难点。

运动车辆检测的几种常用方法有光流法、帧差分法、背景差分法等，这几种方法各有优缺点。针对静止背景，用帧差分法或背景差分法再配合一些去噪处理就能很好地检测前景车辆，但此方法对运动背景下的车辆检测效果不是很好。光流法对图像的运动比较灵敏，能够很好地提取运动物体。虽然光流的运算量较大，运算速度比较慢，但光流对运动背景的车辆检测有着比较好的效果。光流是图像表面的灰度模式的运动速度，只要图像中存在运动就会有光流产生。运动一致的区域，光流也会表现出一致性;反之，运动不一致的区域，光流的变化也不一致。通过对光流场特性的分析，可以实现运动车辆的检测，并进行必要的跟踪。2006年Liu［1］提出了结合光流场和活动轮廓模型进行运动车辆检测。2007年Naito［2］提出了图像边缘信息与光流场结合的车辆检测。2005年Shin［3］利用基于特征的光流技术进行运动车辆检测与跟踪。本文采用一种基于特征点的光流场算法对视频车辆进行检测，得到了比较好的检测效果。

1 光流法的原理分析

光流法最初是由Horn和Schunck［4］提出。光流实质上是指图像中灰度模式的运动速度。在光源的照射下，物体表面的灰度会呈现一定的空间分布，称为灰度模式。当人们的眼睛观察运动物体时，运动物体的景象会在人眼的视网膜上形成一系列连续变化的图像，这一系列连续变化的信息不断“流过”视网膜(即成像的图像平面)，好像是一种光的“流”，故形象地称之为光流。

光流计算主要基于亮度的恒常性假设进行，若假设 I(x，y，t)是图像上像素点(x，y)在 t时刻的图像亮度，也即为该时刻的图像灰度值，则有该像素点在t+Δt时刻运动到(x+Δx，y+Δy)处的图像亮度值为 I(x+Δx，y+Δy，t+Δt)，由亮度恒常性假设，即这2个时刻的图像灰度值保持不变，可得

对式(1)进行泰勒公式展开

其中由于o(Δx，Δy，Δt)是高阶无穷小，可以近似为零，同时分别将记作 Ix、Iy、It。

因此由式(1)和(2)可得

式(3)就是著名的光流约束方程，u、v表示当前点垂直和水平方向的运动速度。可知约束方程只有1个，而未知数有2个，所以在求取光流时需要再加上一些限制条件，才能唯一确定光流。补充附加约束的方法有很多种［5-7］，例如 Horn-Schunk方法、Lucas-Kanade方法、Zemike矩方法等。本文通过衡量，采用局部光流Lucas-Kanade法来计算光流，简单易行，运算速度也比较快。下面分别就2种场景下的车辆检测进行分析。

1.1 静止背景的光流检测

静态背景的车辆检测，顾名思义就是视频图像上只有车辆及行人是运动的，道路及道路两边的建筑物、树木、路灯之类的背景是相对静止的。本文首先对视频帧图像进行预处理，用高斯背景建模以平滑背景图像，通过差分得到比较完整的前景。本文针对静态背景使用的是在寻找特征点的基础上计算的基于金字塔的LK光流法。结合聚类约定光流大小和方向，去除了车道表面的大部分噪声，得到了很好的检测效果。本部分算法的流程如图1所示。

图1 静态背景的算法流程

1.2 动态背景的光流检测

动态背景下的车辆检测与静态背景的最大不同点是动态背景除了车辆是运动的，周围的环境也都是运动的，基本没有相对静止的物体。根据光流对运动十分敏感而场景同时也在运动这样的特殊情况，采用提取感兴趣区域，即ROI区域，尽量在保证不缺失有用信息的同时排除背景的干扰。本文感兴趣区域的提取主要是视野范围内的行车道，以车道线为边界，提取这样一个多边形区域。这样做的好处是排除了路边建筑物以及别的实物运动对运动车辆的检测干扰。在原始角点的基础上进行模板匹配，找到有效角点去噪，去除车道表面以及路边建筑物的大部分噪声。动态背景的算法流程如图2所示。

图2 态背景的算法流程

2 实验结果

2.1 静态背景的实验结果与分析

光流检测法对光照条件有很强的适应性，对背景障碍物的干扰运动也很灵敏。本实验的数据为:帧率30帧/s，分辨率640像素×480像素的视频。如图3所示，可见道路表面的车道线以及花草等对光流检测的影响很明显。对此本文采取了限制光矢量大小方向的方法对初步得到的光流进行约束，并得到了较好的效果，如图4所示。

图3 静态背景去噪前光流

图4 静态背景去噪后光流

2.2 动态背景的实验结果与分析

动态背景较静态背景复杂得多，除了一些必要的预处理之外，还需要考虑外界其他运动因素的影响，难点和关键是如何除去这些干扰因素。本文采用提取感兴趣区域ROI(如图5)以及对光流方向进行归类的方法，很好地去除了天空和其他车道的影响。由图6可见，对ROI图像提取特征点［8］，边界线和车道线的干扰很严重，给系统的光流检测带来了很多噪声，对此，本文经过模板匹配去掉了大部分噪声。设定阈值得到有效角点，降低噪声，从而计算光流。图7显示的是初始光流特征点，图8是去噪前的光流检测图。

通过模板匹配后的特征点与原始角点相比效果好了很多，背景边界处的干扰特征点都被很好地去除，图9和10分别是基于模板匹配后的特征光流。

图5 提取ROI有效区域

图10 动态背景去噪后有效光流

图3～10给出了真实的视频图像序列的角点与光流检测，图像序列是avi格式的连续视频帧，帧率为30帧/s，分辨率为480像素×360像素。

3 结束语

光流技术作为一种重要的二维运动估计技术，在运动目标检测与跟踪方面有着非常重要的作用。基于光流场的运动检测，研究者们提出了很多方法，本文从特征点与感兴趣区域相结合的角度描述了基于金字塔的LK光流算法。结合特征点与感兴趣区域的光流算法能很好地应用于实际，准确有效地检测到目标区车辆，也是目前比较常用的一种方法，但动态背景下的车辆检测与跟踪目前依然是一个难点。如何更准确快速地跟踪到特征点，匹配特征点，减轻外界不良因素的干扰是需深入研究的难点，因此需要结合很多新的想法提出更新、更有力的算法来解决背景运动这一大干扰。目前提高光流算法的运算速度、增强实时性依然十分必要。

［1］Liu P R，Meng M Q H，Liu P X，et al.Optical flow and active contour for moving object segmentation and detection in monocular robot［C］//Proceedings 2006 IEEE International Conference on Robotics and Automation.［S.l.］:［s.n.］，2006:4075-4080.

［2］Naito T，ÍIto T，Kaneda Y.The obstacle detection method using optical flow estimation at the edge image［C］//Proceedings 2007 IEEE Intelligent.Vehicles Symposium.［S.l.］:［s.n.］，2007:817-822.

［3］Shin J H，Kim S J，Kang S K，et al，Optical flow-based real-time object tracking using non-prior training active feature model［J］.Real-Time Imaging，2005(1l):204-218.

［4］Horn B K P，Schunch B G.Determining Optical Flow［J］.AI，1981(17):185-203P.

［5］徐建华.图像处理与分析［M］.北京:科学出版社，1992.

［6］Hom B K P.Pobert Vision［M］.Cambridge:Mit press，1986:56-60.

［7］赵晓丽.基于统计降噪原理的动目标分割与跟踪［D］.太原:华北工学院，2004:8-11.

［8］Thompson W B，Pong T C.Detecting moving object［J］.Int J Comp Vision，1990(4):39-57.

［9］张建勋，刘羽.基于多分辨率图像锥与Hausdorff距离的医学图像配准［J］.重庆理工大学学报:自然科学版，2010(1):64-68.

［10］梁枫，王平.基于角点特征的高精度图像配准算法［J］.重庆理工大学学报:自然科学版，2010(2):91-94.