基于透视点和区块特征的多车粘连分割方法

李宇成，欧晓丹，宋燕辉，田 震

（北方工业大学 自动化系，北京100144）

0 引 言

车辆的实时检测与跟踪是智能交通系统的重要组成部分。在单目摄像头视频图像下进行车流量统计［1］和多辆车同时跟踪时，经常会出现多辆车图像粘连，这主要是由于将道路交通的3D场景转换成2D场景，损失了车辆空间位置信息导致的［2］。如果不能很好的将其分割，将直接影响跟踪和统计的准确性。

目前常用的粘连车辆检测和分割方法主要有：

①基于轮廓形状的粘连检测与分割［2－3］，此方法基于车辆前景轮廓的凹凸性判断是否存在粘连；②基于运动向量的粘连检测与分割［2－4，9］，此方法利用不同车辆帧间运动向量的不同来检测并分割粘连车辆；③基于车辆局部特征的粘连检测与分割［5－7］，此方法通过检测车辆的局部特征来检测并分割车辆；④基于空间几何特征的粘连检测与分割［8－11］，此方法利用空间几何模型对车辆建模从而实现分割；⑤基于特征点的分割［12］，此方法利用车辆特征点进行粘连车辆的检测与分割；⑥基于预测模型的分割［13］，此方法利用预测模型克服车辆粘连问题；⑦基于纹理特征的分割［14］，利用纹理相关性分割粘连车辆。其中，基于特征的分割经常使用学习算法进行特征匹配，计算量较大，且特征选取直接影响分割效果。预测模型的方法需要知道未遮挡时的车辆图像，只适用于车辆由近及远的情况。

基于车辆几何特征的分割方法适应性较好，文献 ［8－11］利用车辆轮廓建立空间透视模型，能够实现复杂情况下的分割，但是对车辆轮廓的边缘清晰度要求较高。本文提出一种利用透视点在车辆前景团块轮廓上搜索分割点并通过区块特征识别车辆的粘连车辆的分割方法。本方法不同于以上方法通过轮廓进行建模，而是先根据路面特征求出透视点，再利用透视点确定出车辆前景团块中的待检定车头区域。通过计算车头区域的位置比例关系来判断是否可能是车辆粘连。对于前景中的粘连候选团块，从前往后逐一迭代分割。并将分割出的待定团块划分成4个特征区块，利用区块的纹理、比例、对称性等特征来判断是否车辆，修正或剔除错误的初选分割线，最后实现正确的车辆分割。实验证明此方法能够较好地实现直线道路上多辆车粘连的分割，明显减少漏检或错误分割的发生几率。

1 透视点的检测与车道提取

通过轮廓求透视模型的方法［7－8］计算量较大，且当轮廓不完整时会影响计算准确性。本文利用车道信息先获取透视点，再对车辆前景团块轮廓进行搜索寻找分割点，然后对待定分割点进行验证，能有效减少计算量，提高抗噪能力。由透视原理可知，对于平行的直车道，从任何不垂直于它的角度看去，车道线将交于远处的一点——透视点。可以利用车道这一性质将车道的检测与透视点的检测合二为一。首先，利用霍夫变换寻找第一帧背景图像中所有直线的集合，并且将两线之间的交点以及相应的直线进行记录，得到交点集和相应直线集。选择交点集中满足透视点位置条件且分布最集中的点的重心为透视点，然后选择直线集中距离透视点最近且分别满足左右车道边界线要求的直线为边界线。

1.1 透视点的获取

先对第一帧背景的灰度图像进行Canny边缘检测，实验中取3＊3内核的Sobel算子，阈值为 （50，100）。再对图像做霍夫变换，参数取λ的精度为1，θ的精度为π/180，累计阈值为50，可以检测到图像中的直线集A。求这些直线两两之间的交点集B，如图1（a）中所示，在 （0＜x＜W，y＞H）的空间中利用聚类算法在B中寻找最为集中的m个点，测度为两两间距离。求这m个点的重心，即为透视点p（xp，yp）。

图1 透视点与车道的关系

1.2 道路边界线的获取

由于道路边界线以外的区域有很多复杂的背景物体，例如绿化带，当有风的时候特别容易对前景产生噪声干扰，不利于后期处理，所以获取道路边界线并设置固定的道路区域，能够剔除道路外的干扰，减少计算量。

对于车道，要分别求出左右车道边界线。因左、右边的算法类似，故以左边界为例。如图1（b）中边界线与x轴相交于b点，与边界直线y＝H交于a点。

从1.1节得到的直线集A中挑出所有与透视点距离小于20像素的直线集合A′，再从其中找到一条最适合的左边界线，流程如图2所示。

图2 道路边界线获取流程

因为道路边界线内外的灰度值差异较大，可以利用向这个差异来找到边界。方法是：在图像区域的直线两侧，平行于直线各自对称地均匀采样10个点，设这两侧点的灰度值 为 ｛p1，p2，p3， …p10｝ 和 ｛p1′，p2′，p3′， …p10′｝，用以下公式计算采样点的相似度

与道路边界线相比，路面内车道线两侧的灰度值很接近，即d值较小，所以当d大于某一阈值时 （实验取20）即为道路边界线。为了避免道路以外物体轮廓线的干扰，我们采取由内而外的检索方式，从斜率最大的直线开始搜索，判断d的大小，若不是边界则寻找下一条斜率次大的直线，直到找到边界为止。

2 车辆粘连的检测与分割

道路上的车辆粘连主要是由于单目摄像头损失了空间位置信息并且后车太靠近前车造成的。出于安全距离的限制，粘连时后车大都不是正对着前车尾部，而是对着前车左或右侧面 （参见图3）。单目摄像头架设于道路中央，在其采集的视频画面中，对于背对摄像头驶向远处的车辆，由于刚进入画面时未粘连，行驶到远处才发生粘连，可以利用卡尔曼预测和Meanshift等算法［13］分别跟踪将其分割开。而对于正对摄像头从远处驶来的车辆，开始进入画面时就已经发生了粘连，只能通过车辆特征将其分割开。

车辆特征主要有：轮廓特征、颜色特征、空间位置特征、纹理特征、以及局部特征等。其中轮廓特征是最为明显的特征之一，两车粘连时连接处容易出现凹点，对于轮廓较完整且凹点明显的粘连车辆，通过检测凹点来进行分割。当从轮廓边沿能够检测出两个深度大于一定阈值的凹点时，直接利用凹点分割粘连的车辆。以左车道的车辆粘连为例，如图3中所示，粘连分为图 （a）左车遮挡右车和图 （b）右车遮挡左车两种情况。对于图 （a），车辆轮廓边沿的凹点较为明显，且随着车辆移动凹点越发明显甚至两车自动分开，可以利用上述凹点检测方法将其分开。对于图 （b），由于视角问题，若前后两车车速差不多，粘连轮廓上的凹点不明显，不容易准确分割。因此，我们考虑利用透视原理结合车辆空间三维特征来实现分割。本文重点研究这种情况下的车辆粘连分割问题。因左、右车道车辆的检测与分割算法类似，故只讨论偏左车道车辆。

图3 两种遮挡情况下的粘连轮廓

2.1 车辆轮廓提取

本文采用混合高斯背景建模方法初步获取车辆前景，并利用形态学梯度算法获取车辆纹理，二者相加后经过滤波去噪、形态学处理以及阴影消除后得到优化的前景，最后利用多边形逼近算法光滑车辆前景团块轮廓。

2.2 利用透视点判断车辆是否粘连

由于车辆近似为一个长方体，因此满足长方体的透视原理，于是每个车辆长方体有垂直于车道线方向上和平行于车道线方向上的两个透视点 （消失点）。由于摄像头与车辆在垂直于车道线方向上的距离较短，此方向的消失点较远，车辆在此方向上的边与画面底边基本平行，为方便计算本文将其当作平行处理。现利用透视原理来检测车顶和车头的位置，并根据两者的位置比例关系判断车辆是否粘连。

如图4（a）所示，选择车辆轮廓最左和最右两点：l和r，分别与透视点p（xp，yp）构成一条左直线pl和一条右直线pr。如图4（b）所示，左直线pl与轮廓外接矩形左边线相交于b（xb，yb）点，与上边界交于a（xa，ya）点，右直线pr与轮廓外接矩形底边线交于d（xd，yd）点。如图4（d）所示，在b点沿x方向画一条直线，在d点沿y方向画一条直线，两条直线垂直相交于e（xe，ye）＝（xd，yd）点。e点与透视点生成的直线与a点沿x方向的直线相交于f点。由此，将图4（c）中的车近似为一个长方体，其中，车顶区域为befa，车头区域为bedc。

图4 利用透视点提取车顶区域和车头区域

检测到的e点可用来判断前景团块轮廓是否是多车粘连的轮廓。无粘连时，e点在前景轮廓内，且车身高度ed与车顶的宽度be满足一定的比例。车辆粘连时，如图5（a）所示，车身高度ed和车顶宽度be的比值明显偏大。经实验统计，图5（b）左边为未粘连时的高/宽比例分布，右边为粘连时的高/宽比例分布；所以，取阈值为0.1～1.4。当检测到的e点在轮廓内且高/宽满足此比例关系时，即判断为独立的未粘连车辆，否则可能为粘连车辆，需要进行分割处理和识别验证。

图5 未粘连和粘连车辆的高宽比例

2.3 车辆粘连的分割

为了防止漏检粘连车辆，我们采用迭代方法来实现多车粘连的分割。由于最前端车辆团块位于整个前景轮廓的最前端，所以从前往后依次逐块将前景轮廓分割，分割流程如图6所示。

对车辆轮廓用2.2节中的方法判断车辆是否粘连。实际中，发生粘连的车辆数，从小到大依次可能是2辆、3辆、4辆…等。所以，先采用二分法结合透视点从前景图确定出只属于首辆车的团块。首先，检测整个前景团块的前1/2是否只属于一辆车，如果不是，则检测前1/3是否只属于一辆车，若再不是，则检测前1/4等。顺序缩小，直到该团块没有超过车的高宽比范围即可，如图7（a）下半部分团块只属于最前端车辆。

图6 多车粘连的分割流程

图7 寻找切割线位置

图7 示意了在前景团块图像的左和右边轮廓上寻找与分割线直接相关的凹点的过程。如图7（b）所示，将确定出的前景团块按照2.2节方法检测新的e点，e点与透视点构成的直线与右侧轮廓线交于g点，如图7（c）所示。设g点为初始右分割点，从g开始沿着轮廓右边向后 （向图片上方）寻找最近的凹点 （要求凹区域面积大于一定阈值），如找到则将g点更新为凹点坐标，否则g点坐标不变，如图7（d）所示。此时经过g点的水平线与轮廓左侧交于点g′，设g′为初始左分割点。从g′开始沿着轮廓左边向前（向图片下方）寻找轮廓上最近的满足阈值要求的凹点，若找到则将g′点更新为凹点坐标，否则g′坐标不变，如图7（e）所示。至此，分割点g和g′的连线即为分割线，图7（f）为粘连车辆的分割效果。实际中，对于左车道，分割线g′g向路中心倾斜，与x轴夹角斜率为正；对于右车道，分割线gg′也向路中心倾斜，但与x轴夹角斜率为负。

在轮廓条件不好的情况下，一般单纯找轮廓最大凹点的方法容易出现错误分割，但本文结合了透视模型，能更好地确定分割点初始搜索位置。根据找到的分割线，从前景团块中分割出第一辆车团块，并将剩余部分作为新的前景团块，利用以上方法继续做车辆粘连检测和分割，直到将所有粘连车辆团块从前往后逐一分割出来。

3 利用区块特征判断分割的正确性

利用2.3节的分割方法能够分割出待检定的车辆团块，但其是否确实是车辆需要验证。从车前上方看，一辆车主要包含车顶、车窗、引擎盖、车前挡 （包含车灯、保险杠、风栅和车牌等）4个区块。我们考虑综合利用多区块的特征来检测待检定团块是否车辆，由此，判断分割是否正确，判断流程如图8所示。

图8 区块特征综合判断分割正确性的流程

3.1 区块特征验证

利用2.2节的方法将车辆近似为长方体，如图9（a）所示，为避免车辆两侧边界的干扰，将车顶和车头区域切割出中间1/2的部分进行检测，如图9（b）所示。

对切割后的整个区域做垂直方向的梯度统计。设f（x，y）为 （x，y）处的像素灰度值，对于每个像素点，其垂直方向y上梯度为

将每一行所有像素的梯度gy（x，y）累加，得到一个y方向上的分布

图9 车顶和车头的垂直方向梯度分布

如图9所示，在挡风玻璃和引擎盖连接处、车前挡和引擎盖连接处的垂直方向灰度差较大，因此在交接处存在梯度极值。此外，引擎盖区块灰度较均匀，垂直方向梯度较小。车前挡区块由于包含保险杠、车牌、风栅和车灯等，梯度分布比较杂乱。

利用上述梯度分布特征，通过寻找极值和计算区块均值的方法可以将车辆中间部分划分成几个区块：车顶区块、车窗区块、引擎盖区块、车前挡区块。以小轿车为例，先找到一组分界线：y0＜y1＜y2＜y3＜y4，如图9（c）所示，从而将车辆划分出车顶区块、挡风玻璃区块、引擎盖区块和车前挡区块。为了提高车辆分割正确率，我们进一步对各分块的特征进行识别验证。

（1）车顶区块：此部分的梯度方向分布较为单一，通过计算梯度方向直方图，判断直方图分布的单一性来检测是否车顶。为了计算区块的梯度方向直方图，我们先将区块的长宽范围扩展到8的倍数，得到M×N大小的窗口，进而得到n＝ （M/8）＊ （N/8）个细胞单元，参考利用文献 ［15］中的梯度方向直方图 （HOG）计算方法，计算每个单元的梯度方向直方图。为减小因车辆反光而产生的局部亮度差异，本文我们再对区块中的n个细胞单元的直方图分别进行归一化处理。最后将所有的单元直方图合并，得到整个区块的梯度方向直方图。

（2）挡风玻璃区块：由于玻璃的透明性使得此区域颜色和纹理特征不稳定，但此区块在结构上满足比例特征：挡风玻璃区块高hd＝y2－y1与车辆宽度w成比例关系，由图9（a）的车辆长方体模型可得到车辆宽度w，当hd和w满足比例关系时，将此区块判断为挡风玻璃。

（3）引擎盖区块：其纹理和颜色较为单一，计算其梯度方向直方图和灰度直方图，满足直方图分布的单一性即判断为引擎盖。

（4）车前挡区块：其包含车灯、保险杠、进风栅和车牌，纹理较复杂，且左右对称、中间部分与左右不相似。由于颜色对亮度比较敏感，所以也利用梯度方向直方图来进行区块对称性和纹理复杂性的判断。先将车前挡区平均划分成左中右3小块。分别计算3小块的梯度方向直方图。采用直方图相交可判断两个小块的纹理相似度，相交值越大，两个区块的相似度越高。用此方法进行相似性检测，若左右小块相似度较大，并且与中间小块的相似性较小，则满足车前档的相似性要求。将3个小块的梯度方向直方图相加即为整个车前挡区块的梯度方向直方图，由于车前挡区块纹理较为复杂，且包含车牌等闭合团块，其所以梯度方向直方图分布较为均匀。利用此分布特征判断该区块是否满足纹理要求。当区块同时满足相似性和纹理性要求，则判断为车前挡区块。

当待检定团块能够划分出车顶、车窗、引擎盖、车前挡4个区块，且同时满足各区块特征时，将此团块判断为车辆。显然，条件满足的越充分，分割正确的把握性就越高；条件满足的程度越弱，分割错误的可能性就越大。因此，我们可以事先凭经验设定好各个条件的权重wi。将我们对各个条件的满意程度表示si，计算被检测图像团块的总符合度S＝∑wisi，符合度大于阈值s0时分割正确，否则认为分割错误。

3.2 分割错误处理

由于干扰的随机性，决定了发生分割错误的原因非常复杂，但结果都是分割线位置错误。若分割线位置错误，则需要修正分割线的位置。以两车粘连为例，在严重干扰的情况下，2.3节中左右两侧的凹点连接线g′g可能不是真实的分界线。此时最可能存在两种情况：①第1辆车的部分车顶被切分到第2团块；②第2辆车的车头下半部被切分到第1团块。为此，可以做如下两种处理：

（1）将分割线的g点向后移动到后面的凹点上，确定出新的g′g分割线，再重复进行3.1的工作；如果尝试过所有凹点均不成功，代表依据轮廓凹点分割失败，则需要转 （2）。

（2）在g点或之后的位置附近，综合两车结合部的纹理特征检测两车的分界线。具体做法可以是，将3.1节区块特征的检验应用到两车结合部，区分前车车顶区块和后车车头的前档区块，搜索两车之间的切割分界线；或者类似文献 ［5］那样，找车底盘阴影，并以此为切割分界线。

换句话说，我们可以将基于轮廓凹点的分割和基于纹理的分割结合起来，尽可能减少分割的错误。对于三车或以上的多车粘连情况，可以类似处理。每次移动分割线后，再利用3.1节方法判断分割出的新团块是否是车辆，不是则继续搜索分割线，直到找到符合度较大的情况，确定出对应的分割线。

4 算法实验

采用本文提出算法，对两车粘连和三车粘连的样本进行实验，图10为实际的多车辆粘连的分割效果。

图10 两车粘连和三车粘连情况下的分割效果

一般性的车辆粘连分割算法中，错误分割主要表现为两种：一是存在未分割的粘连车辆；二是将一车分割成多车。在本文提出的方法中，采用逐次划分法 （1/2，1/3，1/4…）缩小分割区域，并且每分割一次都结合透视点利用车辆几何空间高宽比例检测是否是粘连车辆，较好的避免了产生第一种错误分割；利用车辆的区块特征检测分割正确性，并且进行错误处理，能够较好的避免第二种错误分割，从而保证了分割的准确性。

实验结果表明，此方法对于两车粘连和两车以上的粘连都能够有效进行分割，且计算复杂度较小，满足实时要求，适用于公路直道上的实时车流量统计和车辆跟踪。

5 结束语

本文针对公路车辆视频中经常出现的多车辆粘连问题进行研究，着重解决前后车距太近造成的车辆粘连的分割问题。结合了车辆轮廓的透视特征以及车辆头部的区块分布特征提出了一种新的分割方法。与已有方法相比，此方法对车辆轮廓的完整性要求较低，计算量较小，并且通过区块特征验证，修正错误分割，能更为有效的保证分割的准确性。实验表明本文方法能够较准确且快速的分割出视频图像中粘连的多辆车，并具有较好的实际应用价值。

［1］LI Yu－cheng，LI Lei，WANG Mu－shu.Statistics of the traffic flow on multiple lanes ［J］.Process Automation Instrumentation，2010，31 （10）：51－60 （in Chinese）. ［李宇成，李雷，王目树.多车道的车流量统计 ［J］.自动化仪表，2010，31（10）：51－60.］

［2］ZHANG Wei，WU Q M Jonathan，YANG Xiao－kang，et al.Multilevel framework to detect and handle vehicle occlusion［J］.IEEE Transaction on Intelligent Transportation Systems，2008，9 （3）：161－174.

［3］Goo Jun，Aggarwal J K，Gokmen M.Tracking and segmentation of highway vehicles in cluttered and crowded scenes ［C］.IEEE Workshop on Applications of Computer Vision，2008：1－6.

［4］HUANG Chung－Lin，LIAO Wen－Chieh.A vision－based vehicle identification system ［C］.Proceedings of the 17th International Conference on Pattern Recognition，2004：364－367.

［5］LIU Jian－wei，WANG Jia－rui，CAO Quan，et al.Accurate segmentation algorithm of vehicles based on shadow of chassis ［J］.Modern Electronics Technique，2010，33 （5）：154－160 （in Chinese）.［刘建伟，王佳锐，曹泉，等.基于车辆底盘阴影的车辆精确分割 算法 研究 ［J］.现 代 电 子技术，2010，33 （5）：154－160.］

［6］LIU Huai－yu，LI Jing，HONG Liu－rong.Subspace vehicle recognition algorithm using local features ［J］.Computer Engineering and Applications，2010，46 （30）：156－180 （in Chinese）. ［刘怀愚，李璟，洪留荣.利用局部特征的子空间车辆识别算法 ［J］.计算机工程与应用，2010，46 （30）：156－180.］

［7］Clement Chun Cheong Pang，Tan Zhi－gang，Nelson Hon Ching Yung.A methodology for resolving severely occluded vehicles based on component－based multi－resolution relational graph matching［C］.International Conference on Machine Vision，2008：141－146.

［8］LIU Xue－liang，YAN Jie－feng，ZHOU He－qin.A vehicle contourbased method for occlusion detection and segmentation ［J］.Computer Simulation，2009，33 （11）：107－109 （in Chinese）. ［刘学亮，严捷丰，周荷琴.基于轮廓特征的车辆遮挡检测和分离算法 ［J］.计算机仿真，2009，26 （4）：297－300.］

［9］Clement Chun Cheong Pang，William Wai Leung Lam，Nelson Hon Ching Yung.A method for vehicle count in the presence of multiplevehicle occlusions in traffic images［J］.IEEE Transaction on Intelligent Transportation Systems，2007，8 （9）：441－449.

［10］SONG Xue－feng，Ram Nevatia.Detection and tracking of moving vehicles in crowded scenes ［C］.Proceedings of the IEEE Workshop on Motion and Video Computing.Washington，DC，USA：IEEE，2007：1－4.

［11］SONG Xue－feng，Ram Nevatia.A model－based vehicle segmentation method for tracking ［C］.IEEE International Conference on Computer Vision，2005：1124－1132.

［12］Kanhere N K，Pundlik S J，Birchfield S T.Vehicle segmentation and tracking from a low－angle off－axis camera ［C］.IEEE Computer Vision and Pattern Recognition，2005：1152－1158.

［13］WEI Yu－qiang，WANG Cheng－ru.Method for touching vehicles segmentation in multi－vehicles tracking ［J］.Video Engineering，2009，33 （11）：107－109 （in Chinese）. ［魏玉强，王成儒.多车辆跟踪时分割粘连车辆的方法 ［J］.电视技术，2009，33 （11）：107－109.］

［14］Na Fan.Object classification and occlusion handling using quadratic feature correlation model and neural networks ［J］.International Journal of Pattern Recognition and Artificial Intelligence，2011，25 （3）：287－298.

［15］MAO Ling，XIE Mei，HUANG Yi，et al.Preceding vehicle detection using histograms of oriented gradients ［C］.International Conference on Communications，Circuits and Systems.Chengdu，China：IEEE，2010：354－359.