基于部件模型的复杂场景车辆检测方法

杨岳航，孙 涵

(南京航空航天大学 计算机科学与技术学院，江苏 南京 211106)

0 引 言

车辆的检测与识别是智能交通系统中的关键组成部分，在交通疏导、辅助驾驶系统及道路监控等领域有着广阔的应用前景[1]，并且能够为治安案件、交通事故侦查提供重要的线索和证据。然而，由于真实场景中复杂的成像条件，车辆检测面临诸多困难，其中遮挡问题尤为突出[2]。复杂道路环境中存在多目标是造成车辆间相互遮挡的主要原因，遮挡使得目标信息缺失，容易造成目标漏检。

选择出车辆具有代表性的局部区域特征，通过对该可见部件的检测，能够避免引入遮挡区域的外观差异，更好地完成目标检测任务。Zhu等[3]针对车顶特征的不变性，考虑使用边缘基元片段图论合成方法判定车顶标记，检测严重遮挡车辆。胡铟等[4]将目标描述为多个区域的集合，借助多实例学习框架求解目标检测模型。Girshick等[5]通过对目标遮挡区域独立外观模板的学习，解决模型底部遮挡问题，使用部件语法模型对目标遮挡情况进行推理。Sivaraman[6]提出了一种基于部件的车辆模型，包括基于Haar-like特征[7]的两个部件的强分类器。该方法从图像中检测到部件，然后组合部件用于车辆的检测。Felzenszwalb[8]提出了一种基于可变形部件的检测算法，包含了一个根滤波器和一个组件滤波器。该方法从图像中提取DPM(deformable parts model)特征[9]，并将原始图像上采样后提取DPM特征图，对原始图像DPM特征图和训练好的根滤波器做卷积操作，得到根滤波器的响应图，对于2倍图像的DPM特征图和训练好的部件滤波器做卷积操作，得到组件滤波器响应图，然后对其精细高斯金字塔下采样，使根滤波器与组件滤波器拥有相同分辨率后加权平均，得到最终响应图。综上所述，基于部件的方法能够解决遮挡问题，但是上述方法并不共享训练数据，导致漏检率相对较高。

文中主要研究在交通视频监控系统中常见的前视角车辆图像[10]，提出基于部分模型的车辆检测方法，包括两个步骤：构建部件模型和检测车辆对象。在构建模型时，遮挡是部件区域选择时主要关心的问题，因此所选择的部件应该类内差异较小、类间差异较大。另外，AND-OR模板(AOT)[11]被应用于对部件进行建模。该模板是可变形的，由几何构造和结构构造构成。几何构造中存储了部件区域下小部件对应的位置分布，结构构造中存储了部件区域下小部件的组成。结构构造由与节点、或节点和终节点组成。终节点由混合图像模板[12]构成：边缘、纹理、平滑度。在车辆检测时,利用已训练模型模板滤波-最大化求取候选车辆区域，并通过迭代方式求取全部车辆区域。

1 部件模型构建

1.1 部件区域选择

在部件区域选择的过程中，多车辆之间的遮挡是主要考虑的问题。车辆的车牌和车灯区域通常具有丰富的视觉信息。但在复杂的交通环境下，该区域通常被遮挡。

因此在部件区域选择时，将此区域划分为易遮挡区域。相较于车牌区域，前挡风玻璃和车顶区域通常可见。甚至在交通拥堵时，虽然车辆之间严重遮挡，但仍可以看到此区域。所以将此区域划分为通常可见区域。由于车辆类型的不同，车顶和发动机盖尺寸也不相同，所以通常可见区域不包括车顶和发动机盖的全部区域。在车辆检测时，将车辆对象分割成这样两部分后，当一部分损失时对于另一部分的检测没有影响。

1.2 部件模型化

在车辆对象部件划分后，使用混合图像模板进行建模。混合图像模板包含边缘块、纹理块、平滑度块、颜色块。文中的边缘块通过16个方向的Gabor小波基元[13]来表示边缘信息。纹理块通过长宽为8个图像像素的局部矩形区域内的16个方向的Gabor滤波器[14]的叠加值的梯度直方图来表示。平滑度块通过长宽为8个图像像素的局部矩形区域内的16个方向的Gabor滤波器响应值来表示。经过模型化后的部件特征如图1所示。

图1 模型化后的车辆特征表示

1.3 模型学习

在部件模型学习阶段，选取200幅车辆前视角图像作为训练图像。学习过程包括学习部件模型的组织结构和学习部件模型的几何结构。部件模型中的终节点与非终节点根据训练图像自动学习，首先描述终节点的学习过程。学习过程体现在特征响应矩阵R(如图2所示)，R中的每一行代表一幅图像中的特征向量。

图2 特征响应矩阵

特征响应矩阵R不一定是一个矩形，因为不同大小的图像生成长度不一的特征向量。为了简便，假设所有的正例图像拥有相同大小的特征向量，所以特征响应矩阵R是一个N(正例图像个数)行、D(候选特征个数)列构成的矩阵。R中的每一个数值代表特征响应值，特征响应值的大小表示每个特征原型出现在图像中的可能性，响应值越大可能性越大。对于特征响应值的计算，首先使用规则化网格将模型化后的部件图像(长宽分别为150像素)划分成更小的图像块，对于每个小图像块计算其一维特征响应值，响应值的大小表示每个特征原型出现在这些小图像块中的可能性，函数计算图像块与特征原型的相似性，并且将其标准化在0到1之间。由于文中仅使用边缘特征，对于边缘特征，根据图像块与特征之间的欧氏距离计算其一维特征响应值。

在特征响应矩阵中选取正例中共同拥有的高响应值的特征，构成一个大特征响应区域(如图2黑框所示)。通过式1求得大特征响应区域得分来决定大特征响应区域的重要性。

(1)

其中，Bk表示大特征响应区域k；rows()表示大特征响应区域k包含的正例；cols()表示大特征响应区域k中包含的特征；βk,j表示大特征响应区域k中混合图像模板中的基元j对应的权重；Ri,j表示第i行、第j列对应的特征响应值；zk,j表示由βk,j决定的独立标准常数[15]。

根据式1所求大特征响应区域得分，将学习得到的大特征响应区进行分级，并将得分较低的大特征响应区域丢弃。所以通过终节点的学习已经得到了训练图像中有作用的小部件，并根据这些小部件生成了简单的部件模型的组织结构。

为了从训练图像中学习到更好的组织结构，通过一个图形压缩过程来解决。由于配置的数量是组合的，所以最初形成一个巨大的部件模型，并且倾向于过度配置。所以运用迭代压缩过程，该过程包含两个步骤：共享、合并。在共享过程中，通过共享终节点中的小部件来重构模型的组织结构。在合并过程中，合并在同一子集上具有相似分支概率的OR节点，并重新计算合并后的概率。

在学习部件模型的几何结构阶段，学习各小图像块之间的尺度、旋转变换。同时学习两个部件之间的尺度、旋转变换。最终学习得到的部件模型拓扑结构如图3所示。

图3 部件模型拓扑结构

2 基于部件模型的车辆检测

2.1 基于滤波的候选车辆区域求取

首先，对输入的测试图像使用16个方向的Gabor滤波器滤波，得到带有这些方向的边缘图像。在边缘图像上局部最大化，通过局部移动Gabor小波基元的位置、变换Gabor小波基元的方向和尺度，寻找局部图像区域内Gabor滤波响应的最大值，将其存储在局部区域最大特征响应值向量中。

在测试图像上通过局部变换部件模型下小部件k对应的混合图像模板的位置(x,y)、方向o和尺度s进行滤波，由式2计算小部件的得分并将得分存储在小部件得分向量中。

SUM_LPARTk(x,y,o,s)=

(2)

其中，(xj,yj,oj,sj)表示随模板移动的位置(xj,yj)，模板变换方向oj和变换尺度sj；τx,y,o,s(xj,yj,oj,sj)表示小部件的混合图像模板中对应特征的(xj,yj,oj,sj)；MAX_RESPONSE(x,y,o,s)表示局部区域最大特征响应值向量；SUM_LPARTk(x,y,o,s)表示小部件k的得分向量。

根据向量r(2)，通过递归执行和-最大化操作，推断最优模型b*[16]。在测试图像上通过变换最优模型b*的位置、方向和尺度进行滤波，通过式3计算区域检测得分。

(3)

根据区域检测得分，计算全局最高得分，并记录对应的位置(x,y)、方向o和尺度s。计算最优模型中心对应的小部件模型位置，根据最优模型中选择的小部件，从局部区域小部件得分最大特征向量中提取其位置、方向、尺度等信息。检测效果如图4所示。

图4 基于滤波的候选车辆区域求取效果图

2.2 基于迭代的车辆检测方法

在交通图像中，通常存在很多车辆对象。为了检测全部车辆对象，文中使用迭代方法[17]。在每一次迭代中，最优车辆候选者通过式3计算得分，若得分大于设定阈值，则认为该车辆候选者为车辆检测对象，并记录检测对象的位置(x,y)、方向o和尺度s，否则迭代结束。然后在测试图像中将检测到的车辆对象去除，并利用去除车辆对象后的图像进行下一次车辆检测，直至整个迭代过程结束。

在每一次迭代过程中，首先检测两个部件对应的候选者，然后根据相对位置和尺度关系组合两个候选者。

3 实验结果与分析

为验证该方法的有效性，在一台8 G内存，主频为2.6 GHz的四核处理器上进行实验。选择云南智能交通系统中拍摄的200张车辆图像作为训练集，测试集选取了100幅复杂场景交通图像。所选取的数据集中存在光照变化和旋转变化等。这些属性能够有效地测试检测方法的性能。

3.1 实验结果

实验结果如图5所示。对于图中被遮挡的车辆，车辆的前挡风玻璃区域是可见的，然而车牌附近区域被遮挡了。在该算法中，通常可见区域和易遮挡区域使用不同的模型进行检测，并在检测结果图中用方框表示，并通过学习的位置尺度关系将其组合，如图中方框所示。

图5 车辆检测

从检测图中可看出易遮挡区域的丢失，对于通常可见区域的检测并没有影响，对于车辆检测也只有微弱的影响。

3.2 实验对比

文中给出了与常用检测方法DPM的比较结果，如表1所示。可以看出，就车辆检测的精确率而言，利用文中的检测方法获取的结果略优于DPM算法获取的结果。

表1 准确度对比

4 结束语

文中提出了一种基于部件模型的复杂场景车辆检测方法。该方法包括两个步骤：部件模型的构建和从交通图像中检测车辆。在部件模型构建阶段，将车辆对象分为两部分，分别将其表示为易遮挡区域和通常可见区域，使该方法适应于车辆的部分遮挡。此外，这两部分由混合图像模板模型化，并由AND-OR模板进行建模。在车辆检测步骤中，这两个部件被独立检测，然后合并为候选车辆。当一个部件遮挡时，这个遮挡对另一部件的检测没有影响，车辆仍然可以被检测到。实验结果表明，该方法能有效地处理复杂城市交通状况下车辆遮挡问题，并且在车辆轻微变形和不同的天气条件下同样适用。