基于尺度显著性算法的车型识别方法

袁爱龙 ，陈怀新 ，吴云峰

（1.电子科技大学 光电信息学院，四川 成都 610054；2.中国电子科技集团公司第十研究所，四川 成都 610036）

车辆自动识别技术是智能交通系统ITS（Intelligent Transportation System）的重要组成部分，它对特定地点和时间的车辆进行识别和分类，并以之作为交通收费、调度和统计的依据。

根据GB/T 3730.1-2001《汽车和挂车类型的术语和定义》[1]，汽车分为乘用车（不超过9座）和商用车。车型识别的研究主要应用在车辆结构和车辆型号（不同品牌型号）两个方面。本文主要是在车辆结构上进行车型识别，将识别的车辆分为乘用车（小车）和商用车（大车）两类。

车型识别的汽车图片中汽车所处环境复杂多变，并且同类车型包括众多不同的车辆，车型识别的难点在于获取最本质、最有代表性的特征。在提取特征方面，英国曼彻斯特大学的PETROVIC V S等人对汽车前景图像的参考曲面提取梯度特征[2]，NEGRI P和CLADY X等人提取汽车正面图像定向轮廓点特征[3-4]，但是光线特征和轮廓点特征对光线变换敏感，当光线不同时，识别率变化较大。随后，PSYLLOS A等人采用尺度不变换特征（SIFT）提取车脸图像特征[5]。SIFT特征具有图像尺度（特征大小）和旋转不变性，而且对光照变化也具有一定程度的不变性，但是图像出现损坏、遮挡时，识别率也会受到影响。

本文根据人眼分辨事物的特点提取车辆前景图像（车脸图像）尺度显著性特征，然后用径向基神经网络作为分类器去测试提取特征方法的识别效果。实验结果表明，本文所提出的方法能有效地对车型进行识别处理。

1 尺度显著性算法

尺度显著性算子是基于提取鲁棒而有关联的特征的需要而提出的[6]。如果一幅图像的某些区域不能在特征和尺度空间同时进行预测，尺度显著性算法将认为这些区域是显著特征区域，即人眼辨别事物时的感兴趣区域。其中的不可预测性通过统计方法确定，计算出位置和尺度的显著特征值空间作为进一步理解图像的基础。与传统方法相比，其目标是成为一个尺度和显著特征的通用方法，因为这两者的定义与特殊的基本形态意义无关，这些基本形态意义不是基于粒子、边缘和角点等特殊的几何特征。该方法通过确定某一尺度上图像块内的熵（entropy，即一种稀有性的量度）进行处理，熵 HD定义为：

连续条件下，显著性因子是熵峰值的加权和，定义为图像尺度 s和坐标x→的函数：

其中，权重函数 WD（，→）定义为：

在离散条件下，HD、WD和定义为：

提取图像显著性区域的算法描述如下：

（1）对图像 I中的每个像素点（x，y），遍历所有的尺度 s，其中s∈（smin，smax）。

①在尺度为s的图像窗口中计算局部描述值i；

②用局部描述值i和局部图像灰度值分布来计算局部概率密度函数 P（i，s，）；

（2）对 WD（s，→）进行平滑滤波处理。

（4）用式（3）计算显著性因子 yD（，）。

该算法产生了一个由二维图像平面向量和一维尺度向量组成的R3空间，构成了尺度显著性空间。

对不同的图像简单提取熵值最大点作为尺度显著性空间有不妥之处，因为该空间中会包含图像中的噪声点，因此有必要用聚类算法优化该显著性空间。这个聚类算法必须满足提取原始显著性空间的显著性因子较高的点和去除许多噪声引起的显著性点两个要求。

具体的聚类算法描述如下：

（1）设置尺度间显著性全局阈值wt和显著性因子全局阈值yt，并应用于上述算法提取的显著性空间Rn3；

（2）在显著性空间 Rn3中选出最大显著性因子 ymax，这一显著性区域包含中心点（x0，y0）和尺度 s0；

（4）去除所有D＜s0的显著性因子，构成新的显著性空间 Rm3，m≤n；

（5）在新的显著性空间Rm3中找出第二个最大显著性因子 ymax，重复步骤（2）。

图1为显著性算法在实际图像中的应用。在这个例子中，将局部的图像灰度值的直方图作为描述值，并设置了一个整体的阈值S→。图1（a）中圆形区域即为该图像的显著区域，圆形区域半径是尺度显著性算法中的尺度。图1（a）只显示了显著性因子值在前15的显著区域，能够看出有纹理的背景并不影响该算法选择图像的显著区域。图1（b）为原始图像光线变暗后采集的显著性，图1（c）为原始图像缩小一半后采集的显著性区域，图1（d）为原始图像顺时针旋转后采集的显著性区域，图1（e）为原始图像添加椒盐噪声后采集的显著性区域。

图1 不同条件下图像显著性区域采集图

为衡量在不同条件下收集的图像显著性区域的相似度，以两个图像矩阵的相关性来评价。设某图像某块显著区域的矩阵为 Am×n，另一图像某块显著区域的矩阵为 Bm×n，则 Am×n与 Bm×n的相似度即相关系数 Corr 可表示为

图2显示了图 1（a）和图 1（e）的显著区域最相关的部分，第1行为图 1（a）的前 10个显著性区域图像，第 2行图1（e）中与上面区域对应显著性区域。分别计算对应区域的相似度，结果显示，每对显著性区域的相关性都在0.72以上，相关性良好，体现了该算法提取的特征对噪声具有很好的鲁棒性。

图2 不同条件下图像显著性区域匹配图

为验证尺度显著性算法提取的显著性区域对图像光线变化、尺度变化以及旋转的鲁棒性，计算图1中各种情况下采集的显著性区域与原始图像显著性区域之间的相似度，结果如表1所示。

表1 显著性区域相似度计算结果

从表1可以看出，各种情况下提取的显著性区域之间的相似度都在0.72以上，表明尺度显著性算法提取显著性区域的方法实践能力强，对均一亮度变化、缩放、旋转以及噪声都具有不变性，可以证明对视点的细微变化也有鲁棒性。

2 基于尺度显著性的车型识别

2.1 尺度显著性算子提取车型特征

车脸图像这一区域包含了丰富的分类特征，不同品牌、不同设计目的的车辆其车灯和散热器隔栅在形状、尺寸和线条上有很大的不同，不同的车辆系列、不同的车辆型号都有独特的区别于其他车脸图像的外观设计。因此本文选择车脸区域进行研究，通过识别车脸的图像特征识别车辆所属类型。

由于提取显著性因子与尺度有关系，在提取不同类车型的显著性特征时，将其大小归一化处理，这样提取的显著性特征才能较好地区分车辆类型。本文将车辆图像归一化为180 pix×210 pix。不同车型的显著性特征提取示例如图3所示。

图3 车脸图像显著性区域示例

从图3提取的显著性区域可知，乘务车（小车）的显著性区域主要分布在散热器格栅处，分布在车灯上的区域很少，且尺度大小相差不大；商务车（大车）的显著性区域主要分布在车灯和车窗处，且尺度大小不一。

2.2 构造车型分类特征空间

本文将归一化车脸图像中显著性区域的中心点和尺度构成汽车车型分类的特征空间。用图3中大车和小车图像构成的车型分类特征空间如图4所示。

图4 车型分类的特征空间

在车型分类的特征空间中，小车特征点表示为α=（xa，ya，sa）T，大车特征点表示为 β=（xb，yb，sb）T，两点之间的欧式距离表示为：

大车所有特征点与小车所有特征点的最小欧式距离表示为：

最小欧氏距离越大，表示类间距离越大，特征向量区分度越大，特征提取方法越好。

计算图4中小车和大车所有特征点的最小欧式距离Dmin=21.63，最小欧式距离较大，表示特征向量区分度较好。

3 算法性能分析

鉴于基于径向基函数神经网络的模式分类方法在网络结构方面的简洁性以及在识别率和训练速度方面的优势，本文采用其作为车型识别方法。用采集到的部分车辆图去训练已经设计好的RBF网络，最后验证该特征提取方法的有效性，计算车型识别率。

3.1 网络模型设计

为验证提取显著性特征的区分性，选择RBF神经网络作为分类器。径向基函数神经网络一般采用具有输入层、隐藏层和输出层的3层模型，各层的权值向量维数等于其神经元节点个数。

输入层的节点数由特征向量的维数决定，本文选取车脸图像的前15个显著性区域作为车脸图像显著性特征，每个显著性区域包含中心点（x，y）和尺度 s，提取得到的特征向量为15×3=45维，故输入层节数为45。

输出层的节点数由输出向量维数决定。本文将带识别的车型分为乘务车（小车）和商务车（大车）两类，因此输出向量为二维向量，即输出层节点数为2。

隐藏层的节点数可以通过网络学习自适应获得。

3.2 试验与结果分析

实验数据来自于相机采图，相机不是固定的，放置在车辆正前方 3～5 m处，距离地面 1.4～1.6 m，因此采集的车辆图片在尺度和角度±5°都有的变化。在一个月时间内不同天气和不同光线条件下采集1 046幅车脸图像，图5为采集到的车脸图像样例。其中，700幅图像用于训练 （大车和小车图像各350幅），346幅图像用于测试（198幅小车图像和148幅大车图像），用这些训练图像一次性完成对已设计好的RBF网络的训练，得到车型识别结果如表2所示。

图5 车辆训练图像样例

表2 车型识别结果

从表2可知，基于尺度显著性的车型识别方法，乘用车（小车）和商务车（大车）的识别率都在 94%以上，达到较好的效果。未能正确识别的车辆图像中，大部分都是背景比较复杂，或是车辆目标不是很明显。为进一步提高识别率，需在复杂背景下提取车辆图像，这也是今后改进的方向。

本文首次提取图像尺度显著性因子作为图像的分类特征，并应用到图像识别领域，提出了一种基于尺度显著性的车型识别方法。相比于传统的特征提取方法，尺度显著性因子对图像均一亮度变化、缩放、旋转以及噪声都具有不变性，并对视点的细微变化也有鲁棒性。用RBF神经网络去验证算法性能，实验结果显示，基于尺度显著性的车型识别方法是有效的。鉴于图像尺度显著性因子的特性，可以将这种方法应用复杂背景下的目标检测和跟踪，这也是下一步将研究的问题。

[1]GB/T 3730·1-2001.Motor Vehicles and Trailers-Types：Terms and Definitions[S].

[2]PETROVIC V S，COOTES T F.Vehicle type recognition with match refinement[C].International Conference on Pattern Recognition， 2004（3）：95-98.

[3]NEGRI P，CLADY X，MILGRAM M，et al.An orientedcontour pointbased voting algorithm for vehicle type classification[C].18th International Conference on Pattern Recognition， 2006（1）：574-577.

[4]CLADY X， NEGRI P， MILGRAM M， et al.Multi-class vehicle type recognition system [C].Lecture Notes in Computer Science， 2008（5064）：228-239.

[5]PSYLLOS A， ANAGNOSTOPOULOS C N， KAYAFAS E.Vehicle model recognition from frontal view image measurements[J].Journal Computer Standards&Interfaces，2011（33）：142-151.

[6]KADIR T， BRADY M.Scale， saliency and image description[J].International Journal of Computer Vision， 2001，45（2）：83-97.