分层式宽度模型的实时车型识别算法

李洪均 周 泽

（1.南通大学电子信息学院，南通，226019；2.南通智能信息技术联合研究中心，南通，226019；3.通科微电子学院，南通，226019）

引 言

近年来，随着交通监控设备的普及和计算机视觉的迅猛发展，一些基于交通视频图像的计算机视觉技术被应用在现代化智能交通体系中。实时的车型识别技术作为智能交通体系的重要组成部分，具有广泛的应用范围，如高速公路收费系统、交通流量统计、城市交通监控以及协助刑侦[1-3]等方面。目前车型识别领域的研究主要可以分为3类：（1）基于车辆三维模型的车型识别方法[4-7]。该方法对不同类型的车辆进行三维建模，然后通过模型匹配的方式，实现车型识别，Voulodimos等[8]建立每类车辆的三维模型，将待识别的车辆投影到模型空间，通过模型匹配的方式实现了87.5%的车型识别精度。（2）基于深度学习[9-14]的车型识别方法。该方法先对车辆样本图像进行特征提取，然后用所获得的特征向量来训练网络分类器，利用训练好的分类器识别车辆类型，雷倩等[15]采用具有13层的深度神经网络CaffeNet实现车型识别，识别精度高达95.2%，但需要使用GPU来加速网络训练。（3）基于车辆浅层特征的车型识别方法[16-20]。该方法利用以先验知识所设计的特征提取器，提取车辆图像的固定化特征，如SIFT特征、Haaris角点特征以及梯度方向直方图(Histogram of oriented gradient,HOG)特征等，张彤等[21]提出了改进的Harris角点检测的方法提取车辆图像的角点特征，采用角点匹配的方式实现了对5类车辆的类型识别，识别精度为90%。基于车辆三维模型的方法匹配原理简单，但建模过程复杂，鲁棒性较差，识别精度偏低；基于深度学习的方法具有较强的容错能力，识别精度较高，但该类方法需要大量的训练样本，运算复杂度高，网络训练耗时长，难以实现实时性效果；基于车辆浅层特征的方法因其固定的特征提取方式，特征提取速度相比于深度网络模型更快，但其识别精度偏低。

为了解决目前车型识别的精度和实时性问题，本文提出了分层式宽度模型针对高速公路监控视频中的车辆图像进行分类。分层式宽度模型的特点在于分层式的特征提取方式使得模型特征表达能力强，提高了车型识别精度；轻量化的网络结构使得模型训练速度快，实现了车型识别实时性效果。

1 相关工作

1.1 宽度学习系统

宽度学习系统（Broad learning system,BLS）[22]是基于传统的随机向量函数链接神经网络（Random vector function-link neural network,RVFLNN）提出的，传统的RVFLNN直接使用输入数据，建立增强节点，然后求出输入与输出之间的权重系数矩阵；而BLS首先利用稀疏自编码方式将输入数据映射成稀疏化特征图，构造特征节点，优良的稀疏化特征图决定着宽度学习系统的性能表现；然后为了进一步减少特征相关性，利用特征节点生成增强节点；最后建立稀疏化特征图和增强节点与输出之间的关系，通过岭回归学习算法[23]求出二者之间的权重系数矩阵。BLS的结构图如图1所示。BLS的具体构造过程如下。

首先定义输入样本数据X∈RN×M，其中X共有N个样本，每个样本具有M维特征；然后按照式（1）生成特征图Zi。

图1 BLS的结构示意图Fig.1 Schematic of BLS

为了得到最优解Wei，对式（2）变形，即

ADMM迭代算法的过程为

式中：ρ＞0；S是软阈值处理函数；Oei为Wei的对偶矩阵；P为主残差；t表示迭代次数；λ为惩罚系数，如式（6）所示。

将训练得到的完备字典Wei和X代入式（1），可得到稀疏化特征图Zi，有

其次定义Zn≡[Z1,…,Zn]为前n个稀疏化特征图组，利用Zn生成m个增强节点有

式中：Whj∈Rnk×γ和βhj∈Rγ分别为随机生成的正交规范矩阵和偏值向量，其中γ为增强原子，其目的在于将稀疏化特征图映射到正交空间上，进一步减少相邻特征之间的相关性；ξ为非线性函数，如式（9）所示。

式中：s∈(0,1]为收缩参数；tansig()为激活函数，其表达式为

并定义Hm≡[H1,…,Hm]为m个增强节点。

最后定义输出Y∈RN×C，其中C表示类别，建立稀疏化特征图组和增强节点与输出之间的关系为

式中：Q=[Zn|Hm]；通过岭回归学习算法求出式（11）的最优权重系数矩阵Wm，令式（11）等于0，并对Wm求导，结果为

因此可求得

式中I为单位矩阵，理论上当λ=0时，最优解Wm=Q+Y，其中Q+是Q的伪逆，即有

因此权重系数矩阵Wm表示为

1.2 梯度方向直方图算法

HOG[25]是通过检测图像边缘方向的分布来提取目标物体的轮廓边缘特征。具体做法是将待提取特征的图像分成若干大小固定的区域，通过获得该区域图像像素梯度并进行特征计算来累加梯度特征，从而获得一定维数的梯度方向直方图。具体步骤如下[26]。

(1)灰度化处理彩色图像，HOG特征只对像素点的亮度值求梯度信息。

(2)为了调节图像对比度，减少光照不均匀以及噪声的影响，采用Gamma校正法对输入的图像进行归一化操作。

(3)为了捕获目标物体的轮廓信息，通过式（16）计算图像中各个像素点(x,y)的梯度大小G(x,y)和方向D(x,y)

式中Gx(x,y)，Gy(x,y)分别表示像素点在垂直坐标系x轴和y轴方向的梯度如式（17）所示。

式中H(x,y)表示像素点(x,y)的亮度值。

(4)将图像区域分层划分，第1层是相互连通的Cell单元，各个Cell单元互不重叠，第2层是若干个Cell单元组成的Block区块。

(5)将360˚等分成若干个被称为Bin的方向块，检测各个Cell单元的梯度方向分布，并累加每个Cell单元的梯度幅度；然后归一化Block区块的对比度。

(6)将图像内所有Block区块的HOG特征串联起来，即得到了图像的HOG特征向量。

2 分层式宽度模型

BLS因其轻量化的网络结构，所以在训练和测试速度上非常快，但在一些复杂场景下其识别精度偏低，为了实现车型识别的实时性和高精度效果，本文提出了分层式宽度模型，该模型包括输入层、浅层特征层、宽度特征层以及输出层，其中浅层特征层用于提取样本图像的浅层特征和降维操作；宽度特征层用于训练完备字典和正交规范矩阵，实现样本特征的稀疏化表示和非线性映射；建立输出层与样本特征之间的关系，求出权重系数。分层式宽度模型如图2所示。

2.1 浅层特征层

浅层特征层作为分层式宽度模型特征处理的首要环节，主要包括样本图像的颜色空间转换、多通道HOG特征提取以及降维操作。

2.1.1 颜色空间转换

RGB颜色空间是彩色图像最常用的颜色空间，该颜色空间的3个通道都包含亮度信息，因此3个通道都会受到光照影响。相比于RGB颜色空间，HSV，HSI以及YCbCr等颜色空间下的图像亮度信息和色度信息相互独立，不同的光照环境只影响图像的亮度信息，而通过色度信息也能够反映图像属性。由于HSV和HSI颜色空间模型较为复杂，与RGB颜色空间的转换是非线性的，而YCbCr颜色空间模型简单，且与RGB颜色空间的转换关系是线性的，如式（18）所示。考虑到训练所用的数据集中包含不同光照环境下所采集的车辆图像，因此将原始的RGB图像转换到YCbCr颜色空间，减少光照影响。首先将输入层的彩色样本图像尺寸设定为80像素×60像素；然后通过式（18），实现颜色空间转换。

图2 分层式宽度模型示意图Fig.2 Schematic diagram of layered broad model

式中：Y(x,y),Cb(x,y),Cr(x,y)分别表示YCbCr颜色空间下3个颜色通道的像素值；R(x,y),G(x,y),B(x,y)分别表示RGB颜色空间下3个颜色通道的像素值。经过颜色空间转换后样本特征为XYCbCr∈RN×M，其中N为彩色样本图像的数量，M为每个样本的特征维度大小。

图3和图4分别表示RGB和YCbCr颜色空间下的3通道图像。由于YCbCr颜色空间的Y通道、Cb通道和Cr通道分别表示亮度信息、蓝色分量和红色分量，因此不同通道反映图像的不同特征属性；而RGB颜色空间的3个通道由于亮度和色度信息没有分离，3个通道图之间具有很大的相似性。

图3 RGB颜色空间的3通道图Fig.3 Three-channel maps of RGB color space

图4 YCbCr颜色空间的3通道图Fig.4 Three-channel maps of YCbCr color space

2.1.2 多通道HOG特征

通常HOG特征是在灰度图像上提取的，灰度图像只包含亮度信息，容易受到光照环境的影响，而通过颜色空间转换后，图像的亮度信息和色度信息相互独立，为了减少光照环境的影响同时提高特征多样性，提出了多通道HOG特征提取算法，按照1.2节所述的HOG特征提取流程(2)—(6)分别提取YCbCr颜色空间下3个颜色通道的HOG特征，其中设置Cell单元的尺寸Size=10，步长Stride=10，2×2个Cell单元组成的Block区块，设置Bin方向块l=18，因此在一张80像素×60像素分辨率图像上进行区域划分，水平方向和垂直方向分别得到7个和5个Block区块。

最后每张彩色图像能够得到7×5×72×3=7 560维的HOG特征向量，XYCbCr经过多通道HOG特征提取后样本特征为XH∈RN×M1，M1表示特征提取后的特征维度。

2.1.3 降维

经过多通道HOG特征提取后，样本特征维度较高，影响车型识别算法的速度，通过主成分分析（Principal component analysis,PCA）算法不仅实现了样本特征XH的降维效果，同时减少了噪声和冗余信息的影响。

首先通过式（19）计算所有样本特征XH的协方差矩阵Cov∈RM1×M1；然后通过奇异值分解方式，对协方差矩阵进行分解，如式（20）；然后设定贡献率，通过式（21）选定特征值向量矩阵Σ的前p个特征值；最后将前p个特征值所对应的特征向量构成降维矩阵Vp，通过式（22）实现降维目的。

2.2 宽度特征层

宽度特征层用于对浅层特征层输出的样本特征进行二次特征处理，主要包括样本特征稀疏化和非线性映射等操作。特征稀疏化是指通过训练完备字典将样本特征稀疏化表示，减少特征之间的相关性；非线性映射是指利用正交规范矩阵，将稀疏化特征非线性映射到正交空间上，进一步减少相邻特征之间的相关性，提高模型的特征表达能力。

2.2.1 特征稀疏化

首先训练完备字典将浅层特征层的输出样本特征U稀疏化表示，按照式（2）将完备字典训练过程等价为最优化求解过程，即有

式中：Zi为第i个随机特征图；Wei∈RM2×k表示待训练的第i个完备字典，i=1,…,n，k为特征点数量。通过式（4—6）所述的ADMM迭代算法，可以得到完备字典Wei，因此按照式（7）将得到的完备字典Wei和U映射生成Zi∈ RN×k，有

式中激活函数φ为归一化函数，有

式中x表示向量，x表示向量中的元素；并定义Zn=[φ(UWe1),…,φ(UWen)]为n个稀疏化特征图组。

2.2.2 非线性映射

为了进一步减少相邻特征之间的相关性，构造正交规范矩阵，将稀疏化特征非线性映射到正交空间上，提高模型的特征表达能力。首先随机生成一定大小的正交规范矩阵Whj，其中正交规范矩阵Whj包含了偏置向量βhj；然后根据式（9）的非线性映射关系，Whj和Zn可以映射生成增强节点Hj，有

式中s∈(0,1]为收缩参数。因此Zn通过非线性映射生成Hm定义为

2.3 生成权重系数矩阵

定义Y为输出样本标签矩阵，因此可以建立[Zn|Hm]与Y之间的关系，有

式中W为稀疏化特征图和增强节点与输出之间的权重系数矩阵，有

式中[Zn|Hm]+是[Zn|Hm]的伪逆，通过式（14）可以求得伪逆[Zn|Hm]+，有

因此权重系数矩阵W为

2.4 本文算法流程

本文算法流程如下。

输入：训练样本；

输出：样本标签；

·X通过式（18）颜色空间转换得到XYCbCr∈ RN×M；

·根据2.1.2节的多通道HOG特征提取算法，提取XYCbCr的HOG特征得到XH∈RN×M1；

·由式（19-22）对XH进行PCA降维操作，得到U ∈RN×M2；

·设定n个稀疏化特征图和m个增强节点。

每个稀疏化特征图提取过程如下：

(1)随机生成 Wei与 βei；

(2)通过式（23）训练生成完备字典Wei；

(3)根据式（24）得到稀疏化特征图Zi；

重复n次步骤（1—3），并定义Zn=[Z1,…,Zn]为n个稀疏化特征图组。

每个增强节点的生成过程如下：

(4)随机生成 Whj与 βhj；

(5)通过式（26）生成增强节点Hj；

重复m次步骤(4，5)，并定义Hm=[H1,…,Hm]为m个增强节点；

·通过式（28）建立[Zn|Hm]与样本标签矩阵Y的关系；

·根据式（31）计算出权重系数矩阵W。

3 实验结果与分析

实验在Core i7-6800K CPU，频率为3.40 GHz,16 GB RAM的Windows10系统计算机上运行，运行环境为MATLAB2016b 64位。采用识别精度和识别速度，单位为帧/s来衡量算法性能。

3.1 BIT-Vehicle数据集与实验分析

BIT-Vehicle数据集[27]是在高速公路摄像头上采集的分辨率为1 920像素×1 080像素和1 600像素×1 200像素的车辆前脸图像，共9 850张图像，其中约有10%的夜间图像，另外还有许多光照环境、车辆表面颜色变化的图像，如图5所示。该数据库中的所有车型分为6类，分别是Bus，Minivan，Microbus，Truck，Sedan和SUV，对应每类车辆数量分别为558，476，862，823，5 769和1 362。图6为数据库中6类车辆的示意图。

图5 复杂环境下的车辆图像Fig.5 Vehicle images in complex environment

图6 样本图像示意图Fig.6 Sample image schematic

分层式宽度模型的浅层特征层参数设置Cell单元的尺寸Size=10，步长Stride=10，每个Block区块由2×2个Cell单元组成，Bin方向块l=18；宽度特征层参数设置n=20,k=100,m=800,s=0.8。实验结果表明本文所提算法的识别精度为96.69%，识别速度为70.3帧/s，达到了实时性效果。车型识别精度混淆矩阵图，如图7所示。

由图7可知，Microbus和Minivan容易和其他多种车型混淆，其中Microbus与Minivan之间最易产生误判，一方面是因为这两类车型前脸图像之间有很大的相似性，另一方面是由于部分Minivan存在载货现象，如图8所示。

图7 车型识别精度混淆矩阵图Fig.7 Confusion matrix of vehicle type recognition accuracy

图8 相似车辆的前脸图Fig.8 Front face of similar vehicles

3.2 浅层特征层影响实验

3.2.1 浅层特征层中各特征处理环节实验

为了进一步说明浅层特征层中各个特征处理环节的重要性，针对特征处理环节的不同组合，作了以下3组实验，实验结果如表1所示。由表1可知，多通道HOG特征+PCA降维+BLS算法与所提算法的对比实验说明YCbCr颜色空间下图像的亮度信息和色度信息相互分离，光照环境只影响亮度信息，而色度信息也能反映图像的特征属性，通过颜色空间转换能有效地减少光照环境的影响；颜色空间转换+PCA降维+BLS算法与所提算法的对比实验表明多通道HOG特征具有较强的车辆前脸特征表达能力，主要因为基于图像边缘梯度的HOG特征能够有效地描述不同类型车辆的前脸特征，此外多通道的特征提取方式保留了特征多样性，是浅层特征层中的关键环节；颜色空间转换+多通道HOG特征+BLS算法与所提算法对比实验证明了特征提取后的PCA降维操作有效地减少了图像噪声干扰。

3.2.2 多通道与单通道HOG特征实验

为了验证多通道HOG特征提取的合理性，作了3组对比性实验，只改变HOG特征提取的颜色通道，实验结果如表2所示。由表2可知，多通道HOG特征的组合方式优于单通道HOG特征。其中Y通道下的HOG特征对车型识别精度的贡献比其他通道更大，主要是因为Y通道反映的是图像亮度信息，包含丰富的边缘纹理特征，而HOG特征描述算子对图像边缘梯度变化较大的区域较为敏感。

3.3 不同识别算法的对比实验

为了说明本文所提算法在车型识别方面的优越性，对比了其他算法在BIT-Vehicle数据集上的测试结果，如表3所示。

表1 浅层特征层中各特征处理环节的实验对比Tab.1 Experimental comparison of various feature pr ocessing links in shallow featur e layer

表2多通道与单通道HOG特征实验对比Tab.2 Comparison of multi-channel and singlechannel HOG feature experiments

表3不同识别算法的实验对比Tab.3 Experimental comparison of different recognition algorithms

由表3可知，本文所提算法的识别精度和识别速度优于其他算法如无监督的CNN算法[27]、深度玻尔兹曼机算法[28]以及基于可形变模型算法[29]。另外通过对比BLS算法与所提算法可知，所提算法的识别精度高于BLS算法，主要因为浅层特征层中特征处理环节不仅减少了光照等噪声的影响而且还提取了车辆前脸的关键性特征，具有较强的特征表达能力，同时由于浅层特征层特征处理环节消耗了部分时间，因此所提算法的识别速度比BLS算法慢，但所提算法已经达到了实时性要求。

4 结束语

本文提出的分层式宽度模型能够实现车辆类型识别效果，具有识别精度高、识别速度快等优点。浅层特征层中通过将颜色空间转换与多通道HOG算法相结合，有效地减少了光照环境影响的同时，提取了车辆前脸图像的关键性特征；宽度特征层通过训练完备字典和生成正交规范矩阵，实现样本特征稀疏化表示和非线性映射，减少了图像特征相关性；最后直接求出样本特征与输出样本标签之间的权重系数矩阵，实现车型识别。轻量化的网络结构和分层式的特征提取方式兼顾了车型识别的识别速度和精度。下一步将针对多目标的车型识别以及遮挡等问题进行研究，使算法模型的泛化能力更强。