基于改进KSVD和极限学习机的车型识别方法研究

张利平　邵宗凯　吴建德

(1.昆明理工大学信息工程与自动化学院　昆明　650500)(2.云南省矿物管道输送工程技术研究中心　昆明　650500)

基于改进KSVD和极限学习机的车型识别方法研究

张利平1,2邵宗凯1,2吴建德1,2

(1.昆明理工大学信息工程与自动化学院昆明650500)(2.云南省矿物管道输送工程技术研究中心昆明650500)

摘要针对智能交通中车辆的分类识别问题,提出了一种基于改进KSVD和极限学习机的车型分类方法。该方法首先利用改进KSVD的方法训练得到各类样本的特征字典及其相应的稀疏系数,之后将提取到的具有旋转不变性以及对噪声不敏感性特点的特征字典和稀疏系数送入极限学习机中进行分类识别。改进KSVD在字典的初始化方法上进行了改进,先在类内训练字典,然后将学习到的类内字典级联起来作为新的初始化字典。实验结果表明改进KSVD方法提高了字典的识别性能,该方法在较快识别速率的前提下,提高了车型识别的正确率。

关键词改进KSVD; 特征字典; 稀疏系数; 极限学习机; 分类识别

Class NumberTP391

1引言

车型识别是智能交通领域的一个重要研究内容,能够为交通信息的深层次分析提供依据。在高速公路通行车辆的信息记录,停车场的安全管理以及肇事、嫌疑、被盗车辆的追踪和定位等领域具有重要意义。车型识别是一个典型的目标识别问题,目标的特征的选择和提取是整个识别过程的关键。因此,如何提取对车辆具有良好描述能力和分类性能的特征是完成车型正确识别的前提[1]。文献[1～2]中对车辆的几何特征进行提取,将车辆的顶长比、前后比、长宽比等作为车型识别的特征,当车型差别不大或遇到干扰时,这些方法便失去了作用。因此本文将稀疏表示的方法引入到车型识别中,提取车辆图像的代数特征,即字典和稀疏系数作为车型识别的特征。

目前,稀疏表示已经成为计算机视觉领域的一个研究热点,在图像重构、图像复原、图像分类等领域得到成功应用。文献[3]提出了一种基于SRC(Sparse Representation-based Classifier)的人脸识别方法,该方法通过提取样本的冗余字典,并利用冗余字典对样本的稀疏表示实现人脸的识别。虽然该方法能够取得很好的识别效果,但需要选取大量的训练样本来实现字典的过完备性,字典的规模较大,不利于识别的实时性。文献[4]提出了一种基于KSVD的人脸识别方法,利用KSVD的方法对不同类别的样本进行字典训练,得到具有较强表示能力的特征字典,加快了对象的识别速度。由于稀疏表示在人脸识别领域的应用表现出较好的稳健性,一些工作者开始将其应用到车辆识别领域。文献[5]提出一种基于多信息字典学习及稀疏表示的SAR目标识别方法,该方法分别学习了目标图像的幅域和频域信息的字典,采用联合动态稀疏模型求解出目标图像的稀疏表示系数,取得了较好的识别效果。文献[6]则提出一种基于核K-SVD和稀疏表示的车辆识别方法,该方法对遮挡情况下的车辆有较好的分类效果,能够快速准确地实现车辆和非车辆对象的分类识别,但没有对车辆进行进一步的识别。

文献[7]利用Gabor变换和二维图像主成分分析(2DPCA)相结合的方法提取贝类图像的特征,并利用极限学习实现了对贝类图像的种类识别。文献[8]利用极限学习机对LBP提取的图像局部纹理特征进行分类。文献[7]和文献[8]验证了极限学习机学习能力强,泛化能力好的优点。本文提出一种基于改进KSVD和极限学习机的车型识别方法,由于KSVD在人脸识别中得到了成功运用,考虑到人脸样本类型多且复杂多变的特点,将其运用到车型识别领域是可行的。文章首先利用改进的KSVD的方法对部分图像进行训练生成特征字典,特征字典是对各类车辆具有较强表征能力的特征集,然后求出分类图像在特征字典基础上的稀疏表示稀疏。最后将各个车型相对应的特征字典和稀疏系数组合起来,并运用极限学习机进行分类识别,取得了较理想的车型识别结果。

2基于改进KSVD的字典训练

2.1稀疏表示理论

稀疏表示即用尽可能少的非零系数对信号的主要信息进行表示,进而使信号处理问题的求解过程变得简单[9]。本文中将测试样本进行稀疏表示,进而求得能够揭示图像信号本质特征的稀疏系数和特征字典。测试样本的稀疏表示原理如下:假定测试图像为f(x,y),利用稀疏编码模型对其进行表示如下:

(1)

式中,φi为单位向量,其组成的矩阵D=[φ1,φ2,…,φM]称为字典,α=[α1,α2,…,αi]为图像在字典D下的分解系数。当分解系数只有很少个非零元素时,图像f(x,y)即被字典D进行稀疏表示。

2.2改进的KSVD的字典训练

字典训练是从训练样本中学习一组“最优基”生成特征字典,并求解出各类测试样本在特征字典下的稀疏系数。由于该方法是通过训练得到最少的最优原子对测试样本进行表示的,因此,训练出来的原子具有较强的特征表示能力,且大大减少了计算量。令Y=[y1,…yN]∈Rn×N,表示测试图像,则字典的学习模型可以表示为

(2)

本文利用KSVD的方法求解字典的学习模型,在字典的初始化阶段,先在类内字典进行训练,然后将其级联起来作为新的初始化字典。字典的初始化方法如图1所示。之后通过基于l1范数的OPM算法,求解在初始字典下的稀疏矩阵,并在一定稀疏度的情况下,使用SVD(奇异值分解)对图像重构误差进行调整,对字典和稀疏矩阵进行逐列更新,求解出更优的特征字典D和稀疏矩阵α。具体步骤如下:

Step1字典的初始化D;

Step2在稀疏为k的情况下,用OMP算法求解Y在D下的稀疏表示系数α;

Step4将D中的第i列和α的第i置零,求解出此时的误差矩阵E′;

Step5用SVD的方法,调整di和αi,使其满足min‖E′-diXi‖2;

Step6逐列更新字典,判断误差是否满足要求,满足则学习结束,否则返回Step1。

图1　改进的字典初始化流程图

3极限学习机算法

极限学习机(Extreme Learning Machine,ELM)是一种的前馈神经网络,在分类领域中表现出优良性能。TamuraS等[10]指出与传统的神经网络相比,极限学习机在训练过程中只需要随机给定输入层和隐含层之间的连接权值以及隐含层的偏差,利用几乎任意的激活函数并根据一定的原则对隐含层的神经元个数进行设定,那么其输入集合就几乎可以任意程度的逼近任意连续函数,且整个过程无需对输入权值和隐含层神经元阈值进行调整,仅需要训练隐含层和输出层之间的连接权值就可以获得唯一的最优解。极限学习机的模型的拓扑结构如图2所示。

图2　极限学习机的网络拓扑结构

对于任意的且互不相同的N个样本(xi,ti),其中xi=[xi1,xi2,…,xin]T∈Rn,且ti=[ti1,ti2,…,tin]T∈Rm,假定前馈型神经网络的隐含层有L节点,则其输出可表示为

x∈Rn,αi∈Rn,βi∈Rm

(3)

其中,αi=[αi1,αi2,…,αin]T,是神经网络输入层到第i个隐含层节点的输入权值,bi是第i个隐含层节点的偏执;βi=[βi1,βi2,…,βim]T是第i个隐含层节点的输出权值;G(x)为隐含层激励函数。

此时,单隐层前馈神经网络以零误差来逼近这N个样本,即有式(4)成立。

(4)

因此,存在αi,bi,βi满足:

⋮

i=1,2,…,L

(5)

式(5)可表示为

Hβ=T

(6)

其中:

H(α1,…,αL,b1,…bL,x1,…,xN)=

(7)

(8)

式中,H为隐含层的输出矩阵,当αi和bi随机设定以后,前馈神经网络的训练就等价于一个求解输出权值的最小二乘范数解的问题。根据线性系统的最小二乘范数解的计算式对β进行求解,可得:

(9)

其中H为隐含层输出矩阵H+的Moore-penrose广义逆。

4基于改进KSVD和极限学习机的车型识别算法

本文提出的基于改进KSVD和极限学习机的车型识别算法,利用改进KSVD对测试图像进行稀疏表示,进而将得到的特征字典和稀疏表示系数送入极限学习机中进行识别,具体步骤如下:

1) 建立测试样本集和训练样本集;

2) 利用KSVD算法训练样本的类内字典,并将其进行级联得到改进KSVD的初始化字典;

3) 利用改进KSVD算法分别对测试样本和训练样本进行稀疏表示;

4) 确定ELM隐含层神经元的个数,选择隐含层神经元的激活函数,对αi和bi随机设定后,将训练样本各类车型的特征字典和稀疏表示系数作为极限学习机的输入,对极限学习机进行训练;

5) 对测试样本进行分类识别。

5实验结果与分析

5.1实验数据及预处理

本文采用的实验数据采集于云南省昆明市景明南路与聚贤街路口,实验数据包含面包车、轿车、越野车、公交车以及卡车五种车型在不同的光照条件下的100张图片组成,拍摄角度如图3所示,图4给出了部分训练样本。随机选取每类15副图片共75副构成训练样本,其余为测试样本。提取每副R200×137图像的随机车型特征,即将每副图像映射到一个大小为RN×(200·137)的标准正态分布随机矩阵上,取三次随机结果的平均值构成维数为RN的特征向量。将所有的特征向量级联成维数为RN×25的样本矩阵,同时根据样本矩阵构建维数为R5×1的类别标签矩阵。在字典的初始化阶段,从每类样本中随机选取10副图像构成类内初始化字典,并将学习到的类内字典进行级联得到改进的初始化字典,之后对字典进行训练,利用得到的各类车型更优的稀疏系数和字典进行ELM分类实验。所有实验均在Matlab R2010b上运行实验,计算机的硬件配置为AMD双核处理器,内存为2GB。

图3　拍摄角度示意图

图4　部分训练样本

5.2实验结果分析

在进行字典和稀疏系数提取阶段,本文研究中将改进KSVD进行字典训练时的迭代次数固定为20,字典尺寸从50开始依次增加10,来验证字典尺寸对本算法分类性能的影响,同时在此基础上比较了字典初始化方法改进前后本算法的识别率,如图5所示。由图5可明显看出,改进的初始化字典方法的KSVD性能更优;当字典尺寸大于60时,本算法均对车型具有较高的识别率,且在字典尺寸为80、110、120时,本算法识别的正确率达到100%。鉴于对算法的实时性要求,字典尺寸设定为80。

图5　字典尺寸对算法性能的影响

极限学习机的参数选择相对简单,只需对其隐含层节点进行设置。本文研究中选用sigmoid作为极限学习机隐含层节点的激活函数,之后从5个隐含层节点开始依次增加2个,来验证隐含层节点个数对极限学习机分类性能的影响,如图6所示。从图中可以看出,当隐含层节点大于等于25时,分类效果达到最好,隐含层节点过多容易导致前馈网络的“过学习”且会影响本算法的分类速度,故在实验过程中选取理想的节点个数25。

图6　隐含层节点个数对算法性能的影响

通过前两组实验分析可知,字典尺寸和隐含层节点个数分别取80和25时,本算法能够达到最优的分类效果,为了验证本文提出的算法的分类性能,进行了第三组实验,实验结果如图7所示。图中标签号1～5分别表示越野车、轿车、公交车,面包车和卡车。由图7可知,在基于改进KSVD和ELM的车型识别方法中,ELM的测试正确率达到100%。且能够完全准确地对公交车和装满货物的卡车进行识别,解决了在传统的基于几何尺寸的识别方法难以识别相似形状的车型问题。在识别速率方面,本算法平均每幅图像的识别速度为0.61s,具有较高的识别速率。

图7　ELM的车型识别结果

6结语

提出了一种基于改进KSVD和ELM的车型识别方法,将各类车型对应的字典和稀疏系数作为识别特征,将训练速度快泛化性能好的极限学习机作为车型识别的分类器。通过对上述实验结果进行对比分析,可以得出以下有益结论:

1) 在人脸识别领域应用广泛的基于KSVD的字典训练方法,利用其进行车型识别的思路是可行的。

2) 改进的KSVD提高了算法的识别性能,克服了选择部分样本训练初始化字典不能完全表示样本的缺陷。

4) 改进的KSVD学习到的特征字典及其稀疏系数具有旋转不变性及对噪声不敏感性的特点,克服了因成像角度不同引起的识别率低的问题。

5) 该算法在低复杂度的情况下,较快地完成车型的分类识别工作,且实现了对几何形状相似的车型的识别。

参 考 文 献

[1] 陈振学,刘成云,常发亮等.基于生物视觉显著性的车辆车型识别[J].计算机科学,2010,37(2):207-208.CHEN Zhenxue, LIU Chengyun, CHANG Faliang, et al. Vehicle Model Recognition Based on Biological Visual Saliency[J]. Computer Science,2010,37(2):207-208.

[2] 聂小燕,祁媛媛,董昕,等.基于多特征融合的汽车车型模糊识别方法[J].微计算机应用,2011,32(11):47-52.

NIE Xiaoyan, QI Yuanyuan, DONG Xin, et al. Fuzzy Recognition Method for Vehicle Models Based on Multi-feature Fusion[J]. Micro Computer Application,2011,32(11):47-52.

[3] Wright J, Yang A, Ganesh A, et al. Robust face recognition via sparse representation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2009,31(2):210-227.

[4] Aharon M, Elad M, Bruckstein A. K-SVD: An algorithm for designing over complete dictionaries for sparse representation[J]. {H}IEEE Transactions on Signal Processing,2006,(11):4311-4322.

[5] 齐会娇,王英华,丁军,等.基于多信息字典学习及稀疏表示的SAR目标识别[J].系统工程与电子技术,2015,37(6):1280-1287.

QI Huijiao, WANG Yinghua, DING Jun, et al. SAR Target Recognition Based on Multi Information Dictionary Learning and Sparse Representation[J]. System Engineering and Electronic Technology,2015,37(6):1280-1287.

[6] 孙锐,王晶晶.一种基于核K-SVD和稀疏表示的车辆识别方法[J].模式识别与人工智能,2014,(5):435-442.

SUN Yue, WANG Jingjing. A Vehicle Recognition Method Based on Kernel K-SVD and Sparse Representation[J]. Pattern Recognition and Artificial Intelligence,2014,(5):435-442.

[7] 杨靖尧,里红杰,陶学恒.基于Gabor变换和极限学习机的贝类图像种类识别[J].大连工业大学学报,2013,32(4):310-312.

YANG Jingyao, LI Hongjie, TAO Xueheng. Shellfish Image Identification Based on Gabor Transform and Extreme Learning Machine[J]. Journal of Dalian Industrial University,2013,32(4):310-312.

[8] 陈建原,何建农.基于在线连续学习机的图像分类改进算法[J].福州大学学报,2015,43(2):176-180.

CHEN Jianyuan, HE Jiannong. An improved algorithm for image classification based on on-line continuous learning machine[J]. Journal of Fuzhou University,2015,43(2):176-180.

[9] OLSHAUSEN B A FIELDDJ. Emergency of simple-cell receptive field properties by learning a sparse code for natural images[J]. Nature,1996,381(6583):607-609.

[10] Tamura S, Tateishi M. Capabilities of a four-layered feed forward neural network: four layers versus three[J]. IEEE Transactions on Neural Networks,1997,8(2):251-255.

Vehicle Recognition Method Based on the Improved KSVD and Extreme Learning Machine

ZHANG Liping1,2SHAO Zongkai1,2WU Jiande1,2

(1. Faculty of Information Engineering and Automation, Kunming University of Science and Technology, Kunming650500)(2. Engineering Research Center for Mineral Pipeline Transportation of Yunnan Province, Kunming650500)

AbstractAiming at the problem of the vehicle classification and identification in intelligent transportation field, a vehicle classification method based on the improved KSVD and extreme learning machine is proposed in this paper. Firstly, the characteristics dictionary and the corresponding sparse coefficient which are rotationally invariant and is not sensitive to noise of all kinds of sample are gotten, then the characteristics dictionary and the corresponding sparse coefficient are taken into extreme learning machine for classification. The improved KSVD makes improvement on the initialization method of the dictionary, it has trained the dictionary within the class, then cascaded the trained dictionary as a new initialization dictionary. The experimental results show that the improved KSVD method has improved the recognition performance of the dictionary. Under the premise of the fast recognition rate, this method has improved the accuracy of vehicle recognition.

Key Wordsimproved KSVD, characteristics dictionary, sparse coefficient, extreme learning machine, vehicle classification and identification

收稿日期:2015年12月8日,修回日期:2016年1月26日

基金项目:国家自然科学基金项目(编号:51169007);云南省科技计划项目(编号:2012CA022,2013DH034);云南省中青年学术和技术带头人后备人才培养计划项目(编号:2011CI017)资助。

作者简介:张利平,女,硕士研究生,研究方向:智能交通信息处理。邵宗凯,男,博士,副教授,研究方向:智能信息处理,电机智能控制等。吴建德,男,博士,教授,研究方向:工业控制、工业过程数据分析与建模等。

中图分类号TP391

DOI:10.3969/j.issn.1672-9722.2016.06.023