视觉车辆识别迁移学习算法

蔡英凤 王 海

(1江苏大学汽车工程研究院, 镇江 212013)(2江苏大学汽车与交通工程学院, 镇江 212013)

视觉车辆识别迁移学习算法

蔡英凤1王 海2

(1江苏大学汽车工程研究院, 镇江 212013)(2江苏大学汽车与交通工程学院, 镇江 212013)

针对采用大样本离线训练的车辆识别分类器在新场景中性能显著下降的问题,提出了一种具有样本自标注能力的车辆识别迁移学习算法,并采用概率神经网络(probability neural network, PNN)进行分类器训练.首先,提出一种基于多细节先验信息的样本标注策略,融合复杂度、垂直平面和相对速度等先验信息实现新样本的自动标注;然后,充分利用PNN训练速度快以及增加新样本时只需分类器进行局部更新的特点,将其引入到分类器训练模型中,取代传统机器学习算法中的Adaboost分类器.实验结果表明:该算法在新场景下的新样本标注准确率高达99.76%.通过迁移学习,新场景的车辆识别分类器性能较通用分类器在检测率和误检率指标上均有显著提升.

车辆识别;迁移学习;样本自标注;概率神经网络;先进驾驶辅助系统

近年来,全球每年由于车辆交通事故而造成的人员伤亡约为1 200万;每年和车辆事故有关的财产损失和医疗花费等约占全球GDP总数的1%～3%.因此,进行与车辆驾驶辅助信息相关的道路环境感知技术的研究显得尤为重要.

目前,毫米波雷达、激光雷达等主动式传感器已经被广泛应用,并且在障碍物检测应用中表现出良好的效果.但是,高成本、高能耗以及安装不便是主动式传感器短期内难以解决的缺点.近年来随着计算机技术的发展,以机器视觉为代表的被动式信息传感方式逐渐成为先进驾驶辅助系统(advanced driver assistant system,ADAS)研究的热点[1-5].车载机器视觉感知方式能够获得传统主动式传感器无法比拟的丰富信息量,这些环境信息可以用在目标检测、车道线检测、交通标志识别等众多ADAS应用中.同时,摄像机系统成本低、安装方便的优势使之更适合在需要配备ADAS的中低端车型中使用.

早期基于视觉的车辆检测研究多集中在通过图像中对称性、边缘、车底阴影等初级且具有明确物理意义特征的检测和辨识来检测车辆,这类基于初级特征的方法检测率低、环境适应性差,现已不被采用[6-7].近来,研究者将基于视觉的车辆检测问题建模成一个模式识别中的二分类问题,并在此框架下进行研究,取得了巨大的进步.二分类框架下的车辆检测问题中,样本(车辆及非车辆图像)的特征表征和分类器设计是其最核心的2个方面.特征表达中,常用的特征有HOG特征[8]、Gabor特征[9]、类Haar特征[10]、SIFT特征[11]、SURF特征[12]等;在分类器设计中, SVM[13]，Adaboost[14]以及BP人工神经网络[15]等结构的分类器较为常见.

尽管基于机器学习的方法已显示出巨大的优越性,但仍存在一些不足.现有车辆识别算法大多采用大样本离线训练方法来获得通用的车辆识别分类器,然而当实际使用场景和训练样本所涉及场景下的样本集分布特性差异较大时,容易导致分类器性能明显下降,因此不能满足ADAS可靠性的要求.针对该问题,本文引入了迁移学习的思路和方法,提出了一种具有样本自标注能力的车辆识别迁移学习算法,并采用概率神经网络(probability neural network, PNN)进行分类器训练.通过迁移学习,新场景的车辆识别分类器性能较通用分类器在检测率和误检率指标上均有显著提升.可以认为,所提出的视觉车辆识别迁移学习算法在多方面要优于传统离线训练算法.

1 迁移学习方法

迁移学习方法是指首先采用较少的样本构建通用初始分类器;然后在新场景下,通过不断引入新样本,对初始分类器进行重训练和更新,从而达到提升分类器新场景下分类能力的目的.迁移学习方法的基本流程框图如图1所示.

图1 迁移学习方法流程图

目前,现有基于迁移学习的识别算法存在以下不足:① 在样本选取阶段,现有研究通常由人工标注新生成正负样本[16-17].这使得训练器迁移学习的全部阶段都需要有人参与,极大降低了整个分类器训练的自动化程度,效率较低.② 目前在初始分类器构建中,通常采用较常见的分类器模型,如BP神经网络、SVM、Adaboost等,这类分类器的优点是分类效果好,但缺点是训练时间长,海量样本时训练时间甚至可达数天甚至十几天.因此,在迁移学习中若仍采用该类分类器则会在增加样本后训练时间较长,在多次样本输入的叠加效应下,分类器学习的总训练时间更长,分类器性能提升速度极慢,难以实现对不同场景的快速适应.

针对以上不足,本文提出了基于多细节(multi-cue)先验知识的样本标注策略和基于概率神经网络的迁移学习方法.提出了一种融合复杂度、车体垂直平面和两车相对运动等多细节先验知识的正负样本自动标注方法,避免了人工参与,提高了自动化程度;利用PNN概率神经网络分类器在增加新样本时不需要对旧样本重新训练的优点,设计了一种训练时间短的分类器.

2 基于多细节先验信息的样本标注

在典型的离线分类器训练中,训练样本由人工事先选取并标注为正样本或负样本.在已有的迁移学习分类器训练中,样本的标注工作仍然需要由人工实现.为实现样本的自动标注,本文采用一种多细节先验知识的样本标注方法,使用了复杂度、车体垂直平面和相对运动这3种判断因子.样本标注实现框图如图2所示.

图2 样本标注实现框图

(1)

当某个图像的复杂度C<δC时,就可以将其划分为负样本.δC是复杂度判断阈值,通过对5 000幅车辆图片和10 000幅非车辆图片的统计发现,所有车辆样本的复杂度都高于0.4,而非车辆样本的复杂度则在0.1～0.8之间呈均匀分布.因此取阈值δC=0.35,即复杂度低于0.35的样本可以认为是负样本,而复杂度高于0.35的样本输入至下一个判断环节.

2) 垂直平面 根据道路特点,单幅图像中道路场景的几何信息主要分为天空、平面物体和垂直物体3类.而垂直物体往往是车辆、树木、护栏等物体,不存在垂直面的物体则一定不是车辆.Hoiem等[18]通过一个预先训练完成的回归Adaboost分类器,得到图片中每个像素的所属类别(天空、平面物体、垂直物体).本文采用Hoiem等[18]提出的图像平面信息提取方法,提取出道路图片中的垂直物体.典型图片的分类如图3所示,图3(a)中的平面物体、天空和垂直于路面的物体在图3(b)中以不同的灰度颜色标出,并用黑”×”对垂直于路面的物体进行强调.

(a) 原始道路图像

(b) 图像垂直面提取

若某样本含有垂直面的像素点数低于一定的比例δK，则可认为是非车辆,即负样本；否则将该样本输入给下一个判断环节.

3 基于概率神经网络的分类器设计

分类器选择是迁移学习系统中的一个重要环节,它决定着最终分类器的性能.从迁移学习的框架中可以看出,在迁移学习的过程中,分类器需要反复不断地进行重训练.因此,分类器的训练时间有着较为严苛的要求.过长的训练会导致分类器难以及时对新增样本进行反应,并使得分类器性能提升缓慢.

PNN 是Specht[19]于1988年提出的一种神经网络模型,其实质是基于贝叶斯最小风险准则发展而来的一种并行算法,具有全局优化的特点.用于模式识别的PNN神经网络是一个前馈的神经网络结构,由输入层、模式层、求和层与输出层构成.

1) 输入层接收来自待判断的样本值,将特征向量传递给网络,其神经元数目和待判断样本的维数相等.

2) 模式层计算输入特征向量与训练样本集中各个模式的匹配关系,模式层神经元数等于各个类别训练样本数之和,该层每个模式单元的输出为

(2)

式中,X为输入特征向量;Wi为输入层到模式层连接的权值;σ为平滑参数.

3) 求和层属于某一类的概率累计,按式(2)计算,从而得到分类模式的估计概率密度函数.求和层单元的输出与各类基于Kernel的各类密度估计成比例,通过输出层的归一化处理就能得到各类概率估计.

4) 输出层在各个分类模式的估计概率密度中，选择一个具有最大后验概率密度的神经元作为整个系统的输出.

正是由于PNN的前馈网络结构,因此与传统的神经网络(如BP网络)、SVM和Adaboost等算法相比, PNN具有结构设计灵活、训练速度快、收敛性好的优点,因此本文选用PNN构建了迁移学习分类模型.

4 实验与分析

针对分类器的样本自标注的正确率、最终分类器识别能力、分类器训练时间3个关键性能指标进行实验和比较.

4.1 实验样本

实验样本来源于Caltech1999数据库,它包括126幅含有车辆后视图的静态图片.此外,另外一部分样本来源于项目组在多个时间段分别采集的道路图片.类Haar(Haar-like)特征在包括车辆识别在内的诸多模式识别应用中识别效果很好[4],因而本文所有正负样本均采用类Haar特征进行表征.但是由于多尺度类Haar特征生成的特征维数特别巨大(超过105维),本文首先利用主成分分析(principal component analysis, PCA)的方法将其简化为1 280维(保留约96%的信息量).部分正负样本如图4所示.

4.2 分类器性能指标

在分类器的性能实验中,所有分类器首先使用726个正样本和约2 000个负样本离线训练一个初始分类器.然后将项目组实际采集的2个新场景(约4 500幅道路图片)分别输入到迁移学习分类器的框架中，进行迁移学习,得到最终的分类器.

(a) 正样本

(b) 负样本

4.2.1 样本自标注的正确率

在对约4 500幅图片的样本生成，即自标注的迁移学习过程中,共产生和标注新样本1 657个,同时未能标注样本(可视为被忽略样本)506个.在进行标注的样本中,其准确率如表1所示.可以看出,本文的基于多细节先验信息的样本标注方法能够很好地保证标注样本的正确性.

表1 样本自标注的正确率

4.2.2 分类器识别能力

在分类器识别能力的评价中,本文选取了常用的TPR(true positive rate)和FDR(false detection rate)2个指标,并与采用离线训练的传统分类器进行了比较.TPR和FDR指标计算式为

(3)

(4)

式中,VTP为识别正确的车辆数;Vall为所有车辆数;VFP为错误识别的车辆数.

本文在多个场景下进行了实验,结果表明,由于利用新场景下样本对分类器进行了重训练及参数更新,本文所提出的分类器在识别性能上要明显优于传统离线训练分类器.2个典型场景下采用Adaboost离线训练分类器和本文提出的样本自标注迁移学习分类器的ROC性能曲线如图5所示.

(a) 场景1

(b) 场景2

4.2.3 分类器训练时间

在加入新样本时,分类器需要不断进行训练来进行参数更新.因此,其重训练时间是一个十分关键的指标.在车辆主动安全的高实时性应用中,训练和更新时间越快意味着分类器适应场景能力越强.本文与文献[20]的基于类Haar特征和Adaboost的分类器进行比较.运行平台均为Intel酷睿2双核2.67 GHz处理器,2 GB内存,Matlab 2012a.其训练时间如表2所示.

表2 分类器训练更新耗时 s

从表2中可以看出,本文采用PNN前馈神经网络结构,训练时间较Adaboost缩短约30倍.

4.2.4 实验分析和讨论

通过对样本自标注的正确率、最终分类器识别能力、分类器训练时间这3个指标的实验可以看出，与传统离线学习的车辆识别系统相比,本文提出的基于样本自标注和PNN的车辆识别迁移学习分类器仅通过极少的训练时间,获得了优于传统离线训练分类器的车辆识别能力.同时,由于本分类器具有样本自生成和标注的能力,与已有迁移学习分类器相比,提高了训练的自动化程度和适应性.

5 结语

针对现有基于迁移学习识别算法存在样本产生需要人工参与、训练自动化程度低以及训练时间长的缺点,提出了基于多细节先验知识的样本标注方法和基于PNN的迁移学习方法.实验表明,本分类器具有样本自生成和标注的能力,与已有迁移学习分类器相比,提高了训练的自动化程度和适应性.此外,与传统车辆识别系统相比,所提方法在较大减少训练时间的基础上,获得了优于传统离线训练分类器的车辆识别能力.

在下一步的工作中,将针对PNN网络结构中增加新样本时,模式层节点需要相应增加从而导致系统开销持续增加的缺点进行相应的改进,在不影响分类器识别率的基础上进一步减少分类器的资源消耗,以满足未来车载低成本嵌入式系统的资源需求.

References)

[1]Trivedi M M, Gandhi T, McCall J. Looking-in and looking-out of a vehicle: computer-vision-based enhanced vehicle safety [J].IEEETransactionsonIntelligentTransportationSystems, 2007, 8(1): 108-120.

[2]Wang H, Zhang W, Cai Y. Design of a road vehicle detection system based on monocular vision [J].JournalofSoutheastUniversity:EnglishEdition, 2011, 27(2): 169-173.

[3]许庆,高峰,徐国艳.基于Haar特征的前车识别算法[J].汽车工程,2013,35(4):381-384. Xu Qing, Gao Feng, Xu Guoyan. An algorithm for front-vehicle detection based on Haar-like feature [J].AutomotiveEngineering, 2013, 35(4): 381-384. (in Chinese)

[4]文学志,方巍,郑钰辉.一种基于类Haar特征和改进AdaBoost分类器的车辆识别算法[J].电子学报,2011,39(5):1121-1126. Wen Xuezhi, Fang Wei, Zhen Yuhui. An algorithm based on Haar-like features and improved AdaBoost classifier for vehicle recognition [J].ActaElectronicaSinica, 2011, 39(5): 1121-1126. (in Chinese)

[5]马雷,臧俊杰,张润生.不同光照条件下前方车辆识别方法[J].汽车工程,2012,36(4):360-366. Ma Lei, Zang Junjie, Zhang Runsheng. Front vehicle identification under different lighting conditions [J].AutomotiveEngineering, 2012, 36(4): 360-366. (in Chinese)

[6]Sun Z, Bebis G, Miller R. On-road vehicle detection: a review [J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2006, 28(5): 694-711.

[7]Sivaraman S, Trivedi M M. Looking at vehicles on the road: a survey of vision-based vehicle detection, tracking, and behavior analysis [J].IEEETransactionsonIntelligentTransportationSystems, 2013, 14(4): 1773-1795.

[8]Dalal N, Triggs B. Histograms of oriented gradients for human detection [C]//IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition. San Diego, CA, USA, 2005, 1: 886-893.

[9]Sun Z, Bebis G, Miller R. Monocular precrash vehicle detection: features and classifiers [J].IEEETransactionsonImageProcessing, 2006, 15(7): 2019-2034.

[10]Viola P, Jones M. Rapid object detection using a boosted cascade of simple features [C]//2001IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition. Hawaii, USA, 2001, 1: I-511-I-518.

[11]Zhang X, Zheng N, He Y, et al. Vehicle detection using an extended hidden random field model [C]//14thInternationalIEEEConferenceonIntelligentTransportationSystems. Washington, DC, USA, 2011: 1555-1559.

[12]Lin B F, Chan Y M, Fu L C, et al. Integrating appearance and edge features for sedan vehicle detection in the blind-spot area [J].IEEETransactionsonIntelligentTransportationSystems, 2012, 13(2): 737-747.

[13]Yuan Q, Thangali A, Ablavsky V, et al. Learning a family of detectors via multiplicative kernels [J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2011, 33(3): 514-530.

[14]Caraffi C, Vojir T, Trefny J, et al. A system for real-time detection and tracking of vehicles from a single car-mounted camera [C]//15thInternationalIEEEConferenceonIntelligentTransportationSystems. Anchorage, AK, USA, 2012: 975-982.

[15]Ludwig O, Nunes U. Improving the generalization properties of neural networks: an application to vehicle detection [C]//11thInternationalIEEEConferenceonIntelligentTransportationSystems. Beijing, China, 2008: 310-315.

[16]Fossati A, Schönmann P, Fua P. Real-time vehicle tracking for driving assistance [J].MachineVisionandApplications, 2011, 22(2): 439-448.

[17]Kapoor A, Grauman K, Urtasun R, et al. Gaussian processes for object categorization [J].InternationalJournalofComputerVision, 2010, 88(2): 169-188.

[18]Hoiem D, Efros A A, Hebert M. Recovering surface layout from an image [J].InternationalJournalofComputerVision, 2007, 75(1): 151-172.

[19]Specht D F. Enhancements to probabilistic neural networks [C]//InternationalJointConferenceonNeuralNetworks. Baltimore, MD, USA, 1992, 1: 761-768.

[20]Sivaraman S, Trivedi M M. A general active-learning framework for on-road vehicle recognition and tracking [J].IEEETransactionsonIntelligentTransportationSystems, 2010, 11(2): 267-276.

Vision based vehicle detection transfer learning algorithm

Cai Yingfeng1Wang Hai2

(1Research Institute of Automotive Engineering, Jiangsu University, Zhenjiang 212013, China)(2School of Automotive and Traffic Engineering, Jiangsu University, Zhenjiang 212013, China)

Existing classifiers for vehicle recognition are mainly trained offline with a large number of samples， of which the performance may decline dramatically in a new scenario. In order to solve the problem, a sample self-marking transfer learning algorithm for vehicle recognition based on the probabilistic neural network (PNN) is proposed. First, a sample self-marking strategy is proposed based on multi-cue prior knowledge including complexity, vertical plane and relative velocity. Then, instead of traditional classifiers such as Adaboost, PNN is used to establish the transfer learning model by utilizing its features such as high architecture flexibility, fast training speed and no retraining requirement when new samples are added. Experimental results demonstrate that this algorithm can mark new samples with high accuracy (99.76%). Besides, new classifier trained in a new scenario with transfer learning performs better in true positive rate and false detection rate than traditional general classifiers.

vehicle recognition; transfer learning; sample self-marking; probability neural network; advanced driver assistant system

10.3969/j.issn.1001-0505.2015.02.015

2014-09-10. 作者简介: 蔡英凤(1985—),女,博士,讲师,caicaixiao0304@126.com.

国家自然科学基金资助项目(61403172,51305167,61203244)、交通运输部信息化资助项目(2013364836900)、江苏省自然科学基金资助项目(BK20140555)、中国博士后科学基金资助项目(2014M561592)、江苏省“六大人才”高峰资助项目(2014-DZXX-040)、江苏省博士后基金资助项目(1402097C)、江苏大学高级专业人才科研启动基金资助项目(12JDG010,14JDG028).

蔡英凤,王海.视觉车辆识别迁移学习算法[J].东南大学学报:自然科学版,2015,45(2):275-280.

10.3969/j.issn.1001-0505.2015.02.015

TP391.4

A

1001-0505(2015)02-0275-06