基于约束卷积神经网络的轿车款式识别

(上海电力学院 电子与信息工程学院,上海 200090)

目前的车辆自动识别技术主要分为3个层次:一是类型识别,用于区分车辆的大致种类;二是款式识别,用于鉴定车辆的品牌型号;三是身份识别,用于准确确定汽车的个体身份。

已有的车辆识别分类方法大多关注车型的分类(大型、中型、小型)以及具有明显差异的车辆大类(卡车、公交车、小汽车等)。早期的技术中,基于地埋感应线圈、地埋压电传感器的车型识别技术[1],可对车型进行大致的识别,但难以得出较为准确的车辆信息;基于红外线检测的车型识别技术通过有无反射波对过往车辆进行检测,鉴于车辆速度等不确定性因素,也只能得到大致的检测结果。近年来,由于高清晰摄像机的出现与多媒体处理芯片性能的提高,基于视频图像分析技术的车辆分类和识别得到了进一步的研究和应用。

基于视频图像的车辆识别方法的依据是车辆的外部特征,主要包括几何特征、纹理特征[2]、运动特征。一般处理的步骤是,首先根据运动信息分割出车辆区域(通常称为感兴趣区域),然后根据车辆的各种特征数据进行分类判决。这些特征信息可以是车辆图像的几何参数特征、代数特征值、不变矩特征[3]、变换系数特征或特征点[4]等。判别特征的常用方法主要有最小距离分类(如采用角点的Hausdorff 距离)、隐马尔可夫模型识别[5]、支持向量机识别,以及人工神经网络(Artificial Neural Network,ANN)[6]等,但这些分类算法往往耗时较多,且对使用何种特征缺乏有效的评价机制。

文献[7]采用深度神经网络的方法,检测图像中是否有车辆的存在;文献[8]利用卷积神经网络(Convolutional Neural Networks,CNN)来检测和识别车辆的Logo;文献[9]采用一种半监督的卷积神经网络对车辆类型(卡车、SUV和轿车等)进行分类;文献[10]指出了车脸识别的重要性,但在算法上建议用K 均值聚类的方法,且文中不涉及任何具体算法细节和测试结果。

本文提出针对车辆款式进行识别,在图像输入的基础上,引入“视角”这一非图像数据,对卷积神经网络的识别行为进行“约束”,降低误识别率。

1 卷积神经网络原理

卷积神经网络能够自动地学习图像信号的内在特征[11],避开人工设计特征的不足,在机器学习领域引起了广泛重视。

它通过小尺寸卷积核的卷积操作来模拟人眼对图像的特征提取过程,每个卷积核都相当于一个特征滤镜。中间层包含多个子图像,称为特征图,每个特征图的所有神经元使用相同的卷积核。值得注意的是,这些卷积核的元素值不是人为设定的,而是通过训练样本学习得到的,因此不需要专门的软件和算法用于特征设计和提取。

本文采用的基本网络结构如图1所示。除输入的图像外,网络分为6 层。从C1到S4为两次卷积与下采样交替处理过程,H5是对S4中全部像素的重新排列,形成单像素大小的特征图像。全连接输出层O6采用Softmax 函数输出,其中最大输出值所对应的神经元为有效类别。

图1 本文用于车脸识别的卷积神经网络

卷积神经网络本质上依然属于误差逐层反向传播的BP 网络,是BP 网络在二维平面图像上的扩展。其中,卷积和下采样环节的前向传播过程为

(1)

式中:xj——当前层的第j个特征图;

down()——1/4下采样操作,即池化操作,本文采用最大值方法;

f()——激活函数,本文采用sigmoid()函数;

kij——从前一层第i个特征图到当前层第j个特征图进行卷积运算所用的卷积核;

bj——偏置量。

卷积神经网络采用有监督的训练方法,以每批样本的总体均方误差作为代价函数。权值的迭代更新是利用梯度下降法,在反向传播中采用反向卷积操作,其残差反向传播公式为

(2)

式中:up()——上采样操作;

δi——当前层的第i个特征图的残差;

2 引入角度约束的卷积神经网络

对于单纯的车脸图像,上述卷积加全连接的常规卷积神经网络已经可以较为准确地予以识别。但由于车辆的视角随时可能变化,导致基于基本卷积神经网络的整车识别错误率较高。如果加入更多的约束信息,则有可能提高识别率。因此,在不增大网络规模的前提下,将车辆的角度数据作为约束量引入卷积网络。试验结果表明,这一方法可以较大幅度地提高识别率。

在两个卷积层和一个全连接层加入样本的角度信息θ=[α1α2]T,α1和α2分别为仰角和水平角,此时卷积神经网络如图2所示。

图2 加入角度控制量θ的卷积神经网络

图2中,w(1),w(3),w(6)分别是θ作用于第1层、第3层、第6层的权值矩阵,在初始化时均设置为随机的小数,并在样本训练的过程中不断学习更新。对于w(6)的训练,将θ加入H5的神经元矩阵中作为其最后面两个元素。同时,将w(6)合并到原来的全连接权值矩阵,成为原矩阵的一部分,则软件中的正向和反向运算代码不需要改变。

对于C1和C3两个卷积层,前向传播修改为

(3)

本文取l为1或3,wj=[w1jw2j],其中两个权值对应于α1和α2。反向传播时,第i个特征图的残差δi的计算方法不变,见式(2)。利用δi可计算w(1)和w(3)的更新量Δwi,即

(4)

式中:sum(x)——对矩阵x的所有元素求和,结果是一个标量。

3 样本生成方法

本文所采用的试验样本是对基础样本采用图像平移、旋转、加噪、亮度变化等数字图像处理手段后产生的。其中,基础样本是实际拍摄和手工抠图后的车辆图像,包括“整车图像”“无车牌整车图像”“正面车脸图像”3种图像集。

3.1 整车基础样本

从实际车辆采集包含完整车身的图像,有的来自于静止停放的车辆,有的来自视频中正在行驶的车辆。通过手工的方式将整个汽车从照片中取出,并根据车辆型号做好标记。拍摄轿车图片时,采用了10种不同的角度,即2 种仰角(10°和30°)、5 种水平角(-60°,-30°,0°,30°,60°),如图3所示。因此,每辆车得到10张不同角度的图片作为基础样本。

图3 10种拍摄角度示意

在实际车辆的识别中,待识别车辆(如被盗车辆和逃逸车辆)只是全部车辆型号的一部分,因此需要设置“其他”类。其他类样本选自各种其他车辆,是一个多种品牌车辆样本的杂合集。

图4为部分车辆图像。图4(a)为20种轿车10个不同角度的图片。图4(b)是13种其他轿车的正面图片。

3.2 车脸基础样本

“车脸”为轿车前灯及其以下的一个矩形区域。本文首先选择车脸作为测试对象,原因如下:一是车脸包含丰富的纹理细节,最能代表车辆的特征,具有较强的区分能力;二是车脸部分受环境光的影响比较小,不会像前盖和挡风玻璃那样容易反射建筑物和树木的影像,也不受车内物品和人物的影响,因此图像更加稳定。

3.3 试验样本生成方法

采用数字图像处理技术对基础样本做如下变换,以生成试验样本。试验样本为灰度图像,其分辨率为80×40 (用于车脸识别)和40×40 (用于车身识别),变换效果示例如图5所示。

图4 各种角度的图像样本

图5 车脸图像的单项变换效果示例

(1) 亮度变化 模拟环境光的不同强度,采用0.5和1.5两种亮度变化系数,结果如图5(b)和图5(c)所示。

(2) 倾斜角变化 模拟实际拍摄过程中的角度微变,采用两种倾斜角度(±2°),如图5(d)和图5(e)所示。

(3) 平移变换 模拟车辆图像提取过程中的位置偏差,dx和dy均采用±2像素,共4种平移量,如图5(f)～图5(i)所示。

(4) 添加噪声 添加强度分布在0.5～1.0的随机噪声,以模拟图像被污染的情况,如雨天效果如图5(j)所示。试验中采用有噪声和无噪声两种情况。

在实际试验中,上述4种变换将全部实施。假设一个测试中的基础样本有20 类,每类10个基础样本,另外还有13个其他类样本,则混合变换后的试验样本数目N则是一个比较大的数目,即

3.4 叠加背景

为了测试含背景的整车车身识别,在生成试验样本的基础上,为每个样本添加背景。本文选择了32 种背景,随机选取一个背景叠加在样本后面。

4 试验结果

本文所用程序代码是在深度学习工具箱(Deep Learn Toolbox)基础上根据前述算法修改而成,运行于MATLAB中,操作系统为WINDOWS 7,采用Intel I5 CPU,2.7 GHz双核。

4.1 针对车脸图像的轿车款式识别

由于不同类型(如卡车和轿车)车辆之间外观差异大,容易识别,而相同类型的车辆之间辨别难度较大,因此本文选择轿车作为研究对象,尝试在不同型号的轿车之间进行分类识别,并以轿车的“车脸”作为依据进行车辆款式识别测试。在车脸识别试验中,只采用正面图像,即水平角度为0°,俯视角度为10°和30°的两种图像,也就是图4(a)中每种轿车图像的前两张。提取出的车脸图像被缩放到80×40像素的尺寸,不含背景。

考虑到测试样本的实际尺寸,C1和C3的卷积核大小均设为5×5。C1和S2均有6个特征图,C3和S4均有8个特征图,H5则有952个神经元。全连接输出层O6含21 个神经元,其中Softmax函数结果的最大值所对应的神经元为有效输出类别。

取20种轿车(每种有0°和30°仰角的两个图像)和一个其他类(含13 种不同轿车的图像)的基础车脸样本,得到的试验样本共有4 770 个。

将样本随机分成训练集和测试集,如测试集含3 300个样本,训练集含1 470 个。以50个样本为一批,利用图1所示的CNN网络进行测试,学习率设为0.7,结果如图6所示。

图6 车脸识别测试集测试结果

由图6可以看出,在训练46 代后,网络几乎能够对测试样本(以及训练样本)完全识别,测试集的识别误差降为1.56%。这说明在本文的样本空间中,卷积神经网络对车脸图像的识别效果非常好。

4.2 含背景的整车识别

为了进一步测试卷积神经网络的识别能力,对轿车车身进行整车识别测试,采用图4中的整车图像,并含有背景内容。试验样本包含有牌照和无牌照两种情况。试验样本数量为36 000个。

对于整车识别测试,不需要对整车基础样本做进一步的裁剪,只需将整车图像缩放到指定的尺寸即可,本文采用40×40像素的车身图像。卷积神经网络的输入图像也设置为40×40,输出层O6设为20个神经元,网络的其他配置不变。以每100个样本为一批进行训练。

将上述样本送入常规卷积神经网络中测试,并采用变学习率(从0.7逐步减小到0.1)。调整参数反复测试,最好的结果如图7所示。

图7 多角度含背景的整车图像无约束测试

由图7可以看出,误识别率可以较快地降低至15%左右,其后下降得非常缓慢,训练110代时有10%的误识别率,到300 代时依然有6.89%。可见,在多角度含背景的情况下,卷积神经网络的误识别率较高。

利用图2的约束卷积神经网络对含背景的整车试验样本进行训练和测试,结果如图8所示。由图8可以看出,在其他参数设置相同的情况下,带角度约束的网络具有较快的收敛速度,当训练到300 代时,新网络将原来6.89%的误识别率降低到了2.83%,降幅为4.06%。因此,加入角度约束的方法是有效的。

图8 有无角度约束的结果对比

4.3 约束信息的获取

(1) 车辆角度信息的获取 车辆角度信息的获取并不困难。在基于地面约束的条件下,依据普通单目摄像机的内外标定参数和摄像机投影原理,通过单目视频图像即可确定车辆的运动方向、车身水平角度和仰角数据。当然,这需要预先对摄像机进行参数标定。虽然目前道路视频监控中所用的摄像机大多未经过标定,摄像机标定需要一定的额外工作量,但基于定标摄像机的监控系统显然是未来发展的方向。

(2) 其他约束信息 在卷积神经网络的图像识别中,不但可以加入角度信息,也可以加入其他约束信息,如天气信息(下雨、阴天、晴天、沙尘、下雪)等,这样更有利于神经网络的识别。

5 结 语

车辆款式识别技术具有很高的应用价值,特别是对于追踪被盗车辆和肇事逃逸车辆,款式识别可以大大降低人工排查的工作量。本文对轿车款式进行了细分识别。试验结果显示,对于正面的车脸图像(稍有角度偏差和透视形变的图像可以通过仿射变换转换为正面图像),卷积神经网络可以达到较高的识别率。对于含有背景的整车识别,识别误差较高。将角度值引入卷积神经网络,作为一种约束量,在一定程度上提高了识别率。

在后续的工作中,将进一步开展理论研究,扩大测试范围,并尝试将成果应用于实际的车辆监测系统中。

参考文献：

[1] TOK Y C A.Commercial vehicle classification system using advanced inductive loop technology[D].Irvine:University of California,2008.

[2] 马蓓,张乐.基于纹理特征的汽车车型识别[J].电子技术,2010,23(2):94-97.

[3] 华莉琴,许维,王拓,等.采用改进的尺度不变特征转换及多视角模型对车型识别[J].西安交通大学学报,2013,47(4):92-99.

[4] 康维新,曹宇亭,盛卓,等.车辆的Harris 与SIFT 特征及车型识别[J].哈尔滨理工大学学报,2012,17(3):69-73.

[5] ZHOU Z Y,DENG T M,LV X Y.Study for vehicle recognition and classification based on gabor wavelets transform & HMM[C]//International Conference on Consumer Electronics,Communications and Networks.IEEE,2011:5272-5275.

[6] 王年,任彬,黄勇,等.基于神经网络的汽车车型图象自动识别[J].中国图象图形学报,1999,4(8):668-672.

[7] CHEN X Y,XIANG S M,LIU C L,et al.Vehicle detection in satellite images by hybrid deep convolutional neural networks[J].IEEE Geoscience and Remote Sensing Letters,2014,11(10):1797-1801.

[8] THUBSAENG W,KAWEWONG A,PATANUKHOM K.Vehicle logo detection using convolutional neural network and pyramid of histogram of oriented gradients[C]//The 11th International Joint Conference on Computer Science and Software Engineering (JCSSE),2014:34-39.

[9] DONG Z,WU Y W,PEI M T,et al.Vehicle type classification using a semi-supervised convolutional neural network[J].IEEE Transactions on Intelligent Transportation Systems,2015,16(4):1-10.

[10] 赵阳,高磊,赵炫,等.基于车脸特征的车型识别技术及其在公安领域的应用[J].警察技术,2015(3):81-84.

[11] KAVUKCUOGLU K,SERMANET P,BOUREAU Y L,et al.Learning convolutional feature hierarchies for visual recognition[C]//International Conference on Neural Information Processing Systems.Curran Associates Inc,2010,23:14.