基于深度学习的雾天车标识别

曾珍，周欣，魏彪，杨映波

（四川大学计算机学院，成都 610065）

0 引言

随着科学技术的飞速发展以及人们生活方式的不断改变，汽车已经成为了一种更为普遍的交通出行工具。然而，汽车的普及直接导致了交通事故发生率的提高。对于交通事故的处理通常离不开智能交通系统，而车标识别作为智能交通系统中的一个重要部分，其准确率至关重要。近些年来，由于环境污染的影响，室外摄像机采集到的图像质量严重下降，这极大地限制了车标等关键信息的检测识别。因此，雾霾天气下车标识别的研究成为了智能交通系统中的一个重要研究方向。

对于车标识别而言，目前的研究较为成熟[1]，但还有所欠缺。传统的研究方法主要分为车标定位和车标识别两个部分，其中车标定位主要是依据车标与车牌之间的位置关系及先验知识来确定车标的位置，而车标识别则主要根据正负样本提取的特征来进行分类器的学习，从而根据分类器对测试图片进行分类识别。如王玫等提出的基于PCA和边缘不变距的车标识别[6]、杨飚等提出的基于HOG和ASIFT特征的车标二次识别[7]、余烨等提出的前背景骨架区域随机点对策略驱动下的车标识别[8]以及彭博等提出的基于深度学习的车标识别[9]等，这些方法分别从不同的角度对车标识别进行了研究，但是均未考虑雾霾天气情况。

由于使用非雾天图片作为训练集训练得到的网络模型，在检测非雾天摄像机采集到的图片时，其准确率较高，而在检测雾天摄像机采集到的图片时，其准确率严重下降。于是，本文提出了一种基于深度学习与图像去雾相结合的方法。该方法在神经网络的卷积层之前加入图像去雾功能，通过对图片的清晰化处理提高图片中的细节信息，从而提高车标识别的准确率以及智能交通系统的智能性，使其能够在不同的天气情况下均达到较好的识别效果。

1 改进的Faster R-CNN

为了提高雾霾天车标识别的准确率，在传统的Faster R-CNN[10]卷积层之前加入了图像去雾算法，如图1所示，通过对测试图片的去雾处理实现图像增强，突出图片中的细节信息，从而提高车标识别的准确率。

1.1 图像去雾

传统的图像去雾方法主要有以下几种：直方图均衡化算法、多尺度Retinex算法以及暗通道优先算法。其中直方图均衡化算法及多尺度Retinex算法是基于图像处理的增强方法，而暗通道优先算法则是基于物理模型的复原方法，其主要是从物理复原的角度对图像进行清晰化处理，关键在于建立准确的物理模型，通过物理模型来实现图像的复原。

在计算机视觉和计算机图形中，雾图形成模型通常表示如下：

（其中I(x)为待去雾图像，J(x)为去雾后图像，A为全球大气光成分，t(x)为透射率）

所谓暗通道先验，即在绝大多数非天空的局部区域里，某一些像素总会有至少一个颜色通道具有很低的值[11]。因此，根据暗通道先验及暗通道的数学定义：

（其中Jc表示彩色图像的每个通道，Ω(x)表示以像素x为中心的一个窗口）

可知，Jdark-＞0。

对上式（1）进行变形可得：

（其中C表示R、G、B三个通道）

因此，根据Jdark-＞0及式（4）可推导出：

此即透射率的预估值。

然而，在现实生活中，雾的存在能够让人感受到景深的存在，因此在去雾的过程中有必要保留一定程度的雾。于是，对上式进行修改可得：

另外，当透射图t的值很小时，会导致J的值偏大，从而使图像整体向白场过度。因此可以设置一个阈值t0，当t值小于t0时，令t=t0。于是，最终的图像恢复公式如下：

因此，根据雾图形成模型、暗通道先验理论及雾图来还原无雾图片的过程即图像去雾的过程。

1.2 提取特征图

在模式识别研究领域中，卷积神经网络[12]通常是一个包含多个隐层的神经网络，它通过对底层特征的逐层组合来形成更加抽象的高层特征，从而根据高层特征来区分不同的物体类别。其基本结构如图2所示，主要包括以下几层：输入层、特征提取层、特征映射层、全连接层以及输出层。其中Cx为特征提取层，Sx为特征映射层，fx和wx为乘性偏置，bx为加性偏置，σ为sig⁃moid函数。

图2 卷积神经网络基本结构

其中特征提取层也叫卷积层，通过不同的卷积模板可以提取到不同的局部特征，如边缘特征、角点特征等。特征映射层也叫下采样层，通过对来自卷积层的特征图进行下采样，保留特征图中的有用信息而减少无用信息，从而达到压缩数据集、减少参数数量的目的[13]。

因此，对图像去雾处理得到的图片进行逐层特征提取，即可得到一张该图片的特征图。

1.3 生成候选区域

RPN（Region Proposal Network）是一个全连接的卷积神经网络。它的核心思想是使用卷积神经网络直接产生候选区域，即根据输入的特征图，输出300个矩形候选区域，此300个矩形候选区域基本覆盖了所有目标可能区域。

RPN生成候选区域的过程中主要运用到了滑动窗口技术及anchor机制。通过滑动窗口技术可以保证滑动窗口在特征图上只需滑动一次即可，而anchor机制则可以在每一个锚点处生成多尺度多长宽比的候选区域，从而使得RPN网络具有平移不变性。

其具体实现方式如下：在卷积得到的特征图上，用一个3×3的滑窗，生成一个长度为512维（对于VGG网络）长度的全连接特征。在这个512维的特征后产生两个分支的全连接层：reg-layer，主要用于预测pro⁃posal的中心锚点对应的proposal的坐标及宽高；clslayer，主要用于判定该proposal是前景或是背景。

1.4 检测候选区域

对于RPN生成的尺寸不定的候选区域，通过ROI pooling层输出尺寸固定的候选区域特征图。其具体实现方式如下：首先，根据输入图片image，将ROI映射到特征图对应位置；其次，将映射后的区域划分为相同大小的sections；最后，对每个sections进行最大值池化，即可根据输入的尺寸不定的候选区域生成尺寸固定的候选区域特征图。通过全连接操作及Softmax的分类即可判别该候选区域是否属于某一个特定类，对于属于某一特定类的候选框，用回归器进一步调整其位置[14]。

2 处理流程

2.1 图像去雾

（1）根据原图计算暗通道图

①读入原图；

②获取原图每个像素点RGB分量的最小值，存入一幅与原始图片大小相同的灰度图中；

③对灰度图进行最小值滤波，即可得到暗通道图。

（2）借助暗通道图从有雾图片中获取全球大气光A的值

①从暗通道图像中按照亮度的大小提取最亮的前0.1%个像素点，将这些像素点的坐标存放于一个数组中，并将坐标对应位置的像素值置为0；

②根据坐标在原图片的三个通道内找到这些像素点并加和得到 sum_r，sum_g，sum_b，取平均得到 Ar，Ag，Ab，并以此作为 A的值。

（3）根据A的值及暗通道先验理论求出透射率

设置参数ω=0.98，利用输入图片、求解的A值及参数ω根据公式（6）计算透射率。

（4）导向滤波细化透射率

用所求的透射率图作为导向图对原图进行导向滤波[15]。

（5）求解去雾后图像

设置阈值t0=0.1，利用输入图片、求解的A值，求解的透射率及阈值t0根据公式（7）求解去雾后图像。

2.2 提取特征图

将图像去雾处理后得到的图片传入卷积神经网络中，通过一共13层卷积层和5层池化层的卷积神经网络逐层组合底层特征，从而得到一张更加抽象的高层特征图。

2.3 生成候选区域

在生成的特征图上使用3×3的滑动窗口及anchor机制（比例为 1：1 1：2 2：1），生成 300 个矩形候选区域。

2.4 检测候选区域

将生成的300个候选区域通过ROI pooling生成尺寸固定的候选区域特征图，然后通过全连接层及Softmax进行分类。最后对分类得到的矩形框进行bbox回归，调整矩形框的位置，使其更加精确。

3 实验与分析

3.1 实验环境

本文的车标图片来源于高架桥交通违章拍照摄像机所拍摄到的车辆图片，共有10种车标合计966张，其中训练集800张，测试集166张。本实验在NVID⁃IA GeForce GTX 1070 GPU、Intel Core i7-6700K CPU、4G内存的Ubuntu平台下运行。

训练样本及测试样本图片大小均为2448×2144的摄像机拍摄图片，图3为经过处理后的10种车标图片实例，其中车标种类分别为奥迪、奔驰、现代、大众、别克、雪佛兰、本田、丰田、标致及雷克萨斯。

图3 10种车标图片实例

3.2 数据测试与比较

为测试雾天车标识别的效果，进行了如下实验：实验一对引言中提到的四种车标识别方法与本文实现的方法进行了对比；实验二对文中提到的三种常见的图像去雾算法的效果及运行时间进行了测试；实验三对图像去雾算法中参数调整对识别准确率的影响进行了测试；实验四对经过图像去雾处理和未经图像去雾处理的雾图车标识别准确率进行了测试。

表1为四种车标识别方法与本文提出的方法在雾天车标识别上的比较。通过比较可以发现，其他方法均未考虑雾天车标的识别，而本文提出的方法能很好地处理雾天车标识别的问题。

表1 车标识别方法比较

图4为三种图像去雾算法测试得到的效果图，其中（a）为测试原图，（b）为经过直方图均衡化算法处理后的效果图，（c）为经过多尺度Retinex算法处理后的效果图，（d）为经过暗通道优先算法处理后的效果图。根据测试效果图的对比可以发现，三种算法均实现了图像去雾功能，其中暗通道优先算法要较其他两种算法更好，图像复原的结果更加接近真实情况。

图4 三种图像去雾算法效果比较

表2则为三种图像去雾算法运行时间结果。通过数据比较发现，暗通道优先算法运行时间不是三者中最短。但是，针对车标识别研究而言，选择去雾效果更好且运行时间适中的暗通道优先算法是一种更优的选择。

表2 三种图像去雾算法运行时间比较/单位ms

图5为图像去雾算法中参数ω及阈值t0的调整对车标识别准确率的影响。通过数据对比发现，ω取0.98，t0取0.1时，车标识别的准确率达到最高。

图5 参数调整对比图

表3为测试图片是雾图且识别过程中未经去雾处理得到的测试结果。根据表中数据分析可知，使用非雾图作为训练集训练得到的网络模型，用于测试雾图得到的测试结果正确率较低。其主要原因是雾霾天气下摄像机采集到的图片质量不高，图片较为模糊，导致很多重要的细节信息损失，从而导致车标识别的准确率受到了很大的限制。

表3 雾图且未经去雾处理测试结果

表4为测试图片是雾图且识别过程中经过去雾处理得到的测试结果。根据表中数据可以发现，经过图像去雾处理后各种车标识别的准确率均有了很大提升。由于表3与表4中测试图片均为同一批测试图片，因此对比两个表中的数据可以说明，经过图像去雾处理后的车标识别准确率要比未经图像去雾处理的车标识别准确率有了明显的提高。但是，由于测试样本集数量较少且一些车标类似的原因，导致一些车标类别，如雷克萨斯、本田、丰田等识别的准确率不是很理想，但是这些准确率均在未经图像去雾处理的准确率上有了很大的提高。

表4 雾图且经过去雾处理测试结果

另外，针对测试图片为非雾图的情况也进行了测试比较。测试结果表明，经过去雾处理的车标识别准确率较未经去雾处理的识别准确率有稍微的提升。

因此，不论测试图片为雾图或非雾图，图像去雾与深度学习相结合的方法均能保证车标识别较高的准确率，有效地解决了实际应用中雾天车标识别的问题。

4 结语

本文以雾天车标识别为目的，研究并提出了一种基于深度学习与图像去雾相结合的方法，从实验结果上看，本文提出的方法对雾天车标识别的准确率有了明显的提升。与以往的算法相比，本文算法不仅能对正常天气下图片进行较高准确率的识别，对雾天图片的识别也能达到较高的准确率。另外，本文算法思想不仅对雾天适用，同样也可以推广到其他恶劣环境下车标识别的研究。并且，车标识别作为车辆识别的一个重要辅助，还可以与车牌识别、车型识别等相结合，进行二次识别处理，从而达到更高的车辆识别准确率。