多路卷积神经网络的轮胎缺陷图像分类

崔雪红，刘 云，王传旭，张 岩，李 辉

(青岛科技大学 信息科学技术学院，山东 青岛 266061)

0 引 言

目前轮胎生产企业对轮胎缺陷的检测过程一般常采用360°全景X光机首先对整条轮胎进行扫描成像，然后再根据成像图片人工检测缺陷并给定其缺陷类型。这一过程并没有实现工业的全自动化，既费时又费力，而且存在工人疲劳或工作态度的问题给轮胎检测及分类带有很大的主观性，从而会影响对轮胎缺陷产生原因的分析及对轮胎质量的判定，这将带来潜在的经济损失甚至生命安全。近年来，我国相关人员也提出了许多轮胎缺陷检测算法[1-9]，而这些系统只带有检测缺陷的功能，而没有分类缺陷的功能，这就需要在后期的工作中人工再次对其确认并且进行归类，没有实现完全的自动化。现在许多从业者对被检测出的轮胎缺陷分类方法也有一定的研究，如文献[10,11]中的方法只能对胎侧帘线缺陷进行识别分类，而不能分类其它缺陷。虽然文献[11]中的算法能够高效分类出各区域的缺陷，但是它的特征提取复杂，通常需要相关专业人员的参与。又因为很多不同类轮胎缺陷的特征具有较大的相似性，而相同类缺陷之间又存在较大的差异，这些复杂的特征对设计特征提取器和分类器设计都带来了巨大的挑战，通常需要较专业的知识或启发式方法[12]。而且人工设计的分类器与人工提取的特征之间往往适应性也较差。总之，在传统分类任务中，为了刻画复杂的真实数据，监督和半监督的学习方法及精致的特征被选择来捕捉有关的信息。

然而，一方面，为每个任务来刻画特定区域的精致特征是昂贵的、耗时的并且要求专业的知识；另一方面，能够很好提取图像局部信息的wave小波、gabor小波及ICA滤波器[13-15]等，它们与人类视觉系统中简单细胞的视觉刺激响应非常相似[16,17]，具有良好的方向选择和尺度选择特性，对于图像的边缘敏感，然而它们的滤波器是人为预先定义的、固定的，其缺点不能适应各种缺陷图像特征。与此相反卷积神经网络[18,19]，其权重(滤波器)是利用监督式的后向传播自学习的，能够适应缺陷图像的特征。CNN具有更强的特征提取能力而且不要求人的参与。又鉴于近来深度网络在基准数据集上已取得很多先进的结果，并解决了许多人工智能的困难问题。因此，本文为了探索高性能的轮胎缺陷分类算法在实际工业中的应用，提出一个由5通道卷积神经网络(convolutional neural networks，CNN)组成的多对比度卷积神经网络(multi-streams convolutional neural networks，MS-CNN)，其中5个单CNN网分别在不同对比度图像库上训练。单个CNN可以是任何经典的网络结构，例如：Alexnet复现模型、LeNet、VGG、Googlenet等网络模型。鉴于运行时间与分类准确率之间的考虑，本文选择Alexnet复现模型作为本模型的单网。

本文的主要贡献概括如下：①探索基于深度学习的图像分类算法能否应用到具有多纹理、类内特征变化较大，而类间特征却又存在较大相似性的轮胎缺陷图像分类任务中。②本文利用数据扩充来缓解网络的过拟合问题，进一步提高识别的准确率。③提出一个多对比度卷积神经网络，并将其应用到轮胎缺陷的分类任务中，与其它先进方法相比获得了最好的表现。

1 多对比度卷积神经网络

1.1 单路CNN结构

作为深度卷积神经网络的里程碑，AlexNet复原模型是一个具有深远意义的结构，即结构图为图1(a)，其卷积层与最大池化层基本交替出现，每一层的输入只来自于上一层的输出，如图1所示。这一结构已在文献[24]中验证，并在分类准确率上取得96.51%的好成绩，它由输入层、卷积层、池化层和全连接层组成的。是一个从输入层Input输入图像，卷积层(Conv)卷积提取特征、最大池化层来降采样(Max-poling)、全连接层逐层融合特征直到最后使用softmax函数输出分类结果的过程。对于输入层的输入图片，鉴于轮胎缺陷的尺度和网络对输入数据的要求，每个输入图像都被缩放成127×127的固定大小。其中5个卷积层(其卷积滤波器的大小分别为11×11，5×5，3×3，3×3和3×3，卷积步幅为4)与3个降采样层(3×3的最大池化)基本成间隔出现，当前卷积层输出的每个特征图是由卷积核与前一层一个或几个特征图进行卷积组合的结果。以Layer1为例，卷积滤波器的大小是11×11，卷积步幅为4，本层共有96个卷积滤波器，本层的输出则是96个30×30大小的特征图。3个最大池化层，将不同位置的特征进行聚合。池化技术不仅可以降低特征的维数，改善结果(缓解过拟合)，还可以保持平移不变性，提高特征的鲁棒性，所以经过卷积池化后所提取的特征依然能够对畸变的输入样本表达其本质的特征，以避免误分类。网络的最后3层是全连接层,分别简称为fc6、fc7和fc8，其中fc6和fc7是含有4096个神经元的隐层，而fc8层则为6类的softmax函数输出。此网络用到了Hinton的改进方法(在全连接层加入ReLU+Dropout)，缓解了严重的梯度消失问题及网络的过拟合问题并且大大缩短了学习周期。

1.2 训练单路CNN

训练单路CNN的过程如图图1(b)所示：训练前，首先预处理(P0-Pn，其中P0表示无预处理操作)现场采集的数据库，然后经过不同的扭曲操作(D0-Dn，其中D0表示无扭曲操作)分别在指定范围内随机扭曲所有的原数据库和预处理数据库3次来扩充各自的数据库作为各单路网络的输入。其中扭曲操作(D)是在指定的范围内随机的扭曲，例如在0.9-1.1范围内图像缩放，在±10%范围内进行平移以及在±5°的范围内进行旋转。最后，通过双线性插值把预处理图像和其扭曲图像统一缩放到127×127的固定大小。使用扩充数据训练具有大量参数的CNN以此来解决网络的过拟合问题，进一步提高识别率。本文采用随机梯度下降法来训练网络。

图1 多对比度卷积神经网络结构

1.3 MS-CNN

构造多对比度卷积神经网络的过程是对原始数据库进行不同的预处理操作P；然后对所有的原数据库和预处理数据库在指定范围内随机扭曲图像3次作为训练网的输入来训练网络；最后平均各路CNN的输出作为MS-CNN的最后类概率输出。本文通过组合5个单路CNN来构造MS-CNN，其每类的概率输出是平均化5路CNN输出概率的结果。在训练前，本文网络5路CNN的权重参数是在[-0.05,0.05]范围内通过均匀随机分布取值。原始数据和它的扭曲数据作为1个单路CNN的输入来训练其网络，另4种不同方式的预处理(具体实现在2.2节)图像和它们的扭曲(具体实现在2.3节)图像分别作为另4个单路CNN的输入来训练其各自的网络。最后的结果是这5路CNN概率输出的均值。其中一个关键问题是是否需要优化组合多个模型的输出？然而在文献[20]，已实验验证了仅通过简单的平均化多路DNN输出概率的表现要高于多路DNN线性组合的表现。又如果P个不同模型的误差具有零均值和不相关性，那么平均误差也只通过平均化这P个模型的误差就可以降低[21]。而实际上，在相似数据上训练的多个模型具有非常高的相关性。为了克服这种问题，本文模型MS-CNN是组合5个不同输入的CNN，然后采取简单的平均化各路CNN输出作为MS-CNN的类概率输出。但是，在本文配置环境下，无论训练还是测试阶段，5路联合网所需的时间都是单个网络的5倍，测试时每秒可以处理9张图片。然而在实际工业应用中，对实时性具有较高的要求。为了提高实时性，可以在5个不同的GPU上并行运行这5路不同输入的网络来实现和单网一样的速度，即每秒可以处理45张图片，但是增加了硬件成本。

2 数据集

2.1 数据源

轮胎是由尼龙丝、帘布及橡胶等不同材料相互交叠而制成的多种结构，在生产过程中易受设备及工艺水平等因素的影响而出现多种缺陷，如：胎冠异物、胎侧异物、胎侧气泡、胎冠连线开和胎侧连线开根等。目前对子午线轮胎进行无损缺陷检测通常先用全景X光进行透射成像。但是由于轮胎内部结构复杂并且各区域又由多种不同的材质组成，这使得X射线透过轮胎时，不同材质的区域对X射线的吸收率不同，致使传感器上采集到的辐射量就不同，从而会形成灰度等级不同的轮胎X射线图像[15]。一段轮胎X射线图像结构如图2所示(图像由软控股份有限公司提供)，自左至右的分割区域依次为：胎圈、胎侧、胎冠、胎侧、胎圈。

本文原数据集由1582张属于5类缺陷图像和1类正常图像组成，即胎冠杂质、胎侧杂质、胎侧气泡、胎冠连线开和胎侧连线5类缺陷和1类胎侧正常图像。这些图像都来源于中国某一著名轮胎生产企业生产线上的缺陷检测系统的检测结果。并且保持数据集中每种缺陷样本的比例与生产线上缺陷出现的比例一致，每幅图像由人手工标注，并对其组成轮胎缺陷库。然后依据文献[22]的比例把缺陷库随机划分训练集、验证集、测试集(即按每类缺陷的20%随机选取作为验证集，再随机选取20%作为测试集，把剩余的图像作为网络的训练集)数据样例如图3所示，从上到下依次是胎侧杂质、胎冠杂质、胎冠连线开、胎侧气泡和胎侧连5种缺陷和1类正常胎侧图像。

图3 原数据集样例

2.2 图像预处理

本文使用对比度归一化图像预处理操作来提高图像之间的对比度。下面简要介绍4种标准的对比度归一化方法。

直方图均衡化：是通过变换原始图像的像素值使其扩大像素灰度值的动态分布范围以提高图像整体对比度的效果。即是把原始图像的直方图变换为均匀分布的形式。该算法对像素值分布比较均衡的图像来说，算法的效果较好，因为它是对整幅图像像素使用相同的直方图变换方法。在MATLAB R2009b，Histeq函数可以实现该功能，该算法作用于整幅图像，可以对整幅图像提高其全局对比度。

自适应直方图均衡化：它可以通过计算图像的局部直方图，重新分布亮度来改变图像对比度。该算法更适合改进图像的局部对比度来获得更多的图像细节。在MATLAB R2009b软件中，Adapthisteq函数提供该功能，该算法作用于图像块而不是整幅图像。

图像灰度变换：将原灰度图像中的亮度值映射到输出图像中的新值，增强输出图像的对比度。在MATLAB R2009b图像处理工具箱中，Imadjust函数可以实现该功能。

Sermanet对比度方法：文献[23]提出的图像对比度增强方法，是用不同的高斯滤波器滤波输入图像来增强图像边沿。本文使用5×5的滤波器。

以上4种对比度归一化操作均在灰度空间上执行，图4显示出轮胎缺陷图像进行各种对比度归一化前后的对比。

图4 轮胎缺陷图像各种对比度归一化前后对比

2.3 数据扩充

在轮胎的工业生产中，由于诸多生产工艺和轮胎结构复杂的因素，使缺陷产生具有不确定性，产生的缺陷大小、长宽比及形状各异，其缺陷大小分布在50×50～200×500像素之间。为了满足卷积神经网络对输入图像的要求，需统一缺陷图像的大小，并且要使统一尺寸后的图像能较好的保留其图像内部的缺陷特征，同时也要考虑计算成本。在本文中，首先通过双线性插值法将检测分割出来的每幅缺陷样本缩放到127×127像素大小，即：给定一个矩形图像,首先把图像的短边长度缩放成127，然后从结果图像的中心剪辑出127×127图像块，最后用这些图像组成轮胎缺陷库。在基于深度学习的任务中，足够数量的训练样本能够避免严重的过拟合问题。不同的应用下，可以使用图像几何变换方法来增加训练模型的输入数据。在本文中，我们使用图像扭曲的方法来扩充训练集。其中，扭曲是在指定范围内随机的平移、缩放、旋转并把其应用到原图像及每种预处理图像上，例如：图像大小以0.9-1.1的比例随机缩放，±10%的图像平移和±5°的旋转。

3 实验结果

本文算法的仿真环境为3.60 GHz 4-core CPUs和16 GB RAM电脑配置及Ubuntu 16.04,caffe和python 2.7软件平台。训练集包括原始图像、预处理图像及分别联合它们的诸如旋转、平移、缩放的扭曲图像来训练各种CNN；而验证集仅包括没有变形的原图像及每种预处理图像。当验证误差接近于零或者达到指定次数的迭代时模型训练结束。本文网络的5路CNN权重参数是在[-0.05,0.05]范围内通过均匀随机分布取值，使用ReLU作为每个神经元的激活函数。

单路CNN共计12层，表1给出网络的各层参数。使用127*127固定大小的图像作为本章网络的输入，通过反复卷积和池化激活操作，然后结果纳入全连接层将数据流分成6类；考虑到轮胎缺陷库是小规模数据集，为了防止错误率下降过快，可以将初始学习速率LR值设为0.001。网络训练时的各参数使用文献[22]网络训练时所设置的参数，在此仍使用CPU求解模型(slover_mode)来求解。

表1 网络各层参数

图5中，图5(a)是网络第一个卷积层的已训练好的96个滤波器，图5(b)是第二个卷积层的256个滤波器，图5(c)和图5(d)分别是其滤波器的各自滤波特征。在训练前，这些滤波器被随机的初始化，然后学习输入图像的点、边及形状的响应。从图5可以看出，第一个卷积层的卷积核权重是非常平滑的，这暗示着具有很好的收敛性；第二个卷积层的卷积核权重虽然是不可解释的，但是它们的滤波图像仍然是平滑的、能保持良好的形状并且不含有噪声。

图5 已学习的滤波器和其相应的滤波特征

在Intel(R) Core(TM) i7-4790 CPU @ 3.60GHz电脑上，训练5路MS-CNN用时41小时。测试时，每秒处理9张图片。本文多对比度卷积神经网络共包含5个单网，每个单网的输入分别为原图像联合它的扭曲图像及4个不同的对比度图像联合各自的扭曲图像。表2显示出每个单网在不同归一化图像上的分类准确率以及组合网(MS-CNN)的分类准确率。从表2可以看出，5路单网组合的多对比度卷积神经网络(MS-CNN)获得了高达98.43%的分类准确率，相对于任何单个CNN的识别率都取得了较大幅度的提高。

表2 MS-CNN算法和它的5个单CNN的测试识别率

为了探索用多少个单路CNN构造的MS-CNN能获得的识别率最高，本文给出了1路、3路、5路MS-CNN在验证集上的性能对比(如图6所示)。从图6可以看出5路的MS-CNN识别率最高，达到99.12；其次是3路MS-CNN，识别率是98.87；最低的是1路MS-CNN，其识别率为98.33。无论在实验上还是在理论上都表明用更多的单路CNN来构造的MS-CNN会对分类效果有所提高。但是每增加1路都会增加计算图像预处理操作和1路CNN的计算成本或硬件成本，故可以根据实际应用的要求来确定MS-CNN的路数。

图6 不同个数CNN的组合算法识别率对比

为了验证本文算法的性能，在相同数据集下，采用目前最为广泛使用的算法(如：PCA+BP神经网络、空间金字塔匹配算法(KSPM)、具有空间位置关系的稀疏编码分类算法(ScSPM、LLC)以及LeNet网络)与本文算法的性能作比较并给予分析。表3显示了各算法的实验结果，其中KSPM-400-2和KSPM-200-3算法中的400和200分别代表字典的大小，2与3表示金字塔层数。

从表3可以看出，本文算法的验证分类正确率都明显高于其它算法的分类准确率，测试识别率也都略高于其它算法的分类正确率。导致测试识别率低于验证识别率的因素较多，例如，缺少足够的、全面的训练样本或参数设置没有最优化等因素，又因CNN本身就具有大量的参数，所以训练出泛化能力强的卷积神经网络就需要大量的训练样本。近年来，ScSPM09和LLC10是经典的成功算法，在自然图像分类方面均取得了较好的成绩。但是KSPM、ScSPM09和LLC10等传统的机器学习算法都需要相关工程人员的参与或以专业知识为指导来设计特征提取器和分类器，并且设计的好坏直接影响算法分类的效果。在本文中，这3种算法均采用sift特征提取器提取特征，前一个算法使用的是线性SVM分类器，而后两个算法则使用的是非线性SVM分类器。

该文不仅给出与其它6种算法测试识别率的比较，还给出每类缺陷的识别情况，每类缺陷的识别情况见表4。

表4 每类测试样本的分类结果

由表4数据可知：

(1)轮胎气泡缺陷的识别率最低，其次是正常胎侧图像，这两类图像很容易被互为误判。正如文献[22]所分析的：由于轮胎气泡缺陷图像具有弱边缘的特点，这使得与正常胎侧图像的特征极为相似，这是导致互为误判的主要因素。

(2)除气泡缺陷识别率较低外，其余所有类型的缺陷识别率都比较高。这主要归功于深度CNN多层性结构，能够对输入的缺陷图像进行逐层的分布式抽象表示，然后网络的全连接层再把分布式特征表示映射到样本标记空间以此达到缺陷图像的分类，其过程仿生能力强。而且采取多路网络策略本身具有更强的分类识别能力。

4 结束语

本文提出的多对比度卷积神经网络的轮胎缺陷X光图像分类算法，在高校软控提供轮胎缺陷数据库的实验中，本文方法较表3列出的前6种方法在识别率上均有明显的提高。实验结果表明，组合单网的个数越多识别率就越高，但其计算成本也随之增大。综合正确率和计算成本及硬件成本来看，本文方法在多纹理轮胎缺陷图像识别上有所提高，验证了将深度学习应用到实际工业中是切实可行有效的。

[1]ZHANG Chuanhai.Texture_invariant detection method for trie crack[D].Jinan:Shandong University,2013:33-37(in Chinese).[张传海.纹理无关的裂纹缺陷检测算法[D].济南:山东大学,2013:33-37.]

[2]ZHANG Ling.The research and implementation of tire defection system with image scaling function[D].Jinan:Shandong University,2015:25-30(in Chinese).[章玲.基于图像放缩算法的轮胎缺陷检测系统研究与实现[D].济南:山东大学,2015:25-30.]

[3]Liu Q,Wang G,Guo Q.Tire defect detection based on radon transform[J].Journal of Computational Information Systems,2015,11(21):7841-7848.

[4]XIANG Yuanyuan.Defect detection algorithm based on image dictionary representation[D].Jinan:Shandong University of Finance and Economics,2015:26-32(in Chinese).[向媛媛.基于图像字典表示的缺陷检测算法[D].济南:山东财经大学,2015:26-32.]

[5]Xiang Y,Zhang C,Guo Q.A dictionary-based method for tire defect detection[C]//IEEE International Conference on Information and Automation.IEEE,2014:519-523.

[6]Zhang Y,Lefebvre D,Li Q.Automatic detection of defects in tire radiographic images[J].IEEE Transactions on Automation Science & Engineering,2015(99):1-9.

[7]Zhang Y,Li T,Li Q L.Detection of foreign bodies and bubble defects in tire radiography images based on total variation and edge detection[J].Chinese Physics Letters,2013,137(30):084205.

[8]Zhang Y,Li T,Li Q.Defect detection for tire laser shearography image using curvelet transform based edge detector[J].Optics & Laser Technology,2013,47(4):64-71.

[9]Guo Q,Zhang C,Liu H,et al.Defect detection in tire X-ray images using weighted texture dissimilarity[J].Journal of Sensors,2016(1):1-12.

[10]SHAO Minghong.Treatment and algorithm research of tires defects detection[D].Jinan:Shandong University,2012:31-36(in Chinese).[邵明红.轮胎缺陷检测的处理和算法研究[D].济南:山东大学,2012:31-36.]

[11]ZHANG Yan.Research on nondestructive tire defect detection using computer vision methods[D].Qingdao:Qingdao University of Science and Technology,2014:45-47,75-90(in Chinese).[张岩.基于计算机视觉的轮胎缺陷无损检测关键问题研究[D].青岛:青岛科技大学,2014:45-47,75-90.]

[12]Anand R S A,Kumar P.Flaw detection in radiographic weldment images using morphological watershed segmentation technique[J].Ndt & E International,2009,42(1):2-8.

[13]Tsai Z D,Perng M H.Defect detection in periodic patterns using a multi-band-pass filter[J].Machine Vision and App-lications,2013,24(3):551-565.

[14]Hoyer P O,Hyvärinen A.Independent component analysis applied to feature extraction from colour and stereo images[J].Network Computation in Neural Systems,2000,11(3):191.

[15]ZHANG Bin,LIN Sen,GAO Shuzheng.Tire impurity detection technology for X-ray image based on image processing[J].China Rubber/Plastics Technology and Equipment,2016(9):50-54(in Chinese).[张斌,林森,高书征.基于图像处理的轮胎X光图像杂质检测技术[J].橡塑技术与装备,2016(9):50-54.]

[16]Serre T,Wolf L,Poggio T.Object recognition with features inspired by visual cortex[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition.IEEE Xplore,2005:994-1000.

[17]Mutch J,Lowe D G.Object class recognition and localization using sparse features with limited receptive fields[J].International Journal of Computer Vision,2008,80(1):45-57.

[18]Guo Y,Liu Y,Oerlemans A,et al.Deep learning for visual understanding:A review[J].Neurocomputing,2015,187(C):27-48.

[19]Girshick R,Donahue J,Darrell T,et al.Rich feature hie-rarchies for accurate object detection and semantic segmentation[C]//27th IEEE Conference on Computer Vision and Pattern Recognition.IEEE Computer Society,2014:580-587.

[20]Karpathy A,Toderici G,Shetty S,et al.Large-scale video classification with convolutional neural networks[C]//IEEE Conference on Computer Vision and Pattern Recognition.IEEE Computer Society,2014:1725-1732.

[21]Bishop CM.Pattern recognition and machine learning[J].Journal of Electronic Imaging,2006,16(4):140-155.

[22]CUI Xuehong,LIU Yun,WANG Chuanxu,et al.Defect classification for tire X-ray images using convolutional neural network[J].Electronic Measurement Technology,2017,40(5):168-173(in Chinese).[崔雪红,刘云,王传旭,等.基于卷积神经网络的轮胎缺陷X光图像分类[J].电子测量技术,2017,40(5):168-173.]

[23]Sermanet P,Lecun Y.Traffic sign recognition with multi-scale convolutional networks[C]//International Joint Conference on Neural Networks.IEEE,2011:2809-2813.

[24]Shi J,Zhou S,Liu X,et al.Stacked deep polynomial network based represetation learning for tumar classification with small ultrasound image dataset[J].Neurocomputing,2016,194(C):87-94.