基于深度神经网络的表面划痕识别方法

李文俊 陈斌 李建明 钱基德

摘 要：為实现亮度不均的复杂纹理背景下表面划痕的鲁棒、精确、实时识别，提出一种基于深度神经网络的表面划痕识别方法。用于表面划痕识别的深度神经网络由风格迁移网络和聚焦卷积神经网络（CNN）构成，其中风格迁移网络针对亮度不均的复杂背景下的表面划痕进行预处理，风格迁移网络包括前馈转换网络和损失网络，首先通过损失网络提取亮度均匀模板的风格特征和检测图像的知觉特征，对前馈转换网络进行离线训练，获取网络最优参数值，最终使风格迁移网络生成亮度均匀且风格一致的图像，然后，利用所提出的基于聚焦结构的聚焦卷积神经网络对生成图像中的划痕特征进行提取并识别。以光照变化的金属表面为例，进行划痕识别实验，实验结果表明：与需要人工设计特征的传统图像处理方法及传统深度卷积神经网络相比，划痕漏报率低至8.54 %，并且收敛速度更快，收敛曲线更加平滑，在不同的深度模型下均可取得较好的检测效果，准确率提升2 %左右。风格迁移网络能够保留完整划痕特征的同时有效解决亮度不均的问题，从而提高划痕识别精度;同时聚焦卷积神经网络能够实现对划痕的鲁棒、精确、实时识别，大幅度降低划痕漏报率和误报率。

关键词：亮度不均;复杂纹理背景;表面划痕识别;风格迁移网络;卷积神经网络

Abstract：In order to achieve robust， accurate and real-time recognition of surface scratches under complex texture background with uneven brightness， a surface scratch recognition method based on deep neural network was proposed. The deep neural network for surface scratch recognition consisted of a style transfer network and a focus Convolutional Neural Network （CNN）. The style transfer network was used to preprocess surface scratches under complex background with uneven brightness. The style transfer networks included a feedforward conversion network and a loss network. Firstly， the style features of uniform brightness template and the perceptual features of the detected image were extracted through the loss network， and the feedforward conversion network was trained offline to obtain the optimal parameter values of network. Then， the images with uniform brightness and uniform style were generated by style transfer network. Finally， the proposed focus convolutional neural network based on focus structure was used to extract and recognize scratch features in the generated image. Taking metal surface with light change as an example， the scratch recognition experiment was carried out. The experimental results show that compared with traditional image processing methods requiring artificial designed features and traditional deep convolutional neural network， the false negative rate of scratch detection is as low as 8.54% with faster convergence speed and smoother convergence curve， and the better detection results can be obtained under different depth models with accuracy increased of about 2%. The style transfer network can retain complete scratch features with the problem of uneven brightness solved， thus improving the accuracy of scratch recognition， while the focus convolutional neural network can achieve robust， accurate and real-time recognition of scratches， which greatly reduces false negative rate and false positive rate of scratches.

Key words： uneven brightness; complex texture background; surface scratch recognition; style transfer network; Convolutional Neural Network （CNN）

0 引言

工业产品从配料到最终成型的整个过程中，由于运输、生产工艺等意外情况，表面常存在磕伤、划伤、擦伤等造成的损伤性划痕缺陷，因此，各种表面的划痕识别方法一直都是学者和工业界研究的热点，如表面凹坑缺陷检测[1]、玻璃屏幕表面划痕检测[2]、塑件划痕检测[3]、机械零件表面划痕检测[4]等;但是表面划痕识别检测技术受环境、光照、生产工艺和噪声等多重因素的影响，检测系统的信噪比一般较低，微弱信号难以检出或不能与噪声有效区分，以及由于检测对象多样、表面划痕缺陷种类繁多、形态多样、背景复杂，致使对划痕缺陷的描述不充分，对缺陷的特征提取有效性不高[5]。2012年，胡文瑾等[6]针对复杂的藏族唐卡图像上的垂直划痕利用小波变换实现划痕检测，首先通过计算小波模极大值来描述图像中目标的多尺度边界，然后通过投影变换增强划痕中心亮度的极值特性并采用多尺度检测划痕的可能位置，再根据划痕的宽度、高度以及连通分量筛选出垂直划痕;但是该方法无法适应各种形态、方向下的划痕。2015年，周鹏等[7]针对复杂金属表面提出了将剪切波和小波特征融合的划痕识别方法，剪切波变换可以提取图像在不同尺度、不同方向上的信息，因此对方向性的缺陷识别效果好。2017年，马云鹏等[8]首先从多个方向对金属表面的灰度图像进行转换，然后对多幅图像分别进行灰度波动分析，自适应地改变阈值与步长对图像进行邻域灰度差分割处理，最后利用主成分分析（Principal Component Analysis， PCA）算法将多幅图像压缩至单幅图像实现划痕分割，但是灰度变化不明显的金属表面图像容易出现细节信息丢失等问题以及分割需要时间太长，无法满足工业实时检测要求。郭皓然等[9]针对高光噪声缺陷图像，利用高斯函数的一阶导数构建Canny最优边缘检测器，结合全局阈值的最大类间方差法和形态学图像分割法，对亮度不均的表面划痕图像进行分割从而实现识别;但该算法通用性不强，并且无法保留划痕的完整特征。因此，如何构建准确、鲁棒、实时的表面划痕检测系统，以适应光照变化、背景噪声以及其他外界不良环境的干扰，仍然是目前需要解决的难题。

2016年，Li等[10]针对图像转换中的图像风格迁移问题，提出了由前馈转换网络和损失网络构成的风格迁移网络，使用基于损失网络得到的特征重建损失以及风格重建损失来训练前馈转换网络，生成与模板图像风格一致同时能保留的转换图像生成与模板图像风格一致，同时能够保留原始图像主体特征的转换图像。

此句不通顺，需调整。回复：第一个语句改为：生成与模板图像风格一致，同时能够保留原始图像主体特征的转换图像。

为了克服上述利用人工设计特征的划痕识别方法的不足，本文提出基于风格迁移网络将亮度均匀、背景单一的模板图像风格迁移到待检图像中进行预处理得到输出图像，再利用聚焦卷积神经网络对输出图像进行表面划痕识别。待检图像通过前馈转换网络生成图像，利用损失网络对图像特征进行特征提取，計算生成图像与待检图像以及生成图像与模板图像语义特征之间的均方差损失，然后传回前馈转换网络进行反向传播[11]，迭代更新权重参数。风格迁移网络能够融合亮度均匀模板图像风格特征以及待检检测图像的知觉特征生成亮度均匀保留完整划痕特征的图像，然后利用基于聚焦结构的多尺度卷积神经网络对生成图像中划痕特征进行识别，由于训练集的亮度均匀且风格特征一致，因此网络能更好地针对不同形态、尺寸的划痕特征进行提取进而识别。

1 风格迁移网络

本文基于Li等[10]提出的风格迁移网络对亮度不均的复杂背景纹理进行预处理。如图1所示，风格迁移网络包括前馈转换网络fw以及损失网络。

前馈转换网络为一个深度残差网络[12]，参数是权重w，网络将输入图像x通过映射=fw（x）转换成输出图像，每一个损失函数计算一个标量值li（，yi）用来衡量输出图像以及一个目标图像之间的差异。前馈转换网络使用随机梯度下降（Stochastic Gradient Descent， SGD）[13]优化方法来最小化一组加权为λi的损失函数W*，可以写作：

相比逐像素计算损失函数的方式，损失网络定义了一个特征重建损失lfeat以及一个风格重建损失lstyle，分别用来衡量输出图像与内容图像yc以及模板图像ys之间的差异。在训练时，对于每一张输入图像x，都对应有一个内容图像yc以及一张模板图像ys。对于风格迁移而言，内容图像yc就是输入图像x，而输出图像应该是内容图像yc与模板图像ys的结合。对于一张模板图像，可以训练得到一个风格迁移网络。在测试时，输入图像x直接通过前馈转换网络得到输出图像。

1.1 前馈转换网络

前馈转换网络为一个深度残差网络，网络设计基本遵循Radford等[14]提出的指导性意见，没有使用任何的池化层，而是利用步幅卷积在网络中进行上采样或者下采样操作。前馈转换网络由五个残差块组成，使用ResNet网络结构[15]，所有的非残差卷积层之后都使用了一个空间性的批标准化（Batch Normalization， BN）[16]以及非线性激活函数线性修正单元（Rectified Linear Unit， ReLU）[17]，最后一层除外，最后一层使用一个缩放的tanh非线性函数来确保输出图像的像素值在[0，255]区间。除了第一层和最后一层使用9×9大小的卷积核之外，其余卷积层都使用3×3大小的卷积核。

输入和输出：对于风格迁移而言，输入和输出都是灰度图，大小为200×200。网络使用了两个步长为2的卷积对输入进行下采样，紧接着是几个残差块，然后是两个步长为1/2的卷积层来进行上采样。

1.2 损失网络

损失网络采用的网络模型为利用ImageNet数据集预训练的VGG16[18]，并且定义了两个损失函数用来衡量两张图像在高层语义以及感知上的差别。

1）特征重建损失lfeat。没有用到传统的逐像素对比损失，而是用VGG16网络模型来得到高层特征来表征图像内容，公式可以写作：

其中，C、H、W分别为特征图的通道数及尺寸大小，下述相同。式（2）寻找一个输出图像与内容图像yc对应的第j层的特征图j（）和j（yc）使得低维语义层之间特征损失最小，使得输出图像能够产生与内容图像yc视觉上不太能区分的图像，如果用高维语义层来进行特征重建，内容和全局结构会被保留下来，但是颜色纹理以及精确的形状信息将丢失，因此使用一个特征重建损失lfeat来训练前馈转换网络让输出图像非常接近内容图像yc，但并不是让它们完全匹配。

2）风格重建损失lstyle。特征重建损失lfeat使输出图像的内容更加接近内容图像yc，同时，也希望通过风格重建损失来让输出图像与模板图像ys在颜色、纹理、通用模式等方面更加接近。为了实现这一点，定义了Gram矩阵来表征上述方面特性，令j（x）表示对于输入图像x在损失网络中第j层的激活响应，特征图的形状为Cj×Hj×Wj，大小为Cj×Cj的Gram矩阵Gj（x）中的元素定义可以写作：

其中c，分别代表特征图中任意两个通道，如果将对应特征图j（x）看成一个Cj维度的特征，每个特征的形状为Hj×Wj，式（3）中Gj（x）与Cj维度的特征的非中心的协方差成正比，每一个网格位置都可以看作一个独立的样本，从而获取能够影响其他信息的特征，Gram矩阵能够通过调整j（x）的维度为Cj×Hj×Wj的矩阵ψ，那么Gj（x）=ψψT/CjHjWj。

3）风格重建损失lstyle。输出图像与模板图像ys的Gram矩阵的弗罗贝尼乌斯范数（Frobenius norm）的差的平方，可以写作：

即使与ys的尺寸不同，风格重建损失lstyle仍然能够被很好地定义，因为它们的Gram矩阵的形状都是相同的。优化风格重建损失lstyle能够保留模板图像ys的风格化特征，但是没有保留它的空间结构信息，为了在一系列层J中而不是单层j中执行风格重建，定义l，Jstyle（，ys）为每一层j∈J的损失之和。

2 聚焦卷积神经网络

由于划痕种类、长度、宽度、形状等的多样性使得传统划痕检测方法适应性比较差，因此利用卷积神经网络来进行识别，因为卷积神经网络是一种学习的方式，在训练样本数量足够大、质量足够高、种类足够多的情况下，能够设计足够多层数的带有大量参数的卷积神经网络来自动学习到具有代表性的划痕的本质特征，凭借网络中大量激活函数的使用，也提升了泛化能力，使得算法对于划痕识别的适应性大幅度增强。本文在8层卷积核大小都为3×3的卷积层以及3层全连接层的VGG11[19]网络模型上进行改进，提出了基于聚焦结构的聚焦卷积神经网络来进一步解决如图2工业环境下产生的短长度碎屑对于划痕识别的误报问题。

2.1 聚焦结构

图像聚焦表现为焦点区域分辨率增大变得更加清晰，非焦点区域分辨率减小变得模糊。因为聚焦卷积神经网络能更好地提取识别形态、大小、对比度各异的划痕特征，基于聚焦结构VGG11网络结构进行改进提出了聚焦卷积神经网络。

聚焦结构中的卷积核使用如图3所示的空洞卷积[20]，d代表扩张率，Fd表示利用卷积核内部实值的间距，空洞卷积的感受野范围与扩张率d的关系可以写作：

如图3（a）为标准卷积核，其扩张率为1，感受野范围为3×3，图3（c）中扩张率为3，其感受野范围为15×15。

聚焦结构由如图4所示的聚焦块和对焦块组成。聚焦结构的主要设计思想在于利用不同扩张率的空洞稀疏卷积结构来聚焦到一个多尺度高度相关的单元中来近似表达一个优化的局部稀疏结构，好处在于计算复杂度未达到计算爆炸时，能够增加网络的宽度和深度，增加网络的表达能力，即类似于在图像尺寸大小不变的情况下，图像中非焦点区域的分辨率减小转移至焦点区域，使焦点区域内分辨率增加进而提高目标特征显著度及辨识度。

聚焦块由扩张率分别为1、2、3的三种空洞卷积对上层相关统计信息卷积得到多尺度聚焦信息，以便于下一个阶段能够同时提取不同尺寸下的特征，然后在通过对焦块，进一步聚焦上一阶段提取到的多尺度聚焦处理结果，使用扩张率分别为1、2的两种空洞卷积来最终表达一个稠密且压缩的信息形式。为了提升聚焦结构内部以及多层之间的梯度传播能力，在聚焦块、对焦块以及整个聚焦结构中都加入了与ResNet-18中典型残差结构相同的快捷连接方式。在每一个卷积结束之后，都使用了标准化以及非线性激活函数ReLU，标准化能够去除特征之间的相关性，使所有特征具有相同的均值和方差，能有效提高反向传播的效率，还具有参数正则化的效果;同时结合非线性激活函数ReLU，能够大幅度提升网络的泛化性能。聚焦卷积神经网络中使用的聚焦结构中的标准化为批标准化（Batch Normalization， BN）。

2.2 网络结构

网络结构主要基于VGG11模型进行构建，这是一个对于工业环境中产生的短长度碎屑也能很好地识别，与划痕特征区别开的满足工业条件实时处理的网络框架。

网络输入为200×200的灰度图像，对VGG11VGG-11和VGG11在全文中是否应该要统一，请明确。网络结构，保留第一层网络结构，倒数第二层全连接层替换为全局均值池化层（Global Average Pooling）[19]，剩下层都替換为聚焦结构。网络参数如表1所示，其中Focus1等为聚焦结构，包含聚焦块（a）及对焦块（b），Global_avg表示全局均值池化层，在每一层卷积层之后都使用批标准化（BN）以及ReLU非线性激活函数来提升网络的泛化能力以及表达能力，网络优化方式使用自适应矩估计（Adaptive moment estimation，Adam）[20]梯度下降优化算法，设置初始学习率为0.001，权重衰减为0.0005，一阶矩估计的指数衰减率为0.9，二阶矩估计的指数衰减率为0.999。

3.1 实验设置

1）数据集。使用来自43套不同型号、不同尺寸、不同涂层工艺的服务器金属表面提取的划痕及背景图像作为数据集，将200×200大小的表面划痕图像作为正样本，同样大小的背景图像作为负样本。训练集包含11套不同服务器的5246张金属表面划痕图像和5502张背景图像，验证集包含不同于训练集的11套不同服务器的5134张划痕图像和5133张背景图像，测试集包含剩下21套服务器表面随机采样的10312张划痕图像和10298张背景图像。对训练集用随机旋转、翻转和裁剪来增加划痕图像数据并随机采样背景图像数据，经过数据增强后，训练集包含35006张划痕图像和35020张背景图像。

2）评估和实施。对于评价性能指标，采用准确率（Accuracy， Acc）、单幅图像耗时（Time）、模型参数（Size）、灵敏度（Sensitivity， Sen）、特异性（Specificity， Spec），其中划痕漏报率（Missing Report Rate， MRR）为灵敏度，背景误报率（False Alarm Rate， FAR）为特异性。

对于不同卷积神经网络模型，未经过风格迁移网络进行预处理，在测试集下得到的分类结果分别表示为VGG11[18]、MobileNetV1[21]、ShuffleNet[22]、ResNet18[15]和FocusNet，而经过风格迁移网络进行预处理，在测试集下得到的分类结果分别表示为VGG11-Pre、MobileNetV1-Pre、ShuffleNet-Pre、ResNet18-Pre、FocusNet-Pre。

所有神經网络训练的实验参数都设置为利用Adam梯度下降优化算法，初始学习率为0.001，权重衰减为0.0005，一阶矩估计的指数衰减率为0.9，二阶矩估计的指数衰减率为0.999，批数量为50张，最大迭代次数为40000。

本实验主要是在开源框架PyTorch下实现，所有实验都在CPU Inter Core i7 8700K、GPU NVIDIA GeForce GTX 1080Ti和16GB RAM的计算机上进行。

3.2 本文方法与人工设计特征方法的对比实验

表2列出了上述传统人工设计特征的方法[6-9]，基于小波分析（Wavelet Analysis， WA）的方法、基于剪切波与小波（Shear Wave and Wavelet， SWW）的方法、自适应分割（Adaptive Segmentation， AS）及全局阈值自适应（Global Threshold Adaptive， GTA）的方法，与本文提出的方法（FocusNet-Pre）在测试集上进行比较。

可以看出本文方法比传统人工设计特征方法在各类评价指标上的表现都要更好，具体来说，本文方法相比人工设计特征方法中的最好结果，误报率降低了9.33个百分点如何计算出来的，是否正确？请明确。，漏报率降低了7.176.17感觉此处描述错了，应该是6.17吧？请核实个百分点，准确率提升了7.03个百分点，并且运行时间大幅度降低，单张图像耗时快效率高了12倍左右，仅需要1.90ms。这表明深度卷积特征比低级的人工特征描述符具有更加强大的表达能力、泛化性能，各方面大幅度超越传统人工设计特征方法，能够很好地提取并识别复杂背景下亮度不均的形态、大小、种类各异的表面划痕。

3.3 风格迁移网络效果论证实验

为了验证风格迁移网络能够有效解决划痕识别中遇到的亮度不均、复杂背景的情况，因此在不同深度神经网络模型下进行是否利用风格迁移网络对待检输入图像进行预处理的实验，来观察风格迁移网络的作用。图5中展示风格迁移网络对于输入图像利用单一背景且亮度均匀的模板图像进行预处理的效果。

表3列出了本文提出聚焦卷积神经网络（FocusNet）及其他神经网络模型在是否利用风格迁移网络进行预处理，并在测试集得到的分类对比结果。可以看出，在不同的网络架构中，没有经过风格迁移网络进行预处理的分类表现比经过风格迁移网络进行预处理的分类结果表现都要差。具体来说，在VGG11前经过风格迁移网络与预处理后，漏报率降低了5.46个百分点这几处的描述感觉有问题，如何计算出来的？要注意百分比和百分号的表述问题。，准确率提高了2.24个百分点;在MobileNetV1中，漏报率降低了4.83个百分点，准确率提高了2.21个百分点;在ShuffleNet中，漏报率降低了5.80个百分点，准确率提高了2.20个百分点;在ResNet18中，漏报率降低了5.20个百分点，准确率提高了2.10个百分点;在本文方法FocusNet中，漏报率降低了5.03个百分点，准确率提高了2.45个百分点。

（将百分号都改为百分点，将“与”改为“预”，VGG11前经过风格迁移网络预处理后，漏报率降低了5.46个百分点，准确率提升了2.24个百分点;在MobileNetV1中，漏报率降低了4.83个百分点，准确率提升了2.21个百分点;在ShuffleNet中，漏报率降低了5.80个百分点，准确率提升了2.20个百分点;在ResNet18中，漏报率降低了5.20个百分点，准确率提升了2.10个百分点;在本文方法FocusNet中，漏报率降低了5.03个百分点，准确率提升了2.45个百分点）

图6表示不同卷积神经网络模型在训练过程中的损失对比，图中虚线VGG11、MobileNetV1、ShuffleNet、ResNet18、FocusNet代表没有经过风格迁移网络预处理的表现结果，实线VGG11-Pre、MobileNetV1-Pre、ShuffleNet-Pre、ResNet18-Pre、FocusNet-Pre表示经过风格迁移网络进行预处理的表现效果。可以看出各类卷积神经网络的表现差异不大，但是相比没有经过风格迁移网络进行预处理的训练收敛曲线，经过风格迁移网络预处理后的训练收敛速度更快，收敛曲线更加平滑。由此说明，综上所示，不同的神经网络模型，经过风格迁移网络预处理后能够有效增加分类结果的准确性，并且减小过拟合程度，提升网络模型的泛化性能。

3.4 本文方法与其他卷积神经网络方法的对比实验

为了验证本文提出的聚焦卷积神经网络（FocusNet）能够更加有效地提取待检图像中划痕特征以及相比其他神经网络模型对于表面划痕检测更加有效，将不同的神经网络模型在相同训练集下经过相同风格迁移网络预处理后进行训练，并将测试集得到的各种评价分类结果中的指标进行对比。从表4实验结果可以看到，FocueNet-Pre提取到的深层特征优于VGG11-Pre、MobileNetV1-Pre和ShuffleNet-Pre中提取的深层特征，与ResNet18-Pre差異不大，但模型参数降低了3倍减少了67%此处描述有问题，不应该是降低了多少倍速，应该是降低了几分之几，请调整表述方式左右，单幅图像耗时减小了2.73倍减少了63.46%此处描述有问题，不应该是减小了多少倍速，应该是减小了几分之几，请调整表述方式，漏报率仅为8.54%，误报率为0.44%与表4中的数值不一致，同时准确率高达96.66%，说明聚焦卷积神经网络不仅能够识别不同种类、长度、宽度、形状等的划痕，并且具有较好的鲁棒性和泛化性能;同时误报率也有所减少降低并且模型运行时间短，单张图像耗时仅仅需要1.90ms，完全满足工业生产线上的实时性的要求。

4 结语

1）提出基于深度神经网络的表面划痕识别方法，该方法一方面将亮度不均、复杂背景的待检图像通过风格迁移网络进行亮度均匀化及背景单一化，同时保留完整的划痕特征;另一方面利用本文提出的聚焦卷积神经网络实现表面划痕深度特征提取并识别，能够鲁棒地识别形态、大小、种类各异的表面划痕。

2）通过实验证明了所提算法在解决亮度不均问题同时生成保留完整的划痕特征图像和有效地识别不同形态、大小的表面划痕方面具有更好的效果。另外，实验数据表明，基于所提算法在不同深度卷积神经网络模型对复杂背景下的划痕均有不错的识别效果，进一步证明了该算法的有效性。

参考文献 （References）

[1] 宋迪，张东波，刘霞.基于Gabor和纹理抑制的手机配件划痕检测[J].计算机工程，2014，40（9）：1-5.（SONG D， ZHANG D B， LIU X. Scratch detection for mobile phone accessories based on Gabor and texture suppression[J]. Computer Engineering， 2014， 40（9）：1-5.）

[2] 韩芳芳，段发阶，张宝峰，等.单线阵CCD系统的表面凹坑缺陷检测方法[J].哈尔滨工业大学学报，2012，44（4）：116-120.（HAN F F， DUAN F J， ZHANG B F， et al. Study and modeling for surface pit defect detection based on linear array CCD system[J]. Journal of Harbin Institute of Technology， 2012，44（4）：116-120.）

[3] 崔炽标，李阳，毛霆，等.基于预处理与卷积神经网络的塑件划痕检测[J].模具工业，2017，43（9）：1-6.（CUI Z B， LI Y， MAO T， et al. Scratch detection of plastics based on preprocessing and convolutional neural network[J]. Die and Mould Industry， 2017，43（9）：1-6.）

[4] 李克斌，余厚云，周申江.基于形态学特征的机械零件表面划痕检测[J].光学学报，2018，38（8）： 815027-1-815027-7.（LI K B， YU H Y， ZHOU S J. Scratch detection for the surface of mechanical parts based on morphological features[J]. Acta Optica Sinica， 2018，38（8）： 815027-1-815027-7.）

[5] 汤勃，孔建益，伍世虔.机器视觉表面缺陷检测综述[J].中国图象图形学报，2017，22（12）：1640-1663.（TANG B， KONG J Y， WU S Q. Review of surface defect detection based on machine vision[J]. Journal of Image and Graphics， 2017，22（12）：1640-1663.）

[6] 胡文瑾，李战明，刘仲民.一种基于小波分析的唐卡图像划痕检测[J].光学技术，2012，38（6）：751-755.（HU W J， LI Z M， LIU Z M. Scratch detection algorithm based on wavelet analysis for Thangka image[J]. Optical Technique， 2012，38（6）：751-755.）

[7] 周鹏，徐科，刘顺华.基于剪切波和小波特征融合的金属表面缺陷识别方法[J].机械工程学报，2015，51（6）：98-103.（ZHOU P， XU K， LIU S H. Surface defect recognition for metals based on feature fusion of shearlets and wavelets[J]. Journal of Mechanical Engineering， 2015，51（6）：98-103.）

[8] 马云鹏，李庆武，何飞佳，等.金属表面缺陷自适应分割算法[J].仪器仪表学报，2017，38（1）：245-251.（MA Y P， LI Q W， HE F J， et al. Adaptive segmentation algorithm for metal surface defects[J]. Chinese Journal of Scientific Instrument， 2017，38（1）：245-251.）

[9] 郭皓然，邵伟，周阿维，等.全局阈值自适应的高亮金属表面缺陷识别新方法[J].仪器仪表学报，2017，38（11）：2797-2804.（GUO H R， SHAO W， ZHOU A W， et al. Novel defect recognition method based on adaptive global threshold for highlight metal surface[J]. Chinese Journal of Scientific Instrument， 2017，38（11）：2797-2804.）

[10] JOHNSON J， ALAHI A， LI F F. Perceptual losses for real-time style transfer and super-resolution[C]// Proceedings of the 2016 European Conference on Computer Vision. Berlin： Springer， 2016：694-711.

[11] RUMELHART D E， HINTON G E， WILLIAMS R J. Learning representations by back-propagating errors[J]. Nature， 1986， 323（6088）： 533-536.

[12] HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition[C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2016：770-778.

文獻12、15这两个重复了，建议将其中一个替换为另外一个文献，书写格式如模板示范。注意，在正文中的文献引用，要依次引用，且在正文中引用的作者姓名与文献列表中的作者姓名保持一致。

[13] BOTTOU， CURTIS F E， NOCEDA J， et al. Optimization methods for large-scale machine learning[J]. SIAM Review， 2016， 60（2）： 223-311.

[14] RADFORD A， METZ L， CHINTALA S. Unsupervised representation learning with deep convolutional generative adversarial networks[J]. ArXiv Preprint， 2016， 2016： 1511.06434.Computer Science， 2015， 57（3）：511-519.

[15] LIM B， LEE K M. Deep recurrent ResNet for video super-resolution[C]// Proceedings of the 2018 IEEE Conference on Asia-pacific Signal and Information Processing Association Summit. Washington， DC： IEEE Conputer Society， 2018： 643-648.

HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition[C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2016：770-778.

[16] IOFFE S， SZEGEDY C. Batch normalization： accelerating deep network training by reducing internal covariate shift[C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2015：448-456.

[17] NAIR V， HINTON G E. Rectified linear units improve restricted boltzmann machines[C]// Proceedings of the 2010 International Conference on Machine Learning. New York： ACM， 2010：807-814.

[18] SIMONVAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[C]// Proceedings of the 2015 International Conference on Learning. Washington， DC： IEEE Computer Society， 2015：687-699.

[19] YU F， KOLTUN V. Multi-scale context aggregation by dilated convolutions[C]// Proceedings of the 2016 International Conference on Learning. Washington， DC： IEEE Computer Society， 2016：511-524.

[20] KINGMA D， BA J. Adam： a method for stochastic optimization[C]// Proceedings of the 2014 International Conference on Learning. Washington， DC： IEEE Computer Society， 2014：248-263.

[21] HOWARD A G， ZHU M， CHEN B， et al. MobileNets： efficient convolutional neural networks for mobile vision applications[C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2017：1056-1065.

[22] ZHANG X， ZHOU X， LIN M， et al. ShuffleNet： an extremely efficient convolutional neural network for mobile devices[C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2017：563-572.