基于改进Yolov5的LCD缺陷检测

莫文星 刘华珠

(1. 东莞理工学院 计算机科学与技术学院,广东东莞 523808;2. 东莞理工学院 国际微电子学院,广东东莞 523808)

液晶显示屏(Liquid Crystal Display,LCD)缺陷检测的核心是在于光学成像系统的搭建和检测算法的实现,由于工业生产线的实际需求,对光学成像系统稳定性要和缺陷检测系统的检测速度要求较高。传统检测方法是基于人工检测,但是该方法却存在着诸多弊端,比如强度大、生产效率低、主观性、检测成本高等。为提高工厂生产效率和降低劳动成本,全自动LCD缺陷检测越来越受到企业重视。

LCD缺陷检测方法主要分为两类:一类是基于传统机器视觉的方法,一类是基于深度学习的方法。在基于传统机器视觉的方法中杨勍等[1]提出了一种利用局部凸包拟合算法,实现对小视野LCD图像异物缺陷的自动分割,但是存在缺陷连通方法的鲁棒性问题;王宏硕等[2]利用二维DFT从频域消除周期性纹理成分的方法对LCD面板缺陷图像进行处理, 解决了基于显著图模型的缺陷检测方法对缺陷大小敏感的问题;张腾达等[3]提出了一种基于二维离散傅里叶变换的方法能检测出包括纤维、污点和划痕的LCD缺陷。在基于深度学习的方法中马岭等[4]使用了深度卷积生成对抗网络和迁移学习用于LCD表面缺陷检测,但是存在在线检测实时性问题。何俊杰等[5]通过构建多层的区域提议网络生成精确的候选区域,再根据区域特征和样本分类实现对LCD缺陷的识别及定位。欧先锋等[6]提出了基于全卷积神经网络的端到端的LCD缺陷检测算法对缺陷点与非缺陷点进行像素级分类,但是检测率以及稳定性存在不足。以上算法都不能很好地兼顾检测时间和检测精度,因此本文提出了一种基于改进的YOLO算法的 LCD缺陷来满足精度和时间的要求。

1 表面缺陷检测设备总体方案设计

1.1 LCD缺陷种类

LCD常见的表面缺陷主要有黑点、划痕、水渍、崩角等,其中黑点和划痕发生在LCD表面,崩角发生在边缘,污渍发生在夹层里。各类缺陷的实物图如图1所示。

图1 各类缺陷实物图

1.2 缺陷检测总体方案设计

检测系统主要包括图像采集系统和实时检测系统,总体方案如图2。图像采集系统主要包括光源、相机、镜头、PC等,负责采集LCD外观图像,并将采集得到的图像传至后续模块进行图像分析和处理。实时检测系统主要由缺陷检测算法构成,该系统对前面采集得到的LCD外观图像进行处理,首先提取需要检测的部分,然后找出待检LCD上存在的缺陷,最后对检测到的缺陷进行分析和判定。

图2 检测系统的总体方案

2 图像采集系统和实时检测系统设计

2.1 图像采集系统设计

图像采集是机器视觉检测系统工作的首要环节,图像采集系统的成像效果直接影响机器视觉检测系统的性能。该系统的硬件部分包括相机、镜头、光源三部分,具体组合安装如图3所示,这些硬件的选型和安装会直接影响图像的成像质量[7]。

图3 图像采集系统

相机的选型是根据视野大小、要求的像素精度来确定分辨率。本实验中检测精度要求达到0.05 mm/pixel,其中LCD屏幕尺寸大小是190×115(mm)2,故相机像素至少为(190/0.05×115/0.05)×2=17 480 000,所以至少需要2 000万像素的工业相机。综合以上分析,该图像采集系统选用A3B00MG000工业相机和CST-DTCM110-72-AL镜头。因为同轴光会产生更多的照明线,减少低对比度的表面特征,从而更清晰地反映对比度明显的几何表面特征,所以在光源上采用了CST-COS100-W型号的同轴光源。经过实际测试,当被测物离光源54 mm和相机镜头离被测物172 mm时能够很好地将缺陷显示出来。

2.2 实时检测系统设计

2.2.1 图像预处理

图像预处理对系统运行的可靠性和检测结果的准确性起着至关重要的作用。本系统的图像预处理主要在空间域上,空间域处理主要分为灰度变换和空间滤波两类。灰度变换对图像的单个像素进行操作,主要以对比度和阈值处理为目的;空间滤波涉及改善性能的操作,通过对图像中每个像素的邻域处理来锐化图像[8]。

伽马变换是常用的灰度变换,通过非线性变换,让图像中较暗的区域的灰度值得到增强,图像中灰度值过大的区域的灰度值得到降低。经过伽马变换,图像整体的细节表现会得到增强。其变换的基本形式为如式(1)所示。

s=crγ

,

(1)

其中,c和γ为正常数。γ>1时会压缩灰度级低的部分,拉伸灰度级高的部分;γ<1时会压缩灰度级高的部分,拉伸灰度级低的部分;而γ=1时是线性的灰度变换,此时通过线性方式改变原图像。

为了确定γ的最优取值,需要对图像的灰度值进行统计,当灰度直方图中缺陷的灰度统计值与背景的灰度统计值的距离k最大时,γ达到最优。以某黑点缺陷图像为例,灰度统计结果如图4所示。

图4 图像灰度直方图

图4中灰度统计部分中占比小的为缺陷,占比大的部分为图像背景。图5为k和γ之间的关系示意图。由图5可知,当γ=1.46时,k取最大值,即当γ=1.46时缺陷能很好地和背景区分开来。

图5 k和γ的关系图

2.2.2 子区域分割

子区域分割是图像处理中的一项重要技术,它是将图像分割成若干个小的子区域或子图像的过程。通常情况下,子区域分割的目的是更好地理解和处理图像,从而实现各种不同的应用,例如目标检测和跟踪、图像分割、特征提取和图像增强等。

由于原图分辨率为5 472×3 648像素太大,如果直接将原图送入模型中部分缺陷特征会在层层卷积中丢失。因此本文将原图被分割成16个子块图,即每个子块图为1 368×912像素大小,防止缺陷特征丢失。

2.2.3 检测算法

Yolov5是基于深度学习的单阶段目标检测模型[9],它将目标检测问题转化为端到端的回归问题,在检测速度上要优于基于二阶段的Faster R-CNN。Yolov5主要分为主干网络、颈部网络、检测网络三大部分。主干网络主要由CBS、CSP、SPPF组成;CBS层由Conv卷积函数、Batch Norm归一化函数和SiLU激活函数[10]组成;CSP模块分为CSP1_X和CSP2_X。前者由两个CBS和X个Resunit组成然后拼接后再接一个CBS；后者由3X个CBS组成然后拼接后再接一个CBS。SPPF是主干网络的最后一层，它采用多个小尺寸池化核级联代替SPP模块中单个大尺寸池化核，从而在保留原有功能，即融合不同感受野的特征图，丰富特征图的表达能力的情况下，进一步提高了运行速度。颈部网络主要由PANet[11]构成，它经过自顶向下的特征融合后，再进行自底向上的特征融合，这样底层的位置信息也能够传递到深层，从而增强多个尺度上的定位能力。检测网络包括3个输出头，卷积步长分别是8、16、32，大尺寸输出特征图负责检测小物体，小尺寸输出特征图负责检测大物体。

模型的损失函数包括三个部分：矩形框损失、分类损失、置信度损失。总损失的计算如式(2)所示

L=Lbox+Lcls+Lcon.

(2)

矩形框损失的计算如式(3)所示，因为当预测框与真实框没有相交时，IoU不能反映两者之间的距离，并且此时IoU损失为0，将会影响梯度回传，从而导致无法训练。

(3)

其中，IoU表示预测框与真实框的重叠程度，p表示预测框和真实框中心点之间的欧式距离，c表示预测框和真实框的最小闭包区域的对角线距离，b和bgt分别表示预测框和真实框的中心点。α是权重参数，它的计算如式(4)所示

(4)

v是用来衡量宽高比的一致性，它的计算如式(5)所示

(5)

w和h分别为预测框的宽和高，wgt和hgt分别为真实框的宽和高。

分类损失使用二元交叉熵函数来计算，它的计算如式(6)所示

(6)

其中，y为输入样本对应的标签(正样本为1，负样本为0)，p为模型预测该输入为正样本的概率。

置信度损失的计算如式(7)所示

Lcon=-LlogP-(1-L)log(1-P)，

(7)

其中，L为置信度标签矩阵，P为置信度预测矩阵。

由于原始的Yolov5模型对全局信息的提取能力不足进而导致对划痕的识别不精确，因此将第8层的原先CSP1_1模块替换为C3TR模块。该模块由C3层和Transformer模块相结合，运用基于输入特征上下文的加权平均操作，通过相似性函数动态计算相关像素对之间的注意力权重，使得注意力模块[12]能够自适应地关注全局感受野下的不同区域，将更多的注意力聚焦于缺陷区域，捕捉更多有效的特征从而提高算法性能[13]。改进后的Yolov5模型结构如图6所示。

图6 改进后Yolov5模型结构

C3TR层是C3层和Transformer架构中的encoder部分相结合而成，其具体的实现主要包括四步：首先将输入图像特征进行维度压缩后转为序列化数据；然后将位置编码和序列化数据相加；再将所有数据传入Transformer架构中的enconder中进行残差连接和多头注意力机制处理；最后通过全连接层得到输出结果[14]。C3TR层具体结构如图7。

图7 C3TR层结构示意图

3 表面缺陷检测实验与结果分析

3.1 实验数据

实验一共采集450张图像，其中黑点和崩角各100张，划痕200张，水渍50张。将每类缺陷的图片数量按照8∶2的比例分别随机划分成训练集和验证集，然后对训练集的数据进行数据增强。数据增强是一种常用的技术，通过利用保留输出标签的输入转换来增加标记训练集的大小和多样性。在计算机视觉领域，图像增强已成为深度卷积神经网络中对抗过拟合的常用隐式正则化技术，并被广泛用于提高性能[15]。本文主要对训练集采用了水平翻转、垂直翻转、旋转及随机缩放的数据增强方式，最后得到训练集数据1 440张图像，验证集90张图像。

3.2 实验结果和分析

3.2.1 评价指标

评价指标主要包括准确率(Precision)、召回率(Recall)、F1、检测速度(FPS)这四个指标。其中准确率是模型分类正确的正样本数与测试集中正样本总数的比值；召回率是原始数据集中的正样本有多少被准确预测；F1是对精确率和召回率的整体评价；检测速度是指处理一张图片所需要的时间。它们的计算如式(8)～式(11)所示：

(8)

(9)

(10)

(11)

其中，TP(True Positive)表示检测到LCD缺陷，且实际LCD图像中也存在缺陷；FP(False Positive)表示检测到缺陷，但实际LCD图像中不存在缺陷；FN(False Negatives)表示没有检测到LCD缺陷，但实际LCD图像中存在缺陷；T表示模型推理时间。

3.2.2 结果分析

表1所示为Yolov5优化模型与Faster-RCNN[15]、SSD[16]基本模型及Yolov5基准模型[9]对LCD缺陷检测精度和速度(帧/s)进行对比检测结果。实验结果表明，Faster R-CNN准确率比SSD高但是召回率、F1还有检测速度均不如SSD，而Yolov5的各项指标均优于SSD。经过Transformer架构和C3层融合改进的Yolov5算法相比，虽然速度不及Yolov5基准模型和SSD模型，但是准确率、召回率和F1指标都有一定的提升，检测速度也达到155帧/s，且能够满足实时处理的要求。为了更加直观地验证本文算法对每类缺陷检测效果，将各个模型对图片进行检测，其中图8为各类别缺陷部分样本检测结果图。第一列是SSD模型检测结果；第二列是Faster R-CNN模型检测结果；第三列是Yolov5模型检测结果；第四列是本文模型检测结果。

表1 LCD缺陷检测结果

图8 各类别检测结果

通过对检测结果对比分析可知，在检测黑点时，SSD未识别出黑点缺陷，Faster R-CNN检测效果最好，其检测置信度达到98%，本文模型检测置信度达到94%；在检测划痕时，SSD检测结果最差，其检测置信度只有50%，本文模型检测效果最好，置信度达到94%；在检测污渍时，SSD检测效果最好，其检测置信度达到100%，其次是Faster R-CNN，检测置信度是98%，本文模型检测效果较差，但是检测置信度达到了95%；在对崩角检测时，SSD模型、Faster R-CNN、Yolov5、本文模型的检测置信度依次提升，最好的是本文模型检测置信度达到95%。

4 结语

LCD是一种常见的数字显示屏，广泛应用于电视、计算机显示器、智能手机、平板电脑等设备中。在生产过程中，LCD面板可能会出现各种各样的缺陷，例如黑点、划痕、崩角、污渍等，这些缺陷会影响产品的性能。因此本文设计了一种基于深度学习的LCD缺陷检测系统，并且针对Yolov5原模型对划痕识别不准确提出了改进算法，通过构建C3TR模块并引入到网络模型中。实验结果表明：在准确率和召回率上分别比Yolov5模型提高了4.1%和1.4%，能够满足检测精度和时间的要求。