基于神经网络的电视显示屏表面缺陷检测

陈易宇

摘要：随着工业4.0的智能化时代迈进，为实现电视显示屏表面缺陷自动化检测，提高提高检测效率，该文引入基于神经网络的电视显示屏表面缺陷检测方法。该检测方法在电视显示屏图像的预处理、模型设计、模型训练和检测过程中，表现出优异的特征提取能力，以及强大的目标分类性能，能够有效完成对电视显示屏表面缺陷的检测，满足实际生产过程中的缺陷检测需要。

关键词：神经网络;电视显示屏;缺陷检测方法

中图分类号：TP393      文献标识码：A

文章编号：1009-3044（2021）16-0021-03

开放科学（资源服务）标识码（OSID）：

1 背景

随着人们生活水平的不断提高，电视早已为大家日常娱乐、生活和工作的必需品。电视显示屏的质量直接关乎电视的整体品质。因此，电视显示屏外观检测是智能生产过程中不可或缺的环节。然而，当前各大电视生产商大都采用肉眼检测手机屏幕缺陷的检测[1]。人工检测会增加成本的投入、效率低，并且受人的主观因素影响，检测的准确率难得到证。机器视角为实现电视显示屏表面缺陷自动检测提供了新的方案。

运用机器视觉相关技术实现表面缺陷检测是当前社会热点。国内外科研人员对不同情境下的表面缺陷检测进行了一系列研究，在一定層次上解决了表面检测缺陷相关问题。如，Vasilic等人提出基于直方图的阈值选择算法，能够检测出陶瓷表面的划痕[2]。孙雪晨等人为了对表面缺陷特征进行提取，引入领域加权分割的方式，有效完成对凸轮轴表面缺陷的检测[3]。何志勇等人实现微小表面缺陷的快速检测，提出了基于梯度图像方差分布搜寻表面缺陷区域的算法[4]。这些方法能够为实现电视显示屏缺陷检测提供了良好的经验借鉴。

电视显示屏在生产过程中会产生亮点、亮度等缺陷。在传输的过程中存在刺伤、划伤等现象。基于神经网络的电视显示屏表面缺乏检测，旨在充分发挥神经网络在计算机视觉技术检测方面的优势，为适应电视大规模生产过程的显示屏智能化缺陷检测提供新思路，进而大力推进电视产业蓬勃发展。

2 缺陷检测方法设计

2.1实施过程设计

基于神经网络的电视显示屏表面缺陷检测，大致可分为图像预处理、模型设计与训练以及检测三大过程，如图1所示。数据样本将通过高精度线阵摄像机，对实际生产过程中进行图像拍摄的方式获得。采集的缺陷特征可分为划痕、刮痕、刺痕、亮点和漏光等。数据预处理的是对图像进行扫描、分割和保存的过程操作。

2.2数据集缺陷特征分类

电视显示屏的缺陷是根据产生原因进行命名。虽然缺陷特征类型较多，但是许多不同特征的缺陷，在形态上能够表现出相似性。如图2中的图片为划痕或刮痕，从形态上即表现极为相似的线型现状。如图3中的图片分别为亮点、刺伤、亮度缺陷。这三个特征在形态上均呈现为点的现状，仍然表现为极具相似性。

经过对采集的图像进行预处理，共获得956张数据样本。为了满足神经网络训练对数据样本集数量的需求，本文采用图像旋转、随机性剪切以及调整图像亮度等形式，将数据样本增加至9617张。然后，按2：2：6的比例分配方式，将数据样本划分为测试集、验证集和训练集三类。最后通过Tensorflow 编程将图片数据集制作成tfrecord格式的数据，以供Tensorflow进行读取。

3模型设计与训练

3.1模型设计

当前，主流的神经网络绝大多数据是采用 ImageNet数据集进行设计。该设计是通过构建巨大的网络模型和设置超参数的方式，对图像表现特征进行训练。而电视显示屏表面缺陷由于现代工艺水平的进步，一张样本上几乎只有一种缺陷，并且缺陷特征较为简单，表现为单一性特征。因此，本文选取适中的GoogelNet进行迁移学习，设置参数量共为24层。考虑到dropout的随机丢弃机制可能会导致重要的神经元被丢弃问题[5]，本文去除inception-B层、inception-C层后的全连接层，使用全局平均池化层进行替代，以防止训练过程出现的过拟合问题（如图4所示）。为了提升训练速度，本文将全连接层的高维向量降维至3维向量，进而使得网络更为轻量化。

3.2模型训练

本文通过搭建Tensorflow2.1框架对模型进行训练，操作系统为Ubuntul16。鉴于训练的数据分布存在较大的差异，训练过程中有可能出现不收敛的现象。本文将数据进行归一化处理（归一化函数如公式1所示）。注：Min表示训练数据样本的最小值;Max表示输入的最大值;[x]指是的得到标准化处理输入。

[x=x-MinMax-Min]                            （1）

本文模型训练过程中的网络参数更新，通过引入和优化Tensorflow既有的随机梯度下降算法实现。训练结果的优劣将通过学习率进行评估。学习率是用于指导训练过程中通过观察损失函数的梯度对网络权重进行调参。学习率的大小直接到影响到训练的熟练。虽然设置相对较小的学习率，在一定程度上能够获得网络训练较好的优参数，但是相应也会延长模型训练的时间。对此，为了尽可能找到最优的超参数值的同时提升模型训练速度，本文将通过引入逐渐衰减机制（如公式2所示）。注： [base_lr]为学习率的原始值;[γ]为模型训练过程中变化参数;[floor_iter]表示当前训练更迭频次;stepsize为学习率每次更迭频次;最终计算结果[η]为学习率。根据公式2，本文将[base_lr]、[γ]和stepsize分别设置为0. 001、0.1、350。

[η=base_lr.γ|floor_iter||stepsize|]                         （2）

4结果及分析

本文针对采集的956张图像数据开展了3次训练。测试集验证集和训练集按照既定的2：2：6的比例进行分配，最终通过计算检测率（公式3）和误检率（公式4）的方式，对模型训练的优劣进行验证。注：Na表示能够正常检测出来的样本个数;Nb，表示被检测出来的“点”形状的缺陷样本个数;Nc表示被检测出来的“线”形状的缺陷样本个数;Nd为指的是测试集总数;[Na→b，c]表示原为正样本被判为负样本的个数;[Nb，c→a]表示原为负样本被误判为正样本的个数。训练结果图表1所示。

[A=Na+Nb+NcNd]                           （3）

[A=Na→b，c+Nb，c→aNa]                        （4）

測试一：随机选取2636张训练样本喂入神经网络，学习率参数值为0.006，模型的验证率计算结果为95.52%，误检率计算结果为4.67%，更迭次数为600。

测试二：根据测试一的结果，考虑到喂入神经网络的样本数量以用学习率对计算机结果有较大的影响，因此，在测试二中将数据集的数量增加到9640张，同时将学习率设置为0.01，更迭次数为1200。最终测试结果表明：验证率提升了8.8%，而误检率为下降至1.23%。

测试三：在测试二的基础上，将更迭次数增加至1600时，最终计算出检测率为98.04%，误检率为0.50%。

三次测试的检测结果如表2所示。注：往后的多次测试结果显示，在测试三的基础上继续增加更迭次数后，检测率没有明显的提高，相应的检测时间却延长了不少。

5 结束语

针对电视显示屏的外观自动检测在生产过程中较为困难的问题，本文设计了一种基于机器学习的电视显示屏外观缺陷分类检测方法。为了更好地适应神经网络训练和缺陷检测，该方法首先将电视显示屏图像样本切割成256x256的大小规格。其次，通过图像旋转、随机截取和调整图片光照等方式，对数据样本进行了扩充。然后，在Tensorflow环境下搭建神经网络训练模型，并通过调整模型参数等形式对缺陷特征进行了降维。最后，通过设置超参数、更迭次数、控制喂入神经网络样本数量等，对训练模式进行了检测。测试结果表明，该方法能够对电视显示屏外观的刺伤、亮点、亮度、划伤、刮伤缺陷有效检出。

参考文献：

[1] 郭亚峰.基于机器视觉的产品表面缺陷在线检测系统的设计[D].苏州：苏州大学，2014.

[2] Vasilic S，Hocenski Z.The edge detecting methods in ceramic tiles defects detection[C]//2006 IEEE International Symposium on Industrial Electronics.July9-13，2006，Montreal，QC，Canada.IEEE，2006：469-472.

[3] 孙雪晨，姜肖楠，傅瑶，等.基于机器视觉的凸轮轴表面缺陷检测系统[J].红外与激光工程，2013，42（6）：1647-1653.

[4] 何志勇，孙立宁，芮延年.一种微小表面缺陷的机器视觉检测方法[J].应用科学学报，2012，30（5）：531-537.

[5] Srivastava N，Hinton G，Krizhevsky A，et al.Dropout：asimple way to prevent neural networks from overfitting[J].Journal of Machine Learning Research，2014（15）：1929-1958.

【通联编辑：代影】