基于图像分割和深度学习的人造板表面缺陷检测

杨 凡，杨博凯，李荣荣

（南京林业大学 家居与工业设计学院，江苏 南京 210037）

板式家具板件开料过程边缘破损、厂内运输中摩擦划痕以及碰撞损伤等原因，导致板件表面产生缺陷，直接影响其外观质量与使用性能。对家具板件表面缺陷进行检测并分类，不仅能提高制造过程自动化水平与制造效率，也能实现板材品质管理数字化。现阶段，板材缺陷检测主要以人工为主，普遍检测效率低、检测结果受主观因素影响较大，从而导致检测结果准确性无法保证等问题[1-2]。

机器视觉是一种基于光学成像和数字图像的处理技术，能实现自动化和非接触式的缺陷检测，因检测精度高、速度快等特点已被应用于制造业相关领域[3-9]。表面缺陷检测从检测算法上大致可分为3 类：基于图像结构特征的传统方法、基于统计特征的机器学习方法以及深度学习方法[10]。如分别使用传统图像处理算法中的灰度共生矩阵算法、自适应阈值分割算法实现了人造板表面胶斑、松软和油污图像的分类[11-12]；利用机器学习算法中的随机森林和决策树算法实现了人造板表面大刨花、油污和杂物图像的分类[13-14]。上述2 类算法所需样本相对较少，但在算法的实现上需要人为确定表面缺陷特征，存在泛化能力不足的缺点，其准确率可能会受环境、板材表面纹理色彩等因素影响。在板材表面缺陷识别中，机器视觉检测技术成像设备会采集到包含背景信息的整张板材图像，而单独的图像分类模型都是针对局部样本图像进行设计，难以完成在未去除背景信息的板材图像上进行多种缺陷的检测任务。常见缺陷目标检测算法如SSD 算法、Faster-RCNN 及YOLOv5 算法[15-19]，能对目标缺陷位置信息进行回归预测，并对缺陷种类进行识别。然而，目标检测算法前期需要投入一定的人力，收集大量缺陷板件图像并对其缺陷信息进行标注，以用于模型训练。且算法需要将图像压缩成一定分辨率后再训练和预测，使得类似板件崩边这类小目标的检测任务识别精度较低。

本研究采用图像分割算法对家具板材图像中的缺陷进行分割并进行图像截取，再利用深度学习算法中的卷积神经网络模型对截取后的图像进行缺陷类别检测，旨在实现使用较少训练样本完成人造板表面崩边和划痕的缺陷检测任务。

1 缺陷检测系统搭建及数据集建立

1.1 缺陷检测系统搭建

系统包括图像采集设备、板件传输设备、图像处理和终端显示设备等(图1)。图像采集设备采用SICK 的RangerE 高速激光线阵相机，相机光轴与板件运动方向成60°角；LED 光源垂直安装于运输带正上方40 cm 处。板件传输设备连接编码器，编码器每旋转1 圈能向相机发送2 000 个脉冲信号，线阵相机会根据接收到的脉冲信号来触发扫描。图像处理设备所用系统软件为Windows 10，GPU 型号为GTX1660Ti，CUDA 版本11.6，算法在Halcon 机器视觉软件环境下开发运行。

图1 人造板板件缺陷检测系统组成Figure 1 Wood-based panel parts defect detection system

1.2 数据集建立

试材选用三聚氰胺浸渍纸饰面刨花板。线阵相机以行扫描400 μs·帧-1，采集到的板材图像纵向分辨率约0.14 mm·像素-1，横向分辨率约0.20 mm·像素-1。且相机曝光时间为1 200 μs，LED 光源光照强度稳定在35 lx。试验共采集饰面人造板图像样本500 张，如图2A 所示。对其中300 张板材图像进行图像裁剪制作缺陷图像样本，并使用随机翻转、遮挡、高斯模糊、镜像等数据增强技术将样本数增加至800 张用于深度学习网络进行训练与测试，缺陷数据样本如图2B 所示。剩余200 张人造板材图像样本用于对整体算法效果进行验证。

图2 部分板材及缺陷图像数据集Figure 2 Image data set of panel and defect

2 板材表面缺陷检测算法原理

系统检测板件表面缺陷算法流程如图3 所示。通过对板件表面图像进行基于图像灰度值的阈值分割算法处理[20]，在分割区域会生成随缺陷大小变化的矩形检测框，用检测框对图像进行裁剪；然后，将裁剪后图像输入训练好的卷积神经网络分类器进行缺陷分类识别；最后，在图像上显示板件缺陷情况。

图3 基于图像分割和深度学习的检测算法流程图Figure 3 Flow chart of detection algorithm based on image segmentation and classifier

2.1 缺陷分割算法

使用阈值分割算法，分割板件区域与背景区域；使用全局双阈值分割算法分割崩边缺陷区域，其算法原理如式(1)。针对划痕缺陷的分割，使用局部动态阈值分割算法，其算法原理如式(2)。为减少过分割率，使用了一种基于均值滤波算法的图像增强算法对图像进行预处理，其算法原理如式(3)。

式(1)～(3)中：(i,j)是大小为n×n的图像的坐标，i,j=1, 2, 3, ···,n；g(i,j)是算法处理后的图像；f(i,j)为原始图像，(i,j)是f(i,j)经均值滤波处理后的图像；g(i,j)=0，表示点(i,j)为背景区域，g(i,j)=1为目标区域；Tmin和Tmax为最小和最大阈值，在光照稳定的条件下，分别取值40 和125；T为动态阈值常数；k为图像增强因子，k值越大，处理后图像的对比度越大。为分析预处理算法中T和k对图像分割准确率的影响，引入分割精度、过分割率和欠分割率进行评价，评价公式见式(4)～(6)。

式(4)～(6)中：A为分割精度，O为 过分割率，U为欠分割率；Rs为实际目标区域面积，Ts为算法分割出的目标区域面积，Os为算法分割出的非目标区域的面积，Us为算法未能分割出的目标区域面积。算法分割结果如图4。从表1 可知，随T值增大，算法分割精度增大，但算法过分割率也随之增大。当T=2，k=0.3 时，算法能在较高分割精度上达到相对较小的过分割和欠分割率。

表1 不同T 值和k 值影响下的分割效果Table 1 Segmentation effect under the influence of different T and k values

图4 图像分割结果Figure 4 Image segmentation result

2.2 缺陷分类器构建

采用一种轻量级卷积神经网络MobileNetv 2 来构建缺陷图像分类器[21]。在MobileNetv 2 网络中引入了一系列的倒残差结构(bottlenck residual block)，该结构与传统的残差结构操作相反，会对图像特征层进行先升维再降维，且单个卷积核只对特征层向量一个维度进行卷积操作，减少了计算量。Bottlenck层卷积操作后使用了ReLU 6 非线性激活函数替代了ReLU 函数，增加了模型精度。调整后网络结构如表2 所示。表中每行表示1 个或多个相同的网络层结构，t为拓展因子，所有结构中卷积核大小都是3×3，每个结构重复n次，每层的输出通道数量为c，每个结构的第1 层卷积操作步长为s，其他卷积层步长为1。

表2 分类网络模型结构Table 2 Classifier network model structure

2.3 缺陷分类器效果评估

为分析调整后的MobileNetv 2 网络效果，将800 张人造板缺陷图像样本按训练集和测试集7∶3 的比例分别对调整前后的网络模型进行训练和测试。训练过程损失值和平均准确率随训练轮次变化结果如图5，模型损失值和准确率在迭代到40 轮时开始收敛。调整前模型在测试集上损失值随迭代次数增加有过拟合趋势，调整后模型损失值更加稳定，准确率更高。分类模型缺陷识别结果的混淆矩阵如图6 所示，调整后的MobileNetv 2 网络对崩边和划痕缺陷的分类准确率均高于调整前，分别达到97.0%和99.0%。

图5 调整前后准确率和损失值随训练迭代次数的变化Figure 5 Change of accuracy and loss value with the number of iterations before adjustment

图6 调整前后混淆矩阵Figure 6 Change of accuracy and loss value with the number of iterations before adjustment

3 结果与分析

为分析整体算法的缺陷检测效果，使用机器视觉系统采集200 张饰面人造板作为验证集数据，比较本研究中分割算法结合改进前后的MobileNetv 2 算法的精确率和召回率。同时，为分析本研究中分割算法结合深度学习分类器方法的优越性，统计了2 种常见目标检测模型SSD 和YOLOv 3 算法检测相同数据集的精确率和召回率。精确率和召回率计算方法如式(7)～(8)。

式(7)～(8)中：NTP(true positive)是预测正确的样本数；NFP(false positive)是实际不为该类缺陷但预测为该类型缺陷的样本数；NFN(false negative)是实际为该类缺陷但预测成其他类型的样本数。表3 结果显示：使用图像分割算法结合改进后卷积神经网络MobileNetv 2 分类模型对板件表面崩边和划痕缺陷的检测精确率分别达到了93.1%和97.5%；召回率分别为95.3%和97.6%。算法平均精确率和召回率均大于SSD 算法和YOLOv 3 算法。对MobileNetv 2网络结构上的改进使得算法的在崩边和划痕的精准率分别提高了1.4%和4.7%，召回率分别提高了1.8%和5.1%。在MobileNetv 2 网络引入倒残差结构，使算法运行耗时从233 ms 降低到163 ms。

表3 不同检测方法的评价结果Table 3 Evaluation results of different detection methods

试验过程发现：随训练样本数量的增加，SSD 算法和YOLOv 3 算法的精确率和准确率或许可得到进一步上升，但在模型训练样本量较小(＜1 000)的情况下，使用基于阈值分割技术结合图像分类模型对缺陷的检测效果明显更好。原因是图像分割算法不需要对目标框信息进行学习训练，而是直接根据图像灰度特征对目标区域进行定位，减少了检测算法的参数量，使模型训练时损失值能更快地收敛。另外，分割算法对缺陷进行分割时会存在一定的遗漏，导致部分缺陷不能输入到分类网络进行识别，使算法召回率下降；在对一些非缺陷区域进行矩形框截取时，可能会截取到部分缺陷区域，导致将其误识别为缺陷区域，使算法精确率下降。因此，分割算法在设计时应保证较低欠分割率的同时尽量减少过分割率。

4 结论

本研究采用图像分割算法对家具板材图像中的缺陷进行分割并对图像截取，再利用深度学习中的卷积神经网络模型对截取后的图像进行缺陷类别检测，实现了使用较少训练样本即可完成人造板表面崩边和划痕的缺陷检测任务。对人造板表面崩边和划痕缺陷的检测精确率达到了93.1%和97.5%，召回率分别为95.3%和97.6%。本研究对MobileNetv 2图像分类网络进行了改进研究，使用了ReLU 6 非线性激活函数替代了ReLU 函数，增加了模型精度，使得算法对崩边和划痕检测的精准率分别提高了1.4%和4.7%，召回率分别提高了1.8%和5.1%。同时，在MobileNetv 2 中引入倒残差结构，使算法运行耗时从233 ms 降低到163 ms。经验证，在模型训练样本量较小(＜1 000)的情况下，使用图像分割结合深度学习的方法对人造板表面缺陷检测的准确率和召回率均高于SSD 和YOLOv 3 目标检测算法。