基于YOLO v5算法的板材质量视觉检测技术研究
2021-11-04刘风华谢国贤肖浩南杨良生黎剑锋
刘风华 谢国贤 肖浩南 杨良生 黎剑锋
DOI：10.19850/j.cnki.2096-4706.2021.09.039
摘 要：对于家具板件自动化生产，快速、准确的板件质量检测系统是不可或缺的。以YOLO v5算法为基础对计算机辅助检查板件质量技术进行了研究。在机器学习算法的基础上，结合运动目标捕捉算法作为辅助检测方法，实现板件的识别和定位，然后通过OpenCV中的图像处理和轮廓识别方法来实现板件尺寸测量。该算法的板件识别率达98.33%，识别多种颜色板件外形长宽尺寸时，实测最大尺寸误差2.23 mm，能满足家具板件生产质量检测的需求。
关键词：机器视觉;YOLO v5;边缘检测;尺寸检测
中图分类号：TP277 文献标识码：A 文章编号：2096-4706（2021）09-0149-05
Research on Visual Inspection Technology of Plate Quality Based on YOLO v5 Algorithm
LIU Fenghua1，XIE Guoxian2，XIAO Haonan2，YANG Liangsheng1，LI Jianfeng1
（1.Guangzhou KDT Machinery Co.，Ltd.，Guangzhou 510535，China;
2.Guangzhou Wangshi Software Technology Co.，Ltd.，Guangzhou 510535，China）
Abstract：For the automatic production of furniture panel，fast and accurate panel quality inspection system is indispensable. Based on YOLO v5 algorithm，the technology of computer-aided inspection of plate quality is studied. On the basis of machine learning algorithm，combined with the moving object capture algorithm as an auxiliary detection method，the panel recognition and location were realized. Then the panel size measurement is realized by image processing and contour recognition in OpenCV. The recognition rate of the algorithm is 98.33%. When recognizing the length and width dimensions of multi-color panels，the measured maximum dimension error is 2.23 mm，which can meet the needs of furniture panel production quality detection.
Keywords：machine vision;YOLO v5;edge detection;size detection
0 引 言
在板材加工过程中，由于加工工艺和机械精度的原因，产品难免会出现缺陷。为了确保产品质量，板件需要由工厂进行测试，在生产过程中盡可能减少不合格产品。传统人工视觉质量检查方法存在效率低、易出错和主观性大等问题。而机器视觉主要依靠计算机模拟人类视觉功能，能为板件质量检测提供优化解决方案，实现家具行业生产自动化。与传统的手工方法相比，机器视觉检测速度快、精度高、结果客观，可以快速、准确地检测板件的加工缺陷，并对缺陷参数进行综合分析，判断板件是否合格，且满足企业生产的长时间、高精度重复工作的要求[1]。
质检系统的功能是将摄像头采集到的板件信息实时输出和检查。近年来，一些学者逐渐开展了使用机器视觉检测板件质量的研究。板件尺寸检测系统需要先通过摄像机获取工件的图像，然后进行相关的图像处理得出所需要的结果。唐小松[2]等介绍了一种利用面阵摄像机获取板件信息的系统，但该系统需要板件处于静止状态，难以满足工厂生产效率的需求。龚建钊[3]等提出了一种利用CCD线阵相机获取板件尺寸的尺寸检测系统，通过强曝光消除板件材质和环境光线的影响。邓斌攸[4]等通过预检系统获取板件材质信息，再通过线扫描相机获取板件图像。这两种系统都能实现板材的在线检测，并达到较高的精度。但由于线阵相机成本高，工厂实际应用门槛较高;此外，线阵相机对板件通过速度的稳定性要求较高，对抖动敏感，对作业环境有较高需求。
本文提出一种能连续识别生产线中的板件，以及测量板件尺寸的在线尺寸检测系统。该系统通过机器学习算法实现板件识别，再通过图像处理技术进行尺寸检测。为了快速识别板件，板检测算法首先需要具备实时响应和高精度。现有的基于深度学习物体检测方法在汽车、人脸等识别上已经有广泛应用。
卷积神经网络（CNN）作为深度学习的一种代表性算法，被广泛应用于目标识别[5]，其中YOLO算法[6]消除了候选区域的生成阶段，并将特征提取、回归和分类放入卷积网络中，从而简化了网络。尽管由于边界预测的时空限制的影响，它对小目标的检测效果不佳，但是它具有更快的检测速度，常用于车辆，无人机目标识别等项目[7，8]，能满足板件检测的实时性。
1 系统介绍
本系统能以50 m/min的速度在线识别、测量长宽在200 mm到1 800 mm之间的不同材质的家具板件，对于材质颜色与环境颜色对比度高的板件，其机器检测结果与人工检测差值小于1 mm。而对于材质与环境颜色相近板件，其识别精度较低，差值在±3 mm以内。
设备布置图如图1所示，硬件系统的核心包括两部分：采集图像的视频系统和处理图像的控制机。该视频系统由放置在生產线上方的高清摄像机（摄像机型号：MV-GEF1200GC-T-CL，镜头型号：MV-LD-8-10M-A）组成，用于获取板件图像。控制机则用作处理图像，实现目标板定位、尺寸检测等算法。根据质量检查系统所需的功能，该算法分为三个模块完成：板件识别模块、图像处理模块及尺寸测量模块。
由于图像处理和后续检测依赖于板件识别结果，因此首要任务是标记板件位置。板件通过You-Only-Look-Once v5（YOLO v5）算法并结合运动物体检测的算法进行定位。尺寸测量模块的主要任务为计算板件识别模块所检测出的板件外形尺寸。
2 板件识别
2.1 基于YOLO v5的检测模型
YOLO v5是用于物体检测的一阶段卷积神经网络（CNN），是在YOLO v1-YOLO v4[9，10]的基础上改进的。与Faster-RCNN不同，YOLO v5网络是通过回归直接获得边界框的坐标和每个类的概率，使得物体检测模型的计算速度大大提高，更适应实时质量检测的要求。
YOLO v5的网络结构可分为四部分：input、backbone、Neck和预测层。相比于之前版本的算法，YOLO v5在input端使用了Mosaic数据增强方式，随机调用4张图片并按随机大小、分布进行堆叠，提升对小目标的识别能力，并且能同时计算4张图片，减少内存的消耗。在Backbone上主要采用Focus结构、CSPnet结构，在Neck上采用FPN结构和PAN结构。
在检测过程中，YOLO v5将用于训练的图像划分为S×S的网格，这些网格在x和y轴上以相同的密度分布。每个网格预测木板是否落入其内部。当预测为正时，网格负责检测这个对象。置信度（ξ）定义如下：
ξ（Obj）=Pr（Obj）×IOU
其中，Pr（Obj）指示预测边界框内是否存在板，IOU指示实框与预测框的交集，其定义为：
其中BoxT表示基于训练标签的真实边框，BoxP表示预测边框，area（）表示面积。
在检测板件的过程中，首先选择合适的候选区域并进行预测。其次对预测结果进行筛选，得到置信度高的预测框。每个边界框包含五个预测值：x、y、w、h和置信度。得到每个预测框的置信度后，将低于阈值的框去掉，然后对剩余的边界框进行非极大值抑制（NMS）处理，得到多组高分边界框。最后导出位置参数。
误差损失函数由三部分组成，分别为置信度、分类和预测边界框的坐标的误差。由于本研究中只存在板件作为唯一识别的对象，因此不存在分类误差。而其中YOLO v5使用BECLogits函数计算置信度的损失函数，GIOU计算预测边界框的损失函数，所以模型的损失函数可以表示为：
其中C是包含真实框和预测边界框的矩形边界框的最小面积。
2.2 模型训练
用于训练的数据集由现场拍摄并标有板件的图像组成，所提出的检测模型可以通过以下4个步骤进行训练：
（1）在现场收集约700张分辨率为4 096×3 000的图像。因为板件数据集属于小样本数据集，需要对采集到的图像进行图像增强以获得更好的训练效果，包括旋转、镜像、颜色和亮度调整、模糊等处理，以提高检测模型的泛化能力。
（2）给图像编号并标记板件作为标注数据集。标注数据集由图像和标注文件组成，随机选取其中20%作为测试集，20%作为训练集。
（3）根据Darknet-53网络的官方权重，只对检测层的权重进行预训练优化，得到稳定的损失函数值。本文的模型训练和测试是在配置为GPU（NVIDA RTX 1050）和CPU（Intel（R） CPU@2.3 GHz）的计算机上完成的。关键参数设置为：初始学习率为0.001、动量为0.95和衰减率为0.001。
（4）进行微调训练，优化网络各层的权重，以达到最佳模型性能。
图2为模型训练过程的损失曲线。可以看出该模型表现出良好的收敛性。训练后损失函数值从0.156 65降到0.009 04。
2.3 运动目标检测
针对YOLO目标检测对于未学习或异形板件识别中不成功和漏检的问题，本研究拟将YOLO算法与运动目标检测算法相结合。运动目标检测的常用方法包括光流法、帧差法和背景去除法。帧差法对运动目标移动速度低、帧间像素差距小的图像不敏感，检测结果容易产生“双影”和“空洞”。而背景法在视频初始帧中存在移动目标，目标移动缓慢等情况下容易产生“鬼影”和“拖影”。本文采用基于结合去背景法和二帧差相结合的运动物体检测算法对板件进行检测，这两种方法提取的差异图像是通过逻辑运算得到的，可以更好地去除“鬼影”。分别对两种算法得到的前景图进行标记，并对标记的前景图进行逻辑运算，获得可能的“鬼影”位置。最后将设定的阈值与像素数进行比较，判断局部区域是否为重影。
本系统中YOLO v5检测算法与运动目标检测算法是同时运行的，并以YOLO v5算法作为主要检测方式，通过设定的面积占比阈值判断检测出的板件是否为同一块。当两个算法检测到同一块板件时，以YOLO v5的检测结果作为输出图像;当YOLO v5算法遇到无法识别的板件时，则将运动目标检测算法的结果作为输出图像。具体流程如图3所示。
3 板件尺寸检测
3.1 图像处理
目标识别算法得到的板件图像往往存在缺陷，难以直接用于后续的面板质量检测，主要有以下三个原因：
（1）由于相机的成像原理，拍摄的图像会畸变、失真。
（2）板件在运输机上运输产生跑偏、震动。
（3）板子上可能有污渍、灰尘，因此需要对图像进行处理以去除污渍。
相关的具体步骤如下文。
3.1.1 畸变校正
由于镜头成像原理，畸变在所难免。由于图像的畸变，直接影响后续测量的精度，其中径向畸变影响最大。因此，可以在计算相机参数的公式中加入二阶径向畸变，建立畸变模型方程，其式为：
其中s1和s2是相机的径向畸变系数。相机的参数和畸变系数可以通过最小二乘法得到。由于摄像头和传送装置的位置保持不变，因此该检测系统中摄像头的畸变只需要校正一次，后续不需要重复校准。
3.1.2 图片校正
板材在输送带上运动过程中，会产生振动，导致采集到的板材出现偏差，影响后续检测。本文对傅里叶变换得到的频域图像进行二值化处理，然后利用Houge线检测得到校正角，再根据校正角度校正图像。
3.1.3 图像处理
控制机对图像做腐蚀、膨胀、高斯模糊、边缘增强、锐化等预处理，以排除图像噪声的干扰，并按照二值化阈值对图像二值化，在此基础上再提取板件的几何要素特征。
3.2 尺寸检测算法
经过数字图像处理、轮廓特征提取和区域特征提取后，利用OpenCV的轮廓识别算法对板件图像的轮廓特征进行拟合。这种轮廓识别算法是用拓扑分析来确定二值化图像边界的算法，可以更好地提取板件的边缘轮廓。然后将提取到的轮廓点像素按照偏差平方和最小的原则进行直线拟合，拟合结果用多项式方程表示，相关的计算公式为：
其中（xi，yi）为轮廓像素点坐标，且i=1，2，3，…，m。φ（x）为拟合的二项式函数。δi2为拟合直线在（xi，yi）上的偏差的平方。
根据拟合得到的工件轮廓直线可求得交点的像素坐标，然后根据测量系统先前的校准参数，将图像像素转换为板件的实际尺寸。使用欧氏距离测量实际板与MPR文件板之间的板尺寸的相似性。
根据图像中板尺寸特征区域的拟合结果，可得到外形尺寸和特征。然后将校准后的相机参数分别乘以得到的尺寸坐标，得到待测板的实际尺寸。由于摄像头的位置是固定的，板件轮廓所占据的像素可以按比例转换为板件的实际尺寸。
4 结果与分析
如图1所示，检测设备安装在生产和运输线上，对通过的板件进行检测。实验样本为8种颜色、纹理特征不同的家具板材，每种5个，长度200～1800 mm，宽度200～1000 mm不等，且板面随机加工一定数量的孔槽。板件长宽使用游标卡尺进行手工测量，并重复测量3次。实验在Window 10操作系统、8核CPU 2.3 GHz、8 GB内存、NVIDIA GTX1050显卡的控制机上进行测试，实验环境为工厂现场环境。采用上文第二节的方法对板材进行识别、标记，采用上文第三节的方法进行尺寸检测。
4.1 板件识别
将精确率（Precision）、召回率（Recall）作为板件目标检测模型的评价指标，目标召回率和检测的准确率可分别表示为：
其中正样本TP（Ture Positive）为被正确检测的目标，负样本（False Positive）FP为被错误检测的目标，FN为没有被检测的目标。
计算Recall和Precision值分别为98.8%、97.62%。此外，精准度（AP）是评价检测模型准确性的直观评价標准，从召回率和准确率两个角度来衡量检测算法的准确性，是分析单个类别的检测效果的指标。检测结果如图4所示，目标检测的平均精准度（mAP@0.5）为92.03%。
为进一步验证训练的模型实际的识别能力，在实际的工厂环境中对运输线上的板件进行识别测试。其中辊筒运输机运输速度为50 m/min，板件每隔3 s放置一张，测试板件为8种颜色材质不同的刨花板板件，每种各5个，重复测试3次。板件平均识别率为98.33%，未识别板件情况皆出现在材质颜色与背景环境相似的板件中，如浅木纹、浅灰色，测试图像如图4所示。由图可看出，板件识别模块基本能较准确地将目标板件从运输线上识别出来，并获得贴近的图像区域。但对于颜色材质与背景颜色吻合度高的板件，虽然能识别出对应的板件，但截取的图像区域与实际板件区域差距偏大，如图4（a）所示。
4.2 尺寸检测
用机器视觉系统在线测量上述相关尺寸参数，并重复3次，求出每块板的相关尺寸数值和误差，其中板件长宽的人机测量结果的差值和机器视觉测量结果，如表1所示。
由表可看出，除浅灰色和浅木纹外，机器视觉测量值和人工测量值一致性较高，但系统检测的精度受板材颜色影响较大。在检测颜色对比明显的板件尺寸，测量精度较精确，与人工测量误差的差值在1 mm以内，能满足工厂使用需求，表明机器视觉可以取代人工测量对板材尺寸进行测试。由于辊筒运输机的震动幅度、频率相较于皮带式运输机大，摄像头拍摄时易出现板件边缘模糊的问题。浅灰色和浅木纹的板件尺寸测量精度较差，与人工测量结果的平均误差最大差值为2.25 mm，其测量结果与人工测量相比相对偏大。这主要是因为板材材质颜色与运输线辊筒背景颜色相似，YOLO识别板件判断的识别框误差偏大，框选位置过大，造成板件尺寸检测不精确。
5 结 论
本文基于机器视觉开发了一种家具板件在线尺寸检测系统，通过YOLO算法和运动捕捉算法实现对运输线上的板件的实时获取，并利用图像处理技术和轮廓识别算法实现板件尺寸的检测。在工厂实际环境测试表明该系统能在50 m/min的运输速度下，实现较高测量精度，为家具生产企业实现自动化快速板件检测提供了新的思路。
但由于生产环境复杂、环境光暗变化大、辊轮运输震动大等问题，使得板件尺寸测量误差大，需进一步提高算法对环境的适应性。此外，在背景颜色与板材颜色相近时，识别算法难以精确提取板件区域，需进一步研究以提高目标识别的精确度。
参考文献：
[1] KE Z N，ZHAO Q J，HUANG C H，et al. Detection of wood surface defects based on particle swarm-genetic hybrid algorithm [C]//2016 International Conference on Audio， Language and Image Processing （ICALIP）.Shanghai：IEEE， 2017：375-379.
[2] 唐小松，庄宏金，罗平，等.一种板式家具板材CCD检测装置：CN206146390U [P].2017-05-03.
[3] 龚建钊，华城，周恒，等.基于机器视觉的定制家居板件在线尺寸检测系统研究 [J].中国人造板，2020，27（1）：20-22+27.
[4] 邓斌攸，潘云峰，池志强，等.基于机器视觉的家具板件尺寸在线测量系统 [J].木材科学与技术，2021，35（2）：63-67.
[5] GU J X，WANG Z H，KUEN J，et al. Recent Advances in Convolutional Neural Networks [J].Pattern Recognition，2018（77）：354-377.
[6] REDMON J，FARHADI A. YOLO9000：Better，Faster，Stronger [C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Honolulu：IEEE，2017：6517-6525.
[7] 高宗，李少波，陳济楠，等.基于YOLO网络的行人检测方法 [J].计算机工程，2018，44（5）：215-219+226.
[8] 黎洲，黄妙华.基于YOLO_v2模型的车辆实时检测 [J].中国机械工程，2018，29（15）：1869-1874.
[9] LI Z X，ZHOU F Q. FSSD：Feature Fusion Single Shot Multibox Detector [J/OL].arXiv：1712.00960 [cs.CV].（2017-12-04）.https：//arxiv.org/abs/1712.00960v1.
[10] JOHANSON E，PALIBERG THAGMAN O. Fast Visual recognition of Scots pine boards using template matching [J].Computers and Electronics in Agriculture，2015（118）：85-91.
作者简介：刘风华（1968—），男，汉族，北京人，副高级工程师，硕士，研究方向：家具智能制造。
收稿日期：2021-04-10
基金项目：广东省科技计划项目（2018A050 506024）
