基于计算机视觉的电饭煲内胆缺陷检测系统设计

冼 进，冼允廷，2，庞冬梅

（1.华南理工大学 计算机科学与工程学院，广东 广州 510006；2.广东优算科技有限公司，广东 佛山 528313）

0 引言

电饭煲内胆在工业高度自动化生产过程中，偶尔会存在着一些瑕疵（次品），如划痕、刮花、碰伤、麻点、堆油等缺陷，而其中的缺陷大部分都是极其微小，甚至是肉眼难以识别的，这些缺陷所造成的坏品率虽然不高，但是为了让产品更具竞争力，必然要求不良品不能最终出现在产品中，特别是在高端产品或销往欧美等发达国家的产品中，更不应该出现不良品。一方面，如果能提前发现不良的部件，提前排除，那就能打造成本优势；另一方面，人工检测一般在强灯光或者噪声复杂的工作环境中，人容易疲劳、容易误判，对经验要求高，现在大部分工厂并不容易找到检测工人，在各种因素驱动下，设计开发基于计算机视觉的电饭煲内胆缺陷检测系统代替人工检测，市场潜力无限[1-2]。

1 系统整体方案概述

计算机视觉的电饭煲内胆缺陷检测系统有硬件和软件两大主要部分。硬件部分主要包括带动电饭煲内胆移动的生产线传送带、图像采集设备及机构；软件部分主要包括负责图像的处理、分析和检测功能软件及存储设备[3-4]。电饭煲内胆外观表面缺陷检测采用深度学习的图像检测技术，依靠深度学习算法训练出的检测模型在检测时，模型会根据训练过程中自动学习、自动提取图像特征，结合深度卷积神经网络模型对电饭煲内胆缺陷智能感知，最后给出判断结果[5]。

2 电饭煲内胆缺陷检测设计

计算机视觉的电饭煲内胆缺陷检测系统一般包括工业快速照相机、视觉缺陷检测软件以及数据存储器，可以代替人工质检，相当于机器人的眼睛，通俗的讲就是图像处理，通过工业快速相机对需要检测的物品或产品外表面进行拍照，然后进行图像处理[6]。

2.1 电饭煲内胆缺陷检测硬件设计

工业相机应用：电饭煲内胆状况需要全面感知，内胆全方位的检测需要对内胆的里、外表面状况进行全面感知，单个工业摄像头无法满足感知需求，需要多摄像头协同感知、图像拼接。不规则内胆需要摄像头动态调焦，摄像头通常只在合适的焦距内才能获取清晰的图片，而同一生产线上会生产尺寸各异的内胆，不同批次、不同尺寸的产品需要手动调节摄像头焦距。硬件平台搭建具体设计如图1 所示。

图1 机械结构及现场模拟示意图

1）在电饭煲内胆切边前的流水线上架设检测架，用于检测内胆的外侧缺陷。检测架上方两侧分别架设两个摄像头，在检测架后的流水线底加装两条微型滚轮使输送带平于外框，加装气动栏杆，目的是防止内胆跌落，加装气动推出装置。

2）对电饭煲内胆外部进行拍照，检测外部是否有规定的缺陷，检测结果返回给计算机主控制机，检测到内胆外部有缺陷，则内胆运输到气动推出装置缺口处，此时气动栏杆主动打开，气动装置把有瑕疵电饭煲内胆推出至返工子线，在返工子线尾及主线上加装阻挡装置，防止返工子线与主线的内胆相互碰撞，再流到返工主线尾部进行返工。

3）在电饭煲内胆跌落翻转后，切边流水线的出口处再架设检测架，用于检测内胆的内部缺陷，检测架上方两侧同样架设两个摄像头并加装标识物分配器。

4）对电饭煲内胆的内部进行拍照，检测内部是否有规定的缺陷，把检测结果返回给主机，如检测到内胆内部有缺陷，则标识物分配器将不良标牌放到内胆内部。

电饭煲内胆通过以上简单易用的全部硬件流程，配合软件完成缺陷的检测，快速、高效、准确、全自动化得到高质量成品。

2.2 电饭煲内胆缺陷检测软件功能模块

软件设计方案采用计算机视觉与深度学习等人工智能技术对内胆缺陷进行网络建模，通过神经网络的学习和识别能力对缺陷进行自动检测。通过机器智能实现检测，降低人力检测成本和因疲劳等人力因素造成的误检和漏检。检测功能包括如下几个部分：

1）数据采集模块：数据采集模块是通过协调多个摄像头模组并结合机械臂装置对内胆的状态进行全方位的感知，抓取内胆状态的高清图片或视频，如图2所示。

图2 数据标注与检测瑕疵效果图

2）深度学习网络模块：设计抗干扰的深度神经网络模型，利用摄像头感知的数据进行人工标注，构建内胆缺陷数据集。基于内胆缺陷数据集训练设计的抗干扰深度神经网络模型，通过训练使得深度神经网络模型能够自动检测和识别内胆的缺陷。

3）系统测试模块：可靠的视觉检测与识别系统也依赖于可靠的测试数据集。通过测试数据反向回馈神经网络，进行参数调整，以提高深度神经网络模型的检测精度。

2.3 缺陷检测软件设计总方案

基于计算机视觉的电饭煲内胆缺陷检测系统包括：图像采集和图像处理、缺陷分类与判断控制几个步骤，如图3 所示。图像处理是电饭煲内胆智能缺陷检测准确性的核心前提条件，针对原始电饭煲内胆缺陷数据为类别不平衡的小样本，利用深度卷积对抗网络（DCGAN）对内胆缺陷数据增强，扩充不同类别缺陷样本数据，克服小样本和不平衡问题[7]；同时考虑到电饭煲内胆生产环境复杂、干扰众多等问题，设计基于邻域连接空间约束的深度卷积神经网络方法，提高内胆缺陷分类方法及缺陷识别准确率；为直观准确地评估电饭煲内胆优良状态，改进网络模型，用于电饭煲内胆进行像素级别的缺陷分割，实现电饭煲内胆缺陷的准确分割，精细刻画缺陷轮廓，充分利用AI 等技术对电饭煲内胆表面缺陷进行检测。通过深度学习构建缺陷检测模型，该模型的输入数据即工业快速相机获取的电饭煲内胆图像，经过检测模型的处理之后就会得到缺陷的图像以及缺陷类型等信息[8-9]。

图3 电饭煲内胆缺陷检测过程框架图

1）图像处理：图像处理包括采集原始产品图像数据、图像分析、图像标注、图像识别、图像存储及输出或显示。充分利用人工智能技术进行图像采集后，被收集的图像进行初步标注处理，之后会将初级阶段的相关信息传输至控制终端进行神经网络算法处理[10-12]。生成器对缺陷图像进行旋转、缩放等操作，增强缺陷样本空间多样性，达到平衡数据[13]。判别器用来保证类别分布空间多样性，足够容纳全部类别，强制要求类别间的距离减小，形成显著聚类。在少量标注数据场景下，能够达到或者逼近充分样本下的监督深度学习模型性能，整个过程如图4 所示。

图4 基于自监督学习方法对数据进行增强

2）缺陷分类：各类电饭煲内胆表面情况复杂，检测目标的位置、大小、形状和纹理等差异较大，对于产品构建缺陷分类数据集，利用神经网络中嵌入特征增强模块获取高级语义特征，运用决策理论和结构方法进行图像标记识别，测试算法对缺陷特征提取及深度学习充分情况，对比图像缺陷分类识别性能效果差异，建立所选用的CNN 分类模型及Softmax 分类方法，如图5 所示。

图5 电饭煲内胆缺陷分类

通过训练使得深度神经网络模型能够自动检测和识别产品的缺陷，此外，系统同时通过设备修正错误结果，实时将修正结果反馈到检测模型，让模型得到持续学习，提升缺陷判别分类效果，使得分类识别性能越来越好，实现了较高的产品缺陷分类准确率[14-15]。

3）缺陷分割：改进的UperNet 深度神经网络结构模型如图6 所示。通过对已建立的数据集进行训练，实现电饭煲内胆表面缺陷的准确分割，精细刻画缺陷轮廓。

图6 改进的UperNet 深度神经网络结构模型

特征融合模块：将特征提取器获得的不同尺度、层级的特征图进行融合，能有效利用多尺度的信息，从低级特征到高级特征连接，将低级的缺陷细节特征补充到高级语义特征。

空间金字塔池化模块：为了能够在高级特征上高效地获取更多信息，将特征提取器获得的最高级特征池化成4 个不同尺度，经过卷积、上采样后再将这4 个特征图拼接。

3 系统应用测试

3.1 电饭煲内胆缺陷检测系统整体功能测试

完成自动化智能缺陷检测系统硬件整改及安装调试，编写相应软件，训练好检测模型，就对整个检测系统进行各项功能测试。首先选取一条正常生产线，安装调试图像采集设备及各种控制设备，调试计算机主机；然后对智能缺陷检测系统的图像采集功能、图像处理、数据训练及检测模型工作状态进行测试。

电饭煲内胆缺陷检测系统测试条件：在正常生产线上设置两组不同数量产品进行检测，记录情况；同样应用这两组数据，但在其中人为更换加入不同数量、各种有瑕疵产品，记录相应测试数据，见表1。

表1 缺陷检测系统功能测试情况记录表

3.2 缺陷检测系统与人工检测对比测试

选取两条同样的生产线，一条由系统进行缺陷检测，另一条还是按原来人工检测办法进行，确定几组不同的检测数量，记录检测时间、次品数、误检及漏检数，见表2。

表2 检测系统与人工检测对比测试情况表

3.3 缺陷检测系统应用测试结果综合分析

观察表1，正常生产时，基本未检测出异常产品，这是由于现代生产线都比较成熟、稳定，一般不出现有瑕疵产品，所以在短时间、少量产品下无法确定缺陷检测系统是否达到检测要求，人为更换有不同类型缺陷次品时，检测系统能准确检测出有缺陷产品，系统提示及统计数据显示正常，平均每个产品检测时间基本相等，证明电饭煲内胆缺陷检测系统各项功能正常，系统完全达到设计要求。

观察表2，机器自动化智能缺陷检测平均检测时间基本固定在3 s/个，大数量、长时间检测都能保证不误检和漏检，人工缺陷检测平均检测时间基本在4 s/个以上，在数量越多、检测时间越长时，平均检测时间就越长，并且长时间工作就会出现误检和漏检。从记录数据总体评估，电饭煲内胆缺陷检测系统比人工检测优势明显，系统能准确、稳定检测出有缺陷产品，性能符合电饭煲内胆生产线检测缺陷需求。

4 结语

以工业相机作为图像采集工具，由计算机视觉及深度学习算法对图像进行智能分析，融合卷积神经网络训练检测模型，实现电饭煲内胆在生产线上实时、无损伤自动缺陷检测，达到提高产品质量的目的。对比实践测试表明：电饭煲内胆缺陷检测能有效完成在不同生产线上进行图像采集、处理、运动控制与数据展示等多种任务，有效解决了人工检测工作中存在效率低下、检测准确度较低等问题。根据企业及生产线情况，后期可进一步完善后台数据管理灵活性和数据处理效率，提升设备关联性和智能检测程度。系统完善后，在产品表面缺陷检测领域具有更广泛的实际应用价值。