电子元器件产品外观质量智能检测技术研究

石锦成，刘 鑫，刘 蜜，刘 超

(贵州航天电器股份有限公司，贵州贵阳 550009)

0 引言

电子元器件上所附加的导线在穿线、剥线、压接等工序过程中常具有缺陷特征细微、多样、难摄取、不易量化等特点，在产品外观质量筛检过程中，采用人工筛检的方法会受到观测方法限制、筛检标准不统一等因素的影响，而采用传统机器视觉技术则存在缺陷特征难以量化和提取、缺陷图像识别能力弱等不足。由于存在细微而又多样的形态过渡变化，产品外观质量的“优、良、中、差”并不能受统一的精确尺寸所衡量。在实际人工筛检过程中，其质量品级常存在大范围的模糊过渡的状态，无法精确界定，筛检过程非常依赖筛检人员的观察和感觉。电子元器件导线线头部位的深度及形态均会影响最终检测结果，而在过渡的产品中则会存在一种或多种失效特征，对精确判断产品是否合格造成严重干扰。筛检工作对人员要求高、强度大、经验依赖性强等特点严重制约了电子元器件导线线头的检测效率和精度。

利用机器视觉技术可大幅提升产品外观检测的效率[1]。伴随机器视觉技术的发展，在自动化检测领域有一批技术应用成果[2-5]。然而在实际工程应用中，存在检测困难和实际应用场景的特性情况需要处理，采用经典机器视觉的方式往往难以全面应对各种检测场景，或需要较复杂的处理流程，因此难以适应日益增长的生产需求。以深度学习为代表的新一代人工智能技术的发展为寻求更加精确、高效的检测方法提供了途径[6-10]。

针对电子元器件导线检测筛选过程中存在的问题，本文在硬件和软件方面进行研究。硬件方面，构建多角度高速成像机构，将人工筛检时的从线头正面角度观测转变为从线头侧面多角度旋转观测，增加筛检的全面性和准确性；软件方面,基于工程师经验和试验分析结果对从侧面捕获的图像数据进行数据样本标签标注，通过数据集建设沉淀固化检测人员的筛检标准，形成有标签的产品质量品级数据集，进而训练深度卷积神经网络，实现有监督的学习，使机器具备检测人员的产品外观检测能力，达到经验丰富的检验人员的筛检水平，保证筛检过程高质量、稳定、可靠完成。

1 检测角度与检测机构

受到电子元器件导线产品外形尺寸的限制，人工筛检时为保证效率会依靠检测器械从线头顶部的正面观测筛检。这种观测方式对于导线外型的检测具有较高的效率，但是对于导线侧面压痕、切伤等则难以观测，特别是对于导线外层绝缘材料的烫线质量难以做出较精确的判断。图1展示了不同烫线质量的导线线头。由于烫线时间、烫线温度在导线个体上存在差异，导致烫线效果也不相同。

图1 导线烫线质量示例图

人工筛检对于这种筛检情况会存在两方面的问题：一方面会容易导致漏筛错筛，给后道工序埋下巨大质量隐患；另一方面，人员长时间在显微镜下检测筛选，工作劳动强度大，导致线头筛检一致性差，有相当一部分的合格线头因错筛报废。为了解决人工分选存在问题，采用全新的观测角度和观测方法，构建新型夹持和观测机构，实现核心部位的一体化检测。

如图2所示，新型电子元器件导线线头成像机构采用3个相机均匀分布且线头可夹持旋转的方式，使得基于每一个待检测线头都可生成至少6张不同角度的线头侧面观测图像。电子元器件导线线头缺陷检测系统核心部分由“检测装置视觉模块”和“后台模型训练模块”两部分组成。其中检测装置视觉模块处于电子元器件导线线头缺陷检测装置内，主要包括光学成像子模块、缺陷在线检测计算子模块。如图2所示，电子元器件导线线头成像机构由3套呈120°角圆环形排列的工业相机与镜头，LED光源照明组成。电子元器件导线线头位于机构中心，每只线头由电机与夹持机构带动旋转，多角度成像。

图2 电子元器件导线线头成像机构示意

2 筛检逻辑

由于电子元器件导线线头实际表面形态复杂，为降低检测难度，提高检测效率和准确性，采取两阶段的产品外观质量筛检过程，如图3所示，采用线头宏观尺寸初筛和线头微观部位细筛相结合的筛选处理过程。

图3 线头图像检测范围分割示意图

通过以上两处检测过程的改进和相应机构的构建，可实现两阶段的产品外观质量筛检过程。第1步，采用经典机器视觉算法，对导线线头绝缘部位尺寸进行筛检，可在筛检初期将绝缘层异常的产品筛除。第2步，确定线头核心部位范围，进一步获取高清图像，为后续采用人工智能算法对线头外形及缺陷筛选做好准备。如图4所示，基于改进的机构，本研究拟采用基于传统机器视觉算法对大视野粗粒度的外观检测，与人工智能算法对小视野细粒度的外观检测相结合，以提高检测水平。

图4 筛选逻辑流程

3 筛检逻辑

由于采用旋转线头拍摄的方式，基于每一个待检测线头，都可生成至少6张不同角度的线头侧面观测图像。图5展示了若干待检测样本线头部位的图像。由图5可以看出，基于从线头侧面旋转观测的方式，可以得到内容丰富的图像样本。一方面，得到了全方位的观测结果，另一方面也在一定程度上增加了检测结果的多样性，确保正确的检测结果。在图5中标记了若干失效特征，由于电子元器件导线线头有多种失效形式且难以量化，此处仅列举出部分典型失效形式。

图5 线头部位失效图像示例

除图5展示的各种失效形式外，线头外观质量的平滑过渡也是经典机器视觉不易处理的问题之一。图6展示了产品外观质量的“优、良、中、差”的过渡变化。可以看出，仅线头部位烫线外观质量一项，即使采用人工筛检也难以确定精确的标准。由于受到顶部正面观测角度和精细度限制，人工筛检难以对线头外观质量过渡态进行精细正确的标定。

图6 线头部位质量过渡示意图 (质量等级从右至左为优、良、中、差)

3.1 数据集建设

算法模型保证了结果精度的下限，而数据决定了结果精度的上限。本应用场景下的产品外观筛检工作是一个典型的分类任务，即在获取产品外观图像的基础上，判别样本为合格品或不合格品，本质上可以被设置为一个二分类问题。但由于受到失效特征多样、失效形式复杂等因素的影响，本研究将此分类问题细化，构建多分类模型，结合实际产品数据，基于工程师抽样进行样本数据的整理收集、模式分类及标签标注，确定分类标签及样本数量，并重点对不合格品的不同失效形式做了类别细化，特别对未来未知失效形式制订了单独的分类标签，以实现针对性的处理，构建符合业务需要的多分类基础数据集。

在具体实施过程中，基础数据集的构建可分为两个阶段：

第一阶段，基于检测工程师经验，结合auto-encoder无监督聚类结果,将所收集到的样本图像数据按照外观质量从高到低的顺序，定义了“NG(不合格)”、“QS(缺丝)”、“GD-NG(过渡偏不合格)”、“GD-OK(过渡偏合格)”、“OK(合格)”5大类的分类类别，并做相应的标签标注。

第二阶段，提取出基础数据集中线头的“正”、“歪”、“浅”、“散”、“断”、“缺”等核心特征，并以此为基础构建失效特征更加细化的分类标签结果，使基础数据集中的分类标签设置更加合理充分。值得注意的是，部分类别数据由于数据量过少，有可能对分类模型的分类边界造成噪音干扰，从而导致模型过拟合的不良情况产生，致使在数据量稀少的样本附近有可能被模型判断为错误类别，造成了分类误差，对多分类模型的预测精度造成影响。为了避免该情况的发生，在数据集建设阶段需基于部分稀少类别的数据集，在风险可控的条件下，进行合理合并，使各类别数据集之间的数据样本比例相对均匀，从数据集的角度支持模型给于更加稳健的类别划分。

同时，如图7所示，针对个别具备重要失效特征且又存量极少的样本类型，需研究进行基于亮度的样本增强，模仿实际筛检工况下的光源亮度变化，从而使模型不仅能够增加在亮度维度下的适应能力，而且提高对于少量失效特征的识别准确率。

图7 线头部分数据增强示意图

3.2 算法框架建设

本研究的本质是基于卷积神经网络CNN解决多分类预测问题，其核心是CNN网络的实施。在当第一阶段经典机器视觉对线头尺寸筛检工作完成后，CNN网络则负责线头部位的筛检，最后系统取得两个部分的计算参数与分类结果，综合考虑线头应归属的类别。在具体实施时，采用自动化设备通用编程软件与经典深度学习开源框架联合编程，搭建了经典机器视觉算法与CNN网络模型有效结合的智能化软件系统架构。基于自动化设备通用编程软件实现检测目标数据获取、存储与预处理，并构建工程师经验引导的算法流程，核心识别模型则基于深度学习算法框架实现。

由于电子元器件导线线头失效形式复杂多样，所构建的基础数据集无法做到对失效特征的全面覆盖。针对这一问题，可基于基础数据集训练初始深度学习模型，并在此基础上构建人工智能算法与工程师经验相结合的处理模式，实现训练集样本数量和种类的扩充，在可控的条件下实现算法精度的迭代上升。每一轮迭代过程中，都是在之前模型判断结果的基础上，对发现的已有样本数据分类标签错误的进行更正，在控制训练集规模的同时对未知的样本数据进行细化分类、补充或归属处理，进而基于新的训练集对模型进行重新训练，实现样本识别准确率进一步提高，达到预期目标。

样本数据的质量、类别标签的完整度及类别间样本规模及数量比等因素决定了分类识别模型学习的上限。为了能够使模型不断完善，识别准确率不断提高，本研究在样本数据集建设方面构建适应于业务场景的流程及更新模式。基于数据库技术实现产品数据在线采集整理，结合统计分析及反馈调节机制，重点对未知新型失效样本进行整理，实现基于工程师监督的识别模型自适应样本标签跟踪及改进机制，进而实现训练集的周期性动态更新。电子元器件导线线头筛选方案整体实施流程如图8所示。

图8 电子元器件导线线头筛选方案整体实施流程

4 对比试验与结果分析

本文选用的深度学习工作站装配了Intel Xeonw-2123处理器，16G内存，以及Nvidia GeForce GTX1080 Ti显卡，性能满足研究需求。为验证算法流程以及所构建数据集的有效性，本文选用googlenet作为深度学习网络模型，基础学习率为0.001,学习率变化频率为300次迭代改变1次，学习率变化指数为0.9，权重衰减值为0.000 2，基于4万以上的带有数据增强的样本集共完成6 600次迭代完成模型的训练。

表1为10个批次包含不同数量的电子元器件导线线头筛检对比的实验结果。由表1可以看出，采用本研究所提出的经典机器视觉与深度学习相结合的方式进行电子元器件导线产品外观质量检测，其筛检结果与人工筛检结果达到了接近的水平。

5 结论

本研究采用新型视觉检测机构，从立体全面的角度观测待检测品，克服了电子元器件导线表面外观质量筛检中人工筛检角度限制的不足；基于机器视觉技术和深度神经网络技术，形成了产品外观检测宏观尺寸和微观特征检测相结合的两阶段检测流程，提升检测效率和准确率；基于弱监督聚类算法，辅助人工进行样本类别标注，形成了一套针对产品表面外观质量筛检的样本标注及数据集快速构建的实施流程，构建了一套针对电子元器件导线线头部位失效形式的基

表1 10批产品筛检对比实验结果

础数据集；针对核心少量特征数据，形成适应于工业应用场景的样本增强方案；面向工业生产实际需求，构建相适应的判据融合方案，提升视觉识别整体准确率。

本研究采用经典机器视觉结合卷积神经网络实现电子元器件导线线头的智能筛检，实现的工程意义如下：

(1)实现了产品外观检测的自动化，部分取代人工，降低了成本，提高筛检效率。

(2)通过数据集建设形成筛检标准，将之前依靠人工感觉筛检转变为筛检标准的沉淀与迭代更新，使检测结果稳定可靠，合格品一致性更好。

(3)相应设备的投入使用将使筛检工程师从一线筛检工作中解放出来，转而投入到电子元器件导线失效特征数据收集、数据集更新与维护、产线生产状态跟踪与分析、失效特征机理分析与工艺改进、设备运维等的工作中，进一步提升产品的质量。

(4)基于设备的筛检结果进行实时的统计分析及数据应用，可以实现产线生产状态与产品生产质量的实时跟踪数据基础，进而形成基于数据驱动的实时产线管理决策机制，实现产线智能化管理新模式。

(5)依据详细划分质量等级的分类标准，模型分类结果更精确，对于工艺改进、产品质量提升等都有推动作用。