芯片载带缺陷的机器视觉检测方法

魏鸿磊，蒋志留，徐家恒，孔祥志，商业彤，童强

芯片载带缺陷的机器视觉检测方法

魏鸿磊，蒋志留，徐家恒，孔祥志，商业彤，童强

（大连工业大学 机械工程与自动化学院，辽宁 大连 116034）

针对芯片包装载带在生产过程中经常出现的型腔底部和边缘变形、穿孔等缺陷的检测问题，提出一种机器视觉检测方法。首先离线准备配准模板及标准模板图像，然后根据模板在生产过程中进行在线检测。在检测过程中由传感器触发采集待检测型腔图像，然后通过模板匹配 方法配准模板图像和待检测图像，并进行异或运算检测两图像差异从而定位缺陷。实验证明边缘变形检测最大错误率为0.45%，底部变形检测最大错误率为0.50%，穿孔检测最大错误率为0.35%，每帧图像检测平均耗时为0.22 s，满足用户错误率不超过1%和每帧耗时不超过0.5 s的要求。该方法能够实时检测芯片载带边缘变形、穿孔等缺陷，有效地实现载带加工生产过程中的质量监控。

芯片载带；缺陷检测；机器视觉；图像异或运算

芯片制造完成后一般要包装到载带中交付用户。使用载带包装能防止芯片受到污染和损坏，也有利于使用贴片机自动贴片。由于载带型腔是通过真空吹塑成型产生的，易出现变形、穿孔等缺陷，因此在生产时必须对载带型腔质量进行监测。人工监测经常会出现漏检，生产企业迫切需要载带检测的自动化设备。

随着电子信息技术的发展，多种新兴技术应用于物体的表面缺陷检测。在众多检测方法中，基于机器视觉的缺陷检测技术具有适用范围广、精度高且检测效率高等优点[1]，广泛应用于多种行业，如在工业中用于金属产品表面缺陷检测[2-5]、工件外形缺陷检测[6-7]、板材表面缺陷检测[8]、包装行业印刷质量检测[9-11]、鞋底质量检测[12]；在农业中用于胡萝卜表面伤痕检测[13]；在交通管理中用于交通标志污损检测[14]等。机器视觉技术在芯片载带质量检测中也有应用，如毛伟民等[15]先检测载带结构边缘，然后对边缘进行链码追踪，并根据追踪结果确定压痕位置；石韵昭等[16]将载带图像划分成小矩形区域，并通过对各区域的灰度值和梯度值进行分析确定是否存在缺陷。由于载带类型很多，型腔形状各异，型腔底部经常有各种突起的结构在图像上形成黑斑，上述方法难以灵活区分缺陷和正常结构，而且一般情况下缺陷图像对比度很低，难以稳定地通过边缘检测、灰度值和梯度值检测到，从而导致漏检，又由于吹塑时温度变化导致型腔底部经常出现灰度变化而导致虚检，因此可靠性不高。为实现在载带生产中实时有效地进行质量监控，提出利用光照突出缺陷，将待检测图像与标准模板图像配准并进行异或运算从而定位缺陷的方法。

1 载带缺陷检测装置

实验装置见图1，主要采用分辨率为3 072×2 048的海康威视MV−CE060−50GM黑白工业相机、16 mm焦距的定焦镜头，以及边长为150 mm的正方形中孔平板光源照明，功率为10.5 W。相机垂直安装于载带上方，由于载带尺寸不同，安装高度根据载带的尺寸进行调整，保证成型机一次吹塑出的一组型腔（一般为3～8个）都能收入相机视野，并有良好的成像质量进行检测。

图1 实验装置

在平板光源发出垂直均匀的光线照射下，载带的平面部分能够垂直反射光源到镜头形成亮图像，而其他部分将光线反射到别处形成暗图像，从而能够突出型腔结构和缺陷特征，见图2。

2 载带缺陷检测

缺陷检测依照生产过程中吹模和拉带交替完成的一组型腔作为检测对象，检测过程分为离线设置和在线检测2部分，见图3。

2.1 检测流程

首先离线设置模板，即操作人员通过工业相机采集标准载带图像，然后送上位机提取ROI图像并生成配准模板。在生产过程中进行在线检测，即每次拉带后由传感器触发相机采集图像，并传送到上位机与模板图像配准后进行比较。若判断结果为存在缺陷，则停机报警以提醒工作人员进行处理，否则继续进行下一组载带的检测。

2.2 离线设置

图2 载带缺陷

图3 检测流程

图4 设置索引孔ROI及检测ROI

2.2.1 像素当量标定

当相机视野不同时，像素当量也不同。为了计算缺陷实际物理面积大小需要进行像素当量标定。按设计规范所有规格载带的索引孔间距都是4 mm，可以用来计算像素当量。首先根据索引孔ROI裁出索引孔图像，然后按如述步骤计算像素当量。

1）使用Canny算子提取索引孔边缘。

式中：=4 mm为索引孔实际物理尺寸。

由于文中标定的目的是为了计算缺陷实际物理面积，以方便于阈值的设定，因此对标定精度要求不高，实验证明上述标定方法能够满足要求。

2.2.2 匹配模板设定

检测采用基于形状的模板匹配方法[16]，将分割出ROI区域的图像T作为模板图像。按式（2）用Sobel算子对模板图像进行卷积以计算各像素的梯度。

2.3 在线图像配准

在待检测图像上扫描匹配，在每个扫描位置根据式（4）都可计算出一个小于1的相似度分值，取最大的分值为最终相似度，如果最终相似度大于预定阈值（文中设为0.5）则认为匹配成功，如算法1所示。

算法1 图像配准 输入：待测图像I，模板图像T，模板向量集T，可能的最大位置偏差，匹配阈值T输出：配准参数1: for ; ;; do2: for ; ;; do3: 用在I中截取图像块E4: 根据式（1）计算E的方向向量集E5: 按式（3）计算E与模板T的相似度S6: If S>T then 7: If max

2.4 缺陷检测

如图5所示，首先对齐待检测图像和标准模板图像，然后进行图像异或运算以定位区别，即为缺陷，算法描述如下。

2）提取ROI图像E，然后根据式（5）与模板图像T进行异或运算得到异或图C，见图5。

式中：1为有缺陷；0为没有缺陷；为允许的灰度偏差值，文中设为50。

3）对异或图用5×5的模板进行形态学开运算处理，以消除噪声干扰。

4）当异或图C上检测出缺陷区域面积大于预设阈值时，用十字星标明缺陷位置并报警等待人工处理。

3 实验

在实际生产中，缺陷是很少出现的，而实验需要多种缺陷大量集中在一条载带上，因此企业现有的缺陷载带无法满足实验条件，为此通过人工仿真缺陷的方法制备实验载带。通过观察大量的实际缺陷，在一盘已经生产完成的载带上人工生成缺陷。该载带共计2 000个型腔，在其中300个型腔中人为制造了缺陷，包括边缘变形100个，底部变形100个，底部穿孔100个。此次实验在企业生产现场进行，将经上述处理的载带安装在真空吹塑成型机上，模拟生产过程以使实验条件与生产条件相同，实验环境见图6。采用的工控机CPU型号为Intel i5–2500（主频为3.3 GHz），内存为4 G。

因生产车间上午光线很强而晚上光线较暗，为减少环境光变化的影响，首先关掉照明光源，并将镜头光圈调小且将曝光时间变短，得到全黑图像，然后打开照明光源并增大亮度，直到最佳成像。在实际测试中发现在光线较强的上午，将光源调到最大功率时成像仍然较暗。由于使用条件和成本的限制无法更换更大功率的光源，也无法加装暗箱，只能通过增大光圈达到有效成像，但此时环境光的影响将无法避免。为评估光线变化的影响程度，在不同时间段共进行了10次实验。上午9时设置了模板并开始第1次实验，其后实验中模板再没有修改过。

图6 实验环境

在企业实际生产过程中，由于灰尘、设备振动、光照变化等原因很容易造成图像中出现噪声影响。如果缺陷报警阈值设得过小，容易造成虚警，影响生产效率，设得过大又容易造成漏检，因此按企业要求在程序中设置了可修改的阈值参数，由现场工程师根据生产经验动态调整，以保证虚警率和漏警率都在合理范围内。按照企业要求，实验中缺陷报警阈值设定为1 mm2。

实验结果见表1—3，其中虚警数是没有缺陷但被误报的次数，漏警数是有缺陷但漏报的次数，虚警率和漏警率是虚警数和漏警数占型腔总数的百分比。

由表1—3可知，边缘变形检测最大错误率为0.45%，底部变形检测最大错误率为0.50%，底部穿孔检测最大错误率为0.35%，均小于用户错误率不超过1%的要求。从不同时间实验错误率变化情况看，下午错误率明显上升，夜晚最大，分析原因是模板上午9时设置，随着时间的推移，外界光线变化导致图像发生轻微变化引起错误率上升。底部变形检测错误率最高，分析原因是底部变形对光线变化更为敏感，且随着实验多次重复进行底部变形情况慢慢缓解，从而引起漏警率上升。示例检测结果图像见图7。

表1 边缘变形检测实验结果

Tab.1 Experimental results of edge deformation detection

表2 底部变形检测实验结果

Tab.2 Experimental results of bottom deformation detection

表3 底部穿孔检测实验结果

Tab.3 Experimental results of bottom perforation detection

图7 缺陷检测结果示例

4 结语

在利用平板光源照明突出缺陷特征的基础上，通过模板匹配方法配准模板图像和待检测图像，并进行异或运算检测两图像差异进行芯片载带缺陷检测。实验结果显示每帧图像检测平均耗时0.22 s，边缘变形检测错误率为0.45%，底部变形检测错误率为0.50%，穿孔检测错误率为0.35%，满足企业错误率不超过1%和每帧耗时不超过0.5 s的要求。实验结果表明该方法能够实时检测芯片载带边缘变形、穿孔等缺陷，有效地实现载带加工生产过程中的质量监控。以文中方法为基础设计的监测软件已经在企业得到了实际应用，有效地提高了工作效率、检测精度和稳定性，取得了良好的效果。

[1] 李少波, 杨静, 王铮, 等. 缺陷检测技术的发展与应用研究综述[J]. 自动化学报, 2020, 46(11): 2319-2336.

LI Shao-bo, YANG Jing, WANG Zheng, et al. Review of Development and Application of Defect Detection Technology[J]. Acta Automatica Sinica, 2020, 46(11): 2319-2336.

[2] XU Jian-liang, MAO Jian-hui, ZHOU Ming-an, et al. Research on Surface of Casting Defect Detection Based on Machine Vision Technology[J]. Computer Science and Application, 2020, 10(1): 44-50.

[3] MIN Yong-zhi, XIAO Ben-yu, DANG Jian-wu, et al. Real Time Detection System for Rail Surface Defects Based on Machine Vision[J]. EURASIP Journal on Image and Video Processing, 2018, 2018(1): 1-11.

[4] LIU Jin-xing, HAN Xian-wei, GAO Wei, et al. Vehicle Cup-Holder Defect Detection System Based on Machine Vision[J]. Computer Science and Application, 2019, 9(6): 1085-1094.

[5] SUN Jun, LI Chao, WU Xiao-Jun, et al. An Effective Method of Weld Defect Detection and Classification Based on Machine Vision[J]. IEEE Transactions on Industrial Informatics, 2019: 15(12): 6322-6333.

[6] 李永敬, 朱萍玉, 孙孝鹏, 等. 基于形状模板匹配的冲压件外形缺陷检测算法研究[J]. 广州大学学报(自然科学版), 2017, 16(5): 62-66.

LI Yong-jing, ZHU Ping-yu, SUN Xiao-peng, et al. Shape Defect Detection Algorithm of Stamping Parts Based on Shape Template Matching[J]. Journal of Guangzhou University (Natural Science Edition), 2017, 16(5): 62-66.

[7] WANG Jiao. Research on Detection Method of Radiator Brazing Based on Machine Vision[J]. Artificial Intelligence and Robotics Research, 2020, 9(3): 163-169.

[8] HUANG Yuan-min, YI Ming, YANG Man, et al. Research on Automatic Detection Method of Plate Surface Defects Based on Machine Vision[J]. Artificial Intelligence and Robotics Research, 2019, 8(3): 109-117.

[9] HE Tao, CAO Yu-tong, ZHANG Meng-qi, et al. Design of Flexible Packaging Defect Detection System Based on Machine Vision[J]. Journal of Image and Signal Processing, 2021, 10(1): 28-35.

[10] WANG Shuo, XU Jiang-feng, WANG Fang-zhou, et al. Identification and Detection of Surface Defects of Outer Package Printed Matter Based on Machine Vision[J]. Journal of Korea Technical Association of the Pulp and Paper Industry, 2020, 52(2): 3-11.

[11] 杨健, 辛浪, 豆昌军. 基于机器视觉技术的瓶盖划痕检测[J]. 包装工程, 2019, 40(13): 227-232.

YANG Jian, XIN Lang, DOU Chang-jun. Bottle Cap Scratch Detection Based on Machine Vision Technology[J]. Packaging Engineering, 2019, 40(13): 227-232.

[12] LI Rui-zhi, TIAN Fang, CHEN Shi-qiang. Research on Surface Defect Detection Method of E-TPU Midsole Based on Machine Vision[J]. Journal of Computer and Communications, 2020, 08(11): 145-160.

[13] XIE Wei-jun, WANG Feng-he, YANG De-yong, et al. Research on Carrot Surface Defect Detection Methods Based on Machine Vision[J]. IFAC-Papers On Line, 2019, 52(30): 24-29.

[14] 刘见平, 赵丽, 牛树云, 等. 基于形状模板匹配的交通标志污损检测方法研究[J]. 公路交通科技(应用技术版), 2018, 14(12): 270-273.

LIU Jian-ping, ZHAO Li, NIU Shu-yun, et al. Research on Traffic Sign Defilement Detection Method Based on Shape Template Matching[J]. Highway Traffic Technology (Application Technology Edition), 2018, 14(12): 270-273.

[15] 毛伟民, 芦俊, 朱卫良, 等. 基于边缘检测的载带压痕检测[J]. 计算机测量与控制, 2010, 18(7): 1483-1484.

MAO Wei-min, LU Jun, ZHU Wei-liang, et al. Tape Impresses Test Based on Edge Detection[J]. Computer Measurement & Control, 2010, 18(7): 1483-1484.

[16] 石韵昭, 倪军, 李宁钏, 等. 基于机器视觉的双工位载带检测系统研究[J]. 计量学报, 2019, 40(2): 196-200.

SHI Yun-zhao, NI Jun, LI Ning-chuan, et al. Research on Duplex Carrier Detection System Based on Machine Vision[J]. Acta Metrologica Sinica, 2019, 40(2): 196- 200.

Machine Vision Detection Method for Chip Carrier Defects

WEI Hong-lei, JIANG Zhi-liu, XU Jia-heng, KONG Xiang-zhi, SHANG Ye-tong, TONG Qiang

(School of Mechanical Engineering and Automation, Dalian Polytechnic University, Liaoning Dalian 116034, China)

An efficient and accurate machine vision detection method was proposed to detect the deformation and perforation at the bottom and edge of the cavity of chip packaging carrier tape. The registration template and standard template images are prepared offline and then detected online during production. During the detection process, the cavity image to be detected is triggered by the sensor, and then the template image and the image to be detected are registered by the template matching method, and the XOR operation is performed to detect the difference between the two images so as to locate the defect. Experiments show that the maximum error rate of edge deformation detection is 0.45%, the maximum error rate of bottom deformation detection is 0.50%, and the maximum error rate of perforation detection is 0.35%. The average detection time of each frame is 0.22 s, which meets the user's requirement that the error rate is less than 1% and the time of each frame is less than 0.5 s. This method can detect the edge deformation and perforation of the chip in real time, and effectively realize the quality monitoring in the process of chip loading processing.

chip carrier; defect detection; machine vision; image XOR operation

TS254.9

A

1001-3563(2022)11-0183-06

10.19554/j.cnki.1001-3563.2022.11.024

2021–06–24

辽宁省教育厅2021年度科学研究经费面上项目（LJKZ0535，LJKZ0526）；2021年度本科教育教学综合改革项目（JGLX2021020，JCLX2021008）

魏鸿磊（1973—），男，博士，大连工业大学副教授，主要研究方向为机器视觉及机电一体化系统设计。

童强（1989—），男，博士，大连工业大学讲师，主要研究方向为机器视觉及增材制造关键技术。

责任编辑：曾钰婵