基于机器视觉的SOP芯片引脚缺陷检测系统设计*

李本红，张淼，欧幸福

(1.佛山职业技术学院，广东佛山528137;2.广东工业大学自动化学院，广州510006)

基于机器视觉的SOP芯片引脚缺陷检测系统设计*

李本红1*，张淼2，欧幸福1

(1.佛山职业技术学院，广东佛山528137;2.广东工业大学自动化学院，广州510006)

为解决人工检测SOP芯片引脚缺陷所存在的诸多问题，设计一套基于机器视觉的SOP芯片引脚缺陷自动检测系统。系统采用ARM-DSP双核架构快速地实现图像采集、处理和特征提取以及外围应用功能，设计基于动态阈值的快速分割算法来获取芯片的特征图像，采用灰度跃变检测引脚中点、中点直线拟合和引脚间距统计等方法实现对SOP芯片引脚缺陷的自动检测。实验结果表明该系统快速、准确、可行。

图像处理;芯片引脚缺陷;图像分割;直线拟合;间距统计

在IC集成芯片器件生产过程中，芯片的外观质量检测是其中一项必不可少的环节，包括IC芯片的引脚尺寸、残缺、偏曲、间距不均、平整度差等检测项目，而上述质量问题会直接影响电路产品的质量。目前IC集成芯片器件的外观质量检测主要采用人工目检方法。人工目检方法虽方便直接，但存在以下几个方面的问题:(1)人工目检方法不能实现24 h不间断工作，工人工作强度大，易造成视觉疲劳，导致误检，直接降低产品检测的可靠性;(2)人工目检的质量判断标准不易量化，导致检测结果稳定较差;(3)由于IC集成芯片尺寸较小，受限于人眼的识别能力，人工目检的检测速度和精度较低，使得检测效率低、人力成本较高。上述因素在较大程度上制约了我国IC集成芯片生产行业的发展，如何改进生产检测工艺，实现检测方法的智能化和自动化，提高微观级别工艺检测精度和效率，降低成本，促进大规模集成电路工业化生产技术的升级，成为产业发展的迫切需要。

1 系统总体

系统是由背景光源及驱动电路、线阵式CCD工业相机及其辅助装置、FPGA图像采集电路、基于DSP和ARM双处理器结构的嵌入式图像处理和控制部分、信号输出部分等组成［4］。系统框图如图1所示。

嵌入式图像处理和控制部分是系统的核心，主控制器采用三星公司的S3C6410ARM处理器，配置、移植Linux操作系统，协处理器使用TI公司的TMS320C6678DSP处理器。系统硬件原理图框图如图2所示。

图1 系统结构框图

图2 系统硬件原理图

DSP协处理器主要接收来自FPGA图像采集电路传送过来的IC芯片图像数据，完成图像预处理、分割、模板匹配、缺陷分析等复杂的图像处理工作，将图像处理结果发送给ARM主控制器，同时以AV信号输出给显示器进行显示。

ARM主控制器主要完成人机交互、任务管理、数据输入输出、外部设备的控制和通信等系统的基本运行。(1)通过操作触摸屏查看图像处理结果等数据，设置、处理系统参数等;(2)接收光纤传感器的芯片位置触发信号，通过光源控制器点亮环形LED光源，触发CCD工业相机拍摄芯片图像; (3)采集、处理和控制电机转速、加减速及正反转。(4)将检测结果数据存储到硬盘中，以待日后查阅、统计应用等;(5)根据图像处理结果，控制剔除装置剔除缺陷芯片;(6)通过以太网连接器实现远程监控。

2 系统硬件设计

2.1 图像采集电路

CameraLink是一种机器视觉应用领域广泛采用的基于物理层的LVDS的数据串行通信协议。由于CameraLink串行通信信号分为电源信号、视频数据信号(ChannelLink标准)、相机控制信号、串行通信信号和视频数据信号，采用低压差分信号LVDS进行传输，而FPGA处理器使用的是LVTTL或LVCOMS电平信号，所以本文使用SN65LVDS94、 SN65LVDS391和SN65LVDS179对CameraLink信号进行转换。其中SN65LVDS94用于4路视频图像数据信号X0:X3的转换，SN65LVDS391用于4路工业相机控制信号CC1:CC4的转换，SN65LVDS179用于一对异步串行通信控制信号的转换。具体电路如图3所示。

图3 图像采集电路

2.2 图像处理电路

为满足ARM主处理器和DSP协处理器之间高速的数据传输要求，本文采用基于IDT70261的双端口RAM的接口电路，通过IDT70261芯片两组独立数据接口D0L-D15L和D0R-D15R实现S3C6410和TMS320C6678连接。ARM和DSP的连接电路图如图4所示。

图4 ARM与DSP连接电路图

2.3 ARM外围控制电路

主控制器S3C6410的外围控制电路主要包括触摸屏显示器、以太网接口电路、电机控制电路、环形光源控制电路、光纤传感器、硬盘存储器以及次品分拣装置等部分，外围控制电路如图5所示。触摸屏显示器、以太网接口和硬盘存储器通过自身独立接口与主控制器连接，用户系统操作、远程通信和信息存储等功能;光纤传感器用于获取芯片在检测平台上的位置信息;S3C6410通过通用I/O口GPC1与运放耦合电路连接，并经由固态继电器控制检测平台驱动电机，控制电机的正反转和加减速，耦合电路和固态继电器保障控制端和电机强电端之间互不干扰;环形光源控制电路通过通用I/O口GPC2控制，实现环形光源的点亮和熄灭;芯片次品剔除装置由通用I/O口GPC3控制辅助吹气装置，实现芯片次品的剔除动作。

2.4 VGA接口电路

VGA显示接口电路模块主要用于显示DSP协处理器实时图像处理结果。在接口电路高性能的ADV7123译码器芯片实现3路10 bit RGB颜色信息的数模转换。为使输入RGB数据的位数与Camera-Link工业相机的像素位数一致，在接口电路中将3路数据输入端的低两位接地置零，如图6所示。

图5 ARM外围控制电路

图6 VGA显示接口电路

3 系统软件设计

3.1 系统软件实现流程

集成芯片引脚缺陷检测算法包括对SOP集成芯片的引脚尺寸偏差、残缺、偏曲、间距不均等类型缺陷的检测，算法流程图如图7所示。

具体步骤如下:

(1)图像采集模块通过Camera Link从CCD工业相机获取芯片图像，并传输给图像处理协控制器DSP。

(2)协处理器DSP对原始芯片图像进行滤波降噪等预处理，利用模板匹配算法获取芯片位置信息和角度信息，根据位置信息和角度对预处理芯片图像旋转至准水平位置，并设置合理尺寸的ROI区域，提取ROI区域内的芯片图像。

(3)利用数学形态学腐蚀膨胀算法对ROI区域的芯片图像进行处理，进一步去除干扰噪声。

(4)利用迭代阈值分割法对ROI区域的芯片图像进行而知分割，提取芯片轮毂图像。

(5)通过直线拟合算法获取芯片两侧的边缘函数、斜度和左右顶角坐标。

(6)由芯片的左右顶角坐标，计算芯片引脚根部拟合直线，并从引脚根部开始沿引脚方向，按像素递增，设置n条与引脚根部拟合直线平行的扫描直线。

(7)沿芯片引脚根部拟合直线检查像素灰度值，得到芯片引脚根部中心点坐标，计算引脚间距;沿n条扫描直线检测像素灰度，得到引脚在该处位置的中点，根据引脚的所有中点信息，计算引脚长度、平直度和偏曲度，根据上述计算结果判断是否存在尺寸偏差、残缺、偏曲和间距不均等缺陷。

图7 缺陷检测算法流程

3.2 图像分割算法

芯片目标图像分割是芯片图像的关键，本文采用实现芯片图像从背景图像中快速分割提取［5-6］。

(1)根据芯片图像的全局灰度直方图计算出最大灰度值Gmax和最小灰度值Gmin，设初始阈值为:

(2)使用初始阈值Gmen将原始图像分割为目标图像T和背景图像B，并分别计算其灰度均值:式中，G(i，j)为像素点灰度值，N(i，j)像素点的加权系数。

(3)根据步骤(2)的灰度均值计算第2次分割阈值:

(4)若Tk+1=Tk，则程序执行结束，Tk为最佳分割阈值;否则令k=k+1，跳转至步骤(2)继续循环执行直至迭代计算得到最佳阈值。

3.3 缺陷识别算法

芯片引脚缺陷检测算法是系统软件实现的核心［7-9］，本文采用的缺陷检测算法如下:

(1)由芯片的左右顶部(底部)顶角坐标，设置引脚根部中点扫描直线，沿该直线检测所有n个引脚根部的中点坐标(xi，0，yi，0)，计算两两相邻引脚根部中点的间距，即为引脚根部间距，公式如下:

若si大于最大预设间距Smax或si小于最小预设间距Smin，则判断引脚根部间距存在缺陷或引脚缺失。

(2)通过最小二乘法将管脚的根部中点坐标拟合成直线，该直线公式如下:

(3)同理，沿引脚方向按像素点递增，拟合与引脚根部中点扫描直线平行的其余m条引脚中点扫描直线，m的大小为引脚长度方向的像素点个数值，直线公式如下:

其中:根据式(7)检测引脚像素值，得到该扫描直线上的引脚第i个引脚的第j个中点的坐标为(xi，j，yi，j)，根据式(5)计算第j条扫描直线方向的两两引脚中点间距，根据结果判断是否存在引脚残缺或偏曲。

(4)根据每一个引脚中点坐标(xi，j，yi，j)，拟合出每一个引脚的直线函数:其中:

计算每一个引脚的中点拟合直线的斜度Ki=，若大于最大预设斜度=+ε或小

4 实验结果及分析

系统图像传感器采用30万像素的嘉恒OK_AM1121型1/3英寸黑白面阵CCD工业相机，分辨率为640×480，曝光时间850μs;配备6 mm的T2616FICS-3型Computar镜头;背景光源使用奥普特OPT-RI5030白色LED环形光源，同时将EMCV(Embedded Computer Vision Library)移植至系统DSP协处理器上完成图像的预处理等工作。

4.1 芯片图像提取

使用上述算法对2 000幅SOP型芯片图像进行测试验证，现选取4幅有代表性的图像予以说明，其中图8是引脚合格的芯片图像，其中，从左至右分别为原始图像、旋转至准水平图像、裁剪图像、滤波降噪图像、二值分割图像和开关运算后图像。图9～图11是有引脚缺陷的3类不合格芯片图像。

图8 合格芯片引脚提取算法效果

图9 引脚缺失提取算法效果

图10 引脚残缺提取算法效果

图11 引脚偏曲提取算法效果

从上述测试可以看出，采用本文的图像预处理方法能完整提取芯片引脚图像，通过图像裁剪减少信息冗余，与滤波算法结合降低图像噪声干扰，使用迭代阈值二值分割算法能快速计算芯片图像最佳分割阈值，提取引脚图像。

4.2 引脚缺陷检测

根据SOP芯片常用封装标准，引脚间距为1.27 mm，引脚长度为2.54 mm。结合系统的标定和芯片图像的测量统计结果，引脚平均长度为46个像素，引脚平均间距为23个像素，合格芯片引脚个数为单列14个，按照设计要求设定合格引脚间距误差为不超过5个像素。

在提取芯片引脚图像的基础上，对图9～图11的引脚图像使用本文的缺陷检测方法，分别设置35条灰度跃变检测直线，获取引脚根部、端部和其他部分的中心坐标，记录引脚根部中心个数分别为14、13、14和14个，则图9所示的芯片缺失1个引脚;计算每条扫描直线上每两个引脚中心坐标的间隔距离si，如表1所示，其中图8所示芯片引脚间距均在标准范围内，图9～图11所示芯片引脚分别存在缺失、残缺、偏曲等缺陷。

图12左图为各类型芯片缺陷检测结果图，红线为引脚中点灰度检测基准和引脚中点，右图为沿引脚中点灰度检测基准的灰度变化及灰度变化导数图，其中浅色曲线为沿灰度检测基准线上像素灰度变化曲线，深色曲线为灰度导数曲线。

通过对2 000个SOP集成芯片进行检验，可得系统的引脚缺陷检验出错率为0.5%，且其中0.2%错判现象为合格产品被误判为次品，系统可满足实际生产的需要。

表1 引脚中心间距si统计结果

图12 引脚缺陷检测结果

5 结束语

本文提出了整个SOP芯片引脚缺陷检测系统的硬件设计和软件算法设计;借助ARM主处理器在监视控制、人机交互等方面的优势和DSP协处理器强大的数字图像处理能力，采用了ARM+DSP的双处理器结构实现缺陷检测算法和系统应用功能的快速处理;设计了迭代阈值二值分割算法和数学形态学算法相结合的方法完成引脚图像的有效提取，设计了基于灰度跃变检测引脚中心点的引脚缺陷识别方法。从实验结果看来，该方法检测效率高、稳定性好，满足工程的实际应用。

［1］夏链，贾伟妙，崔鹏，等.基于机器视觉的BGA芯片缺陷检测及其MATLAB实现［J］.合肥工业大学学报(自然科学版)，2009，32(11):32-38.

［2］朱更明，李方敏.芯片管脚缺陷在线视觉检测系统研究［J］.电子制作，2015，30(9):1866-1873.

［3］刘建峰，李承峰.基于机器视觉的IC芯片外观检测系统［J］.计算机工程与应用，2009，45(35):46-51.

［4］黄伟基，谢云.基于ARM与DSP的PET瓶盖缺陷在线检测系统的设计［J］.机床与液压，2013，41(7):174-180.

［5］Ma Yide，Dai Ruolang，Li Lian.An Counting and Segmentation Method of Blood Cell Image With Logical and Morphological Featureofcell［J］.Chinese Journal of Electronics，2002，11(1):53-55.

［6］丁倩雯.基于FPGA的自适应像素分割算法设计与实现［J］.电子器件，2015，38(3):510-555.

［7］刘泉，胡文娟.基于机器视觉的PCB缺陷检测系统设计与研究［J］.电子器件，2007，30(2):550-556.

［8］郑金驹，李文龙，王瑜辉，等.QFP芯片外观视觉检测系统及检测方法［J］.中国机械工程，2013，24(3):290-298.

［9］何荣芳，孙长库，王鹏，等.SMT封装电路板三维在线检测技术［J］.传感技术学报，2015，28(2):290-297.

李本红(1974-)，男，汉族，籍贯湖南省祁阳县，现为佛山职业技术学院电气自动化专业电子技术讲师，主要研究方向为自动控制系统的设计与分析，lbh_1974@163.com;

张淼(1968-)，汉族，籍贯广东省广州市，华南理工大学博士，现为广东工业大学自动化学院教授，主要研究方向为图像处理、模式识别，bezhangm@ gdut.edu.cn;

欧幸福(1985-)，男，汉族，籍贯湖南省衡阳市，2013年于广东工业大学获硕士学位，现为佛山职业技术学院电气自动化专业讲师，主要研究方向为数字图像处理，机器视觉，adaouxingfu@163.com。

SOP Chip Pins Defect Detection Based on Machine Vision System Design*

LIBenhong1*，ZHANGMiao2，OU Xingfu1

(1.Foshan Vocational and Technical College，Fushan Guangdong 528137，China;2.Guangdong University of Technology，Guangzhou 510006，China)

In order to solve the problems in manual inspection of SOP chip defect，design an automatic detection system of SOP chip defect based on machine vision.The system uses ARM-DSP dual-core architecture to achieve these functions rapidly such as image acquisition，processing and feature extraction as well as peripheral applications.It designed a fast segmentation algorithm based on dynamic threshold to get the chip feature image and used themethods of grayscale transition detector pin midpoint，midpoint line fitting and pin spacing statistical to realize automatic detection of the SOP chip pin defect.Experimental results show that the system is fast，accurate and feasible.

image processing;chip pin defect;image segmentation;line fitting;spacing statistics

C:7230;6340

10.3969/j.issn.1005－9490.2017.01.033

TP391.41

:A

:1005－9490(2017)01－0171－08

项目来源:广东省教育部产学研重大专项项目(2012A090300005)

2016-01-31修改日期:2016-03-14