用于半导体芯片封装的真空吸嘴视觉识别技术

邱景，胥云，廖映华，刘思懿，容潇伟

(1.四川轻化工大学机械工程学院，四川宜宾 644000；2.四川省移动终端结构件全制程先进制造技术工程研究中心，四川宜宾 644000;3.悉尼大学工程学院，新南威尔士州悉尼 2006)

0 前言

在半导体芯片封装过程中，精确拾取和转移芯片是保证封装工序能正常进行的前提[1]。而使用型号匹配的真空吸嘴是正确拾取转移芯片的关键。由于真空吸嘴微小，一些外观极为相似的真空吸嘴仅凭人眼难以区分，一旦拿错，极易造成无法准确吸取芯片，或转移时芯片脱落而造成芯片破损等问题，严重影响了封装的精度和效率。

机器视觉技术在封装技术中一些关键点上已经被广泛应用。WANG等[2]通过分析MCP-X图像增强器分辨率与几何放大率的关系来检测印刷电路板中焊点的缺陷；席伟等人[3]通过使用区域生成法和最大内接矩形法实现对PCB板的纠偏；苏珊等人[4]利用图像二值化、连通域标记等算法识别出SMT元件引脚的连锡缺陷。然而机器视觉在芯片真空吸嘴的识别分类方面鲜有应用。目前仍然通过人工取用真空吸嘴，极易拿错。为了保证芯片封装的顺利进行，本文作者开发了一套基于OpenCV以及Qt平台的用于半导体芯片封装的真空吸嘴识别系统，在使用真空吸嘴吸取芯片之前，识别真空吸嘴，确保工程师不会拿错真空吸嘴。

1 真空吸嘴的视觉识别方案

1.1 真空吸嘴的视觉识别原理

此系统的识别任务主要是识别出真空吸嘴是哪一种型号。对真空吸嘴的结构和材质研究发现，真空吸嘴的颜色仅有黑色、白色和乳色，其内、外轮廓形状非圆即方，如图1所示。因而此系统选择真空吸嘴的形状、颜色和内、外轮廓的宽高尺寸作为识别特征。

图1 真空吸嘴颜色和形状特征

此系统中需要识别的真空吸嘴种类较多，还要满足企业客户日后可以识别新种类真空吸嘴的需求。因此选择创建真空吸嘴数据库，通过图像处理算法获取型号已知的真空吸嘴的特征参数，录入到真空吸嘴数据库中。对型号未知的真空吸嘴进行识别时，将获取的特征参数与数据库中已录入的数据做比对，查找到数据库中相应的真空吸嘴，提示该真空吸嘴的型号和特征信息。系统识别原理如图2所示。

图2 系统识别原理

1.2 实验平台搭建

芯片真空吸嘴识别系统由硬件和软件组成，其中硬件系统实物组成如图3所示。软件编程平台为Qt Creator 4.7.2，使用Qt编写图像采集、软件界面、数据库操作和串口通信。使用OpenCV编写图像处理算法。硬件主要包括CMOS相机、远心镜头、背光源、光源控制器和PC机，系统的检测精度为0.2 mm。相机选用德国Basler公司生产的acA3800-10gm-Baslerace黑白工业相机。

图3 硬件系统实物

2 图像预处理

2.1 图像滤波

在图像采集过程中，受成像传感器材料属性、工作环境、电子元器件和电路结果等影响，图像必然带有一定的噪声。这些噪声使得图像退化失真，图像特征与细节模糊，给后期的处理分析带来较大的困难[5]。必须要使用滤波降噪算法来减少实际图像和理想图像之间的差值，降低噪声对尺寸测量的负面影响。常用的滤波去噪算法有均值滤波、中值滤波、高斯滤波和双边滤波等。经过试验比较，双边滤波不仅有良好的降噪能力，还有优秀的保边能力，不像其他滤波算法在降噪的同时，会在一定程度上模糊边缘，破坏边缘信息。使用双边滤波降噪的实验结果如图4所示。

图4 双边滤波实验效果

2.2 Blob分析

Blob分析是对图像中具有相同像素的连通域进行分析的一种算法[6]，可以获取连通域的个数、位置、形状、面积、最小外接矩形等特征信息，适用于2D平面高对比度的视觉检测。Blob分析的主要内容有阈值分割、形态学处理、连通域分析和Blob特征提取等。在此系统中，Blob分析的目的在于获得真空吸嘴区域的面积特征和其最小外接矩形特征，后续提取识别特征的检测区域都将依托于最小外接矩形的长、宽、角度和中心位置来计算。Blob分析结果如图5所示。

图5 Blob分析结果

3 特征提取

3.1 形状特征提取

矩形度反映了物体与矩形相似的程度，体现在物体对其最小外接矩形的充满度，是图像处理中相当重要的概念之一。设物体的面积为S0，其最小外接矩形的面积为SMER，R为其矩形度，其数学表达式如下：

(1)

当R=1时，物体形状即为矩形；R越小，物体形状越不规律，与矩形的差距越大，圆形物体的R约为0.785。设定矩形度阈值TR来识别矩形和圆形：

(2)

对于外轮廓的形状识别，其面积等于真空吸嘴区域面积与内轮廓区域面积之和，其最小外接矩形与真空吸嘴区域相同，因此计算外轮廓的R值还需要获取内轮廓区域面积。对于内轮廓的形状识别，首先要在滤波图像上剪裁出内轮廓图像，剪裁区域的中心、角度与外轮廓最小外接矩形相同，宽、高则为外轮廓的最小外接矩形的1/2；然后对裁剪图像进行Blob分析；最后获得内轮廓区域面积及其最小外接矩形。真空吸嘴形状特征提取算法流程如图6所示。

图6 真空吸嘴形状特征提取的算法流程

设定TR的初始值为0.95，提取不同形状的真空吸嘴形状特征，实验结果如图7所示。

图7 形状特征提取的实验结果

3.2 尺寸特征提取

基于一维像素序列灰度跃变的边缘点检测是一种简单稳定的尺寸测量方法[7]。其原理就是设置若干个具有方向的矩形搜索区域，将搜索区域内的图像沿搜索方向的垂直方向投影为一维像素序列，利用图像的一阶导数来计算边缘、二阶导数来测量每个边缘的锐利程度和极性，极性的正负可以用来判断边缘点是由暗到亮，或者是由亮到暗。此外二级导数还可以确定边缘的中心位置，获得精度更高的亚像素边缘点[7]。边缘点检测原理如图8所示。

图8 基于一维像素序列灰度跃变的边缘点检测原理

在此系统中, 真空吸嘴尺寸的测量方法大致可分为以下两种：

(1)对于圆形轮廓的尺寸测量，需要构建一个与被测圆十分接近的期望圆，在期望圆的圆弧上设置若干个均匀分布的矩形搜索区域，搜索方向为沿半径指向圆心或是由圆心沿半径向外。利用最小二乘算法将检测到的边缘点集来进行圆拟合，拟合圆即为被测圆，圆尺寸测量原理如图9(a)所示。在此系统中，期望圆的圆心(REC,CEC)和直径DEC均可通过被测轮廓的最小外接矩形来进行初始设置：

图9 尺寸测量原理

(3)

式中：RMER、CMER、WMER分别为被测轮廓的最小外接矩形中心行、列坐标和宽度。被测轮廓的期望圆圆弧上设置10个宽20、高5的矩形搜索区域，搜索方向沿半径指向圆心。外轮廓测量的边缘点极性设置为由亮到暗，内轮廓设置为由暗到亮。

(2)对于矩形轮廓的尺寸测量，仅需设置一个矩形搜索区域，在搜索方向上检测极性为一正一负的两个边缘点，两个边缘点的间距即为被测尺寸，称该矩形搜索区域为测量矩形。矩形尺寸测量原理如图9(b)所示。在此系统中，测量矩形轮廓需要创建宽度测量矩形MR1和高度测量矩形MR2，两个测量矩形的中心(RMR1,MR2,CMR1,MR2)、宽度WMR1,MR2和高度HMR1,MR2同样参考被测轮廓的最小外接矩形来初始设置：

(4)

式中：A、B为常量值。此系统中A、B的初始值均设置为20。两个测量矩形的搜索方向φMR1,MR2为

(5)

式中：φMER为被测轮廓最小外接矩形主轴相对于水平轴的弧度。外轮廓的两个测量矩形的第一个边缘点极性设置为由亮到暗，第二个边缘点极性设置为由暗到亮，而内轮廓测量矩形的极性设置与外轮廓相反。

根据真空吸嘴的形状来选取相应的尺寸测量方法，真空吸嘴尺寸特征提取算法的流程如图10所示。对外圆内圆、外方内方和外方内圆3种真空吸嘴进行尺寸特征提取实验，实验结果如图11所示，其中Wouter、Houter为外轮廓的宽、高，Winner、Hinner为内轮廓的宽、高尺寸。

图10 真空吸嘴尺寸特征提取的算法流程

图11 尺寸特征提取的实验结果

3.3 颜色特征提取

此系统的CMOS相机采集的是单通道图像，因而无法使用基于RGB、HSV等颜色空间的颜色识别算法。但通过对真空吸嘴颜色特征分析发现，当背光亮度较强时，不同颜色的真空吸嘴的灰度值相差较大，从图像上看就是乳色真空吸嘴区域最亮，黑色真空吸嘴最暗，白色真空吸嘴在二者之间。因此考虑采用计算灰度平均值的方法去识别这3种颜色。灰度平均值作为图像处理中重要的概念之一，反映了图像的亮度，值越大说明图像亮度越大，反之越小，其数学表达式如下：

(6)

此系统中光源控制器可调节0～255级范围的亮度。在上述形状和尺寸特征提取中，亮度为65级，3种颜色的真空吸嘴如图12所示，可以看出：在65级亮度下，3个真空吸嘴的灰度值差异并不明显。

图12 65级亮度下三种颜色的真空吸嘴

为了寻找合适的背光亮度和灰度阈值，本文作者设计一个实验：

(1)采集65级亮度下3种颜色的真空吸嘴图像，对其进行Blob分析，获取其最小外接矩形特征。

(2)调整背光源亮度，采集每一级亮度下的3种真空吸嘴图像，共计255张图像。

(3)在这255张图像上，计算最小外接矩形区域内图像的灰度平均值。

(4)生成灰度平均值与亮度的变化关系曲线，如图13所示。

图13 灰度平均值随亮度变化曲线

从图13可以明显看出：在90～105级亮度时，3种颜色的真空吸嘴的灰度平均值均处于增长区间，黑色真空吸嘴灰度平均值约在100，白色真空吸嘴在200上下，而乳色真空吸嘴超过240，且相差较大。因此，选择100级亮度作为识别真空吸嘴颜色的背光亮度，在该级亮度下，设定灰度平均值阈值识别真空吸嘴颜色。

(7)

式中：TC-W为识别乳色与白色真空吸嘴的灰度平均值阈值，初始值设为210；TW-B为识别白色与黑色真空吸嘴的灰度平均值阈值，初始值设置为150。真空吸嘴颜色识别的算法流程如图14所示。

图14 真空吸嘴颜色特征提取的算法流程

对真空吸嘴进行颜色特征提取实验，实验结果如图15所示。可以看出：在100级背光亮度下，3种颜色的真空吸嘴灰度值差异明显，乳色真空吸嘴更是与背景相融。

图15 颜色特征提取的实验结果

4 标定与实验测试分析

4.1 系统标定

在真空吸嘴的尺寸特征提取中，获得的都是像素尺寸，因而需要通过标定将像素尺寸转换为实际尺寸。相机的标定是保证测量系统精度的基石，求取图像坐标与世界坐标的转换关系[8]，将图像上的点与现实世界中的实际点一一对应。计算像素当量是机器视觉测量领域中最为常用的标定方法，其中像素当量就是单位像素所代表的实际距离。计算过程就是利用一个已知物理尺寸为l的标准件，通过图像处理测量其像素尺寸n，由下式计算出像素当量d：

d=l/n

(8)

此系统主要任务是识别真空吸嘴，对真空吸嘴的测量精度要求不高，并且选用的远心镜头畸变小，选用计算像素当量的标定方法最为合适。在检测区域放置规格为7×7-2.5-1.25-10的圆点标定板，使用圆尺寸测量方法测量其中一个圆点的直径，测量出像素尺寸为134.763 pixel，如图16所示，由此像素当量d为

图16 标定结果

d=l/n=0.185 511

(9)

4.2 实验测试分析

首先将29种型号已知的真空吸嘴录入到真空吸嘴数据库中，特征信息如表1所示；然后识别时，将获取到的真空吸嘴的特征参数与数据库中已录入的数据进行比对；最后显示出查找到的真空吸嘴的型号。实验设置为3组，每组29个真空吸嘴(每种真空吸嘴各一个)，共计87个[9]。实验结果如表2所示。

表1 真空吸嘴数据库

从表2可以看出:除了有一个真空吸嘴无法识别，其他真空吸嘴都能正确分类，并且未出现误判的情况，真空吸嘴总体识别正确率达到了98.85%。未能识别出的真空吸嘴是23号，对其展开分析发现，该真空吸嘴颜色被错误地识别为白色。查看该真空吸嘴的灰度平均值为164.392，对该真空吸嘴反复测试发现，其灰度平均值在148.685～165.937内波动，略微超过了黑色真空吸嘴的灰度平均值的上限150。重新设置黑、白色真空吸嘴灰度平均值的阈值为170，重复试验，全部都可以正确分类。系统软件如图17所示。

表2 实验结果

图17 系统软件

5 结束语

针对半导体封装过程中芯片真空吸嘴无法识别分类的问题，开发了基于OpenCV以及Qt平台的用于半导体芯片封装的真空吸嘴识别系统。提出了基于矩形度识别真空吸嘴形状的方法、基于灰度平均值识别真空吸嘴颜色方法以及基于一维像素序列灰度跃变的边缘点检测的尺寸测量方法；通过构建真空吸嘴数据库，将待测真空吸嘴的特征信息与数据库中的标准特征进行比对，实现了真空吸嘴的分类。实验结果表明：该系统的识别正确率高达98.85%，准确率明显优于人眼识别，可为芯片真空吸嘴的分类管理提供有效途径。