基于机器视觉的半导体表面缺陷检测研究

董先飞，韩震宇，廖声洋，仪向向

(四川大学制造科学与工程学院，四川成都610065)

0 引言

随着电子产业的发展，半导体的运用范围越来越广，人们对于半导体的质量要求也越来越高。一个半导体的表面封装质量对于其电气性能和后续PCB 板上的焊接和贴片有重大的影响，因此对于半导体电子元器件的生产厂家来说，确保半导体的封装质量十分重要［1］。目前，大多数半导体电子元器件厂还在使用人工检测的方法来检测其封装质量，由于人工检测是用人的眼睛观察封装是否有缺陷，存在主观因素的干扰，并且长时间工作会使工人产生视疲劳，劳动强度大并造成生产效率降低，因此这种人工检测的方式已不能适应现代工业高速发展的要求。机器视觉的出现使得检测效率大大提高，生产更趋于自动化，所以其在工业生产中得到了越来越广泛的应用。本文利用机器视觉技术开发了一个针对SOT-23 封装式半导体表面缺陷的在线检测系统，并在实际生产中投入使用。

1 半导体缺陷检测系统介绍

该检测系统由计算机、工业CCD 相机、图像采集卡、环形光源、图像处理软件、固定光源的机械结构等部分组成。图1 是半导体表面质量缺陷检测系统的结构示意图。调节光源并通过位置传感器触发由CCD相机获取半导体表面字符图像，使用图像处理软件处理字符图像来检测半导体表面是否存在缺陷。

对于SOT-23 封装式半导体来说，需要检测其塑封表面所打印的字符是否存在、是否完整，检测塑封表面划痕与塑封缺陷。为了突出这些特征，需要选择合适的光源照明方式。高质量的图像信息是系统正确判断和决策的原始依据，是整个系统成功与否的关键所在。

图1 半导体表面缺陷检测系统结构示意图

2 照明方式的选取

机器视觉中通过照明使被检测物的重要特征凸现，不需要的特征得到抑制。根据不同的检测对象需要选择不同的照明方式。常用的照明方式有背光照明、正面明场照明、正面暗场照明、同轴光照明等［2］。本文检测系统中需要将管体表面的字符与划痕缺陷凸显，因此选用低角度暗场照明的方式。所谓暗场照明是指光源与摄像头位于被测物的同一侧，光源的位置使得大部分的反射光没有进入相机，仅仅将照射到被测物体的特定部分的反射光进入相机。图2 为低角度照明暗场照明方式的光路示意图，图3 为低角度暗场照明方式下管体成像的效果图。

图2 低角度照明暗场照明方式的光路示意图

图3 低角度暗场照明方式下管体成像的效果图

3 字符识别

本系统中字符识别只需要检测字符的完整性，因此管体表面所印的字符作为一个字符模板，在一个感兴趣区域(ROI)里面去匹配这个字符模板，从而判断字符的完整性。

模板匹配是指在目标图像中寻找预先设定的模板图像的过程。根据匹配算法的不同可以大概分为以下两种:基于灰度值的模板匹配和基于边缘点的模板匹配。

基于灰度值的模板匹配算法是基于模板与图像中最原始的灰度值进行匹配［3］，这类算法比较简单，但是当图像很大的时候，计算量就会很大，运算所消耗的时间将会很长。并且基于灰度值的模板匹配模板只能平移，在目标图像旋转或者大小发生变化的情况下，匹配的精确度会大大降低，甚至会匹配失败。在本文的系统检测中，管子经由机器手将其放入一个凹槽，在凹槽底部连接一个真空吸嘴，管子就是通过此吸嘴与凹槽的相互作用进行定位的，由于机器的振动和凹槽与管子的间隙，管子在凹槽内不可避免地会产生一些平移和旋转，故此类匹配算法不可取。

基于边缘点的模板匹配也就是基于特征的模板匹配，特征匹配是指通过提取两个或多个图像的特征(点、线、面等特征)，对特征进行参数描述，然后运用所描述的参数来进行匹配的一种算法。基于边缘点的模板匹配所用的模板由目标的边缘点集组成，通过计算两个点集的Hausdorff 距离进行匹配。Hausdorff 距离是一种极大-极小距离，令模板中边缘点表示为T，图像中边缘点表示为E，则这两个点集之间的Hausdorff 距离可由公式(1)得出:

h(T，E)与h(E，T)的定义相互对称。由此可知，Hausdorff 距离由已知的两个距离最大值组成:一个是模板边缘与最近图像边缘之间的最大距离，另一个是图像边缘与模板边缘之间的最大距离。因此，为了得到一个低的总距离，必须保证每个模板边缘点与一个图像边缘点非常接近，同时也要保证每个边缘点都与一个模板边缘点非常接近［4］，这样匹配出来的结果才会更准确。

基于边缘点的模板匹配能够有效地抑制光照变化的影响，适应现场复杂的外界环境，并且其不需要建立两幅图之间点的对应关系，只需要提取图像的边缘信息，计算速度快。基于边缘点的模板匹配对位置变化比较敏感，可以大大提高匹配的精度。现场环境复杂多变，因此选用此方法可以增加系统的可靠性。

4 缺陷识别

字符识别后，需对获取到的被检物体的图像进行处理，识别缺陷特征。该检测系统中，首先通过识别矩形管子边缘确定检测范围，然后采用差影法去除字符干扰，最后对差影图像进行Blob 缺陷提取。图4 为系统识别缺陷流程图。

图4 系统识别缺陷流程图

4.1 边缘检测

管子由定位模具定位，因此可以进一步缩小检测范围，提高检测效率。在图像处理中针对矩形管子边缘划定四个矩形ROI。在矩形ROI 范围内采用3×3 邻域Sobel 算子搜寻边缘点。使用最小二乘法将获取到的边缘点集拟合成一条直线，即为管子边缘。边缘点的检测个数C 由检测密度V 和检测像素宽度W 决定，其关系式为

式中:V 是指检测间隔内像素的个数。

边缘点的检测密度越大，间隔像素越少，获取到的边缘点个数越多，拟合的直线越准确。但是，检测密度的增大会导致检测效率的降低，考虑到实时检测的需求，合理设置检测密度十分重要。运用Sobel 算子分别从下而上、从上而下、从右至左、从左至右四个方向在ROI 内搜索边缘点，并分别拟合出四条边缘线，延长相交构造出管体矩形边缘，为塑封表面的缺陷检测确定了检测范围。

4.2 缺陷检测

Blob 分析方法是缺陷检测常用的方法。Blob 分析原理是对图像中相同像素的连通域进行分析，该连通域称为Blob。Blob 分析可为机器视觉应用提供图像中的斑点的数量、位置、形状和方向，还可以提供相关斑点间的拓扑结构［5］。

在管体表面划伤缺陷的检测中，单纯的用Blob 提取缺陷是不可行的，因为缺陷的灰度值与字符的灰度值相差不多，通过Blob 算法提取出的缺陷将不仅仅是缺陷，还包括了字符，所以在Blob 提取缺陷之前要把字符去除。本文采用差影法去除字符的干扰。

差影法简单来说就是对两幅图片所对应的灰度值做减法运算，两幅相同的图片做差影后将会变成一幅全黑的图片［6］。使用差影法最关键的就是将两幅图片对准，否则差影之后的结果将会有很大的残留误差。

差影法首先要确定差影模板，用来和目标图像进行相减。本文使用模板匹配算法中所得到的字符模板的二值图作为差影模板，如图5所示。

图5 字符模板(上)与差影模板(下)

在基于边缘点的模板匹配后，可以准确地得到字符区域在图像中的位姿，从而实现差影模板与图像中字符区域的对准。首先对图像进行二值化，然后将二者做差影运算，最后对差影图像进行Blob 缺陷提取，有效的屏蔽了字符的影响。图6 为系统所找到的缺陷图，左侧阴影区域内为划伤缺陷。

5 结论

图6 系统所找到的缺陷

本系统在工厂试用后，能够快速准确地检测出半导体塑封表面的缺陷，现已投入正式生产中。本系统的处理时间在70 ms 左右，安装有本系统的机器平均每小时产量由13000 颗左右提高到了20000 颗左右，极大提高了生产效率;在产品的合格率方面也由以前的99.80%左右提升到了99.99%左右，有效地增加了产品的合格率。并且产业的自动化程度也得到了提升，克服了传统人工检测的主观性因素与不能长时间连续工作的问题。

［1］张素娟，李海岸.新型塑封器件开封方法以及封装缺陷［J］.半导体技术，2006，31(7):509-511.

［2］张巧芬，高健.机器视觉中照明技术的研究进展［J］.照明工程学报，2011(2):31-37.

［3］陈皓，马彩文，陈岳承，等.基于灰度统计的快速模板匹配算法［J］.光子学报，2009，38(6):1586-1590.

［4］Huttenlocher D P，Klanderman G A，Ruckldgew J.Comparing image using the Hausdorff distance［J］.IEEE Transactions on PAM I，1993，15(9):850-863.

［5］李蕊艳.基于机器视觉的芯片识别及定位软件的研究开发［D］.西安:西安理工大学，2009.

［6］张立凡.基于机器视觉的图文印刷缺陷检测研究［D］.北京:北京印刷学院，2010.