亚像素技术在表面贴装电子组件对准中的应用

李西兵，范彦斌

(1.齐齐哈尔大学机电工程学院，黑龙江齐齐哈尔161006;2.佛山科学技术学院机电工程学院，广东佛山528000)

在表面贴装电子组件的生产过程中，对表面贴装电子组件产品进行缺陷检验是一个不可或缺的工艺环节。随着电子元器件的小型化、组件密度不断增大和被测电子组件电路越来越复杂，借助高倍数放大镜，已不能满足现代测试工艺的要求，这种目视检验方法对产品质量的判断较大程度上取决于人的经验，使检验结果因人为因素可比性较差，一致性和可靠性难以得到保证，检验与分析过程复杂，检测人员长期工作造成用眼疲劳，劳动强度大，成本趋高，不能实现实时流程控制和批量生产质量预报，对生产过程中的贴装电子组件缺陷原因不能做到及时发现、预报与修正。贴装电子组件中电子元器件几何尺寸差别小、颜色组合多、密度大、批量与品种多以及日复一日的重复性工作引起的心理疲劳和视觉疲劳是造成目视检验人员这种检验偏差的主要原因[1－2]。随着计算机图像处理和模式识别技术的不断发展，计算机视觉硬件设备成本的不断下降，这种方法很自然地被拓展到其他感兴趣的研究领域，在很大程度上提高了对电子产品质量进行监测和检测、故障趋势预报和决策维修的效率[3－6]。AOI技术近年来的发展速度很快，并可定性和定量地对电子组件贴装进行分析、监测和检测。如何有效辅助电子产品质量检测及其实施技术的研究与应用，已成为国内外电子行业近年来在该学科领域的研究热点，并已取得了一些研究和应用进展[7]。

局部图像拼接前的对准关系到图像拼接后的精度与图像质量，文中针对如图1所示的圆、椭圆、正方形和长方形等4种常用对准标记，图像的分辨率为0.128 mm/pixel，分别采用亚像素技术与普通技术方法进行对准点匹配研究，以获得更好的拼接精度与图像质量。

图1 4种常用对准标记

1 亚像素轮廓检测与计算算法

在考虑摄像、噪声等各种影响因素的综合作用下，一幅CCD 图像中的背景像素与实物像素的灰度值是在一定的范围内变化，因此，有必要对轮廓像素位置点的数据提取采用其相邻像素位置点的灰度值来进行线性插值或抛物线插值的方法进行计算，为了减小各种噪声等环境因素在轮廓像素位置点数据提取时产生的误差，文中采用最佳阈值法来抵消部分误差。由于CCD数字摄像机的分辨率高，因此每个像素所代表的尺寸较小，所以可以将实物轮廓在单个像素区域内的变化曲线简化为直线，然后根据其线性关系，通过误差分析，选择最佳阈值来进行计算。为了减小存储容量与节省计算时间，文中针对每一幅CCD数字图像都采用从左到右、从下到上的顺序提取像素点进行计算，其最佳阈值的选取方法见文献[8]。简化后的轮廓计算方法如图2所示，图中列出了像素区域中实物轮廓所有可能出现的情况，其右图为其对应的灰度值图[9]。

图2 轮廓计算的分类

(1)若Hi，j+1≥Hthre，Hi，j≥Hthre，Hi+1，j＜Hthre，如图2(a1)所示;或Hi，j+1＜Hthre，Hi，j＜Hthre，Hi+1，j≥Hthre，如图2(b1)所示，则其计算公式为:

(2)若Hi，j+1＜Hthre，Hi，j≥Hthre，Hi+1，j≥Hthre，如图2(c1)所示;或Hi，j+1≥Hthre，Hi，j＜Hthre，Hi+1，j＜Hthre，如图2(d1)所示，则其计算公式为:

(3)若Hi，j+1＜Hthre，Hi，j≥Hthre，Hi+1，j＜Hthre，如图2(e1)所示;或Hi，j+1≥Hthre，Hi，j＜Hthre，Hi+1，j≥Hthre，如图2(f1)所示。则其计算公式为:

以上各式中:Hthre为阈值;x，y为轮廓边界在像素(i，j)中的坐标值;Hi，j为像素(i，j)的灰度值。

对于通过提取并采用原始方法与采用亚像素方法得到的轮廓截面数据分别使用一个三维数组保存起来，由于涉及到x值与y值，因此，数组的大小应为整幅CCD 图像像素数的2倍，以分别存放轮廓边界点位置处所得到的x值与y值，即:对轮廓边界像素点(i，j)处得到的x值与y值分别存入A[i][j][0]与A[i][j][1]中，同时对这个轮廓边界像素点位置进行灰度值标定，以最后方便对标定的像素点采用一定的轮廓跟踪方法，把对应存储在数组中的轮廓像素点位置数据按一定的跟踪顺序读取出来，并依次保存在一个数据文件中，其跟踪准则与方法见参考文献[10－11]。经过轮廓检测与计算后得到的轮廓形状如图3所示。

图3 4种常用标记的轮廓

2 标记轮廓数据提取

为了方便地对提取的轮廓数据进行误差分析，首先需采用NURBS曲线拟合方法对轮廓数据进行曲线拟合。针对上面保存在数组中实物轮廓的数据，怎样按照轮廓像素点位置的先后顺序读取出来，并保存在以*.dat为后缀的文件中，这对于一个三维数组来说，要从数学角度来采用合适的规律进行排序是非常困难的，因此，文中提出了一种以CCD数字图像本身实体灰度值作为搜索对象的搜索方法，由于数组中元素是与CCD数字图像中像素位置一一对应的，因此，只要找到实体轮廓的像素位置点，就可以读取三维数组中所对应的轮廓像素位置点数据。其搜索方法如下:

(1)由于对实物轮廓进行检测时已经根据阈值对CCD数字图像进行了二值化处理，因此，首先可以按照从左到右、从下到上的搜索顺序寻找第1个像素值标记为1的轮廓像素位置点，即找到的第1个像素值标记为1的像素点一定是最左下方的轮廓像素位置点，记为A0，并把这点的轮廓位置检测值保存在相应的数据文件中。由于A0是实物最左下方的轮廓像素位置点，因此它的左上方、上方、右上方与右方这4个相邻像素位置点中至少有1个像素位置点是轮廓像素位置点，所以只需要将这4个方向上相邻像素点依次从左上方开始按照顺时针方向，以角度增量45°进行搜索，找到的下一个像素值标记为1的像素位置点就是与A0相邻的第1个轮廓像素位置点，记为A1，并把这点的轮廓位置检测值紧接点A0数据换行保存在相应的数据文件中。

(2)此时搜索起点换成A1，将轮廓像素位置点A0指向轮廓像素位置点A1的方向矢量，以点A0为原点，进行逆时针方向旋转90°，所得到新方向作为当前的搜索方向，因为只有在这个新的搜索方向上才有可能存在轮廓像素位置点，因此，同样从轮廓像素位置点A1开始，按新的当前搜索方向，以顺时针方向和角度增量为45°进行搜索，找到与轮廓像素位置点A1相邻的第一个轮廓像素位置点，记为A2，并把这点的轮廓位置检测值紧接点A1数据换行保存在相应的数据文件中。

(3)为了确保搜索一圈后结束搜索，需要对新搜索得到的点与第一个轮廓像素位置点进行比较，即如果A2与A0相同，则表明经过一圈搜索后回到了轮廓的起点，则停止搜索;否则从点A2开始，重复步骤(2)继续搜索下一个轮廓像素位置点，直到找到第一个轮廓像素位置点A0为止，从而可以得到所有的轮廓像素位置点A0，A1，…，An的坐标值，直到所有的轮廓位置检测值都按照一定顺序保存在相应的数据文件中为止。

3 标记轮廓重建

在工业产品几何形状的描述中，NURBS 方法作为唯一数学描述方法已经成为曲线、曲面造型技术发展趋势中最重要的基础。针对经过数字图像处理后得到的轮廓像素位置点数据文件中的海量数据，并考虑实物轮廓的封闭性，文中采用封闭3次NURBS曲线来对实物的轮廓进行反求重建是非常合适的。

n个数据点的封闭三次NURBS曲线定义如式(1)所示[12]:

其中:0≤u≤1;Pi是特征多边形顶点位置矢量;wi是相应控制点Pi的权因子;Ni，3(u)是3次B 样条函数;公式中u为变量，i=0与i=n时为同一个数据点。

分别采用传统计算与亚像素方法计算后所得的数据进行NURBS曲线重建标记轮廓如图4所示。

图4 4种常用标记的轮廓重建

4 标记对准误差分析

采用标记的理论轮廓曲线上任意点A(x，y)到过此点的法线与标记轮廓重建曲线的交点A'(x'，y')之间的距离作为任意点A(x，y)处重建轮廓的绝对误差值|δAA'|。针对标记的理论轮廓曲线，按等弧长的方式采集100个数据点，分别与传统算法、亚像素算法所得到的重建轮廓进行绝对误差分析，其比较结果如图5所示。

图5 4种常用标记重建轮廓的误差

由图5可知:对于圆形标记，采用传统算法重建的标记轮廓，其最大误差为0.248 mm (约1.94 pixel)，平均误差为0.110 mm (约0.86 pixel)，而采用亚像素算法重建的标记轮廓，其最大误差为0.070 mm (约0.55 pixel)，平均误差为0.038 mm (约0.30 pixel);对于椭圆形标记，采用传统算法重建的标记轮廓，其最大误差为0.271 mm (约2.12 pixel)，平均误差为0.110 mm (约0.86 pixel)，而采用亚像素算法重建的标记轮廓，其最大误差为0.069 mm (约0.54 pixel)，平均误差为0.040 mm (约0.31 pixel);对于正方形标记，采用传统算法重建的标记轮廓，其最大误差为0.188 mm (约1.47 pixel)，平均误差为0.107 mm (约0.84 pixel)，而采用亚像素算法重建的标记轮廓，其最大误差为0.037 mm (约0.29 pixel)，平均误差为0.026 mm (约0.20 pixel);对于长方形标记，采用传统算法重建的标记轮廓，其最大误差为0.194 mm (约1.52 pixel)，平均误差为0.115 mm (约0.90 pixel)，而采用亚像素算法重建的标记轮廓，其最大误差为0.036 mm (约0.28 pixel)，平均误差为0.022 mm (约0.17 pixel)。在如图5所示的4种标记轮廓上分别均匀对称采用200个数据点，取其平均值作为重建轮廓的中心点坐标，得到其中心点坐标误差如表1所示，表中δx、Px，δy、Py，δs、Ps分别代表水平方向、竖直方向、连线方向与中心点的距离误差(mm)、像素误差(pixel)。

表1 4种常用标记重建轮廓的中心点误差

图6为4种标记传统算法与亚像素算法的重建轮廓中心点坐标误差对比图，各种标记图的左侧为传统算法的误差，右侧为亚像素算法的误差。

从图5、图6与表1可知:采用亚像素算法重建轮廓的误差相比采用传统算法重建轮廓的误差要减小2/3～4/5，采用正方形标记或长方形标记的轮廓误差要比采用圆形标记或椭圆形标记的轮廓误差小;采用标记的中心对准要比采用轮廓对准误差小，同样采用正方形标记或长方形标记的中心点误差要比采用圆形标记或椭圆形标记误差小。

图6 4种常用标记重建轮廓的中心点误差对比图

5 结论

通过对表面贴装电子组件上的4种常用标记进行分析，可以得到如下结论:

(1)采用亚像素方法对表面贴装电子组件进行对准要比采用传统像素方法的对准精度高，其对准误差可以减小2/3～4/5，即其对准精度可以提高约两倍;

(2)采用正方形或长方形标记要比采用圆形或椭圆形标记的对准精度高，采用传统算法时误差减小约1/4，采用亚像素算法时误差减小约1/2;

(3)采用标记中心点对准要比采用标记轮廓对准精度高，其误差减小约1/2。

通过分析可知:宜采用正方形或长方形作为表面贴装电子组件的标记，通过亚像素方法对标记数据进行处理，把标记中心点作为对准点，可以使对准误差减小到约0.2 pixel，且当噪声一定的情况下，采用亚像素方法对精度的提高更明显。

【1】王凡，姜建国，申洁琳.SMT 质量检测中的AOI技术及应用[J].现代电子技术，2011，35(9):179－182.

【2】王贤辰.自动光学检测系统在SMT 中的应用[D].北京:北京交通大学，2009.

【3】LI Xibing，BAO Li，WANG Shigang，et al.Study on Image Mosaic ＆ Registration of Electronic Component through Surface Mounting Technology[J].Advanced Materials Research，2012，345:113－118.

【4】金刚.PCB AOI 关键技术及一种基于亚像素检测和智能形状分析的AOI系统[J].印制电路信息，2011，19(4):100－105.

【5】郑李明，王兴松.斜拉桥拉索径向畸变CCD 图像的边缘检测与图像提取[J].机械制造与自动化，2008，37(6):107－110.

【6】代小红，王光利.基于模式识别的零件表面瑕疵图像提取的设计与实现[J].表面技术，2011，40(5):109－112.

【7】李程鹏.AOI技术在表面贴装质量智能检测中的应用研究[D].广州:华南理工大学，2010.

【8】李西兵，范彦斌.一种提高复杂产品ICT 切片轮廓反求精度的方法[J].中国机械工程，2005，16(2):152－155.

【9】范彦斌，李西兵.一种基于复杂产品ICT 切片图像的轮廓提取算法[J].中山大学学报:自然科学版，2004，43(3):21－24.

【10】谢凤英，赵丹培.Visual C++数字图像处理[M].北京:电子工业出版社，2008.

【11】陆宗骐，金登男.Visual C++.NET 图像处理编程[M].北京:清华大学出版社，2006.

【12】希尔，克雷.计算机图形学[M].胡事民，等，译.北京:清华大学出版社，2009.