基于轮廓测量术的三维锡膏检测设备的研究与分析

张志能

(深圳大族激光科技股份有限公司，广东深圳518057)

印刷电路板（Printed Circuit Board，PCB）是组装电子零件的基板，需求量极大，在电子行业中仅次于半导体，全球产值每年可达450亿美元。由于中国兼具成本和市场优势，PCB行业有逐渐向中国转移的趋势。据中国印制电路协会统计，仅2007年就有1.50 Mm2PCB板在中国生产，约占世界总产量的30%，其中华南占到全国总产量的42%。与此同时，受手机、笔记本等消费类电子产品结构微小化、功能复杂化发展趋势影响，低成本的作坊式PCB生产技术已经不能满足生产需求，而现代化的全自动生产技术则备受青睐。表面贴装技术（Surface Mounted Technology，SMT）作为一种自动化程度很高的电路互联技术，它能有效地减小电子产品体积同时还兼具成本和效率优势，已成为现代电子组装行业的主流技术。作为表面贴装流程中的质量控制环节，锡膏检测为印刷电路板提供了质量保证。

锡膏印刷流程会产生很多缺陷已经是一个不争的事实。锡膏的印刷质量是判断电路板上贴片式元器件焊点质量及其可靠性的一个重要指标。100%的采用锡膏检测（SPI）将有助于减少印刷流程中产生的焊点缺陷，而且可通过最低的返工（如清洗电路板）成本来减少废品带来的损失，另外一个优点是焊点的可靠性将得到保证。据统计，因丝网印刷而造成的缺陷占SMT缺陷总量的80%。考虑到锡膏回流焊前的缺陷校正成本极低，仅为回流焊后的1/10，在线测试后的1/70，PCB板生产完成后的1/700，锡膏印刷和回流前锡膏检测的流程控制势在必行。目前在我国半导体生产线上使用可靠的锡膏检测设备全部依靠进口，主要供应商有美国的安捷伦（Agilent）、美国的 CyberOptics、日本的赛凯（SAKI）、以色列的奥宝（Orbotech）、韩国的高永（Koh Young）等公司。然而，半导体设备是支撑半导体和集成电路产业健康发展的基础，是为国民经济和国家安全提供装备的基础性产业，自主研发包括锡膏检测设备在内的具有自主知识产权的半导体基础设备是一个国家或地区工业化水平与经济、科技总体实力的重要体现。只有从观念上重视半导体设备核心技术的研发，我国才有可能争取到成为世界工业化强国的机会。

依据日本的发展模式，20世纪70年代，日本半导体设备中70%～80%依赖进口，到了80年代后期，日本半导体设备的国产化达到80%以上，从而为日本的半导体工业的昌盛奠定了基础。在日本的半导体生产线上，从丝网印刷机到锡膏检测仪，再到贴片机，都早已实现了国产化。所以，在集成电路制造的产业链条中，上游的半导体设备制造业直接影响整个半导体产业的发展。面对我国集成电路制造业飞速发展的态势，包括锡膏检测设备在内的半导体设备研发必须抓住机遇，实现核心技术突破，解决我国目前高端半导体设备完全需要进口的问题。

1 锡膏检测平台基本构造与功能

锡膏3D检测平台（3D SPI）是光、机、电、气一体化设备，涉及计算机视觉、光学、精密机械、应用电子技术、图像处理技术及微处理器控制等多学科技术等多个技术领域，属多学科交叉问题。对基于结构光的3D锡膏检测平台开展研究，需要解决设备的设计、制造、控制、系统集成、可靠性及应用等关键技术，才能开发出面向SMT生产线的自动化检测平台。

SPI平台系统构成如图1所示，锡膏检测平台的工作流程如图2所示，系统的功能模块示意图如图3所示。SPI必须解决机械结构设计、电气控制系统研制、图像算法设计以及相机标定4个关键技术问题。

图1 三维测量系统机构示意图

2 锡膏检测平台机械结构设计、优化

锡膏检测平台的机械部分主要包括：PCB板相对光源的二维运动机构、光学采集机构、PCB板夹具以及整机壳体等。分别对各部分进行有针对性的研究，完成机械的整机以及局部零件设计、优化。

整机呈“龙门”式分布，即光学系统沿横向运动，PCB板沿纵向运动。与PCB板直接放置在水平工作台上比较，该方式下像素坐标与物理坐标方向一致，相机标定精度高、在不增加平台体积的情况下，可以做到较大的行程，结构紧凑。运动机构采用直线电机，它具有结构简单，定位精度高、反应速度快、随动性好的优点；工作安全可靠，能满足焊膏检测需求。机械部分设计完成后，按从局部到整体的方式对机械进行模拟仿真：直线电机扰动特性会影响运动的平稳性以及精确度，综合传统的PID调节以及现代控制方法建立直线电机的数学驱动模型，然后利用MATLAB优化工具软件对运动系统进行仿真优化，确定最佳的电机PID控制参数。根据机械的设计尺寸建立起整体的运动模型，采用动力学有关理论模拟、分析机械的动态运动过程，按照分析的结果对结构进行优化设计。利用三维仿真软件完全动画模拟整台机械的运动，对结构不合理部分进行有针对性的修改。

图2 SPI系统的工作流程

图3 SPI系统功能模块示意图

3 锡膏检测平台的电气控制系统研究

锡膏检测平台的电气控制系统采用模块化设计以简化控制过程、提高控制可靠性。该系统主要包括：主控制器、电机及驱动电路、通用I/O电路、图像采集电路，相关外围放大电路等。

工作过程中，首先通过工控机发出控制指令，然后经运动控制卡后转换为脉冲信号输出到电机驱动器，最后由驱动器驱动电机带动执行机构动作来完成预定的功能。其中，控制器选用工控机，控制速度快、人机交互界面友好；利用数字相机实时采集图像，经IEEE1394高速数据接口，将采集到的图像输入到工控机中用作检测依据；在电机的极限位置、原点位置添加光耦元件，分别用作平台回原点过程中的实时监控以其机械极限位置限定作用；此外，还需要添加电磁阀驱动电路，用于实现压缩气体的开闭来完成PCB的松开、夹紧。

4 锡膏检测平台的图像检测及相关算法设计

SPI软件系统非常复杂，它集合缺陷判断算法、3D体积重建、PCB运动路径优化、CAD参数导入、模板在线学习、电机运动控制以及统计过程控制（Statistical Process Control，SPC）等多种功能模块于一体，是SPI研究的重点和难点所在。其中检测算法是核心，好的检测算法能有效地提高识别的可靠性、减少检测时间。

4.1 二维锡膏检测

锡膏的二维缺陷主要包括焊膏偏移、面积偏大、面积偏小、无锡膏、锡膏间距过近和桥接。

灰阶解析是一种基于图像灰度分布规律的纯数值化判断方法。实际检测时抓取待检测图像，计算图像的灰度直方图分布、亮度极限值等灰度信息，用该信息与标准待测件的保存信息做比较，若两者的差别在阈值允许范围内则认为合格，否则认为存在缺陷。

图4 灰阶解析

图4(a)为模板图像的灰度直方图分布。直方图呈现双峰分布，峰值分别对应元件和背景的灰度值。根据实际的明暗情况，在直方图上确定元件的灰度区间在20～70之间；该区间内的像素数目占总像素的42.97%。若设定允许的偏差为±5%，那么当待测元件20～70之间像素值占45%时，元件合格，而当仅占35%时则认为元件有缺陷。图4(b)的工作方式与图4(a)类似，它将所有像素点的最大亮度、平均亮度、最小亮度设为检测阀值。设定检测允许偏差，如果待测图的各个亮度值在阀值允许范围内即为合格，反之则认为有缺陷。

上述的两种“灰阶解析”方式中，方式(a)适合芯片整体缺陷判断，能解决焊膏偏移、面积偏小无锡膏的检测；方式(b)则适合芯片的局部缺陷判断，如污染、崩塌等。针对SMT线上存在的具体焊膏缺陷，结合统计过程控制技术进行锡膏的灰度分布调整、添加新的解析灰度段、调节允许阀值等解析参数纠正后，检测效果优秀。

与国内2D检测常用的“图像对比”方式比较，“灰阶解析”算法工作过程不需要人为干预，调试好后检测稳定、客观性强；但由于编程和调试比较专业，需要操作员充分了解“灰阶”和“亮度”的基本理论并对图像有直观的“灰阶”判断。为解决上述问题，我们采用一种改进后基于待检测焊膏的数理统计特征的“灰阶解析”方法：统计“较好”焊膏元件灰度分布与标准焊膏模板间的差异，然后对统计的结果进行分析，为各个像素坐标位置、直方图灰阶值给出一个0-1之间的加权值的同时动态更新判断阀值，最后根据给出的加权值计算待测锡膏和锡膏模型间的加权差异，若差异超过允许阀值，则认为锡膏存在缺陷。该方法多次重复学习后可以使判断阀值收敛于理想状态，省去了人为修正判断参数的繁琐过程。

“灰阶解析”判断完成后，若判断结果为锡膏偏多，还需要进行锡膏间距和桥接判断。用图像连通域分析技术对这些缺陷进行判断。抓取一幅包含待检锡膏和与之相邻锡膏的图像，对该图做二值化处理，提取出其中面积较大的连通域，计算连通域的数目，若数目少于理论上的连通域的数目，则说明锡膏存在桥接缺陷；框选出其中最接近的连通域，计算两者的水平和垂直距离，若计算距离偏小，存在间距过小缺陷。整个二维缺陷检测流程如图5所示。

图5 二维锡膏检测流程图

4.2 三维锡膏检测

三维检测的核心技术是相位测量轮廓术，原理如图6所示。相位测量轮廓术（Phase Measurement Profilometry），采用正弦光栅或准正弦光栅投影和相移技术。投影一个正弦光栅到物体表面时，从成像系统可以获得受该物体表面面形调制的变形条纹，条纹的变形由其相位分布的变化得到体现。物体的高度信息被编码在变形光栅的相位信息中，如果能够正确得到某一点的相位值，就可以获得该点对应的高度值。相位测量轮廓术的最大优点在于求解物体初相位时是点对点的运算，即在原理上某点的相位值不受相邻点光强值的影响，从而避免了物面反光率不均匀引起的误差，测量精度可以达到几十分之一到几百分之一个等效波长。相位测量轮廓术需要精密的相移装置和标准的正弦光栅，相移不准和光场的非正弦性会引入测量误差，同时，必须进行可靠的相位展开。相位测量轮廓术的研究内容主要包括投影方式、相位解包裹算法和系统的标定。

图6 三维轮廓测量术的原理图

4.2.1 生成投射条纹

由计算机软件生成各种各样的投射条纹。在N步相移法中，需要投影仪连续投射N幅相位相差360/N度的投射条纹图像。我们采用四步相移法，由计算机软件连续产生四幅相位相差90°的正弦投射条纹，如图7所示。

4.2.2 图像获取

由计算机控制工业相机实时、连续地拍摄被检测物体表面，我们采用1394工业相机：EC1350C；图像采集卡：1394 card KEC 1582T；镜头：Conputar TEC-M55。

图7 相位相差90°的4幅正弦投射条纹图像

4.2.3 计算包裹相位

从N幅相移图像中反解出相角值，相角的范围在[0，2π]，相角中隐含着物体的三维形状信息。包裹相位图数据是相位解包裹这一步工作的输入。不同的相位差值引出不同的相位计算公式，例如，对于120的相位步长，可以由式(1)(3)表示的三幅正弦投射条纹图计算出，图像中坐标(i，j)处的主相位由式(4)所示。

在获得被测物体的相位图之后，我们需要将相位信息转化为长度信息。物体的相位图与物体的形状具有对应关系，在理想情况下，物体上任意点的高度与这一点在相位图中对应的相角成正比例关系，即 h(x，y)=kφ(x，y)，k 是需要通过系统标定得到的常数。但在实际的系统中，这种简单的线性关系是不成立的，k也不再是简单的常数，需要通过较复杂的步骤将由CCD阵列(i，j)获得的相位图转化成空间坐标(x，y，z)。这一步骤需要在系统标定的基础之上通过相位-坐标转化算法来实现。

4.3 运动路径优化算法研究

由于相机的视场有限，单帧图像采集区域小于PCB的面积，在检测之前需要对相机的运动路径进行规划，实现用最少的抓图窗口、最短的运动距离完成所有待检测锡膏的遍历。上面的问题为双重旅行商问题(TSP)求解，采用一次计算的方式问题过于复杂，我们将它分为两部来实现。

4.3.1 确定最少的检测窗口

蚁群算法是一种模拟自然界蚂蚁觅食过程的现代计算方法。蚂蚁在觅食时会在走过的地方留下信息素，两节点间的距离越近信息素的浓度就越大，同时随着时间的推迟，信息素存在挥发现象；蚂蚁在运动到下一位置前，优先选择信息素浓度大的节点；多次重复后，最短路径上的信息素浓度会明显大于其它路径。该算法具有正反馈、并行性的优点，可以用于TSP问题的求解。

蚁群k(k=1，2…m)在运动过程中，用禁忌表tabuk(k=1，2…m)来记录蚂蚁k当前所走过的城市，集合随着禁忌表进化过程作动态调整。在某时刻蚂蚁k由节点i转移到元素节点j的状态转移概率：

allowedk={C-tabuk}表示蚂蚁下一步允许选择的城市。α为信息启发式因子，表示轨迹的相对重要性；β为期望启发式因子，表示能见度的相对重要性，其值越大，则该状态转移概率越接近于贪婪规则；ηij(t)为启发函数，其表达式为：ηij(t)=1/dij；表示信息素残余浓度。

为避免残留信息素过多引起残留信息淹没启发信息，在每只蚂蚁走完一步或者完成对所有m个城市的遍历(也即一个循环结束)后，要对残留信息进行更新t+n时刻在路径(i，j)上的信息量可按如下规则进行调整：

采用Ant-CyCle模型，所有蚂蚁遍历完成后更新信息素：

窗口计算过程分为：（1）为每个待检测焊膏确定一个检测窗口，使窗口在包含本焊膏的条件下尽可能多的包含其它焊膏元件；（2）根据每个窗口内包含器件的数目多少，确定每个窗口的适应度函数；（3）类似TSP问题求解。计算过程中，用包含窗口数目替换路径长短、遍历包含的总窗口数目作为选择规则求解即可。

4.3.2 求解最短运动路径

完成检测窗口规划后，求解工作台最短运动路径以减少运动距离、提高检测速度。

遗传算法是一种借鉴生物遗传机制的全局随机搜索算法(GA)，它源于生物进化过程，基于进化过程中信息遗传机制和优胜劣汰的自然选择原则，借助复制、交换、变异等操作，使所要解决的问题从初始解逐渐逼近最优解。遗传算法全局搜索能力强，但是收敛速度慢；相对而言，蚁群算法具有正反馈、并行性的特点，但是容易陷入局部最优解（如图8所示）。结合蚁群算法和遗传算法，即在蚂蚁更新信息素的过程中，加入变异、交叉等操作，在保证全局最优的同时提高了计算速度。

图8 求解TSP问题

5 系统标定

系统标定的精度影响系统的测量精度。相位法测量轮廓术中，由于测量系统的像差效应、透镜的畸变效应、CCD的非线性效应及图像采集板的量化效应等，都会给相位测量轮廓术带来很复杂的非线性系统误差，而且传统相位测量轮廓术对系统的标定要求苛刻，这些因素都降低了相位测量轮廓术的测量精度。如何降低系统标定要求，降低非线性效应影响，提高系统的测量精度，是目前急需解决的问题之一。系统标定包括两项内容，即摄像机和投影仪镜头的标定，相角信息到坐标信息的转化公式中参数的标定。

摄像机标定的目的是确定相机模型的内部参数和外部参数。内部参数包括摄像机的焦距、光轴与图像平面的焦点坐标、像素在XY轴向的物理尺寸和畸变系数等；外部参数包括摄像机坐标系与世界坐标系之间的旋转矩阵和平移向量。传统的摄像机标定方法分为线性和非线性。利用非线性最优化技术标定摄像机，可以考虑各种因素假设，并且对任何复杂的摄像机成像模型都能达到很高的精度，但若标定参数的初始值估计不当，则无法得到正确的标定结果。基于透视变换矩阵模型的线性摄像机标定法，无需利用最优化方法来求解摄像机的参数，运算速度快，可以实现摄像机参数的实时计算，但是由于标定过程中不考虑镜头的非线性畸变，参数标定精度不高，而且过分参数化，使得求解参数与实际情况不能很好地吻合。基于上述两种标定方法的优缺点，我们将采用两步法。此算法先利用直接线性变换或透视变换矩阵的方法求解摄像机参数的初始值，再利用最优化方法进一步提高标定精度，达到较高的精度。

相位测量轮廓术中所采用的核心技术是相移法，测量的结果是相位谱，而不是物体准确的三维坐标值，所以需要通过算法将相位值一一对应地转化为三维坐标值。我们将采用两步标定方法，第一步通过测量得到参数的近似值，然后在不同的位置测量标定平面，应用迭代算法估计系统的参数。

6 结束语

三维SPI设备的研发总体上分为计算机视觉处理系统、台体机械系统和精密运动平台控制系统。视觉系统是整个系统的最核心部分，采用3台LCD数字光栅投影仪和1台CCD组成视觉模块，三维检测算法采用相位测量轮廓术测量锡膏的高度、体积和形状，二维采用加权自学习“灰度解析”、连通域分析等方式检测焊膏偏移、面积变化、无锡膏以及桥接等缺陷。台体XY运动平台执行机构采用直线电机、机械设计和电路设计配合进行，整机工艺控制采用组态软件编写，在电路方面主要采用PLC进行控制，交互和操作方式采取工控机加液晶屏显示。

在性能优化上，采用蚁群遗传算法来进行运动路径规划以缩减相机扫描窗口、减短PCB运动距离。焊膏位置编程可采用CAD导入、基于颜色聚类的几何位置自动计算两种模式，简化了编程过程。为关键的图像处理算法添加多媒体扩展指令集优化以提高检测速度。