基于平面估计的三维测量相位展开新方法

罗 兵，薛 敏

(五邑大学 计算机学院，广东 江门 529020)



基于平面估计的三维测量相位展开新方法

罗 兵，薛 敏

(五邑大学 计算机学院，广东 江门 529020)

工业自动化生产中微米级的三维测量大多采用相位测量轮廓术，但其中现有的包裹相位展开方法容易受图像噪声和相位突变的干扰；在电路板贴片安装的锡膏三维测量中，利用电路板的平面区域包裹相位信息进行平面估计，然后全局相位展开向拟合平面靠拢，根据统计信息确定参数，得到连续相位；利用展开后的相位再进行电路板平面的二次曲面拟合，提高基平面的拟合精度和相对高度；对比实验证明了该方法的鲁棒性和快速性，处理时间短，不受噪声、相位突变、阴影等干扰。

相位展开；平面估计；三维测量；相位测量轮廓术；数字图像处理

0 引言

在电子制造业的电路板上元件自动贴片安装(SMT)生产环节中，需要对印刷的锡膏进行三维测量。基于光栅投影相位测量轮廓术(PMP)的三维测量方法因快速、准确、非接触的特点而被用于此处的三维测量[1]。

PMP利用正弦光栅投影，然后分别采集多幅移相光栅投影下的图像，按式(1)可计算得到测量对象各像素点的包裹相位[2]，由包裹相位展开得到展开相位，这个展开相位与各像素点的第三维高度有关，从而可得到三维信息[2]。

(1)

式中，φ(x,y)为像素点(x,y)处的包裹相位，Ii(x,y)分别为在不同相位的投影正弦光栅下采集图像上点(x,y)处的灰度，投影光栅每次移相π/2。

PMP三维测量方法精度高、速度快、与测量对象非接触、勿干扰，是工业自动化生产中常用的三维信息获取方法。但是其中的包裹相位展开一直是影响测量精度和可靠性的一个难点[3]。包裹相位是由于正切函数的值域范围和周期性导致的。由式(1)得到的包裹相位值域为[-π/2,π/2]，但实际测量对象的展开相位值域为(-∞,+∞)。根据式(1)中反正切函数的分子、分母的正负关系可将包裹相位的阈值扩展到[-π,π]，仍然需要根据式(2)将包裹相位φ0(x,y)展开得到展开相位φ(x,y)。

(2)

其中：n为整数，相位展开也就是确定各像素点处n的具体取值。

现有的PMP三维测量相位展开方法可分为局部路径法和全局法。局部路径法是在包裹相位图上根据某个路径上的相邻像素的包裹相位差判断是否需要加上(来进行展开，这类方法有原理法[3]、质量图导向法[4]、参数图导向法[5]等。局部路径法速度快，但由于噪声、投影阴影的影响，路径在遇到这些特殊区域时会导致无法继续展开下去而出错。全局法是从全部展开相位考虑，使展开相位与实际相位的差最小化为目标，实际上是通过求展开相位的梯度，根据包裹相位梯度与展开相位的梯度最小范数来求解展开相位。全局法有最小二乘法[6]、最小费用流算法[7]和及其它智能优化方法[8-9]等。全局法将单纯的按一定路径的相邻像素的相位差判断，转化为多领域的梯度判断，通过优化问题求解，可以更好地克服噪声、阴影的干扰。但是对于较大的阴影或遮挡区域仍然无法解决。

本文结合在电子制造业中电路板元件自动贴片安装、检测中对锡膏印刷质量三维测量时的具体环境特点，根据锡膏周边存在平坦电路板的先验条件，进行电路板平面估计，然后使展开相位与拟合平面的范数最小，并进一步根据展开相位进行二次曲面拟合来求解遮挡区域的基板三维信息。本文后续部分分别介绍电路板贴片安装中的锡膏三维测量、结合电路板区域的全局相位展开、基于展开相位的二次曲面拟合，以及对比实验。

1 贴片安装生产线上的三维测量

早期SMT锡膏检测是离线抽检，采用激光三角法抽样测量某个区域的三维高度，然后估计得到锡膏三维体积。随着技术进步，美国、日本、台湾、韩国先后开发了在线自动化锡膏印刷三维检测仪，采用PMP技术进行印刷锡膏的三维测量和重建[10]。如图1是电路板上安装0604贴片电阻的印刷锡膏情况，左图是电路板上的焊盘，右图是放大后的一个焊盘。

图1 0604贴片电阻的焊盘上印刷的锡膏

图1的右图可见焊盘上印刷的锡膏，尺寸大约为长：1.4 mm、宽1.0 mm、厚度0.15 mm，体积大约0.2 mm3。在电路板贴片安装(SMT)自动化生产线的印刷锡膏三维检测中，要求快速、可靠、准确、非接触，并将精确的缺陷检测数据反馈于设备的过程统计控制(SPC)。这样对PMP三维测量的相位展开提出了更高的要求。由于不可避免存在的阴影、噪音等影响，传统的质量图导向法、最小二乘法等都存在可靠性不够或速度慢的问题。

在该具体应用中，也研究提出了结合二维图像信息的锡膏印刷质量检测[11]，但是检测的准确性不够。在该PMP三维检测应用中，每个被检测的印刷锡膏周围都存在大量的电路板平坦区域，利用该已知的平坦区域将有助于进行快速相位展开[12]。本文进一步研究了展开中的根据相位统计来确定平面的位置，并进行二次曲面拟合得到锡膏遮挡的基板平面，从而准确得到印刷锡膏的相对三维厚度。

2 结合图像分割区域的全局相位展开

2.1 SMT印刷锡膏三维测量过程

在SMT印刷锡膏三维检测中，主要有以下几个步骤：

1)通过机器视觉对电路板MARK点的定位来对电路板进行定位；

2)根据检测前确定的检测路径，移动相机和光栅投影组件对每个检测区域进行光栅投影、图像拍摄，并光栅移相、再次拍摄，共4次；

3)对拍摄的图像进行处理，确定锡膏的二维面积、计算三维体积、形状，判断是否存在缺陷。

2.2 检测对象的图像分割处理

在本文设计的相位展开方法中，需要利用周边的电路板信息，这就首先需要从图像中分割出电路板区域。如图2是一个集成电路(IC)引脚的焊盘及其上印刷的锡膏图像，根据图像灰度和邻域关系，可以将电路板区域分割出来，并进行形态学的腐蚀处理，收缩区域避免边界区域或噪声区域的干扰，得到数据状况较好的邻近平坦电路板的区域，如图3中的浅色区域P。

图2 印刷了锡膏的IC引脚焊盘图像

图3 图像分割和腐蚀后确定的电路板区域

2.3 电路板区域展开相位平面的估计

在本文设计的相位展开方法中，需要利用周边的电路板信息，这就首先需要从图像中分割出电路板区域。如图2是一个集成电路(IC)引脚的焊盘及其上印刷的锡膏图像，根据图像灰度和邻域关系，可以将电路板区域分割出来，并进行形态学的腐蚀处理，收缩区域避免边界区域或噪声区域的干扰，得到数据状况较好的邻近平坦电路板的区域，如图3中的浅色区域P。

根据先验知识知道：电路板平坦区域的展开相位近似是一个平面，假设其平面方程为φ(x,y)=ax+by+c。其中φ(x,y)为展开相位，x为图像上某像素的水平像素位置，以图像左下角为(0,0)位置，向右、向上为正方向。y就为图像上某像素的垂直像素位置，a、b分别为展开相位平面的水平方向斜率和垂直方向斜率，c为平面的偏移量常数。

式(2)为展开相位与原始包裹相位的关系，其中，φ(x,y)为展开相位，φ0(x,y)为原始包裹相位，n为整数。

根据式(2)，电路板平坦区域的展开相位平面的斜率，与包裹相位的非周期跳变点处的斜率相同。由此，可以根据包裹相位估计得到展开相位平面的斜率。

按式(3)分别计算图3中分割出的电路板平坦区域的每行相邻像素间的原始包裹相位差。

(3)

其中：i=0, 1, …,m-2，j=0, 1, …,n-1，且像素(i,j)、(i+1,j)均属于分割得出的电路板平坦区域。根据投影角度、光栅的周期和电路板的角度，先验知识可知该斜率的大致取值范围，如k0。根据计算得到(kij-k0)按照式(4)判断相邻的像素(i+1,j)与(i,j)间是否出现了包裹相位的周期跳变，并校正各kij。

(4)

根据P区域中的所有校正后的斜率kij进行平均作为假设的平面方程的估计行斜率a。类似得到估计列斜率b。

电路板展开相位平面的偏移量常数c需要根据展开后的相位来统计得到，先假设c=0，这样得到电路板展开相位的估计平面方程如式(5)。

(5)

2.4 初次相位展开

按照式(6)将检测区域各像素的包裹相位φ0(x,y)进行初次展开得到初次展开相位φ2(x,y)。展开具体算法为：调整式(6)中的整数n直到满足式(7)的条件。

(6)

(7)

其中：φ1(x,y)为由式(5)得到的电路板区域估计相位平面的相位。

由于误差、光栅投影的变形，平面的实际展开相位更接近二次曲面。同时，更由于电路板展开相位平面的偏移量常数c无法正确估计，会出现连续的平面被展开到不连续的区域，如图4为一行检测区域像素按上述方法进行初次相位展开后的结果。现在需要进行进一步的调整使该区域的展开相位连续起来。

图4 检测区域中一行像素的初次展开结果

2.5 相位估计平面的常数项确定

对整个电路板平坦区域各像素按上述方法展开后的相位进行统计，找出没有像素分布的相位区域。为避免中间的偶然空隙影响，采用3种统计粒度分别进行统计，以找出统计分布值最小的相位区间。

图5 初步展开后相位值的统计结果

图6 调整后的连续展开相位

将检测区域中初次展开相位φ2(x,y)

(8)

2.6 性能分析

1)由于本方法是全局方法，且基于电路板平坦区域，从而不受阴影区域、噪声点的干扰，具有更好的相位展开可靠性。

2)估计的相位平面是根据整个检测视野中电路板平坦区域的斜率均值，且估计的相位平面只是用于将全部像素点的相位向其靠拢，容许一定的误差，并不会影响相位展开精度。

3)本算法计算量小，相位展开速度快。

4)由于光栅投影的变形，电路板平坦区域的实际相位更接近二次曲面，当处理面积过大后，曲面的弯曲导致实际值域超出2(，这是会导致第一次相位展开不连续，且统计不到分布为零的相位区域，从而无法调整得到连续的展开相位而出错。解决办法是缩小处理区域，将大的区域分块进行处理。在实际检测中，是对每个锡膏检测对象分别进行处理，因而区域不会超出限制而出错。

3 基于展开相位的二次曲面拟合

采用第2节的方法得到了检测区域表面的展开相位，但是要测量锡膏的厚度需要得到锡膏表面的相对相位，即需要得到其基板的相位。一般的检测方法都是采用基板与电路板平坦区域共面的原则进行基板相位估计的。

从电路板平坦区域的展开相位可以看到，其相位实际更接近二次曲面。平面拟合、二次曲面拟合和高次拟合的误差分析也可以证明：二次拟合与高次拟合误差已很接近，但比平面拟合误差明显减小。从计算量和精度综合考虑，本文采用二次曲面拟合来求锡膏遮挡的基板相位。设电路板平面展开相位的二次曲面方程为式(9)。

φ(x,y)=c1x2+c2xy+c3y2+c4x+c5y+c6.

(9)

将其最小二乘拟合已展开相位φ3(x,y)，即通过求解式(10)的优化问题来确定式(9)中的各项系数ci，(i=1,2,…,6)。

(10)

其中：φ3(x,y)为2.5节中式按(8)展开得到的相位，P为2.2节分割得到的电路板平坦区域。将式(10)中的d对各ci分别求偏导数并令偏导数等于零，可得到6个一次方程组如式(11)，求解该方程组可得到式(9)中各系数ci的值。

(11)

该二次曲面最小二乘拟合时只是利用了电路板平坦区域的展开相位值，锡膏区域则可以利用该拟合曲面作为锡膏遮挡了的基板的相位，以及阴影区域、噪声区域的基板相位。将包括锡膏区域在内的展开相位φ3(x,y)减去二次拟合曲面φ(x,y)可得到检测区域各像素点处的相对相位，并由此可进一步计算得到各处相对于电路板基板的三维厚度[13]。

4 实验结果与分析

为了验证本方法的可靠性和快速性，对SMT生产线上的实际印刷了锡膏的电路板产品进行锡膏体积测量对比实验。测量对象包括0201元件焊盘、0402元件焊盘、PFP封装IC引脚焊盘等，这些焊盘均已印刷了锡膏，共采集了10组不同FOV检测区域的包裹相位数据，每个检测区域图像为1392×1040像素，分别从4个不同方向进行投影，对同一检测对象采集四组不同投影方向下的图像，根据式(1)计算包裹相位，然后分别用本文的方法和质量图导向法[4]、最小二乘法[6]进行相位展开和三维体积计算对比。三维体积测量结果对比如表1所示，相位展开计算速度对比见表2。

相位展开和三维测量准确性的对比和验证采取重复精度验证的方法，即对相同的测量对象，从4个不同角度投影光栅进行三维测量，比较四次测量的偏差。重复精度高才可能测量精度高，重复精度低甚至出现较大偏差，表明相位展开很可能出错，测量值不准确。表1中的数据为3种不同相位展开方法计算的各组4个体积数据按式(12)计算得到的重复测量体积平均偏差与平均值的百分比d。

表1 三维测量结果重复精度值对比(%)相位展开

(12)

(13)

表2 三维测量算法速度比较

为比较算法的运算复杂性，在相同的i7-3770 3.4GHz CPU的电脑上分别运行本文的方法和质量图导向法[4]、最小二乘法[6]进行相位展开和三维体积计算速度对比，计算上述10(4组1392(1040像素检测窗的相位展开、锡膏体积计算的平均时间对比见表2。

从对比实验结果可以看到，本文提出的基于曲面拟合的PMP相位展开方法，比传统的基于路径的局部方法和全局最小二乘法都要有更好的计算可靠性，重复精度要高，计算复杂性要低，可用于SMT生产线的锡膏印刷质量在线检测。图7是采用本文方法对IC引脚焊盘上印刷锡膏三维重建的结果。

图7 IC引脚焊盘上锡膏的三维重建结果

5 结论

PMP三维测量中快速可靠地进行相位展开一直是该三维测量中的一个难点。本文结合PMP三维测量在电路板SMT安装锡膏印刷三维检测应用中的具体有利条件，利用检测视野中测量对象附近存在电路板平坦区域的条件，分割出该区域进行平面估计，然后将包裹相位向估计平面靠拢进行相位展开，并根据统计情况将相位完全正确展开。然后根据展开相位进行二次曲面拟合，以得到锡膏遮挡住的基板相位，从而得到锡膏相对相位，进一步得到厚度、体积。本方法为全局方法，平面估计是基于全局的电路板平坦区域包裹相位，对阴影、噪声不敏感，且算法简单、快速，适合SMT生产线的实时检测要求。

[1] Sansoni G, Biancardi L, Docchio F, et al. Comparative analysis of low-pass filters for the demodulation of projected gratings in 3-D adaptive profilometry [J]. IEEE Trans. on Instrumentation and Measurement. 1994, 43(1): 50-55.

[2]葛东东, 王淮生, 宋家友. 光栅投影三维轮廓测量技术分析及进展[J]. 上海电力学院学报, 2005, 21(4): 378-382.

[3]易群生, 章 云, 罗 兵. 结合二维信息的PMP三维测量相位展开方法[J]. 广东工业大学学报, 2013, 30(2): 74-78.

[4]王 勇, 饶勤菲, 唐 靖, 等. 采用小波脊系数幅值导数方差质量图的相位展开法[J]. 光子学报, 2015, 44(2): 60-67.

[5]苏显渝, 陈文静, 曹益平, 等. 参数图导向的相位展开方法[J]. 光电子·激光, 2004, 15(4): 463-467.

[6]刘 稳, 潘广贞, 杨 剑. 基于取整最小二乘的全局相位展开新方法[J]. 计算机测量与控制, 2015, 23(9): 3114-3118.

[7]毛志杰, 廖桂生, 刘向阳,等. 基于最小费用流的InSAR干涉相位展开算法[J]. 信号处理, 2008, 24(3): 491-495.

[8]Oshiyama G, Hirose A. Distortion Reduction in Singularity-Spreading Phase Unwrapping With Pseudo-Continuous Spreading and Self-Clustering Active Localization [J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2015, 8(8): 3846-3858.

[9]彭震君, 钱 锋, 王学锋,等. 基于模拟退火的相位展开方法[J]. 光学学报, 2003, 23(7): 845-849.

[10]罗 兵, 章 云. SMT焊膏印刷质量自动光学检测[J]. 电子质量, 2005, (12): 30-32.

[11]Luo B, Zhang L Y. SMT solder paste deposit inspection based on 3D PMP and 2D image features fusion[A]. Proceedings of Int. Conf. on Wavelet Analysis & Pattern Recognition[C]. 2010,190-194.

[12]薛 敏, 罗 兵. 基板平面拟合的PMP全局相位展开算法[J]. 五邑大学学报(自然科学版), 2015, 29(2): 55-60.

[13]张 旭, 李 祥, 屠大维. 相位高度的显函数模型及其标定[J]. 光学精密工程, 2015, 23(8): 2384-2392.

PMP Phase Unwrapping New Method Based on Plain Estimation

Luo Bing，Xue Min

(School of Computer Science & Technology, Wuyi University, Jiangmen 529020, China)

Phase measurement profilometry based μm size 3D inspection was widely used in automation manufacturing line. However, conventional phase unwrapping for the inspection suffered from image noise or phase break. In electronic PCB SMT assembly line, considering plain area segmented from 2D image, a new phase unwrapping method was proposed that wrapped phases can be shift close to plain estimated from the PCB plain area and quadric fitting was taken from unwrapped phases for base plain under the measured object. Contrast experimental results show the method effectively improved performance in robust, speed and anti-interference of noise, break and shadow.

phase unwrapping; plain estimation; 3D measurement; phase measurement profilometry; digital image processing

2016-03-23；

2016-04-23。

国家自然科学基金项目(61372193)；广东省教育厅科技创新基金项目(2013KJCX0185)。

罗 兵(1966-)，男，湖北荆州人，博士，教授，硕士生导师，主要从事机器视觉技术方向的研究。

1671-4598(2016)09-0043-04

10.16526/j.cnki.11-4762/tp.2016.09.012

TP216

A