基于立体视觉的IGBT 针高检测

田文超，田明方，庄章龙，赵静榕

（1.西安电子科技大学机电工程学院，西安 710068；2.西安电子科技大学杭州研究院，杭州 310018；3.上海轩田工业设备有限公司，上海 201109）

1 引言

功率半导体器件作为当下新能源汽车必不可缺的硬件之一，需要在其产品生产线中的每一环节进行实时的质量检测来确保最终产品的完整性。绝缘栅双极晶体管（IGBT）模块在生产过程中会出现pin 针缺失、歪斜、凸出、缩短等情况，这些缺陷极大地影响了IGBT 的电可靠性。在IGBT 的封装工序中，通过回流焊的方式将pin 针、覆铜（DBC）板和镀铬铜基板封装到一起。在回流炉中完成焊接工序之后，对IGBT 模块的pin 针高度进行检测是其完整性检测中的一环。但现有检测设备的针高测量的重复度波动较大，甚至会出现无法检测的现象。导致该现象的根本原因有：1）针尖部分的顶面积较小，现有的检测设备无法稳定地采集针尖的3D 轮廓数据；2）处理噪点的算法不够完善。

当下，视觉技术作为一种非接触式检测手段，在工业自动化领域通常承担着定位、测量和缺陷识别的任务。该技术可以在降低成本的同时代替人类高效率地执行任务。在工业自动化领域，基于视觉的应用主要是定性分析[1]和定量检测[2]。对于定高检测，TAY 等人使用质心法加立体视觉系统单次就可测量出50 mm×50 mm 的微芯片300 pin 针的高度[3]。LEE 等人开发的2D 双目视觉测量系统可以测量插销底部到插销顶部的高度，对比实际插销高度值，最大差异在0.03 mm以内[4]。FURUKAWA 等人从连接器的底部进行测量，针对焊料引脚的底表面反射光不均匀的问题，采用神经网络分析使检测的成功率达到了100%[5]。LUO 等人使用机器视觉从侧面检测双排直列封装（DIP）集成器件IC 的引脚，但只能检测到DIP 集成器件IC 引脚的一侧[6]。ZHONG 等人还使用反射镜组来检测IC 两侧贴片（SMT 贴片）引脚的平面度。该系统的平面度检测误差可小于4 μm[7]。非接触视觉测量技术的原理众多，其中主流的原理有相位测量原理[8]、脉冲测距原理[9]、投影技术[10]以及一些复杂的组合[11]。此外，与激光三角剖分面临的问题类似，针尖等细小特征的重建也会遇到分辨率和纹理缺失的困难。针尖等细小特征的点云收集对线激光传感器精度有较高的要求[12]。

分析现有设备产生测量误差的原因，本文采用双线激光传感器错高布局的非接触测量法，使用错高布局的双线激光传感器机构分别采集IGBT 模块的上部针尖点云和底部DBC 板点云，并通过“一针一面”的方法抽取出对应针尖和底面的点云，对“一针一面”点云使用随机抽样一致性（RANSAC）算法去除噪点，实现对IGBT 模块pin 针的高度测量，基于该测量方法搭建可以实现对应pin 针高度测量并显示针高的测量系统，判断IGBT 模块的pin 针高度是否在（15.5±0.4）mm 的合格标准内。该研究有助于提高IGBT 模块pin 针高度缺陷检测效率，为电子产品缺陷检测提供参考。

2 测量误差分析

2.1 不同基准面的测量误差

点面高度检测有针尖高度的抽取和基准面的选取两个部分。基准面不同，得到的结果也会不同。如选取不同的基准点，在同样的视觉算法下，得到的结果准确率会有2%的误差[13]。对于SMT 贴片，选取不同的特征，定位误差更是达到了15 μm[14]。基准的选取会直接影响视觉检测的结果。本文研究对象为IGBT 模块，该样品可选取的基准面有基板和DBC 板，但是两者在通过回流焊后的热力形变、翘曲结果不同，导致基准面的平面度不同。王威通过实验验证了基板的形变量大于DBC 板的形变量[15]。因此，本文选取DBC 板作为针尖高度测量系统的基准面。

2.2 光接收误差的影响

IGBT 模块等效模型如图1（a）所示。由于本产品的DBC 板、芯片、键合丝和pin 针零件的表面光滑且为不规则曲面，会导致无规则的光线反射现象（也被称为漫反射），激光传感器就会接收到不稳定的点云，现有设备海康3D 激光轮廓仪DP2470 采集的点云如图1（b）所示。从图1（b）可以看出，IGBT 点云都不同程度地受到了漫反射的影响，比如图1（b）中A 和B区域为针与针之间漫反射的影响，C 区域为针与键合丝之间漫反射的影响。为减少自身漫反射的影响和漫反射之间的干扰[16]，本文使用双线激光传感器分别采集底面和针尖的几何点云。分区域采集能有效去除键合丝、DBC 板光滑漫反射造成的干扰。由于针尖的顶部面积Spin较小（≤0.12 mm2），并且pin 针弯曲、针尖的磨损和缺失直接影响针尖点云的采集，底面部分点云的采集选用Keyence 的LJ-X8080 激光传感器，设置其z 轴的重复精度为0.5 μm，景深为（75±20）mm，线扫宽度为35 mm；针尖部分点云的采集选用Keyence的LJ-X8060 激光传感器，其z 轴重复精度为0.4 μm，景深为（64±7.3）mm，线扫宽度为16 mm。

图1 实际样品、所采集的点云与标定块

2.3 双线激光传感器高度补偿h 的获取

使用高度为20 mm 的标定块，如图1（c）所示，在LJ-Navigator 软件平台下，调节两个传感器的景深，使其可以测量到标定块A 面的高度。分别移动两个双线激光传感器到标定块正上方测量其高度，假设使用LJ-X8080 测量的高度为H2，使用LJ-X8060 测量的高度为H1，则激光传感器的高度补偿为

2.4 移动平台的误差

二维运动平台的运动精度和速度也是影响测量精度的因素之一。本实验的二维运动机构选用汇川伺服运动系统，设置其重复定位精度为±0.01 mm。为了确定速度对线扫机构跳动的影响，本文对比了三级速度与测量跳动误差的关系，标定块使用陶瓷量块（英示4106-B20，工艺精度为1 级/3 等），其平面度为0.15 μm。由于两个激光传感器固定在同一机构上，其震动幅度相同。由2.2 节可知，LJ-X8060 的重复测量精度高于LJ-X8080，因此只需使用线激光传感器LJ-X8080 测量标定块在线扫工作中的跳动误差即可。观察LJ-Navigator 软件接收到的波形图，去除异常波峰值，将相邻波峰与波谷之间高度差作为其跳动误差值，取最大值。图2 为不同线扫速度下LJ-X8080 扫过标定块A 面同一位置的跳动误差波形图。可以看出，当线扫速度为60 mm/s 时，其跳动误差为0.02 mm；当线扫速度为80 mm/s 时，其跳动误差为0.025 mm；当线扫速度为100 mm/s 时，其跳动误差为0.04 mm。考虑到产品测量周期和合理的跳动误差，本文选用80 mm/s 的线扫速度。

图2 不同线扫速度下的波形图

3 测量原理

3.1 针尖的测量方案

实验平台如图3（a）所示，其包含IGBT 模块、激光传感器、载具台与x、y 移动轴。激光传感器LJ-X8060和LJ-X8080 的高度相差15 mm 左右。LJ-X8060 与LJ-X8080 采用上下错高的安装布局，分别采集基准面点云和针尖点云。将LJ-X8060 和LJ-X8080 固定在x移动轴上，LJ-X8060 的线扫宽度为16 mm，LJ-X8080的线扫宽度为35 mm。IGBT 模块的宽度为92 mm，其宽度远大于LJ-X8060 的线扫宽度，只能分段完成针尖点云的采集工作。考虑LJ-X8060 的线宽限制和避免IGBT 模块相邻pin 针对点云采集的干扰，可把IGBT 模块的针脚排列形式近似看作三行，采用“三段式线扫”方案。激光传感器在伺服电机的驱动下按规定线路在x、y 轴上完成线扫工作，线扫路线以及针尖排序如图3（b）所示。y 轴的线扫行程长度为150 mm，x轴的线扫行程长度为60 mm。

图3 实验平台以及激光传感器的线扫路线

3.2 高度测量算法

现有设备的算法平台基于VisionMaster4.2 软件开发，对点云的去噪滤波算法不够完善，导致点云的高度数据提取异常。本文基于C#联合Halcon 编写计算pin 针高度的测量程序，实现pin 针的高度测量以及窗口显示。对采集到的点云数据进行处理，其流程如图4 所示。使用Matlab2020a 软件展示其算法处理步骤。

图4 点云数据的处理流程

使用双线激光传感器分别采集针尖点云和底面点云，通过前处理方法设定针尖和平面对应的高度区间为dpi和dpl，去除一部分异常点云，分割其区间内的针尖点云和底面点云。对图像点云位置进行修正，之后把点云数据转换成深度图，用于图像处理和ROI（Region of Interest）框选。在ROI 区域抽取出底面点集{Qj(xm, ym, zm)}(1≤j≤24)和针尖点集{Qi(xk, yk, zk)}(1≤i≤24)，其中m 表示第j 个底面点集中的点云序号，k 表示第i 个针尖点集中的点云序号。

3.2.1 底面点集的处理方法

采用RANSAC 算法对LJ-X8080 采集到的底面点集{Qj(xm, ym, zm)}(1≤j≤24)进行滤波处理，去除点集中的离群点，可满足本文的要求[17-18]。采用RANSAC算法随机选择3 个点，计算这3 个点到面的距离d，如式（2）所示：

其中，a、b 为常数。随后计算每个点到该平面的距离dm，如式（3）所示：

设定空间范围的阈值为t，当dm≤t 时，则这个区域空间内的点云是满足筛选要求的内点。重复以上步骤，直至遍历完该点集中的所有点。根据RANSAC 算法原理，至少需要C3m（从m 个数据中随机选择3 个）次。当点云数量过多时，计算量特别大。为降低筛选次数，设误差点的数量为Nn，异常点的数量为Ne，n 次选择的点云全部为异常点组合的概率为

当取得无异常点云组合的概率为99.9%时，选择次数n 的最小值为

重复计算后，筛选出满足阈值t 的底面点集{Bj(xm,ym, zm)}(1≤j≤24)。提取其第j 个底面点集中所有点的z 坐标的均值作为其基准面高度，计算方法如式（6）所示：

其中，Hbase为基准面高度，nbase为第j 个底面点集{Bj(xm,ym, zm)}总体的点数，z¯base为第j 个底面点集中所有点z坐标的均值。

3.2.2 针尖点集的处理方法

先将针尖点集{Qi(xk, yk, zk)}的点云数据转换成深度二维图像（也称为深度图），对其使用中值滤波和开运算等图像预处理方法以去除噪点，再采用RANSAC算法进一步对其进行滤波处理，最终得到针尖点集{Pi(xk, yk, zk)}(1≤i≤24)，取其第i 个针尖点集z 坐标的均值作为针尖高度Hpin，如式（7）所示：

其中，npin为第i 个针尖点集{Pi(xk, yk, zk)}总体的点云数，z¯pin为第i 个针尖点集中所有点云z 坐标的均值。

用Hpin与Hbase之间的差值加上双线激光传感器的高度补偿h，可得针尖高度H。如式（8）所示：

4 针高测量的重复性测试

4.1 重复性测试

本样品的pin 针合格高度为（15.5±0.4）mm，考虑到视觉算法存在测量误差，将测量精度规定为其公差（0.4 mm）的十分之一，即将跳动误差控制为0.04 mm以内可满足本设备的测量要求。选用一个标准IGBT模块，在无其他光源干扰下对其重复测量20 次，统计其针高数据。由2.2 节可知，LJ-X8080 的z 轴测量误差为0.5 μm，LJ-X8060 的z 轴测量误差为0.4 μm。由2.4节可知，双线激光传感器机构在线扫速度为80 mm/s时，该机构在线扫工作时的跳动误差为0.025 mm。单个IGBT 样品包含24 颗pin 针，重复测量其针高得到的一维散点分布和对应的极差分布如图5（a）所示，其重复精度误差＜0.04 mm，在理论条件下，本测量系统的重复误差为移动平台重复误差（0.01 mm）和跳动误差（0.025 mm）之和，其重复测量误差为0.035 mm 左右，小于0.04 mm，考虑测量误差，可证明此算法满足测量的稳定性。

图5 重复测量单个IGBT 样品的pin 针得到的针高数据与264 颗pin 针的针高极差差值概率分布和高斯分布拟合曲线

为得出其重复测量的极差概率分布，选取11 个合格的IGBT 样品，总共含264 颗pin 针。对每个样品测量20 次，取其针高数据以及极差。对264 颗pin 针测量20 次后，得到的针高极差差值概率分布和高斯分布拟合曲线如图5（b）所示，pin 针的高度极差分布在（0.021 mm，0.039 mm）的概率超过99.7%，由此可知该系统具有很好的稳定性。

4.2 对比测试

对比测试分为准确度测试和重复度测试，将双线激光传感器测量系统与海康针高检测设备进行对比测试，测试样品为针高合格的IGBT 样品，pin 针的合格高度为（15.5±0.4）mm。

4.2.1 准确度对比测试

本文选用全自动金相测量显微镜的测量值作为对比基准。全自动金相测量显微镜采用200 倍放大的光学对焦测量方式，其测量精度可达到1 μm。海康针高检测设备的测量精度为0.05 mm，其为单激光传感器配置。测试准确度结果对比如图6（a）所示，海康激光传感器的测量值与金相测量显微镜的测量值差别较大，这是因为海康激光传感器的抑噪性能较差，无法进行有效的滤波去除，噪点会被误以为针尖点云，被抽取用作高度测量。从图6（a）可以看出，双线激光传感器测量系统的测量值与全自动金相测量显微镜相近，且满足测量稳定性要求。因此，双线激光传感器的测量效果优于海康针高检测设备。

图6 本文方法与现有设备测试结果对比

4.2.2 重复度对比测试

重复度结果对比如图6（b）所示。海康针高检测设备在进行针高测量时甚至出现了“漏针”现象。这主要是因为其点云采集精度较低，无法有效稳定地采集针尖点云。因此，双线激光传感器的测量效果优于海康针高检测设备。

5 结论

采用现有的非接触式单激光传感器针高测量系统评估IGBT 的pin 针高度，其较低的稳定性和精确度导致误判率较高。本文提出基于错高布局的双线激光传感器机构设计针高测量方法，并基于该方法搭建了测量平台。对传统测量系统的误差来源进行分析和解决，进一步提高针高测量系统的重复性和可靠性，从而可实现对pin 针高度的一致性评价。结果表明，该系统可以实现针高测量数据和pin 针高度评价结果的可视化，其重复测量精度小于0.04 mm，高度极差分布在（0.021 mm，0.039 mm）的概率超过99.7%，该系统的测量效果明显优于现有的测量设备。本研究方法对于工业在线针高一致性测量系统的研究具有良好的应用价值。