基于3D视觉的车载雷达PCB焊点缺陷检测系统研究

高瑞琪 唐妙奇 兰锋

摘要：本研究采用将焊点三维特征提取与人工神经网络模型两种检测方法相结合的方式进行车载雷达焊点缺陷检测，克服了基于三维特征提取检测方法准确率低、基于人工神经网络检测方法对样本质量和数量要求高的缺点，具有在样本数量较少的情况下达到较高的检测准确率以及随着样本数量的积累增加检测准确率不断提升的优点。

Abstract： In this study， the solder joints defect detection of vehicle radar is carried out by combining the three-dimensional feature extraction and artificial neural network model. It overcomes the shortcomings of low accuracy of detection method based on three-dimensional feature extraction and high requirements for sample quality and quantity based on artificial neural network. It has the advantages of achieving high detection accuracy when the number of samples is small and increasing with the accumulation of the number of samples.

关键词：3D激光扫描;特征提取;PointNet;缺陷检测

Key words： 3D laser scan;feature extraction;PointNet;defect detection

中圖分类号：TP2                                          文献标识码：A                                  文章编号：1674-957X（2022）03-0136-03

0  引言

目前，常见的产品三维外观缺陷检测方法有三维特征提取、人工神经网络检测法两种。产品三维特征提取方法基于对点云原始数据的分析与特征提取[1]，对点云的完整性要求较高，但对于表面形状复杂的产品，获取的点云往往缺失较多，数据分布不均，影响三维特征的计算，无法得到准确的结果。因此，基于三维特征提取的三维缺陷检测，对于复杂表面准确率较低，针对焊点，准确率只有约为74%。基于人工神经网络的三维缺陷检测是建立在先验知识的基础上，对点云样本的质量和数量要求较高，点云越完整、数量越多、涵盖的缺陷类型越完整，检测结果准确率越高[2]。但在工业应用过程中，前期的样本量往往很少，达不到网络模型的训练要求，积累样本需要一定时间，导致检测模型无法立即投入使用，为人工神经网络在工业检测领域的应用造成很大的障碍。针对上述问题，本研究提出将三维特征提取与人工神经网络模型相结合的方式解决车载雷达PCB焊点三维缺陷检测，克服基于三维特征提取检测方法准确率低、基于人工神经网络检测方法对样本质量和数量要求高的缺点，具有在样本数量较少的情况下检测准确率较高以及随着样本数量的积累增加检测准确率不断提升的优点。

1  三维视觉与点云

三维视觉是跨领域的学科，既与计算机视觉相关，亦与计算机图形学相关[3]，依据使用光照条件可以分为主动和被动两类，根据原理不同分为结构光视觉、线激光扫描三维视觉、双目/多目立体视觉等[4]。本研究的检测对象是车载雷达PCB板焊点，对扫描的精度和稳定性要求较高，对外界光照变化不敏感。综合分析各种3D扫描方式的特点[5]，本研究采用线激光扫描传感器采集PCB焊点点云数据。

线激光三维视觉的原理是三维光学测量[6]，如图1所示，摄像机与激光平面成一定的角度安装。线激光发生器在物体表面透射一条线激光，线激光平面与物体表面相切，在物体表面形成一条光条。摄像机从另外一个角度拍摄结构光条纹图像。

假设线激光平面在世界坐标系下的方程为：

上式中，（xc，yc，zc）和（x1，y1，z1）分别为Oc与P′在世界坐标系下的坐标。联合式（1）、式（2），计算出直线OcP′与平面的交点，即为点P的坐标。

相机与激光发生器的相对位姿保持不变，线激光与物体之间相对运动，实现待测表面轮廓的三维扫描[7]。获取的车载雷达3D原始点云见图2。

2  焊点检测系统硬件平台

车载雷达PCB焊点缺陷检测系统主要由以下几部分组成：SmartRay ECCO_95线激光扫描仪，HIWIN直线滑台模组与三菱MR-JE直线伺服电机，三菱PLC及其显示器，服务器一台。系统通过PLC进行集成，实现扫描动作控制。检测系统硬件平台如图3所示。

2.1 HIWIN直线滑台模组与三菱MR-JE直线伺服电机

HIWIN直线滑台模组负载线激光扫描仪，通过立柱支架保持激光扫描仪与被测产品保持最佳距离。工作时，通过直线伺服电机控制滑台模组沿直线运动，并通过实时向扫描仪传送ABZ相位差信号来确定传感器的运动速度和距离。

2.2 ECCO_95线激光扫描仪

SmartRay视明锐公司的ECCO_95线激光扫描仪对车载雷达PCB板进行图像采集，通过激光线变形得到PCB板每个切面的高度信息，每个切面的高度信息值组成了整个PCB板的表面三维信息集，即点云。无论外界光照条件如何变化，扫描仪都可以对点云进行精确扫描，从而保证检测系统采样的稳定性。

2.3 三菱PLC MJ-JE-108

三菱PLC负责向直线滑台模组和传感器传递到位信号，接收图像采集完成信号并将信号反馈给服务器，服务器接收并完成点云的存储。

3  焊点检测软件模块构成

3.1 背靠背焊点3D点云采集与配准

线激光扫描采用三角测量原理进行待测物表面点云采集，由于光具有沿直线传播的特点，焊点表面坡度变化大，在背对相机的一侧数据缺失严重，见表1，点云1为传感器1采集的焊点点云，可以看出焊点一侧数据缺失严重，会对影响三维信息的准确提取，降低检测结果的准确性。为了解决该问题，本研究采用传感器1和传感器2背靠背的方式从两个相反的方向分别扫描采集（见图4），获得的点云1和点云2，其缺失数据互补。将点云1和点云2进行配准融合，可以很大程度的提高点云的完整性，保证检测结果的准确和可靠。

点云数据的配准，即为将通过不同角度扫描获取的点云数据对齐的过程，关键是找到点云数据之间的位姿关系[R，t]矩阵[8]。根据图3硬件系统平台，检测工位的机械结构定位精度为0.1mm，可以计算出点云1和点云2的初始配准关系。然后采用PCL库中最近点迭代算法（ICP，Iteractive Closest Point）[9]实现点云1与点云2的精确配准融合，最终一组PCB点云。初始点云中单个样本点数约为3000K（3M），其中有效焊点点云点数约为3K，占比约为0.1%，将全部点云进行检测运算力浪费很大，因此，根据焊点的坐标值，分割剪裁至出五个统一大小（N×3）焊点的点云，其中N表示点的数量，3表示一个点的坐标维度（x，y，z），为后续缺陷检测分析做准备。

3.2 焊点三维特征提取与检测

根据焊点的点云数据，对每个焊点的三维几何特征信息进行计算，与标准值进行对比，超过设定的阈值范围，即判定为不合格（方法一）。每个焊点的点云信息包含其三维坐标X、Y、Z，搜索其最高点Z轴坐标Zmax，其与底平面的高度差，Zmax-即为焊点高度hx;按照焊点标准高度h0值平均取5个横截面的离散点集，见图5，采用最小二乘法进行椭圆拟合，计算最佳拟合椭圆面积S1x、S2x、S3x、S4x、S5x。将待测焊点的特征值与标准焊点做对比，见表2，差值超过设定的阈值，即判定焊点质量异常，产品不合格。

3.3 基于人工神经网络的缺陷检测

本研究用PointNet网络用于焊点质量检测。鉴于焊点点云特点[10]， PointNet使用对称函数解决无序性和稀疏性问题[12]。PointNet分别在每个点上训练了一个在点之间分享权重的MLP，每个点被“投影”到一个1024维空间，这为每个点云提供了一个1×1024的全局特征，输入非线性分类器进行分类，经过一个MLP得到k个score。首先积累样本数据对PointNet网络进行训练，训练完成后，将待检测焊点点云输入网络进行检测，输出检测结果。

3.4 基于动态加权值的检测结果融合

综上所述，根据两种不同的检测方法得到两个检测结果。通过焊点三维特征提取与标准数值对比分析获得的检测准确率约为74%;基于人工神经网络的智能检测算法初期训练样本较少，对于大量未知的缺陷并不兼容，检测准确率偏低，随着产线的运行时间的增加，样本逐渐积累，可以利用新的样本集进行多次增量训练，不断的迭代算法模型使其具备更全面的检测性能，因此，检测准确率会随着运行时间的增加不断的提升。针对这种情况，本研究提出了基于动态加权值的检测结果融合算法，将两个结果融合，提升检测结果的准确度。（图6、图7）

两种检测方法的检测准确率分别为a、b。针对待测焊点，方法一检测合格率为p1，不合格率为bp1;方法二检测合格率为p2，不合格率为bp2。融合步骤如下：①将a、b标准化处理，aa=，bb=，aa和bb分别为两种检测结果的加权值;②待测焊点的最终合格率p=aa*p1+bb*p2，不合格率bp=aa*bp1+bb*bp2;③判定：如果p>bp，焊点质量合格;如果p≤bp，焊点质量不合格。

4  结语

本研究采用将三维特征提取与人工神经网络相结合的方式解决车载雷达PCB焊点外观的检测问题，解决了针对表面形状复杂的产品基于三维特征提取的检测准确率低、基于人工神經网络检测对样本数量和质量要求高的缺点，将基于三维特征提取方法要求样本数量少、人工神经网络检测方法检测准确率随着运行时间的增加、样本的积累逐渐提升的优点结合，使得整套设备在整个运行过程中都保持一个较高的检测准确率，直至完全实现自动检测。

参考文献：

[1]安毅.三维点云数据的几何特性估算与特征识别[D].大连理工大学，2012.

[2]罗子湛，何祖威.基于系统辨识的中储式制粉系统的运行优化[J].重庆大学学报：自然科学版，2005，28（1）：5.

[3]龙霄潇，程新景，等.三维视觉前沿进展[J].中国图象图形学报，2021，26（06）：1389-1428.

[4]吴庆华.基于线结构光扫描的三维表面缺陷在线检测的理论与应用研究[D].华中科技大学，2013.

[5]张宗华，刘巍，等.三维视觉测量技术及应用进展[J].中国图象图形学报，2021，26（06）：1483-1502.

[6]郑德华，沈云中，刘春.三维激光扫描仪及其测量误差影响因素分析[J].测绘工程，2005（02）：32-34，56.

[7]李根，谢劲松，霍庆立，等.三维激光扫描系统测量方法与前景展望[J].机械工程师，2015（9）：3.

[8]王健，陈政，张华良.三维点云数据的预处理研究[J].科学技术创新，2021（22）：115-118.

[9]张晶，叶含笑，杨麟.基于误差阈值控制的ICP点云配准算法研究[J].艺术与设计（理论），2021，2（08）：90-91.

[10]赵树宁.基于机器视觉在线焊锡质量检测系统开发[D].广东工业大学，2020.

[11]杨晓文.基于KNN-PointNet的点云语义分割[J/OL].激光与光电子学进展：1-16[2021-11-19].http：//kns.cnki.net/kcms/detail/31.1690.tn.20210802.1730.064.html.

[12]赵中阳，程英蕾，释小松，秦先祥，李鑫.基于多尺度特征和PointNet的LiDAR点云地物分类方法[J].激光与光电子学进展，2019，56（05）：251-258.