APP下载

基于点云数据的改进型焊缝骨架提取算法

2025-01-31谷心浩刘霞龚烨飞刘继承谢雨欣何榕程冯义斌

化工机械 2025年1期

摘 要 为了满足机器人焊缝磨削的要求,提出了一种基于点云数据的改进型焊缝骨架提取算法。该方法首先采用基于八叉树的体素滤波对焊缝原始点云进行降采样,然后使用随机采样和WLOP算子获取初始骨架点,接着通过迭代收缩提取焊缝骨架,引入斥力函数避免错误分支的生成,最后通过拟合曲线连接骨架线。实验结果表明:该算法能够适应多种不同类型的焊缝,提取出质量良好的焊缝骨架,并正确地表达焊缝的主体特征。

关键词 点云处理 骨架提取 焊缝特征提取 焊缝磨削

中图分类号 TP14"" 文献标志码 A"" 文章编号 1000 3932(2025)01 0094 08

当前,焊接技术已经被广泛应用于航空航天、军工等国家重大战略领域方向,在列车厢体、轮船船体及飞机机身等大型结构件的成形连接中都起着不可替代的作用[1,2]。焊接后需要去除多余的金属材料。磨削去除多余的焊接金属材料不仅是结构件表面光滑一致的要求,同时焊缝磨削过程也能减小焊接应力,改善焊接接头质量,从而提高结构件服役寿命[3]。目前绝大部分焊接结构件焊缝都需要操作人员手工打磨,这种人力劳动效率低、精度差,且打磨过程中产生的粉尘还会危害操作人员的身体健康[4]。随着“工业4.0”和“中国制造2025”的提出,工业生产逐步向自动化、智能化方向发展,工业机器人因其高精度、高效率、低成本的优点被广泛应用于各类制造场景中,机器人代替人工进行焊缝磨削已经是未来的必然趋势[5]。由于结构件焊缝工况较为复杂,因此采用机器视觉进行焊缝特征的检测识别成为了机器人焊缝磨削的关键技术之一[6,7]。然而,当前业界广泛使用的焊缝特征提取技术多为传统点云特征提取方法,如Zhang Suen细化算法[8,9]、点云切片法[10]及最小二乘法[11]等,这类方法存在运行效率低、提取特征效果较差的问题,亟需解决。

国内外对机器人焊缝打磨领域已经开展了一定的研究。南洋理工大学的PANDIYAN V等提出了一种基于神经网络深度学习的焊后焊缝检测方法,并采用机器人砂带打磨的方式进行焊缝磨抛,该方法通过对打磨过程中的焊缝轮廓进行监测来控制砂带打磨参数,从而实现焊缝磨抛作业[12]。印度威洛尔大学的MANISH R等采用基于机器视觉的方法检测磨削后焊缝表面的平整度和缺陷情况,主要使用边缘检测和直方图来检测不同磨削条件下的焊缝表面情况,从而便于对焊缝磨削参数进行调整[13]。山东大学的杨帅设计了一种基于3D视觉的工业机器人焊缝打磨系统,该系统采用一种改进型点云切片方法进行焊缝特征提取,能够自动确定点云切平面,并对焊缝中心特征点识别定位[14]。吉林大学的赵军提出了一种基于动态ROI技术与Steger算法的焊缝特征提取方法,该方法能够快速提取焊缝图像的结构光中心线亚像素坐标,为其设计的机器人焊缝打磨系统奠定了基础[15]。哈尔滨工业大学的高奎针对异形铸件机器人打磨应用场景,采用区域生长算法提取点云边界信息,能够完整提取铸件曲面待打磨区域的点云信息[16]。但以上研究主要针对焊缝打磨和磨抛的工业应用,对机器人焊缝磨削应用中的研究较少,因此笔者针对该问题进行相关研究,填补技术空缺。

综上所述,笔者提出一种基于点云数据的焊缝骨架提取算法,直接对三维焊缝点云进行特征提取。通过基于八叉树分割的体素滤波进行点云降采样,之后采用随机采样和加权局部最优投影(Weighted Locally Optimal Projection,WLOP)算子获取初始采样点,通过改进后的L1中值算法迭代收缩得到焊缝主体骨架,最后使用拟合曲线完成骨架连接和平滑处理,得到完整的焊缝点云骨架。

1 点云降采样

结构件焊缝的三维原始点云的数量一般为200 000左右,庞大的点云数量会导致计算量过大,算法运行效率低下。因此,需要对焊缝点云进行降采样处理,并有序分割点云数据,从而建立便捷高效的点云搜索方式,提高算法运行效率。

1.1 八叉树分割

笔者采用八叉树结构进行分割,八叉树是多维空间中数据检索的一种常见结构。使用八叉树结构对焊缝原始点云进行覆盖分割,将无序散乱的原始点云数据有序地组织排列,便于检索搜寻,同时按索引有序简化点云数据,为焊缝特征点定义其邻域点[17]。

八叉树结构对点云图像空间中的所有节点进行分割,每一个节点生成8个相同的子节点,将同一点云空间中所有体素的几何信息统一,使其保持一致。八叉树分割使用树形结构遍历算法来检索查找节点,且可在节点上有序地次第分割生成新节点。图1为八叉树结构分割点云数据示意图,可以看出,八叉树具有良好的拓扑结构,有利于不同节点之间点集的运算。对于空间分布均匀的点云数据,八叉树结构具有较高的检索效率,适合用于分割工件表面的点云数据,因此选用八叉树来处理焊缝原始点云图像数据。

1.2 体素滤波降采样

目前针对三维点云数据进行降采样的方法主要为统计滤波降采样、随机降采样及体素滤波降采样等。统计滤波法主要通过计算局部邻域内的统计值,如均值、中值、最值等来提取点云纹理信息,但会导致局部特征的缺失。随机降采样法是在点云中随机采集一定数目的点云,作为点云降采样的结果,由于其具有随机性,有可能会导致点云图像特征的部分缺失。

笔者采用体素滤波降采样的方法,它是使用体素化方法减少点云数量,采用体素格中接近中心点的点替代体素内的所有点云,相较于直接使用中心点更加精确[18]。笔者以体素中值点而非中心点来替代体素内的其他点云,从而实现以较少的点云数量最大程度地保留焊缝特征的目标,同时降低点云计算量,提高算法运行速度。基于八叉树分割的体素滤波降采样步骤如下:

a. 首先使用八叉树结构分割焊缝原始点云图像数据,建立焊缝点云的邻域点数据结构,找到每一个点的K个近邻点;

b. 计算单个点与其K个近邻点的距离均值d,并统计所有点邻域距离均值的平均值D=,从而得到体素中心的均值点C;

c. 基于体素中心求解得到体素中值点x=,其中,J为体素点云序列集,ω=,当前体素点集为{q},ω为点q的权重,与该点到体素中心的距离成反比;

d. 设置点云体素尺寸参数μ,通过体素滤波对焊缝点云进行降采样。

点云体素大小μ设置为0.5,焊缝点云图像中点云数量为200 000左右,经体素滤波降采样后,图像点云数为10 000左右,大幅降低了点云计算量,并最大程度地保留了焊缝特征。

1.3 点云降采样结果

采用基于八叉树的体素滤波对3种不同类型的焊缝进行降采样,降采样前后折线型焊缝点云图如图2所示,降采样前后焊缝点云数量见表1。

由图2和表1可见,在采用基于八叉树分割的体素滤波进行降采样处理后,焊缝点云数量大幅减少,点云精简率保持在95.00%左右,但依旧能够有效保留焊缝三维特征,且在一定程度上去除了光反射造成的离群点、毛刺和噪点。

2 焊缝骨架提取

2.1 初始采样点的获取

通过随机采样将体素滤波后的焊缝点云收缩为初始采样点,以作为初始骨架点。一般来说,初始采样点越多,稳定性越好,但过多的点云数量会导致计算量增大,算法运行效率降低。通过多次采样实验发现采样点数量对骨架提取结果影响较小,为保证算法的运行速度,笔者将采样点数量设置为焊缝点云数的8%。

针对体素滤波后的焊缝无序点云P={p}?奂R(I为点云序列集,R为笛卡尔三维坐标系)采用轴对齐包围盒[19]进行归一化,得到归一化后的焊缝点云P′={p′}?奂Ω(I′为归一化后的点云序列集),归一化公式如下:

P′="""""""" """"" (1)

其中,c为归一化前轴对齐包围盒的中心位置,a为轴对齐包围盒最长边的长度,其计算公式为:

c=(,,)""" (2)

a=max(a,a,a)"""""" (3)

a=x-xa=y-ya=z-z""""""" (4)

其中,x、y、z分别表示焊缝无序点云P中x、y、z坐标的最大值,x、y、z分别表示焊缝无序点云P中x、y、z坐标的最小值。

通过式(1)将初始点云P中所有点云的空间坐标缩放至区间[-1,1]内,同时将点云包围盒的中心位置对齐重合至坐标系原点位置。点云归一化如图3所示。

加权局部最优投影算法的核心是一个带密度均匀化项的加权局部最优投影算子,可以在原始密集点云上产生一组去噪、去异常值、均匀分布的粒子。WLOP对非均匀采样有弹性,能够生成分布更均匀的采样点,输入的样本点邻域应当至少包括两个相邻样本点的环。使用较小的邻域可能无法生成正则化结果,而使用较大的邻域会产生欠拟合情况,导致样本点收缩到局部表面内部。因此笔者将邻域半径参数设置为0.5,对随机采样的原始点进行WLOP算子重采样,获得较为均匀的初始采样点,采样点集为S={s}?奂R。

图4所示为初始采样点获取结果,图4a为随机采样结果,图4b为WLOP算子重采样后的结果。由图4可见,经过WLOP算子重采样后的采样点,相较于随机采样结果,分布更加均匀,更有利于焊缝骨架提取。

2.2 焊缝骨架点提取

通过对降采样后的焊缝点云使用随机采样和WLOP重采样得到初始采样点后,使用L1中值算法对焊缝点云进行骨架收缩提取。L1中值算法通过选取采样点邻域内的中值,而非均值进行骨架点的收缩提取,在持续的迭代收缩过程中,不断扩大邻域半径,将生成的新骨架点重新分配至邻域内的源点中心[20]。将L1中值算法直接应用于焊缝骨架点云提取,会导致稀疏分布情况的产生,使得焊缝骨架中心点过度收缩,产生团状点簇,甚至会生成多余错误的分支。为解决这一问题,引入了斥力函数进行调整,以在点云空间的各点之间形成一种排斥力,避免骨架点距离过近,从而完成焊缝点云骨架点的规整排布。

输入焊缝点云P′={p′}?奂R,其原始采样点为S={s}?奂R,对应邻域点为X={x}?奂R,利用最优化式可得到一系列骨架点:

arg ‖x-s‖θ(‖x-s‖)+R(X)""""" (5)

R(X)=γ""""""""""""""" (6)

式(5)为最优化式,使用L1中值算法对焊缝点云进行骨架点收缩,采样点在输入点集中的邻域点产生引力作用,使得局部骨架点向区域中值点移动;规整项R(X)用于生成采样点集邻域点之间的斥力,来避免所提取的骨架点收缩距离过近,其点分布情况见式(6),其中γ是平衡参数,用于平衡点之间的引力和斥力;σ为骨架点的线性度,用于连接骨架点。

θ(r)=exp[-4]2"""""" (7)

其中,θ(r)是高斯权重函数;h为定义局部范围的半径长度,通常取h=;d为包围盒斜对角线长度,|I′|为归一化后点云P′的大小。由式(7)可知,在同一邻域半径内,距离采样点越远的点,其贡献权重越小,从而起到了中值滤波的作用。将式(6)代入L1中值求解项中得出:

x=+μσ"" (8)

其中,α=,j∈J;β=,

i′∈I′;σ=σ(x);k为迭代次数。

经多次参数调整实验,对于长度50 mm以下的直线型焊缝μ取0.35效果最好,长度在50~200 mm的直线型焊缝μ在0.55~0.60内效果较好;对于折角60°以下的多段折线型焊缝,μ在0.35~0.42内效果最好,而对于折角较大的折线型焊缝,如直角折线型焊缝,μ取0.40效果较好;对于曲线型焊缝,μ在0.49~0.52内效果最佳。

2.3 骨架平滑与连接

在2.2节中所得参数σ为骨架点s的线性程度,用于连接骨架点。如果σgt;0.9,表明骨架点在邻域内呈线性分布,将其标记为可选骨架点。找到最大σ对应的骨架点,作为骨架分支起点,连接K近邻点,一般设置K=5,连接K近邻点中满足条件cos(∠,)≤-0.9,j=(…,-1,0,1,…)且未被连接的骨架点(∠,表示一个骨架点与其前后两骨架点连线的夹角)。在分叉位置或者边缘位置无法满足上述条件,停止连接骨架点,将已经连接好的骨架点所产生的单分支b放入集合B,在剩余可选骨架点中找到最大σ对应的骨架点,重复上述过程,直到没有可选骨架点为止,得到骨架分支集合B。

收缩得到的初始骨架不够平滑连续,会影响到最终焊缝骨架的准确性,所以笔者在原有最优化公式上添加了一个正则项,用于对骨架分支进行曲线拟合,从而形成平滑连续的紧密骨架。定义以下平滑函数:

P(X)=xi-x""" (9)

N(x)是点x的邻域点集,v(x)是邻域中点的个数。平滑函数P(X)通过将邻域点的距离最小化来优化焊缝骨架点的位置,得到局部拟合的曲线骨架。针对与相邻点不呈曲线分布的局部点,平滑函数在空间坐标轴主方向上贡献最小化方差,从而得到平滑分布的骨架点。

3 实验结果与分析

笔者根据结构件焊缝形状将其分为直线型、折线型和曲线型三大类型,采用改进后的焊缝骨架提取算法对这三类焊缝进行骨架提取。图5为直线型焊缝点云骨架提取结果,图中绿色为焊缝骨架点,红色为焊缝骨架线(图6~8相同)。

图6是折线型焊缝点云骨架提取结果。实验结果表明,笔者所提算法能够很好地处理直线型和折线型焊缝点云,可以提取出平滑连续的焊缝点云特征骨架,且焊缝骨架取向符合焊缝主体特征。

图7是曲线型焊缝点云骨架提取结果,图中为C型曲线焊缝点云骨架。由实验结果可以看出,笔者所提算法能够有效处理复杂曲线焊缝点云,可以提取出平滑连续的焊缝骨架。同时,焊缝点云中含有噪点和离群点,而由于环境光变化导致扫描采集的点云图像中出现莫尔条纹,使得点云密度不够均匀,且由于金属结构件表面反光造成了点云图像中产生空洞缺失。在这种情况下,依然能够有效提取出质量较高的焊缝骨架,证明了笔者所提算法的稳定性和鲁棒性。

笔者所提算法与L1中值骨架算法效果对比如图8所示。对于图8中区域类Ⅰ所示情况,由于L1中值算法在迭代收缩骨架时会根据邻域搜索半径确定骨架点,导致选取的部分骨架点在焊缝主体点云之外,而通过引入平滑函数,在骨架连接时去除错误骨架点和相应分支,确保提取的骨架点生成在点云内部。在区域类Ⅱ所示的情况中,笔者所提算法对焊缝主体骨架的分支取向进行了改进,使其更接近焊缝的中心位置,提取得到的骨架能够更好地表现焊缝特征。而区域类Ⅲ中使用L1中值算法直接进行骨架提取时出现了点云稀疏分布,导致产生了错误的骨架分支,笔者所提算法通过引入斥力函数,避免了错误骨架分支的生成。区域类Ⅳ中,L1中值算法提取得到的骨架已在焊缝主体之外,笔者所提算法对其进行了相应的改进,使得提取所得焊缝骨架点生成在焊缝主体点云内。

4 结束语

笔者主要对焊后焊缝的点云图像处理和焊缝特征提取问题进行了研究。针对结构件焊缝点云数量较为庞大的问题,采用基于八叉树分割的体素滤波对焊缝点云进行降采样处理,以较少的点云数有效保留了焊缝三维特征信息;提出了一种基于L1中值算法的焊缝点云骨架提取算法,通过引入斥力函数,避免了骨架点距离过近产生点簇和错误分支的情况,能够有效提取多种类型焊缝点云骨架。最后将笔者所提算法与L1中值算法进行了比较,实验结果表明,笔者所提算法提取的焊缝点云骨架连续平滑,具有更好的骨架分支取向和中心性,能够更好地表达焊缝的主体结构和特征信息,为机器人焊缝磨削新技术的研究奠定了基础。

参 考 文 献

[1] 李海娇.自动化焊接设备的技术发展与应用前景[J].自动化应用,2023,64(21):144-146.

[2]"""""" ERDEN M S,MARI B.Assisting manual welding with robot[J].Robotics and Computer Integrated Manufactu "ring,2011,27(4):818-828.

[3]"""""" HUYNH H N,ASSADI H,DAMBLY V,et al.Direct method for updating flexible multibody systems applied to a milling robot[J].Robotics and Computer Integrated Manufacturing,2021,68:102049.

[4]"""""" 田凤杰,韩晓,李论.机器人自动打磨焊缝装备与实验分析[J].组合机床与自动化加工技术,2022(4):139-142.

[5]"""""" WU L,WANG G F,LIU H T,et al.An improved algorithm to predict the pose dependent cutting stability in robot milling[J].The International Journal of Advanced Manufacturing Technology,2022,120(5 6):2979-2991.

[6]"""""" ZHANG Y,GUO K,SUN J.Investigation on the milling performance of amputating clamping supports for machining with industrial robot[J].The International Journal of Advanced Manufacturing Technology,2019 ,102(9 12):3573-3586.

[7]nbsp;""""" LI C L,DUN X F,LI L,et al.Vision guided robot application for metal surface edge grinding[J].SN Applied Science,2023,5(9):236.

[8]"""""" 郭宏阳.基于线结构光视觉传感的板件焊缝提取方法研究与应用[D].乌鲁木齐:新疆大学,2021.

[9]"""""" YAO J J,QIAN C,ZHANG Y K,et al.Multi Objective Redundancy Optimization of Continuous Point Robot Milling Path in Shipbuilding[J].Computer Modeling in Engineering amp; Sciences,2023,134(2):1283-1303.

[10] 张天宇,夏仁波,赵吉宾,等.基于结构光的焊缝表面质量检测[J].组合机床与自动化加工技术,2022(1):81-84.

[11] 王传玺.基于点云的曲线焊缝识别方法研究[J].现代机械,2024(2):89-92.

[12] PANDIYAN V,MURUGAN P,TJAHJOWIDODO T,et al.In process virtual verification of weld seam removal in robotic abrasive belt grinding process using deep learning[J].Robotics and Computer Integrated Manuf "acturing,2019,57:477-487.

[13] MANISH R,VENKATESH A,ASHOK S D.Machine Vision Based Image Processing Techniques for Surface Finish and Defect Inspection in a Grinding Process[J].Materials Today Proceedings,2018,5(5):12792-128 02.

[14] 杨帅.基于3D视觉的机器人焊缝打磨路径规划与控制技术研究[D].济南:山东大学,2024.

[15] 赵军.大构件焊缝磨抛机器人视觉测量技术的研究[D].长春:吉林大学,2014.

[16] 高奎.基于点云信息的异型铸件机器人打磨规划技术研究[D].哈尔滨:哈尔滨工业大学,2021.

[17] QUE Z,LU G,XU D.VoxelContext Net:An Octree based Framework for Point Cloud Compression[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway,NJ:IEEE,2021:6038-6047.

[18] LV C L,LIN W S,ZHAO B Q.Voxel Structure Based Mesh Reconstruction from a 3D Point Cloud[J].IEEE Transactions on Multimedia,2022,24:1815-1829.

[19] LI C,ZHOU M,GENG G H,et al.EPCS:Endpointba "sed part aware curve skeleton extraction for low qua "lity point clouds[J].Computers amp; Graphics,2023, 117:209-221.

[20] HUANG H,WU S,COHEN OR D,et al.L1 Medial Skeleton of Point Cloud[J].ACM Transactions on Graphics,2013,32(4):65.

(收稿日期:2024-05-17,修回日期:2024-10-31)

The Improved Pick up Algorithm for Weld Seam Skeleton Extraction Based on Point Cloud Data

GU Xin hao1,2, LIU Xia1, GONG Ye fei2, LIU Ji cheng2, XIE Yu xin2,3,

HE Rong cheng2,4, FENG Yi bin1,2

(1. School of Physics and Electronic Engineering, Northeast Petroleum University; 2. School of Electrical and Automation, Changshu Institute of Technology; 3. College of Information and Control Engineering, China University of Mining and Technology; 4. School of Mechanical Engineering, Yancheng Institute of Technology)

Abstract"" With a view to satisfying the robot’s requirements for weld grinding, an improved algorithm for the weld seam skeleton extraction based on point cloud data was proposed. Firstly, having the octree based

voxel filtering used to downsample original point cloud of the welding seam; and then, having both random sampling and WLOP operator adopted to obtain initial skeleton points, including having the weld seam skeleton extracted by iterative contraction and having the repulsive function introduced to avoid the generation of wrong branches; finally, having the skeleton lines connected by fitting curves. The experimental results show that, the algorithm can adapt to many different welds, extract the weld seam skeleton with good quality and correctly express the main features of welds.

Key words"" point cloud processing, skeleton extraction, welding seam feature extraction," weld seam grinding