大跨度中厚板边缘视觉识别与打磨引导研究*

吴立华，申启访，黄冠成，陈新度

（1.广东开放大学（广东理工职业学院），广州 510091；2.广东工业大学机电工程学院，广州 510006）

0 引言

大跨度中厚板由于其较大的尺寸和较厚的厚度，能够提供更高的强度和刚度，适用于建筑、桥梁、船舶和其他工程领域的各种结构和设备制造。近年来，特别在风力发电绿色新能源大趋势下[1]，大跨度中厚板大量用于制造风电塔。风电塔风力发电机组的地面支撑结构需要承受风力的冲击和重力负荷，中厚板的高强度和刚度使其成为风电塔制造的理想选择。重型机械厂利用切割工艺或者成形工艺将中厚板加工成所需的尺寸和形状，或再进行弯曲、冲孔、滚圆等操作，最后通过焊接或组装成为各大重型机械设备的腹板或架构等主要受力支撑部位。中厚板外边成形主要利用火焰切割、激光切割和水切割等，由于金属特性和切割工艺控制等原因，在边缘切割时通常会存在一定的毛刺或者熔渣。而且，大多数中厚板成形后会在仓库中存放相对较长的时间，在需要用料时才从仓库中取出，此时原始边缘和成形切割自由边都会氧化形成锈迹，为了保证下一步板材焊接或喷漆的工艺质量，必须铲除工件上氧化皮和毛刺，因此需要进行表面或者边缘打磨。大跨度中厚打磨工艺相对比较简单，但是由于板材边缘极长或表面面积大导致工作量极大，因此使用机器人打磨可以节省大量人力和提高打磨质量。但由于中厚板用途不一，其尺寸、厚度、或形状不一致，如图1 所示，而且由于重量大、重复定位难，传统机器人示教打磨难以实现。因此，视觉引导机器人打磨或将极大提高当前应用场景的安全性[2]、灵活性和效率[3]，视觉传感器能够获取金属板材图像信息，经过软件算法提取后，将特征信息点位和工艺数据发送到机器人控制系统，从而自动调整机器人的位置、姿态和速度，更准确地控制加工深度和抛光打磨的位置和方向，从而获得更高的加工精度和表面质量。机器人通过视觉引导进行抛光打磨可以适应不同形状和尺寸的物体，即使是复杂的几何形状也可以完成加工，从而提高了应用范围。

图1 多规板材实物

图2 引导打磨流程

视觉引导机器人进行中厚板边缘打磨，边缘检测识别是基础。传统的基于图像灰度梯度提取的Canny 或Sobel[4-5]算子对图像边缘进行简单高效提取，但是过多的细节纹理和边缘特征同时被提取出来。如何更好地提取目标的整体边缘轮廓信息并弱化不明显的局部干扰纹理，许多学者在深度学习模型的边缘轮廓特征提取算法进行了研究。Xie 等[6]提出通过堆叠多个卷积层和池化层来实现边缘特征的提取。Bertasius 等[7]提出DeepEdge，利用全卷积神经网络（FCN）进行端到端的边缘检测，并通过训练数据驱动的方式学习边缘特征。Liu 等[8]提出CASENet，旨在通过利用上下文信息和全局感知机制来提高边缘检测的准确性。He 等[9]提出BDCN 算法构建轻量型多尺度特征融合的边缘检测网络结构模型。在大跨度工件打磨方面，丹麦Eltronic 和Vestas[10]两公司分别通过AGV 和行走龙门实现打磨机器人示教或模型数据引导的风力叶片的自动化打磨。方伟等[11]针对大型港机构建使用RRT*算法研究验证机器人打磨避障技术并后续展开视觉引导缺陷焊缝识别打磨。文献[12-15]结合视觉完成了机器人打磨工作中涉及的定位、路径规划等问题。Bedaka等[16]通过离线编程OLP和3D视觉结合，实现机器人离线打磨轨迹准确性的提高。此外对于视觉引导的打磨，目前多为对工件图像进行局部灰度或几何特征进行模板匹配定位[17-18]，然后对示教打磨路径进行平面空间映射转换，或直接使用设计的模型图纸进行引导，这对批量的同款且一致性好的工件能很好地提高效率，但对多样异形的大型工件，示教工作将是巨量的，另外局部特征的定位误差会在大跨度工件中放大，导致引导偏离打磨出错。过程中若不能很好地获取局部实时高度和特征如异物和凸块等，同样会对磨具造成极大的损伤。

本文基于中厚板边缘打磨视觉引导需求，主要结合深度学习模型HED 算法架构和传统梯度边缘点集提取算法，进行多类型多形状多尺寸中厚金属板材边缘轮廓的快速稳定识别和全局定位引导与局部打磨工艺的探索研究。

1 中厚板边缘打磨视觉引导研究

大跨度中厚板视觉引导打磨过程设计：首先将随机尺寸形状板材放置于打磨承载台上，控制直线导轨利用机械臂上相机进行待打磨板材进行大视野远视场全局图像采集，整体采集的时候，机械臂位姿不变，相当于相机固定架，只有机器人导轨进行运动。全局图定义：一是分段区域高机位远视场采集的区段全局图像，二是所有区段全局图像拼接而成的工件整体全局图像。对产量多的边缘简单稳定的工件，可以建立示教路径模板库，对拼接得到的工件整体全局图像进行边缘提取后通过外形尺寸特征进行型号判定，调用对应示教模板路径，利用示教轨迹映射转换后的点位进行局部点云采集进行定位规划。对异样且不存在模板的工件，进行分段全局图像边缘提取，进行当前区域的全局边缘等间距引导进行近视场的点云采集定位。进行局部高精度边缘点云图像采集时，实时提取边缘点进行尖端打磨工具的定位以及位姿调整，实现高精度实时定位打磨。

1.1 基于HED的远视场全局边缘提取

1.1.1 多样异形板材全局边缘提取分析

板材本身存在金属色泽差异，同时因为存放时间或环境不完全一致，表面氧化导致的锈迹面积和色泽不一致，剖切口边缘因为工艺等因素也是呈多样化，这些都造成板材自身在图像上的特异性。另外因为图像采集环境的搭建也存在不同，通常会造成背景与目标差异最大化的采集环境，但也会因为某些客观因素使得物体跟背景不能很好地区分。上述原因造成了图像上提取板材边缘的困扰，通用的二值化阈值边缘提取如Canny 算子或Sobel等，在光学环境和图像素材不能稳定的情况下根本行不通，多数常用深度学习模型也难以稳定提取。在大跨度异形板材边缘打磨中，2D 图像采集和边缘特征提取效率高，大视野的3D图像采集或者点云处理效率相对较低，为此若能保证在2D 图像中进行板材边缘特征提取，将能很好地提高效能并降低成本。

1.1.2 基于HED全局边缘融合提取

大跨度板材决定了打磨台的跨度，对几米甚至十几米长的厚板，长度方向可采用的方法有两种：分区采集分段打磨和分区采集整体打磨。分区采集分段打磨，就是将打磨台分成多个区间，各区间独立，采集图像后直接处理进行边缘特征提取并引导机器人进行局部边缘打磨。分区采集整体打磨，就是首先将打磨台上大跨度板材进行分区图像采集，然后进行图像拼接，在对整体工件图像进行边缘特征提取后定位引导打磨。2D 图像边缘提取，采用高机位大视野图像采集，视野宽度大于载物台宽度，如图3所示。

HED （Holistically-nested edge detection） 是基于独立网络的整体嵌套边缘检测算法，具有整体图像训练预测和多尺度多层特征学习的特点，利用全卷积网络，在卷积层侧插输出层并加以监督，引导输出融合层边缘预测。金属板材边缘识别的骨干网络如图4 所示。HED 以VGG-16[19]为骨干网络，对于光度不均金属板材复杂表面或者复杂背景的原图输入，首先产生侧输出层的5 个不同分支然后才进行最大池化层的降采样，融合层由侧输出层进行连接融合产生，结构中5 个侧向层和一个融合层经过激活函数后共同作为网络输出，模型输出尺寸和输入图像一致。测试模型可以表示为，给定板材金属原图输入X，网络中所有参数为W，HED 预测5 个侧输出层（1）和1个融合层（2），即

图4 HED板材边缘提取网络结构

基于VGG-16 的好处是在经过多次池化降采样缩小输入图的尺寸，这对于大视野大尺寸金属板材原图或者拼接图输入照片的处理效率有着极好的提升，多次池化获得多层深度模型构架，也保持多层次维度特征的提取能力。HED 模型可以通过端到端的方式进行训练，这意味着整个模型可以一次性地训练，而无需使用多个阶段或级联的步骤，简化了算法的实现和使用，并提高了训练的效率。HED 网络在提取金属板材边缘方面能够处理5 个尺度的图像，并在不同尺度上检测边缘；传统的边缘检测算法中，往往只考虑了局部信息，而没有利用全局的上下文信息，HED 算子通过在网络中引入全局上下文信息的机制，融合浅层细节信息和深层丰富语义[20]，能够更好地理解图像的语义和结构，从而提高了边缘检测的准确性和连续性。

如图5 所示，对于前景背景差异大、光学亮度不均、金属材质光泽以及厚度不一的输入图像，经过HED 边缘提取，可明显地将目标与背景区分开来。对于不同的金属表面，可以调节图像预处理分辨率进行降噪，去掉很多不需要的干扰信息，保留明显的边缘特征信息。

图5 HED全局边缘融合提取

HED 的厚板边缘提取明显存在边缘特征过渡区域，不管直线、直角或圆弧边缘都有十分明显的过度带，利用这个明显的特征，将边缘区域作为连通域提取出来，如图5第3列红色所示，可以直接或间接进一步提取边缘线，进而获取边缘线定位点。基于连通边缘域得到边缘线集，采用优化的Steger 法与形态学的拓扑细化法结合方法进行中心线提取，有效剔除边缘存在的短细分叉干扰，以确保获得主要边缘主骨干线集，如图5第4列为所提取的边缘中心线。基于HED 的边缘特征融合提取，在复杂背景或者多样背景中的金属边缘提取具有极强的适用性和鲁棒性再结合Canny 算法以及边缘特征图像物理特性，能极好且稳定地提取金属板材的边缘。

1.2 局部实时打磨边缘的识别与打磨引导

1.2.1 厚板边缘点云途径提取

如图6 所示，借助HED 厚板的全局边缘提取，可以得到整体轮廓路径的引导，但是因为边缘打磨存在更高精度要求，甚至工艺要求，高机位大视野的2D图像并不能满足。因此，打磨过程需要近距离局部视野高精度的3D 相机进行点云采集并根据工艺进行机器人打磨末端位置和姿态引导。

图6 分区全局图像与局部点云采集

对于全局边缘单线路径，进行点集最优排序，根据局部视野大小，对全局边缘轨迹进行步距规划拆分，如图7 所示，单线路径采集按顺时针原则进行等视野大小间距分区采集轮廓点云打磨。若存在多个边缘特征，如图5 第2 组存在边缘区域组合，将所有连续边缘组成线集，以此对每个独立边缘进行排序规划，直至线集所有子边缘引导实时采集图像并引导打磨完毕。

图7 全局边缘引导局部近场采集路径

对于局部3D 点云图像采集，结构光基于激光深度测量特性，可以避免边缘区域剖切面剖切工艺或者金属材质光照等引起的光学图像干扰，稳定输出点云图像，近视场拍照采集可以保证点云采集精度，保留足够边缘细节。如图8 所示，首先获得局部高精度点云数据集，基于点云3D图像，进行边缘局部异常检测，判断是否存在过大的金属凸块或者异物，确保打磨工序过程刀具安全。通常不存在边缘异物时，将点云进行Z方向的深度映射，将深度信息转换成图像的灰度值，大大提高图像处理速度。

图8 深度映射的近场局部点云边缘提取

1.2.2 边缘路径规划与末端引导

在大跨度中厚板边缘打磨过程中，通常只需要进行边缘剖切面金属氧化物去除，以保证后续焊接工艺等的质量，但是也在弯曲或者转角区域需要保证机器人打磨末端刀具与工件之间的相对角度等工艺变量的变换。在平面方向上，采取全局不变边缘法向优先原则，先保证刀具与工件边缘在XY方向垂直，再根据工艺需求，比如倒角工艺或者所选刀具型号所需，进行末端倾角变换。所以存在两个姿态变量变化，一个是由图像边缘决定的法向角度，另一个是由工艺或者刀具决定的打磨角度。基于边缘点集等步距引导规划且顺时针原则，相邻两点之间的的法向角度直接获取两点连线与图像X轴夹角为基准，再根据路径方向和“外刀路径”或“内刀路径”进行规划即可。“外刀路径”即工件整体外部包络边缘路径，“内刀路径”即存在的内部所需打磨的内包空洞，在全部边缘识别时就要注意区分提取，通常中厚板自动化打磨不进行内部空洞打磨。两点P0(x0,y0)和P1(x1,y1)，若y0=y1，基于顺时针规划原则，当x1＞x0，边缘法向角∂= 0°，否则∂= 180°。若x1=x0，当y1＞y0，边缘法向角∂= 90°，否则∂= 270°。设两点之间在深度映射图像中与X轴夹角为：，以12点方向朝下为0°，分类枚举如表1所示。

表1 各象限法向角度枚举列表

基于工艺的末端姿态控制，设工艺控制倾角为θ，末端姿态旋转矩阵Ri为：

2 测试验证分析

基于HED 的全局边缘融合提取方法可以对多种类型金属多种边缘类型或者背景进行有效提取进行全局引导。为测试边缘数据引导机器人自动化打磨，采用RVC-X 3D 工业相机进行局部点云图像采集，近视场FOV 为334 mm×237 mm，机器人为ABB IRB 6700-200/2.60，负载200 kg，导轨直线移动进行大跨度中厚板分区打磨，相机安装方式为眼在手上，工作站布局如图9（a）所示，载物台宽度2 m，长度为8 m。分别对不同表面色泽、不同厚度以及不同形状的3种板材进行正反面共6次试验，应用上文的分段全局图像提取和分区局部边缘点云引导方法，设定打磨面宽度为10 mm，磨削深度为0.5 mm，采用3 M 圆盘砂轮进行剖切自由边进行打磨试验，对外侧边缘磨面的宽度磨削深度进行误差测试。

图9 布局示意图与边缘引导打磨效果

如表2 所示，6 组实验中边缘打磨宽度最大误差为13 mm，打磨深度误差最大为1.1 mm；且一般误差最大的打磨位置位于工件表面锈迹极其严重或者拐角磨具干涉造成。正常情况下均能达到打磨要求，局部的点云检测还可以有效进行边缘异物实时检测，避打设备异常损坏。

表2 多种规格类型的视觉引导打磨误差测试mm

另外如图9所示，在全局定位HED边缘识别引导和局部3D点云深度边缘路径引导打磨并结合机器人末端姿态工艺参数调整，可以根据参数在直边或者转角处实现倒角打磨工艺处理，并且基于局部点云映射的深度信息，可以方便地设定打磨工具在工件表面的去除量，适配所需工艺需求，如图9（c）所示为磨轮与边缘面倾角5°时打磨效果。

3 结束语

本文研究了大跨度中厚板边缘打磨中视觉边缘提取规划和机器人末端引导相关内容，引入基于深度学习模型的HED 大钣金金属边缘提取算法，结合边缘区域点集提取规划，有效稳定地在复杂背景和异形多样工件中识别金属边缘，进行全局路径引导。通过局部点云模型进行异物检测并提取深度映射边缘进行边缘打磨引导，基于工艺或刀具模型，适配修改用户工艺角度参数，有效适配多种工件或工艺场景。实验验证了研究内容在大跨度中厚板打磨中的有效性和稳定性，实现长跨度大工件的视觉引导打磨，实现自动化和智能化，减少人力投入和人为干预，确保剖切边抛磨效果的一致性。