多尺度信息融合的船舶外板检测三维标志点识别方法

刘玉奇，黄博晓，李 占，王英华

(中国船舶集团有限公司综合技术经济研究院 船舶质量与可靠性研究中心，北京 100081)

0 引言

船舶建造领域船体外形、壳体、舱形的三维数字化测量对提高装备制造精度和效率具有重要意义[1-3]。船舶外板的数字化检测是船体加工制造的关键环节，其检测效率、检测成本和检测精度直接影响船舶建造质量与可靠性水平。

标志点识别是数字化检测中常用的被测点三维坐标获取方法[4-5]。通过识别三维标志点的空间坐标获取被测空间点的位置信息，可用于三维场景匹配或测量数据比对，有效实现三维自动化测量。船舶外板的数字化检测需要将外板实测点云数据与模型点云数据进行比对，而二者坐标系不统一，因此需要借助实测外板点云部分坐标点的位置信息与模型点云进行匹配，实现对外板成形精度的测量。

目前国内外在标志点识别技术领域已有诸多研究成果。国外在靶标识别方面具有较高的技术积累，如徕卡、高幕等公司的三维测量设备具有较好的靶标识别性能，并长期应用于复杂工业应用场景[6-8]。国内有学者采用编码标志点获取测量物体的位置，从而通过匹配点集实现自由曲面的高精度拼接[9]。王曼等人开展了基于形态学的编码标志点识别，通过图像形态学运算提取标志点区域边界，然后利用标志点特征准确识别标志点，但当背景较复杂时识别效果不佳[10]。郑守住等人通过训练特征模型，并利用算子和边缘检测算法提取圆形标志点，最后拟合获取标志点中心位置，实现了自动、快速识别标志点并提取中心坐标[11]。李洋等人研究了一种适用于复杂工业应用场景的靶标检测方法，通过图像处理进行边缘和弧段分割筛选，然后借助弧段匹配和边缘弧段聚类提取靶标特征，最后利用拟合方法进行去伪实现对靶标的快速搜索和识别[12]。阮利锋等人提出一种基于双目视觉的三维目标识别方法，通过二值化处理，对原始图像进行分割，然后利用目标灰度与背景灰度之间的差异设定灰度阈值提取标志物，最后通过边界搜索和判别有效识别和定位标志点[13]。曾接贤等人为解决户外测量时的标志点识别问题，提出了一种利用标志点颜色和大小信息进行识别的方法，通过二值化处理和形状筛选、椭圆拟合以及中心定位等计算有效识别和定位标志点的位置信息，并成功应用到户外基于图像的视觉测量中[14]。初广丽等人设计了一种线段和圆环图案的靶标，通过去噪、边缘检测算法、边缘特征判别等方法实现了靶标的精准识别，具有对噪声、光照、旋转不敏感的优点[15]。

本研究针对船舶外板数字化检测领域的三维标志点识别问题开展研究，首先对三维标志点识别影响因素开展分析，给出了三维标志点的设计方案，同时提出了针对该三维标志点的识别流程，给出了各识别步骤的方法，同时对识别出的三维标志点的中心坐标进行定位，最后通过试验验证了该标志点识别和定位方法的有效性。

1 三维标志点识别影响因素分析

光照、成像相对角度、成像距离等因素对三维标志点识别产生影响，接下来将对船舶外板检测的三维标志点识别各影响因素展开分析。

1.1 光照因素影响

室内灯光全亮下采集的标志点灰度值230以上。关灯后，灰度值下降。当光照度较弱时，可通过补光措施，但需均匀补光，避免发生镜面反射。

存在自然环境光干扰下，如斜侧太阳光照可导致部分区域灰度值增大，当光照较强时对标志点识别会产生影响。

1.2 成像角度

在一定成像角度下可能存在镜面反射，会导致发生镜面发射的区域灰度值很高甚至达到最高值。应调整成像的曝光时间并避免强光直射外板表面，以免影响标志点识别。

不同的外板具有不同曲率特征，曲率较大时，通常成像偏转角度较大，采集的标志点图像变形越大，圆形通常表现为椭圆形，且在图像上标志点的点云数据量降低。经试验观察，1 m曲率半径下可以采集到标志点中心存在的孔洞特征。0.5 m曲率半径下，标志点尺寸相对较小且拍摄高度超过2 m则可能导致边缘可能会缺失，且中间的孔洞区域半径减小，影响识别。

1.3 成像距离

成像距离越远，标志点相对尺寸越小，有效点越少。在不同成像距离下，可根据三维成像的深度信息选取标志点识别的参数，以适应成像尺寸的变化。

2 船舶外板检测用三维标志点结构设计

船舶外板检测需要借助三维标志点结构对外板上的某些参考点进行坐标定位。通过获取到参考点的坐标为后续测量提供位置参考信息。因此需要对三维标志点的结构进行设计，具备定位船舶外板表面上定位点的功能，且能利用点云和灰度信息进行可靠识别。

2.1 定位结构设计

为了对外板上某些参考点位置进行定位，获取到该点的点云坐标，需要借助定位结构将该参考点位置和三维标志点的结构对准。通过识别出三维标志点的上表面中心坐标位置，确定该参考点的坐标位置。图1表面有3个三角结构，3个三角形指向的交叉点为下表面的中心。

图1 三维标志点定位结构设计

2.2 标志点外形结构设计

为保证标志点能够被稳定可靠地识别和定位，结合船舶外板的尺寸和表面特征，设计了标志点结构，如图2所示。

图2 三维标志点外形结构图

标志点的上表面为中空圆环，外圆直径50 mm。为方便工人手持，侧面设计了侧切面，方便抓取。底部外表面尺寸逐渐减小，减少标志点下表面与钢板之间的接触面积。由于船舶钢板通常尺寸较大，相对于标志点下表面尺寸，局部曲率变化很小，因此三维标志点的下表面为平面。标志点高度30 mm。

3 三维标志点识别方案

三维标志点识别主要通过获取到的标志点灰度和三维结构等多尺度信息对标志点进行识别，从而得到该结构的位置信息，进而得到标志点对应定位位置的坐标。

首先分析成像视场内灰度特征。测量视场下包含船舶外板、标志点和地面等物体信息。船舶外板的灰度值覆盖范围广，由于船舶外板表面的反射率范围宽，导致成像得到的外板表面的灰度值的取值范围广。标志点由于表面发射率高，因此成像得到的灰度值相比周边的外板表面灰度值高。此外地面通常反射率较低，成像灰度值也较低。因此利用灰度域尺度信息可以对外板、标志点和地面等物体进行区分。

此外，通过分析视场内物体三维尺度特征可知，地面通常为平面或带有孔洞的平面，钢板摆放在地面上，钢板表面曲率变化相对小，标志点摆放在外板表面，突出30 mm高度。由于外板表面的相对平滑，无褶皱或凹凸不平结构，因此标志点与钢板表面具有相对稳定的高度差。因此标志点与周边钢板存在30 mm高度差可作为识别标志点的Z轴空间尺度信息。

标志点结构的三维成像数据具有多个可识别特征，如比上表面的三维点云边界呈圆形或椭圆形，且直径接近50 mm，可作为XY轴空间尺度信息。利用标志点上表面与钢板的高度差30 mm，结合标志点本身的灰度值相比钢板表面高，可以将标志点从背景环境中逐步筛选出来。同时三维标志点的外部结构特征与被测外板表面参考点的坐标具有对应关系，可通过识别标志点上表面结构的三维信息，解算出对应外板表面某定位点的三维坐标。

三维标志点识别方案主要包含以下步骤：1)点云XYZ数据、灰度数据、标志点结构尺寸信息；2)对整个视场点云进行筛选，粗识别出包含标志点的区域；3)对粗识别出的标志点区域进行筛选进一步定位标志点位置；4)借助标志点多尺度信息，利用深度图对标志点的信息进行核验；5)计算标志带内的圆心坐标；6)计算标志点上表面圆心投影到钢板表面的坐标。三维标志点识别总体方案如图3所示。

图3 三维标志点识别总体方案图

4 三维标志点识别方法

船舶外板形面测量需要获取到外板表面的某些点坐标，借助设计的标志点结构，在三维成像视场内首先获取到三维标志点的位置信息，然后间接计算得到外板表面定位点的三维坐标。识别三维标志点采用了多步骤逐步筛选的策略，首先经过粗识别，剔除一些明显不满足标志点特征的区域，然后进一步筛选，利用标志点的局部灰度特点将更多非标志点区域去除。然后借助三维尺寸信息，进一步筛选出符合所设计三维标志点结构信息的数据。通过对特征的进一步计算和识别，综合判别出符合标志点特征的数据。之后计算标志点的上表面中心坐标，然后再利用结构尺寸计算出外板表面定位点的三维坐标。

4.1 标志点粗识别

首先，对采集的灰度图进行阈值分割，计算灰度图灰度均值 H1和大于均值的灰度图的灰度均值H2。进行加权得到灰度阈值。利用整个灰度图中绝大部分的灰度值比标志点的灰度值低的特点，粗识别出带有标志点的区域。

灰度阈值的选取对标志点粗识别的效果至关重要，取值太小会混入太多非标志点，太大可能会造成标志点的丢失。

最佳阈值的选取受环境光照度、曲率、成像距离的影响。

1)成像距离越远，图像整体灰度值降低，最佳阈值相对降低。

2)环境光照度较大时，整体灰度值最大，最佳阈值相对增大，环境光照度较小时，整体灰度值减小，最佳阈值相对减小。

3)曲率较大时，标志点区域受光照角度影响相对较小，且成像角度小采集到该区域的信号相对弱，可能会导致靠近边缘的点灰度值相对变小，如果取灰度阈值较小，会导致标志点靠近边缘一侧的点云数据丢失，进而使得采集的标志点三维尺寸信息存在缺失。

针对以上影响因素，采用自适应调整灰度阈值的方法，根据成像距离，整体的灰度值等关键影像参数的值，计算灰度分割阈值[16-18]。

经过该步骤处理后，得到了标志点区域，但仍混杂有其他区域未被剔除。其他区域包括：由于光强增大导致灰度值与标志点区域灰度相近的区域。

4.2 标志点区域精确提取

利用局部区域范围内标志点上表面的灰度值高的特点，将灰度图分为M*N块。在每一块中进行灰度阈值分割。各灰度区块之间设置交叉区域。M和N的取值参考标志点的尺寸信息，取值太大或太小均无法有效利用标志点与局部周边之间的灰度差异特征，从而影响精确提取的效果。

正常光照条件下，基于标志点与周边物体的灰度差，可以将标志点提取出，但仍可能有一些区域未被去除，例如由于镜面反射导致的高灰度值区域，由于镜面区域与其周边区域同样存在高灰度差，因此该步骤无法被去除。

4.3 深度图验证

由于灰度图只利用了二维的灰度信息，未能将标志点与其他物体完全区分开，因此可以利用三维坐标信息，对标志点进行进一步筛选。根据以上灰度分割的结果，借助三维的深度信息将各灰度图中不相邻的区域分割到独立的集合中，以便于下一步特征判别。利用深度数据进行聚类运算，可得到多个独立的集合[19-21]。

首先依据空间信息将现有点划分到不同的集合，划分的依据是判断某一点与现有集合中点的距离是否小于标志点的最大尺寸。若满足该条件则划归到相应集合(不止一个标志点)。若不满足，则新建集合，将该点划分到该新建集合中。依次划分直至所有点被划分。得到n个可能为标志点的集合。

最大尺寸阈值的设定受标志点尺寸和不同拍摄高度、钢板曲率影响。高度可通过点云数据大致估计。标志点尺寸固定、已知，曲率随现场加工进度变化，难以估量，但应给出可测的曲率范围，使得该曲率范围内变化不大。

当散点太多时，分割出的集合会大大增加，因此需要在划分集合前去除散点。提出一种去除点云中离散点噪声的策略如下：对筛选出的点，判断其周边±11行列内范围内存在的点数若大于150(该值为经验值，可根据具体试验环境条件更改)，则该点是标志点一部分。

经过该步骤后，进一步剔除了非标志点区域，但仍然可能混杂有其他由于光照等因素导致灰度与标志点灰度相近的区域。

4.4 特征识别

结合标志点的几何尺度信息如标志点上表面圆形的尺寸、上表面点云数量、圆形特征、周长、形状，以及灰度尺度信息等多种尺度特征信息，建立综合判别剔除其他物体，精确筛选出该三维标志点。具体判别方法如下：

1)有效点数量判别：统计该区域有效点数据，判断是否满足数据量区间。(目的是去除数量较少的离散点和数据量较大的区域)

2)尺寸判别：计算所占的行列值，判断是否满足行列值区间。

3)对称性判别：计算四象限内有效点是否>(总点数/6)，判断是否对称。

4)周长判别：计算周长，判断是否满足阈值。去除其他形状。

5)形状判别：根据周长和面积的比例关系，进行圆形判别。

6)计算标志点周边邻近的点与标志点中心的Z值之差。统计满足高度差在20～40之间的数据数量。满足阈值则认为是标志点。

然后针对多个判别条件，采用综合评判准则进行判定[22-24]。综合判别的准则采用满足整体判别最优的策略，避免由于某一特征丢失导致判别失效。若综合判别的结果置信度大于80%即可认为是标志点，若数量大于实际的标志点数量，则进一步借助模型中标志点相互之间的距离信息为判别依据做进一步筛选判别。

4.5 坐标提取

判别出标志点后，将标志点上表面数据提取出来，并对标志点上表面数据进行填充，并作椭圆拟合，计算拟合后的圆心坐标，得到上表面圆心中心点对应的三维坐标[23-27]。同时，提取标志点上表面点云数据拟合上表面的平面，得到上表面法向量。将标志点及邻近50 mm距离区域内点云进行旋转平移，旋转平移到法向量与Z轴平行的零点位置。

然后，将上表面圆心坐标沿着法向量朝Z值增大的方向平移30 mm。得到对应外板表面上某点的三维坐标值。

5 标志带识别和定位精度测试与分析

为验证标志点识别方法的有效性，对标志点识别的准确率和精度开展试验测试，将标志点摆放在外板上进行测试，分别统计标志点识别的准确率和定位的精度[28-29]。

5.1 测试环境构建

为验证标志点识别的准确性和定位的精度，在实验室环境下搭建了标志点识别测试系统，系统由船舶外板模拟装置、标志点、成像系统和工控机组成，标志点测试环境如图4所示。船舶外板模拟装置为圆弧铁板用于模拟成形船舶外板。在外板参考定位点上摆放了标志点。三维成像系统由上朝下采集点云数据，工控机系统自动进行标志点识别，输出识别结果。

图4 标志点识别方法测试环境

标志点的摆放如图5所示，将标志点中心对准外板模拟装置上参考点。在外板模拟装置的不同位置摆放了多个标志点，充分测试在不同角度、高度下标志点识别的准确性。

图5 标志点摆放

5.2 实验参数

试验采用的算法参数如下：有效点参数取值范围设置为[150，500]。周长范围设置为[80，150]，这里周长为灰度中标志点边缘所占据的像素数量。高度差范围[20，40]。将尺度信息加权后计算得到一个综合分值，该分值为标志点的综合评判值，当大于90时认为满足绝大部分标志点特征，因此判定为标志点。

5.3 实验结果

在开展的测试实验中，摆放多个位置，并进行重复检测，得到500个标志点测试结果，准确识别出标志点的数量为494个。识别准确率为98.8%。部分标志点的定位精度数据如表1所示。视场中单个标志点和存在多个标志点识别的时间差异小，1 024×1 280分辨率的三维视场下识别标志点所消耗的时间为15 s。

表1 标志带定位精度测试结果 mm

识别错误情况分析：未能正确识别的标志点均是由于标志点偏离成像设备视场中心太远。当标志点与数据采集设备之间的偏转角度越大，受视角因素影响，灰度图中标志点变形越大。此外三维点云数据在视场边缘的测量精度相对中间视场位置测量精度差。因此标志点在视场边缘，各尺度特征易受视场角因素影响产生变形或信息丢失，导致不能正确识别的情况。

定位精度分析：定位误差是由标志点识别的坐标与标志点实际坐标之差计算得到的，而标志点实际坐标的获取方法如下：在外板表面定位点上表贴一个薄纸片，该纸片的中心点为黑点，并将黑点与定位点对齐，在成像系统采集灰度图并获取到该黑点的像素值，由像素值找到对应的三维坐标值。将获取到的三维坐标作为该定位点的实际坐标值。然后摆放标志点，利用标志点识别算法得到该点三维坐标值，并与定位点实际坐标计算均方差，求得定位得到的坐标点的误差。

由表1所示，所提出方法识别出的坐标和真值坐标之间的欧式距离在1～3 mm之间。导致定位误差的因素是多方面的，首先误差与深度方向的距离有关，也与标志点偏离中心点的位置有关。距离越远，成像误差相对大，获取到的数据误差大，则定位精度也会相对变差。偏离中心越远，成像角度导致标志点的变形大，计算得到的中心位置偏差变大，则定位精度也随之变大。此外计算标志点中心位置时可能由于标志点部分有效点缺失而导致计算的中心坐标值存在偏差。若偏差n个像素，则精度下降n*L，其中L为一个像素所表示的被测物长度。基于以上分析，成像采集数据的质量直接决定了定位精度的效果。此外，成像设备的精度直接影响定位数据的准确性，因此也对定位精度提高起至关重要的作用。

由以上结果可知，该标志点识别方法可以稳定有效地识别出标志点，此外，在获取定位点坐标方面也取得了较好的定位精度。

6 结束语

针对船舶外板数字化检测参考点坐标获取问题，给出了三维标志点识别的总体方案以及结构设计方法。进一步提出了借助灰度域尺度、Z轴空间尺度和XY轴空间尺度等多尺度信息融合的标志点综合判别方法，通过标志点粗识别、精确定位、特征识别和坐标提取等方法，实现标志点识别与定位，得到了外板表面参考定位点的三维坐标。进一步通过标志点识别和定位测试实验，得到识别准确率和定位精度信息，试验结果表明提出的三维标志点识别方法可以准确地识别出标志点，且具备较好的定位精度，能够为船舶外板成形检测提供有效的参考点位坐标信息，满足船舶外板加工检测的使用需求。同时也给出了影响定位精度的影响因素分析，后续将针对试验结果分析进一步改进定位算法的精度，以满足更高的测量需求。