基于机器视觉的总段对接方法

2021-04-27薛鹏程阮洪浩张伟军

机械与电子 2021年4期

薛鹏程，苏宁，齐峰，阮洪浩，张伟军

(1.上海交通大学机械与动力工程学院，上海 200240;2.江南造船集团有限责任公司，上海 201913)

0 引言

目前绝大多数造船企业都是采用分段建造思想组织生产，将船划分成段，独立平行建造，这种思想能提高船坞利用效率，降低船舶建造周期，提高生产率。依照不同生产阶段，可将中间产品分为钢材、小组立、中组立、大组立、分段、大型分段等[1]。巨型总段造船法是在分段基础上实现巨型化，同时扩大预舾装和涂装及可以分段测试的工作，使总段制造向专业化、社会化方向发展[2]。其生产模式是先由大型总组车间(专业分段厂)造好重达数千吨的巨型分段，运至整装船坞(总装厂)，再由巨型浮吊(起重船)将其吊入船坞连接成整船以形成船舶建造异地平行批量生产模式[3]。这种方法的使用，能够提高分段预舾装涂装程度，更进一步地提高了造船效率。

分段建造的思想早在20世纪中期就已经出现，但巨型总段造船法的发展直到21世纪初才有了突破，一大难点便来自于总段的对接过程中。理论上想要提高效率需要减少总段的划分数量，提高前期即可进行的预舾涂程度，但随着总段重量的加大，其转移难度、测量定位、调整位姿等方面的难度也随之加大。

为了保证对接的精度，很重要的一步便是保证测量的精度，传统的测量方式大致可以分为2大类：一是利用人工在船舱内测量，这种方式受空间限制难以应用高精度自动化设备；二是利用自动化设备测量总段外部侧壁上的点，这种间接测量法又会因为总段变形、转站误差等引入新的偏差。

本文设计了一种基于视觉的视觉定位装置，其能够放置在对接面直接测量数据，并设计了一套基于该种视觉定位装置的对接系统算法，能够直接利用对接面关键点信息完成对接控制，提高总段对接的精准度与自动化程度。

1 总段对接系统

总段对接法的核心思想为将船体在特定的部位进行分段并独立平行建造，各段之间通过对接调整到合适位姿完成焊接。如图1所示,在对接过程中，通常保持一个分段固定不动(称为固定段)，只对另一个分段(称为移动段)进行位姿调整，将固定段和移动段分隔开的面称为对接面。评价对接质量的重要指标即为固定段和移动段对接面上一些特定的对应点(称为关键点)之间的相对误差是否满足要求。

图1 对接示意

对接过程首先将移动段拉近固定段至合适的位置，之后大致可以分为3个大的步骤：测量数据、计算指令、执行调节，循环进行直至对接误差满足要求再进行最后的合拢。本文主要研究的是能够在对接面进行测量的装置及基于该装置的指令算法，执行操作沿用现有系统。

2 视觉定位装置

关键点在实际中指的是水平和竖直钢板的交汇点中心，直接通过视觉识别检测存在很大的难度，因此引入一个靶标间接测量对面的关键点。故提出的视觉检测装置分为2个部分：相机侧和靶标侧。检测装置可直接放入固定段和移动段的对接面的关键点附近，进而减少由于分段整体变形引入的误差。

相机侧的目标是尽可能精确地获取靶标侧的信息，并根据这些信息计算出靶标侧的位姿，将信息传递给上位机，其主要流程如图2所示。视觉定位装置所需解决问题的本质为获取1幅已知相对关系的N个空间点的图像，并根据图像计算这N个点所在的物体坐标系到相机坐标系的位姿转换，即经典的PnP(Perspective-n-Point)问题。

图2 视觉定位整体流程

2.1 靶标设计

平面PnP问题存在如下结论：当n=4时解唯一；n≥5时构成超定线性方程组，可求最小二乘解[4]。靶标侧的目标是提供尽可能多且准确的信息从而使相机侧准确定位，因此测量面设计成容易定位的二维码和高精度的棋盘格组合的形式，如图3所示。

图3 靶标侧的测量面

如图4所示，以靶标的中心OT为原点，靶标2个边长方向为xT和yT，垂直于靶标面的方向为zT建立靶标坐标系，则在靶标坐标系中各角点Pi齐次坐标为TPi(mid,nid，0,1),其中d为每个棋盘格的边长，mi和ni代表第几个角点，满足mi,ni∈Z、-5≤mi,ni≤5且mi及ni的绝对值不同时小于4。

图4 靶标与相机示意

(1)

其中,R3×3和T3×1分别为靶标坐标系到相机坐标系的旋转和平移矩阵。

2.2 相机标定

给定4组空间点和图像点的对应关系，尽管无需知道相机的有效焦距f和像素比例因子α，也能推导出物体坐标系到摄像机变换矩阵[5]，但由于相机畸变等问题，在实际工程应用中，为了保证测量精度，还是需要提前标定好相机的内参和畸变系数。

设相机坐标下点Pi坐标为CPi(xPi,yPi,zPi)，对应的像素坐标为(ui,vi),则存在如下的转换关系

(2)

fx和fy分别为相机在x轴和y轴的归一化焦距；u0和v0为坐标原点偏置；K为内参矩阵。内参矩阵体现相机自身的特性，对同一相机而言内参矩阵是固定不变的，可采用张正友标定法进行标定。

将式(1)代入式(2)可得

(3)

消去zPi可得

(4)

或者写成如下线性方程组

(miFiniFiFi)X=(0 0)T

(5)

2.3 求解位姿变换

图5 像素坐标系下靶标示意

则对靶标的每个检测出的角点Pi存在如下关系

OPPi=OPOT+miex+niey

(6)

或写成矩阵形式为

(7)

(uivi)T为通过视觉检测算法检测到的棋盘角点的像素坐标。由于存在二维码和边缘或实际应用中可能存在的杂项干扰等，检测到的角点不一定是实际上的棋盘角点，因此通过式(7)对mi和ni进行估计，即

(8)

(9)

2.4 视觉定位装置样机设计

视觉定位装置的核心为相机和靶标，以此为基础加上必要的电池、距离传感器、微型主机、遥控模块、照明装置等进行试验样机的设计与加工制造，设计图和实际加工样机如图6所示。

图6 视觉定位装置

3 视觉定位系统

单台视觉定位装置只能获取安装点附近的信息，对于总段的尺度，仅靠1台视觉定位装置无法实现准确获取移动段的位姿，尤其是移动段的姿态变化通常很小，难以在局部准确测量。因此，采用多台视觉定位装置共同工作，组建视觉定位系统，以实现对移动段的准确测量，并设计相关算法进行指令计算。视觉定位系统工作框图如图7所示。

图7 视觉定位系统工作框图

3.1 视觉定位装置安装与标定

首先,在对接面合适的位置安装视觉定位装置，由于实际上需要的是关键点PM和PG的相对信息，而视觉定位装置只是获得靶标相对于相机的关系，因此还需要利用激光跟踪仪等设备在对接前分别测量每台相机侧和固定段关键点的相对关系、靶标侧和移动段关键点的相对关系,如图8所示。

图8 视觉定位装置标定示意

以相机侧C为例，需要在其安装到关键点PG附近时，用激光跟踪仪同时测量相机侧C前表面3个特征点C0、C1、C2和关键点PG的坐标，则可分别以矢量C0C1、C0C2和C0C1×C0C2为基底，C0PG为

C0PG=αGC0C1+βGC0C2+γG(C0C1×C0C2)

(10)

将4点在激光跟踪仪坐标系下的坐标代入得到线性方程组，可解得3个系数αG、βG和γG的值，且式(10)关系在其他坐标系下也成立。由于C0、C1和C2在相机侧坐标系下的坐标是可以在设计时得到或者组装完成后通过标定获得，此关系本质上是确定了在此安装位姿时关键点在相机坐标系下的坐标CPG。靶标侧同理,能确定TPM。

3.2 位姿调整算法

视觉定位装置布局如图9所示，多台视觉定位装置安装到对接面上关键点附近。

图9 视觉定位装置布局示意

(12)

则假设在此时对移动段进行位姿调整T，可以调整移动段关键点至与固定段关键点重合，则有

GPGi=T·GPMi

(13)

n个关键点构成线性方程组

(GPG1,…,GPGn)=T(GPM1,…,GPMn)

(14)

4 实验验证与性能分析

实验验证分为2个部分，分别验证单台视觉定位装置和总体视觉定位系统。

4.1 单台视觉定位装置测试

图10 视觉定位装置实验平台

图11 靶标移动轨迹

图12 靶标模拟关键点CPM轨迹

由图12可见，散点的变化还原了靶标的移动，对轨迹的5段平动区域散点进行线性拟合，同时结合记录的移动真实值得到每段轨迹上各点到理论的偏差绝对值如图13所示。

图13 不同段数据点残差分布

由图13可以看出，绝大部分的点拟合偏差的绝对值小于0.5，个别点达到1.0左右。在同一位置重复测量7次，并将各点与理论位置的偏差即重复测量误差绘图，分别如图14和图15所示。

图14 视觉定位装置重复定位误差图

图15 视觉定位装置偏差分布直方图

从图14和图15可以明显看出，在y、z方向重复误差相对更小，不超过±0.2 mm，而在x方向上误差相对较大，能达到±1.0 mm。造成该现象的主要原因是x方向是相机的深度方向，对应的误差主要来自在深度方向的平移和绕y轴、绕z轴的旋转，而这些变量的测量表现在靶标角点上的像素变化相对其他3个变量会更低，计算结果对扰动更加敏感，最终造成深度方向波动明显大于其余2个方向，引入一定的误差。因此，实际应用中使用距离传感器修正深度方向误差。