基于图割的多相机管路三维重建测量

徐中平，王海宽，李徐辉，童 彦

（1.上海大学 机电工程与自动化学院，上海 200444；2.上海飞机制造有限公司，上海 201324）

管路是航空航天和汽车产品的重要组成部分，管路负责系统各部件之间流体的输送，关系到系统的可靠稳定安全运行。受安装空间限制，管路的空间形状复杂，同一管路上往往同时存在多个直线段和圆弧段，具有形状不规则、三维走向多变的特点。管路三维形状的正确性是实现管路可靠装配的前提，然而在制造过程中，拉伸和压缩应力的不均匀分布导致回弹等多种缺陷，从而影响管路装配过程中的精度[1]。在管路装配前，管路测量是保证管路正确装配的重要步骤。

管路测量的主要参数包括节点坐标、步进长度、管路旋转角和管路弯折角等。管路测量方法主要分为接触式测量和非接触式测量。接触式测量中专用量具、三坐标测量设备等存在应用范围有限、测量效率低、自动化程度低等不足[2]；非接触式测量中的视觉测量因其操作难度低、测量效率高等优点受到研究院所和工业界的关注[3-6]。

管路的几何形状可由管路中心线和管路外径描述，通过管路中心线进行管路三维重建，能够有效提高重建效率。综合已有的管路三维重建方法，结合装配产线上大量管路的在线快速检测需求，以管路中心线提取进行管路重建研究，为使获取的管路中心线既能满足精度要求，又能具有较高的重建效率，本文提出了一种基于图割的多相机管路三维重建测量方法。该方法利用图割算法在视差范围内寻求管路中心线的最优视差，实现中心线的匹配，根据多视图匹配点以及相机成像模型计算出管路三维中心线点云并用NURBS 曲线描述。实验结果表明该方法具有较好的重建效果。

1 图割基本原理

对于具有源点s 和汇点t 的图G＝（V，E），其中V 为顶点集，E 为边集。图的一个割就是将V 分成2个互不相交的子集S 和T，其中s∈S，t∈T。顶点集S 到顶点集T 所有割边的容量和称为割的代价，最小割就是所有割中代价最小的割[7]。从s 到t 的最大流量称为最大流，最小割的容量被证明与最大流相等。

运用图割立体匹配一般需要先设计满足匹配目标的能量函数，然后根据能量函数构造图，将能量函数与图的割集对应起来[8]，利用图最小割算法实现能量函数最小化，获取最佳视差。本文的能量函数由数据项、遮挡项、平滑项、唯一项构成[9]。

2 基于图割的多相机管路三维中心线重建方法

2.1 基于图割的管路中心线点云提取

根据能量函数的4 项约束，实现能量函数最优化就是取得像素点最佳匹配。传统图割算法所有像素点都参与图的构建，计算量过大，不适用于管路中心线快速重建。管路三维中心线的重建只需中心线上的像素点，故在构建管路图时，将图像在管路中心线上的像素点作为图的顶点，其八邻域内的点作为相邻点，构造图如图1 所示，其中黑色区域代表管路中心线像素点，s 和t 与顶点之间边的容量，顶点与顶点之间边的容量由能量函数确定。完成图的构造后，通过最大流算法获取视差。

图1 管路中心线的构造图Fig.1 Graph construction of tube centerline

根据上述方法，可以获得图像中管路中心线的视差，即可获得两图像中管路中心线上的匹配点对。构建四相机阵列视觉系统，以相机1 为基准，分别使用图割算法对相机2-1、相机3-1 和相机4-1 视图中管路视差进行计算，则相机1 图像中同一点可分别获得在相机2、相机3 和相机4 图像中的匹配点。

不同图像中的匹配点即为空间中同一点在相应图像上的投影，如图2 所示。空间中的一点P和图像中的点pi（i=1，2，3，4）的关系可由式（1）表示：

图2 空间点投影Fig.2 Projection of a spatial point

式中：K为相机的内参矩阵；R为相机的旋转矩阵；t为相机的平移矩阵；λ 为齐次值。

将不同图像中的匹配点代入式（1）并联立方程式，通过最小二乘法求得空间点坐标值。对管路中心线上的匹配点按顺序计算其空间坐标点，则可获得管路中心线的离散点云坐标。

2.2 管路中心线NURBS 曲线重建

2.2.1 NURBS 曲线

根据离散点云坐标利用NURBS 曲线重建管路中心线，NURBS 曲线是一种参数化的曲线，其优势在于能够以统一的数学表达形式描述自由曲线，同时具有产生光滑曲率的柔性[10]，NURBS 曲线的定义如下：

式中：Pi（i=0，1，…，n）为控制点；wi表示和控制点相应的权因子；u∈［0 1］为自变量；Ni，k（u）为定义在节点矢量U=［u0，u1，…，un+k+1］上的k 次B 样条基函数，满足de Boor 递推关系式[11]。

2.2.2 管路中心线平面拟合

根据平面管路中心线上像素点的角度变化量将管路分为直线段和圆弧段，如图3 所示。获取的平面管路中心线和三维管路中心线点云皆为顺序排列的点列，故分段位置可对应到三维中心线点云相应位置。

在管路中心线分段后，由于直线段Line1、Line2和圆弧段Arc1 在同一平面上，故可将获得的位于Line1、Line2 和Arc1 上的管路中心线点云进行加权平面拟合。将获得的所有管路中心线点云投影到多个原始图像上，根据投影点与原始图像管路中心线的最小距离设置点云权重，权重值设置为与4 个原始图像最小距离中最大值的倒数。

获得拟合平面的参数后，管路中心线由在平面上的直线段和圆弧段组成，设（X，Y，Z）为世界坐标系，建立平面局部坐标系（X′，Y′，Z′），则可将世界坐标系中的点转换到平面局部坐标系中，拟合平面和建立的局部坐标系的示意图，如图4 所示，其中Z′为拟合平面的法向量方向，圆点代表管路三维中心线点云。

图4 拟合平面和平面局部坐标系Fig.4 Fitting plane and plane coordinate system

2.2.3 管路中心线直线段圆弧段拟合

管路中心线点云转换到平面局部坐标系后，将点云投影到拟合平面上，则三维点转化为二维点。对两直线段数据先进行加权直线拟合获得直线参数，由两直线方程求得直线交点O，根据O 在拟合平面上建立二维圆弧局部坐标系（X″，Y″），如图5所示。其中，O 为圆弧局部坐标系原点，v1，v2为两直线方向的单位向量，以v1+v2的方向为圆弧局部坐标系的X″轴方向，Y″轴垂直X″轴，θ 为直线与X″的角度。

图5 圆弧局部坐标系Fig.5 Arc coordinate system

在两直线确定的情况下对圆弧部分进行圆拟合，直线确定则可求出直线X″与的角度θ，则与直线相切，圆心在（γ，0）的圆的方程可表示为

依次从圆弧拟合的数据中选择一个点，判断该点处的斜率绝对值是否大于直线斜率的绝对值，若该点处斜率绝对值大于直线斜率绝对值，则将点投影到与其相近直线上计算出点坐标，否则不进行投影。将点的坐标代入圆方程中计算出γ，然后将除此点外的其他圆弧拟合数据pci（xci，yci）划分为N1和N2两个数据集，如图5 所示，数据点pci划分的依据为

对N1数据集中的点计算其与圆弧的距离误差和，对N2数据集中的点计算与其相近直线的距离误差和，则所有点的误差和表示为

式中：k′为与点靠近直线的斜率；W 为权重，通过误差和最小的参数构造最终的拟合圆弧。

对于其余直线段和圆弧段采用类似拟合方法，将Line2、Line3 和Arc2 视为过直线Line2 的平面束中的一个平面，通过平面拟合获得平面参数，再对直线和圆弧进行拟合。在拟合结果上选择部分点，将其转换到世界坐标系下作为特征点。采用累积弦长参数方法对节点矢量进行设置，通过最小二乘法求得NURBS 曲线控制点，获得管路三维中心线曲线。

3 实验结果与分析

3.1 实验环境

在搭建的四相机阵列视觉系统上对提出的管路三维重建方法进行验证。相机分辨率为3840×2160，感光芯片尺寸为1″，镜头的焦距为6 mm，采用背光源。重建的对象选取的航空液压管路，如图6所示，其外径为6 mm，以图中标识角度为测量对象。

图6 重建管路对象Fig.6 Tube to be reconstructed

构建的相机阵列视觉系统相机之间的位姿示意图，如图7 所示。

图7 相机位姿示意图Fig.7 Camera pose

对相机内参、畸变系数及相机之间的位姿进行标定，相机2-1、相机3-1 和相机4-1 两两相机对通过标定得到的外部参数如表1 所示。本文4 台相机阵列视觉系统标定的平均投影误差为0.41 pixel。

表1 相机外部参数Tab.1 Camera external parameters

3.2 管路模型重建

由相机1～相机4 分别采集同一位姿管路图像，提取管路平面中心线，图像中获取到的中心线点数分别为793、808、780、789。然后利用图割算法获得管路中心线上点在不同图像中的匹配点，通过最小二乘法计算获得管路三维空间点。实验采用三次NURBS 曲线进行管路中心线拟合，通过平面拟合、直线拟合和圆弧拟合获得特征点61 个，将节点矢量的前4 个参数值设置为0，节点矢量的末尾4 个参数值设置为1，其余节点矢量参数值根据累积弦长参数法计算设置。计算获得控制点63 个，计算获得的NURBS 曲线控制点和NURBS 曲线如图8 所示。

图8 NURBS 曲线与控制点Fig.8 NURBS curve and control points

3.3 重建精度评估

为了定量衡量重建的管路中心线的精度，对任意摆放的不同位姿的管路进行中心线重建，均匀提取重建曲线上800 个点，将其投影到4 台相机的原始图像上，投影点与原始管路中心线距离的均值如表2 所示。

表2 不同位姿管路中心线投影距离Tab.2 Projection distance of tubes in different poses

实验结果表明，将建立的管路三维中心线投影回4 台相机的原始图像，投影点能够与原始图像的管路中心线对应，平均误差基本在0.5 pixel 以内。提出的方法对不同姿态管路都能有效地进行管路中心线重建，方法的稳定性较好，并且具有较高的效率和准确度。

为验证重建方法测量管路的精度，将重建管路中心线计算得到的角度值与标准参考值进行对比。采用HEXAGON 关节臂三坐标测量机通过接触式取点计算获得标准角度参考值。对同一位姿的管路测量10 次，结果取均值，不同位姿管路的测量结果如表3 所示。

表3 不同位姿管路角度测量Tab.3 Measurement of angle in different poses

从表3 中可以看出，管路不同位姿计算得到的角度值与参考值的偏差值最大为0.33°，不同位姿测量角度值的平均值与标准参考值的偏差为0.12°，提出方法重建的管路三维中心线能够用于管路参数测量。

4 结语

本文对管路三维重建进行了研究，提出了一种基于图割的多相机管路三维重建测量方法，该方法利用图割算法获取管路中心线视差值实现匹配。通过4 台相机阵列视觉系统获取了管路准确的三维中心线点云，并用NURBS 曲线描述，根据管路中心线和外径重建管路三维模型。通过实验验证了本方法的有效性、鲁棒性和准确性，同时该方法具有较高的效率，可进一步扩展多相机阵列，满足实际工程需求。当然，实际工程中存在结构更加复杂的管路，如何完成对更复杂管路的三维重建及进一步提高重建精度是今后的研究重点。