基于图像的飞机导管三维重构技术

钟镇洪，李霆，姜幸俭，赵肇信，向珍琳

（五邑大学智能制造学部，江门 529020）

0 引言

目前，在航空航天等军工产品研制生产中，导管弯曲成形是一个复杂过程，其影响因素复杂、成形质量难以控制。实际工程中采用“先采样后生产”的生产方式，首先对发动机拆卸下的导管部件进行数据采集，再进行逆向建模，重建导管三维数字模型并与设计模型进行对比分析，将对比结果作为导管加工生产的依据，这是保证导管制造质量最有效、最直接的手段。因此，实现飞机导管结构的三维数字化重构具有重要意义。

随着相机采集技术的不断发展，可利用结构光相机[1]、激光雷达[2]和深度传感器[3]等进行导管三维建模，但存在成本昂贵、操作繁琐、效率低下等问题，难以满足导管快速、精确三维建模需求。国内外学者在三维建模算法研究上取得了一定进展，SFM（Structure From Motion）[4]一种基于特征点匹配的稀疏点云三维重建算法；Berge 等人[5]在表面重建领域已经取得了大量实质性的进展，从输入数据中提取高保真三维曲面；Yan[6]和Wu[7]等人在表面重建领域改进了对数据覆盖、模型质量和计算速度等问题；但由于导管表面颜色单一，具有较多的光滑金属纹理，有的甚至反光强烈、形状复杂，采用表面或自然纹理的重建方法不适用于导管三维建模。

近年来，导管三维重构工作也取得了一定进展。赵玉芹[8]提出了对贴有特殊标记条的管路系统进行三维重构的方法，但由于导管属于工业产品，无法对产品直接进行处理。Veldhuis 等人[9]提出一种基于共面性约束的导管重构方法，仅在短导管和没有自遮挡的情况下才有较高的精度和稳定性。金鹏等人[10]提出一种基于管路中心线的端点坐标测量方法，能取得较高测量精度，但对于带有喇叭口和外套螺母的导管仍有局限性。

因此，针对导管表面纹理特征单一和难以避免的自遮挡问题，本文采用基于图像的三维重构方法。通过实验对比，该方法在低成本、灵活的获取图像过程中能实现更高效、更精确的三维建模。

1 本文方法

本文研究的方法输入是n 张图像（在实验中n=3，下文分别称为参考图像、相邻图像和第三图像），I={I1,…,In}，是从不同角度获取导管的二维图像；采用SFM[4]计算对应相机位置参数，为K={K1,…,Kn}；输出是一连续的导管三维曲线段序列。

1.1 图像预处理

图像预处理阶段，完成每张图像的曲线段提取。首先对每张图像进行像素二值化处理，以增加导管区域与图像背景的对比度；然后根据像素连通性遍历导管区域，细化并提取1 像素宽的导管中心曲线。由于视差存在自遮挡问题，二维图像易于出现中心线交叉或存在分支点的情况，如图1（b）所示，Kovesi[11]提供的方法可对中心线结构像素进行分割的，得到任一不包含交叉点或分支点的曲线段。因此，对于每张输入图像Ir，可以得到一组二维曲线段，记为cr={cir}。图1 为导管重构示意图，其中红色框区域显示一个中心线分割示例，每段二维曲线段都用不同的颜色标示。

图1

1.2 重构三维曲线段候选集

对给定参考图像Ir提取一组二维曲线段（i=1,2,…,n）,每段表示为图像密集采样的二维点序列pi,jr,（j=1,2,…,s）的集合。对于每段曲线cir，都是从第一个采样点pi,1r开始计算其在相邻图像相应的极线li,1r→n，每条极线li,1r→n与相邻图像中的二维曲线可能相交于多个点，即点pi,jr可能在相邻图像中找到多个点与它匹配。由于图像曲线连续性，相邻采样点pi,jr对应的极线在相邻图像中具有相同的交点个数，因此可以通过极线交点个数来分割曲线段，当极线交点个数不同时，则将曲线段cir分割成两段{pi,1r,pi,2r,…,pi,j-1r}和{pi,jr,pi,j+1r,…,pi,sr}。通过不断跟踪对应极线的交点个数，分割曲线段cir，得到cir在相邻图像中与之相对应的候选二维曲线段集ci,jr→n,（j=1,2,…,m）。如图2 所示，假设从第一个采样点P_1 开始计算该采样点在相邻图像上的极线L_1，L_1 在相邻图像中与二维曲线段有两个交点，继续计算采样点极线，当计算到采样点P_2 时，因为交点数量由2 个变为3个，点P_2 为曲线段的一个分割点。对于参考图像P_1 到P_2 的曲线段，在相邻图像中有两条深紫色的对应二维曲线段，同理，曲线段从P_2 到P_3 在相邻图像中有三条浅紫色的对应曲线段。即参考图像中P_1 到P_3 的曲线段在相邻图像中得到五条相对应的候选二维曲线段集。

图2

给出参考图像中的曲线段cir，和它在相邻图像中的二维候选曲线段ci,jr→n,（j=1,2,…,m），每对相应采样点根据三角测距原理可重建的三维点序列，生成对应的三维候选曲线段集Ci,jr,（j=1,2,…,m）。其中，每条Ci,jr都有可能是参考图像二维曲线段cir对应的正确的三维曲线段。

1.3 选择三维曲线段

在理想情况下，参考图像的二维曲线段对应的候选三维曲线段只有一条。如果存在多条候选三维曲线段的情况，就需要通过计算置信度和成对成本从每一组候选三维曲线段中选择一条正确的曲线段。

置信度体现了三维候选曲线段Ci,jr与第三图像中曲线的匹配程度，将每条三维候选曲线段Ci,jr投影到第三图像Iq上，并在第三图像Iq中找到与候选曲线段的投影差最小的二维曲线段coq（coq∈Iq）。对于点集合（u,v），u 是三维曲线段Ci,jr在Iq上的投影，v 是其在二维曲线段最接近u 的对应点，可以计算置信度S（Ci,jr）并筛选曲线段。

其中，（tu,tv）表示对应点之间的距离和切线方向的偏差，η表示这两个指标之间的相对权重；diag（Iq）对距离度量进行归一化；s 为Ci,jr上的采样点总数，对所有距离和切向偏差之和进行归一化。如图3 所示，两条虚线（深蓝色和浅蓝色）为三维候选曲线段在第三图像上的投影，两条实线（橙色和绿色）为第三图像上的二维曲线段coq。计算三维曲线段置信度S（Ci,jr），即最近点之间的距离和角度偏差，高置信度的三维曲线段（深蓝色）可以删除，而其他（浅蓝色）作为候选。

由于视场存在视差问题，仅靠置信度描述曲线段的匹配程度，还不足以解决所有的歧义。因此，还需要计算成对成本来进一步筛选，成对关系是描述相邻两三维候选曲线段之间的关系。正确的三维曲线段是从弯曲、连续导管对象中重构出来的，沿着这条连续曲线段是平滑连接的，因此，相邻相近且具有相似角度的三维曲线段更有可能是正确的三维曲线段，这就提供了一个更有效的匹配线索。将这些线索在优化问题中形式化，如下所示。为方便，将Ar=∪iCir，表示为所有候选三维曲线段集的并集Cir。对于每一条三维曲线段Aj∈Ar，定义一个二元变量的指示器xj，如果选择了相应的曲线段则xj=1，否则xj=0，X 向量存放所有二元变量xj。由于只需从每个候选集合中选择一个三维曲线段，因此，对每个Cir的给出一个线性约束条件：

图3 计算置信度

接下来，定义一个成对关系代价函数d（Ai,Aj），评价三维曲线段Ai和Aj之间的成对关系：

E（Ai,Aj）是测量两点Ai和Aj之间的空间欧氏距离；f（Ai,Aj）=（1-cosα）/2，其中α是两点切线方向的夹度；m 表示这两个指标之间的相对权重。将所有成对关系放在一个方阵V 中，b×b 维，b 是Ar的基数，并将对角线元素设为0，非对角项元素，设Vij=d（Ai,Aj）。如图4 所示，左图当C1 和C2、C1 和C3 的切线角度相似时，C3 比C2 距离上更靠近C1，C1 更适合与C3 连接；右图当C1 和C2、C1 和C3 的距离上相似时，C1 和C3比C1 和C2 角度差更小，C1 更适合与C3 连接。

最后，用向量U 表示所有三维曲线段Aj∈Ar的置信度合并分数Uj=S（Aj），X 表示二元选择变量，V 为成对成本变量，给出U 和V，最小化X★如下：

λ表示两项多项式之间的相对权重，求解方程（4），得到了一组优化的三维曲线段Copt，每条二维曲线段cir都有唯一对应的三维曲线段。

图4 计算成对成本

1.4 三维曲线段拼接

本节是对重构的一组无序三维曲线段Copt恢复其全局拓扑结构，形成一条连续平滑的曲线段。对于这个任务，根据多旅行商算法（multiple Traveling Sales⁃man Problem，mTSP）[12]计算最短路径构建一组连续曲线段，具体细节如下。

给定三维曲线段集合，Copt={Ci},{i=1,2,…,b}，构建一个有向图G=（V,E），其中每个顶点Vi∈V 对应一段三维曲线段Ci，有向边eij∈E 表示连接节点Vi到Vj的边，增加一个虚拟的开始节点V0，在图上的每条路径都从V0节点开始和结束。已知G=（V,E），我们的目标是找到k条起点和终点都是V0的不同的路径，使每个Vi恰好包含在一条路径中。这些路径中的每条都对应于导管模型的连续三维线。每条路径都是由它所组成的边唯一确定的。通过最小化目标函数来解决路径寻找问题：

给定节点Vi和Vj，wij为有向边eij的权重，三维曲线段Ci和Cj相应的成对关系，如方程（3）所示，得wij=d（Ci,Cj），有向边权重是对称分布的，即：wij=wji；对每条边eij∈E 定义一个二元变量xij，判断该有向边是否被选择在路径中，xij=1 说明eij包含在一个路径，xij=0 表示不包含在一个路径。

方程（5）在以下约束条件下求解。确保每个路径都是有效的，要求每个顶点只能访问一条路径，且所有节点Vi都需要被路径访问。

且在k 中的每条路径，必须要求在节点V0处开始和结束：

此外，每个节点Vi∈V 分配一个辅助整数变量ui∈N，表示Vi顺序访问一条路径，u0=0 为虚拟节点V0。为了避免路径出现循环或节点多次访问现象，根据Kara和Bektas[13]提出的子循环消除约束：

解决方程（5）中关于方程（6-8）中约束的二元优化问题，即可得到一组连续的k 路径，W={W1,…,Wk}，其中每个Wi由一组有序的三维曲线段组成。

值得注意的是，ξ表示的是相关路径的代价，增加这个代价权重，可以限制分解更少的路径，在我们的实验中，输入的是一根连续的导管对象，则期待对应输出的是一条连续的路径。由已知路径数量，可对方程（5）进行优化，即手动设置k。在k=1 情况下，简化了标准的mTSP，其目标是寻找访问每个节点的单个路径，当方程（5）在连通图G 上进行优化时，一些代价高的边可以预先删除，以提高计算效率。

1.5 扩展参考图像

本文描述了三维曲线段重构步骤，该步骤从一对参考图像和相邻图像中生成三维候选曲线，并使用第三图像进行验证。当输入更多的图像时，可以使用增量重建策略，从一对参考图像和相邻图像开始，按照上文描述的步骤，为参考图像中的每条二维曲线段重构一组三维候选曲线，然后重新选择新的图像作为参考图像，并选择一个视差范围良好的相邻图像Goesele[14]等人提出。重复这个步骤，直到所有输入图像都充当了一次参考图像。

2 实验结果分析

本文方法已在VS2015 平台下编程实现了导管的三维重构，拟合空间圆所得到的导管曲面可视化效果如图5 所示。

为了评估导管三维重构的效果，我们将导管三维模型上的采样点分别投影到三张输入图像中，并通过投影点与输入图像中2D 曲线上采样的最近点间的距离来计算重投影误差，表1 是6 根导管三维模型的重投影误差平均值和最大误差计算结果。

图5

由表1 可知，导管建模平均误差在0.5 像素内，最大重投影误差为4.29 像素，建模效果良好，初步试验证明了该方法的可行性。

与此同时，将三维导管两端和各个弯曲部位的数据与标准导管数据进行对比，并计算绝对误差值，对比结果见表2，其中L 为直线长度，A 为两直线之间的弯曲角度，R 为相邻两平面的空间旋转角度。

表1 导管模型重投影误差

表2 导管建模精度对比分析

实验测试表明，采用该方法能在30 秒内完成导管三维建模，导管直线测量最大误差为0.523mm，导管角度最大误差为0.637 度，满足工程制造需求。

3 结语

本文研究的基于图像的三维导管建模方法仅需三张图像，即可在30 秒内实现精确导管重构。该方法包括以下两个步骤：首先生成二维曲线段的三维候选曲线段集，并筛选三维曲线段；其次，恢复三维曲线段的全局拓扑结构，将其拼接成一组连续线段。该方法解决了传统手动测量效率低的问题，具有效率高、精度高的优点。本文研究方法的精度受到导管自身外套螺母、喇叭口以及相机位置计算、曲线拟合等多方面因素的影响，下一步将深入研究三维重建理论误差分析与建模，提高重建精度。