基于机器视觉的大型舱段对接位姿测量方法

李瑞峰, 郭 静, 杨 娜, 张力力, 程 军

（西安航天赛能自动化科技有限公司, 西安 710100）

0 引言

航空航天工业是一个关乎国家经济发展和国防建设的战略性产业, 汇集各种高新技术于一体,是国家工业实力的重要体现。 随着航空航天领域飞机、 火箭等大型航天舱段类产品总体装配性能及测试阶段技术要求的提高, 对大型舱段的装配精度和自动化程度要求越来越严格［1］。 目前, 国内大型航天舱段的对接装配大部分是通过将固定舱段和活动舱段固定放置在对接台上, 然后采用目视手工的作业方式。 在对接装配过程中, 通过人眼估算活动舱段在对接中所需要的调整量, 然后多名号手同步调整实现大型舱段自由度的位姿调整。 该装配方式需要多人协同操作, 劳动强度大, 装配效率低, 装配精度依赖工作人员的工作经验和操作水平, 对接装配质量的一致性较差［2］,当舱段尺寸增大时, 劳动强度和装配周期也急剧增加。

为了满足灵活、 高效、 准确的舱段对接需求,利用自动化柔性装配技术实现大型舱段的对接装配成为必然趋势。 国内外一些高校、 自动化装配企业积极开展大型舱段对接装配的技术研究, 提供了解决方案。 美国波音公司的导弹对接方式采用激光跟踪仪测量对接偏差位姿, 数字化管理系统根据偏差信息驱动导轨式数控对接平台完成导弹的舱段对接［3］。 美国雷声公司导弹柔性对接系统采用直线导轨式数控对接平台, 可进行六自由度舱段的位姿调整, 实现柔性化对接装配。 在国内应用研究方面, 哈尔滨工业大学通过双目视觉和测量转换光笔方式实现了导弹舱段的自动对接［4］。沈阳自动化研究所针对某舱段设计了导弹自动对接平台, 通过龙门式的立体视觉测量技术获取两对接舱段的空间位姿信息, 采用装卸有环形工装的自由度调姿装置作为对接舱段的调姿调整平台［5］。 浙江大学的郭志敏等［6］研制了一套基于三坐标支撑柱的位姿调整系统, 该系统利用激光跟踪仪对大型舱段上布设的靶球实时测量位姿偏移量,通过控制POGO 柱实现大型舱段的姿态调整。 上海航天设备制造总厂研制了运载火箭柔性自动装配设备, 实现了“测量-匹配-调姿” 的闭环集成控制, 可满足不同类型运载火箭柔性自动装配需求［7］。

综上, 目前成熟的自动化装配多采用激光跟踪仪［8］进行位姿测量。 该方法利用靶球或对接面特征计算空间姿态, 具有精度高、 测量范围大的特点。 但该方法设备成本较高, 每次装配都需要详细标定, 标定过程较为复杂, 且对测量环境有较高的要求。 相比激光跟踪仪的测量, 双目立体视觉测量方法具有成本低和使用便捷的优点。 但是在实际应用过程中, 双目立体视觉系统容易受工业环境影响, 需要定期标定系统参数以保证测量精度, 如果工作现场存在振动, 则标定的频次会增加, 从而影响应用效果。

基于此, 本文提出了一种基于两套单目视觉的大型舱段柔性自动对接系统。 本文综合考虑大型舱段表面特征较少且无法通过表面特征点之间的匹配关系准确求得舱段的相对位姿这一情况,设计了高精度合作靶标, 利用单目视觉技术, 结合预先标定的靶标和舱段对接面特征, 对两套单目视觉测量结果进行融合解算, 得到最终的舱段相对位置姿态, 引导六自由度调姿定位机构实现舱段位姿的高精度实时调整。

1 基于机器视觉的大型舱段自动对接系统

本文设计的基于机器视觉的大型舱段自动对接系统主要包括视觉系统、 高精度调姿平台、 PLC控制系统、 对接车等, 如图1 所示。 视觉系统用于对接装配中大型舱段的实时定位测量; 高精度调姿平台主要实现调姿端舱段的位姿调整动作, 完成对接过程; PLC 控制系统根据视觉系统的测量数据控制调姿平台进行姿态及位置调整。

图1 自动对接系统组成图Fig.1 Composition diagram of automatic docking system

1.1 高精度调姿平台

在自动对接系统中, 作为末端执行单元, 执行机构是一个数字化自动控制的高精度定位装置,主要分为分布式对接工装和托架式自动对接工装两类［9］。 本系统采用六自由度调姿平台技术, 高精度调姿平台主要包括滚转机构、 水平机构、 升降机构、 俯仰机构, 配合实现舱段航向、 水平、 上下、 偏航、 俯仰、 滚转六自由度的调整。

1.2 PLC 控制系统

PLC 控制系统作为对接系统的关键部件, 是整个系统的“大脑”, 起枢纽作用。 一方面, 接受来自视觉系统的对接位姿测量数据, 并进行分析和处理; 另一方面, 根据分析结果, 输出相应的控制指令给高精度调姿平台, 控制高精度调姿平台运动到指定的位置, 实现舱段空间位姿的调整［10］。

1.3 单目视觉系统

高精度数字化空间位姿检测是实现自动对接的基础。 视觉测量属于非接触测量方法, 可直接根据对接面的图像信息控制完成对接。 因此, 视觉系统作为“眼睛” 是整个对接系统的核心组成部分, 其作用是通过精确检测舱段的对接位姿引导调姿平台完成快速、 安全对接, 具有非接触、高精度、 速度快等特点［11］。 基于机器视觉的测量方法主要包括激光跟踪仪、 单目视觉、 双目视觉。 国外大多采用激光测量技术实现大型舱段的对接工作, 该方法设备成本较高。 双目立体视觉不需要已知目标点的几何约束, 可直接求解目标位姿, 但是需要定期标定系统参数以保证测量精度, 结构复杂且视野范围较小, 局限大, 灵活性小。 单目视觉三维定位通常通过人工布设标志点, 根据已知目标的几何约束利用PNP（Perspective-n-point）算法实现空间姿态测量, 算法和结构都较简单易实现, 校准方便, 无需反复标定, 更适合现场长期稳定工作。 三种测量方法的对比如表1 所示。

表1 基于机器视觉的测量方法比较Table 1 Comparison of measurement methods based on machine vision

大部分大型舱段端面设计有定位销和定位槽,舱段圆周表面基本无用于识别的有效特征, 而对接端面很难通过相机一次采集到全部定位销和定位槽的特征信息, 因此该应用场景下双目视觉“不需要已知目标点几何约束” 的优势已不明显。通过人工在对接面两侧布设具有几何约束的特征点, 然后利用单目视觉进行位姿测量更加符合现场应用需要。 因此结合该应用场景, 本文提出了一种基于单目视觉的大型舱段相对位姿测量方法,以实现大型舱段的自动对接。

本文提出的单目视觉系统由测量单元和视觉测量软件组成。 其中, 测量单元包括高分辨率工业相机、 低畸变镜头、 蓝光光源。 测量单元是前端的传感单元, 实时采集靶标图像, 并通过网线传输至工控机中的视觉软件, 视觉软件接收来自工业相机的图像, 实时解算相对位姿, 通过通信模块将位姿解算结果传输至PLC 控制系统。

2 基于单目视觉的舱段对接位姿测量

2.1 对接位姿测量系统及对接流程

针对大尺寸舱段对接装配场景, 本文提出了一种基于单目视觉的对接位姿实时测量方法。 单目视觉位姿测量精度与特征点识别误差大小相关,在自然环境下视觉传感器提取目标特征难度较大。基于此, 本文采用了基于合作靶标的位姿测量方法保证了系统的精度和稳定性。 设计了一种基于环状编码的点阵规格排布的合作靶标, 如图2 所示。 该靶标包含45 个标志点, 即4 个编码标志点和41 个非编码标志点。 其中, 编码标志点可以根据编码标志点解码算法唯一识别, 进一步地非编码标志点的序号可以根据其在图案中与编码标志点的位置关系进行确定。 特征点采用白色可反光材质, 与黑色哑光背景对比明显, 易于特征提取,具有较高的稳定性。

图2 合作靶标设计Fig.2 Design of collaborative target

合作靶标和单目视觉系统共同构成对接位姿测量系统, 系统框架如图3 所示, 分为应用层、 算法层、 信息层与物理层。 应用层将测量过程分为目标位姿求取、 对接位姿解算和对接状态分析三部分; 算法层为对接位姿测量涉及到的所有算法;信息层包含了系统涉及到的数据; 物理层主要包含视觉测量单元、 合作靶标和工控机。

图3 对接位姿测量系统框架Fig.3 System framework of docking pose measurement

在对接过程中, 保持一个舱段不动（称为固定端）, 只对另一舱段（称为调姿端） 进行位姿调整,将固定端和调姿端分隔开的面称为对接面。 合作靶标分别固定在固定端和调姿端对接面两侧, 靶标唯一代表所安装舱段的位姿, 因此靶标的安装精度直接关系到舱段的位姿测量结果, 进而影响最终的对接效果。 靶标的安装精度越高, 对接位姿测量结果越准确。 结合项目精度指标要求和工程实践经验, 靶标的安装精度需设计保证在0.1 mm 以内为宜。

对接前首先执行系统标定, 主要包括相机内参标定、 相机与高精度调姿平台坐标系转换标定（即“手眼标定”）、 使用高精度测量设备对靶标与所在舱段的位置标定, 系统标定在对接任务执行前进行, 一般情况下仅需标定一次。

本文所提的对接位姿测量大致可以分为三大步骤: 靶标图像数据采集、 最优位姿计算、 执行调节, 循环执行直至对接误差收敛至指定阈值范围内。 具体工作流程为: 1）测量单元采集调姿端和固定端舱段上的靶标图像, 靶标上所有标志点均在图像视野范围内; 2）采用高精度图像处理算法识别并提取靶标标志点坐标; 3）利用基于单目视觉的测量原理, 计算靶标坐标系与相机坐标系的位姿转换关系; 4）通过预先标定的靶标与所在舱段位置参数, 计算舱段对接面特征在相机坐标系下的三维坐标; 5）计算最优对接位姿, 并判断是否满足对接条件; 6）将检测结果发送给PLC 控制系统, 引导调姿机构运动至指定对接位置; 7） 重复执行步骤1 ～步骤6 直至满足迭代收敛条件。 工作流程具体如图4 所示。

图4 对接工作流程图Fig.4 Flowchart of docking

2.2 基于两套单目视觉融合的对接位姿求解算法

受大型舱段尺寸较大（直径约2 m）及靶标坐标系、 相机坐标系、 调姿平台坐标系、 舱段坐标系等多坐标系转换等因素限制, 仅通过布设一个单目相机组件较难精确计算两个大型舱段之间的相对位姿。 为了解决这一问题, 本文提出了一种基于两套单目视觉融合的测量方法, 通过增大测量域, 得到更为精确的实时对接位姿测量结果。 如图5 所示, 两套单目相机分别布设在舱段两侧, 轴线夹角成90°对称分布。

图5 单目相机分布Fig.5 Distribution of monocular cameras

对接位姿的求解涉及6 个坐标系, 定义如下:调姿端舱段坐标系、 固定端舱段坐标系、 调姿端靶标坐标系、 固定端靶标坐标系、 相机坐标系、调姿机构坐标系。 调姿端舱段坐标系和固定端舱段坐标系之间的相对位姿转换关系为最终对接位姿的目标输出量。 单目相机安装在对接车上, 相机坐标系与调姿平台坐标系之间的转换关系可以通过手眼标定方法解算得到。 调姿端舱段坐标系与调姿端靶标坐标系的转换关系、 固定端舱段坐标系与固定端靶标坐标系的转换关系通过摄影测量系统等高精度测量设备标定。 因此, 相机坐标系与调姿平台坐标系之间的转换关系、 舱段坐标系与靶标坐标系之间的转换关系均是固定不变的,仅有相机坐标系和调姿端靶标坐标系、 固定端靶标坐标系之间的转换关系是未知的, 且在对接过程中不断变化, 可以通过相机采集的靶标图像,结合预先输入的靶标空间三维靶标, 利用单目视觉空间定位技术, 实时解算靶标坐标系相对于相机坐标系的空间位姿, 进而通过坐标系转换关系解算调姿端舱段相对于固定端舱段的坐标系转换关系, 即对接位姿。

如图6 所示, 对接位姿测量原理为: 利用高精度测量设备标定安装在固定端舱段表面的靶标及对应的舱段特征点（销轴）、 移动端舱段表面的靶标及对应的舱段特征点（销孔）, 分别为。 由于靶标标志点和对接面特征点坐标均在同一个坐标系下获取, 因此该组坐标代表了靶标与对应舱段的位置关系。

图6 相对位姿计算原理示意图Fig.6 Schematic diagram of relative pose calculation principle

对接时, 相机拍摄待对接状态下的大型舱段,同时获取调姿舱段靶标和固定舱段靶标图像, 靶标上所有特征点均在图像内。 通过高精度图像处理算法提取靶标特征点圆心坐标并排序, 分别记为P1、P2。 根据相机内部参数与畸变系数的标定结果, 结合提取的靶标特征点圆心的图像坐标P1、P2, 三维世界坐标, 利用PNP 算法分别计算调姿舱段靶标、 固定舱段靶标在单目相机坐标系下的坐标以及相机坐标系与靶标坐标系的旋转变换矩阵Rc、Tc。

舱段对接面两侧销轴/销孔在相机坐标系下的坐标为

两套单目相机分别独立计算出对接面两侧销孔在高精度调姿平台坐标系下的坐标, 利用最小二乘法, 通过构建SVD 函数, 求解两个舱段在高精度调姿平台坐标系下的刚体变换关系Rb和Tb

根据对接工艺要求, 需要将两舱段之间的相对位姿解算为自由度参数, 相对位姿矩阵如式（6）所示, 左上方三行三列为旋转矩阵, 右方三行一列为平移向量。 利用欧拉角与旋转矩阵关系, 解算出如式（7）所示的基于高精度调姿平台坐标系的俯仰角θ、 偏航角ψ、 滚转角φ。

3 实验结果与分析

3.1 测量精度实验

为了验证视觉系统的测量精度, 搭建了一套姿态测量实验平台, 如图7 所示。 该实验平台主要由六关节工业机器人、 高精度激光跟踪仪（品牌:Leica, 型号: AT960MR, 测量误差小于15 μm +6 μm/m）、 靶标、 相机 （ 品牌型号: 大华A5501MG20）、 镜头 （ 品牌型号: 长步道HC1205A）、 光源、 工控机、 交换机等组成。 如图8 所示, 靶球和靶标通过特制工装安装在机器人末端, 由机器人携带靶球和靶标在空间中分别沿机器人X轴、Y轴、Z轴方向移动, 激光跟踪仪和视觉测量单元分别跟踪靶球和靶标并测量移动距离, 以激光跟踪仪重复三次测量的平均值作为真值, 计算视觉测量单元的测量精度。 实验结果如表2、 图9 所示。

表2 视觉系统的测量精度数据Table 2 Measurement accuracy data of visual system

图7 姿态测量实验平台示意图Fig.7 Schematic diagram of attitude measurement experiment platform

图8 靶球和靶标安装图Fig.8 Diagram of target ball and target installation

图9 视觉系统的测量误差Fig.9 Measurement error of visual system

由表2、 图9 可知, 视觉系统的测量精度均在0.05 mm 以内。 其中,X方向和Y方向测量误差最大值为0.04 mm, 平均值和标准偏差为0.02 mm;Z方向精度稍差, 测量误差最大值为0.05 mm, 平均值和标准偏差为0.04 mm。 因为单目视觉系统对于深度方向信息不敏感, 所以X方向和Y方向的测量精度优于Z 方向。

3.2 单目视觉对接精度实验

为了验证基于单目视觉舱段对接系统的可行性和对接精度, 采用模拟产品（产品直径约2000 mm,对接面销轴/销孔单边间隙为0.5 mm）搭建对接装配场景。 如图10 所示, 对接系统主要包括调姿端舱段与固定端舱段模拟件、 高精度调姿平台、 对接车以及测量单元等, 靶标通过专用工装固定在舱段表面, 两个测量单元分别固定于对接车两侧, 高精度调姿平台承载调姿端舱段, 固定端舱段固定放置于指定位置。

图10 对接实验现场图Fig.10 Field diagram of docking experiment

实验前, 首先对两个相机进行内参标定和手眼标定。 相机1 的内参标定结果为: 焦距（fx,fy） =（2619.5348, 2619.1527）、 光学中心（Cx,Cy）=（1292.4044,1006.5532）、 畸变系数D=（k1,k2,p1,p2,k3） = （ -0.1554, 0.1452, 0.0011,-0.0010, -0.0220）。 相机1 坐标系与调姿平台坐标系的旋转矩阵和平移矩阵分别为

相机2 的内参标定结果为: 焦距（fx,fy） =（2620.4040, 2620.4660）、 光学中心（Cx,Cy） =（1312.2364, 1016.2072）、 畸变系数D= （k1,k2,p1,p2,k3） = （ -0.1599, 0.1543, -0.0005,-0.0009, -0.0244）。 相机2 坐标系与调姿平台坐标系的旋转矩阵和平移矩阵分别为

在某个固定位置, 保持对接舱段间距为100 mm,利用单目视觉（仅使用测量单元1）多次重复对接实验, 分析对接系统的精度。 评价对接质量的重要指标为固定端和调姿端对接面上关键点之间的相对误差是否满足要求, 因此本文选用高精度激光跟踪仪测量销轴和销孔的位置关系, 计算系统的对接精度, 具体步骤为:

1）使用激光跟踪仪分别测量调姿端和固定端对应销孔的三维坐标;

2）以其中一个点为原点, 轴方向为Z轴建立坐标系, 比较销孔相应点在X方向、Y方向的偏差;

3）共重复6 组实验, 测试结果如表3 所示。

表3 单目视觉的对接精度数据Table 3 Docking accuracy data of monocular vision

由表3 可知, 采用单目视觉测量方法共进行了6 次对接实验,X方向上四个销孔位移平均值分别为0.31 mm、 0.35 mm、 0.30 mm、 0.30 mm,Y方向上四个销孔位移平均值分别为0.29 mm、0.29 mm、0.30 mm、 0.32 mm, 单次测量平均用时为2.46 s, 可实现大型舱段对接装配过程中的实时位姿测量。 该实验证明了本文所提单目视觉测量舱段对接位姿的可行性。

3.3 基于两套单目视觉的对接精度实验

为了验证本文提出的基于两套单目视觉的测量方法相较于一套单目视觉测量的精度提升效果, 采用两套单目视觉（同时使用测量单元1 和测量单元2 进行测量） 重复上述对接实验。 两个测量单元夹角成90°分布在对接车两侧, 光轴方向指向舱段。 对接效果如图11 所示, 对接精度如表4 所示。

表4 基于两套单目视觉的对接精度数据Table 4 Docking accuracy data based on two sets of monocular vision

图11 对接效果示意图Fig.11 Diagram of docking effect

2 个平移分量的平均对接精度相较于一套单目视觉的对接精度有所改善,X方向上四个销孔位移平均值分别为0.20 mm、 0.24 mm、 0.23 mm、0.25 mm,Y方向上四个销孔位移平均值分别为0.23 mm、 0.21 mm、 0.20 mm、 0.22 mm。 如图12、图13 所示, 两套单目视觉的对接精度比一套单目视觉的对接精度平均改善约0.1 mm。 对接后舱段对接端面间隙均匀, 满足大型舱段实时位姿测量要求和精度要求。 此外, 相较于“目视人喊手工推” 的对接方式, 本文提出的方法对接全流程用时由60 min 缩减到了3.5 min, 大大提升了产品对接的效率。

图12 X 轴方向对接精度对比Fig.12 Comparison of docking accuracy in X-axis direction

图13 Y 轴方向对接精度对比Fig.13 Comparison of docking accuracy in Y-axis direction

4 结论

本文提出了一种基于机器视觉的自动对接系统, 通过两套单目视觉精确测量舱段表面靶标位姿, 结合预先建立的舱段坐标系计算舱段对接面特征位置信息, 精确计算舱段相对位姿, 引导六自由度调姿平台实现舱段位姿的实时调整。 实验结果表明, 视觉测量精度在0.04 mm 以内, 系统对接精度在0.3 mm 以内, 实现了高精度对接, 具有很强的应用价值。