基于边缘提取与多项式拟合的三维位姿解算方法

朱 腾，郭晓莹，阎汉生2,，梁剑斌，舒 彬

（1.广东工贸职业技术学院测绘遥感信息学院，广州 510550；2.广东工贸职业技术学院测绘地理信息技术虚拟仿真实训基地，广州 510510；3.广东工贸职业技术学院机电工程学院，广州 510510；4.广东工业大学机电工程学院，广州 510039）

0 引言

现代的工业体系愈发复杂化、精细化，在产品装配、电路板布线等操作要求复杂的生产需求中，由于操作工艺自由度大，逻辑要求较高，难以实现全自动化生产，必须引入人工操作，这就对生产装配的指引系统提出了更高的要求。

增强现实（AR）是一种利用计算机和相关显示设备将虚拟信息叠加到用户视觉中来增强真实场景信息的技术。与早期的文本信息叠加相比，目前AR的研究主要集中在如何准确、稳定地将三维虚拟模型“放置”在真实世界中。要想获得目标在虚拟场景中的位置信息，就必须计算出目标在虚拟场景中的位置，从而将二维投影无偏差地显示出来，然后将三维虚拟对象无缝地添加到真实环境中。

目前，目标姿态检测是计算机视觉领域的一个研究热点。在硬件系统上，主要有两种方法：基于双目视觉结合深度信息的目标重建与匹配，以及基于单目摄像机与图像边缘、纹理或特征点的特征匹配。其中，双目视觉方法能有效地恢复深度信息，但需要的计算量大，难以满足实时跟踪需要。而实际生产环境对实时性和经济性的要求使得单目视觉方法成为了更受关注的研究方向。

针对经典实验算法与应用要求不匹配的问题，本文提出了一种基于直线特征和多项式拟合的平板目标三维位置和方向解算方法。实验表明，该算法能克服实际生产环境下的光照不稳定、自然特性易被遮挡、金属表面材料等问题。

1 理论基础

1.1 研究场景

本文研究对象为大型基站天线板布线过程中的AR辅助系统。其主体架构包括AR眼镜、图形处理终端、场景监控摄像头、工作台及目标工件。其中，出于成本控制及实际工作需要，在天线板、工作台等监测场景中均不允许出现人工标记，同时场景监控采用一个普通光学摄像头，如图1所示。

图1 实验工作场景（a）与系统架构（b）

在该研究环境下，头顶摄像机是主要的信息采集设备，它利用全局监控的摄像设备获取目标天线板的位置和姿态变换信息，并控制AR场景中的虚拟模型完成相应的运动。

1.2 单目位姿跟踪原理

单目视觉监测虽然难以获得深度信息，但具有成本低、计算速度快、精度适中等综合优势。单眼透视成像模型如图2所示，它定义了世界坐标系-xyz和相机坐标系-xyz。

图2 单目视觉位姿检测模型

其中表示成像矩阵，包括相机内参、畸变系数等参数，可通过棋盘标定法求解，在固定系统中为定值。姿态矩阵和位置向量共同构成外参矩阵，及世界坐标系到相机坐标系的变换矩阵，为求解和，至少需要4对同名点带入式（1）。其中，姿态矩阵又可以分解为绕、、三个方向的旋转角，由于基站天线板呈长条状，其轴翻转角度可限制在（-20 °，20 °）之间，而本文算法即研究单目摄像头下天线板二维图像与其姿态角、位移量的解算关系，如图3所示。

图3 天线板三个方向的旋转及位移示意图

2 基于线特征的三维天线板位姿检测

2.1 基于神经网络的边缘直线提取

天线板表面零件及布线情况将随着工序的进展而不断变化，故本文主要采用天线板边缘直线作为匹配特征，边缘线段的提取方法则借用Mask-RCNN神经网络出色的目标识别及分割能力来完成。边缘提取的流程包括训练集选取、特征提取、SVM分类、参数训练、神经网络分割、边缘拟合，如图4所示。

图4 Mask-RCNN边缘提取过程

2.2 基于多项式的翻转角拟合方法

提取得到天线板边缘的三根直线后，即可模拟天线板位姿与边缘直线的对应关系。其中位移向量，平面旋转角均可通过边缘直线快速求得，而对于轴翻转角度，本文提出使用多项式拟合方法求解：

记一组天线板边缘直线的夹角和与之对应的翻转角度满足多项式（3）：

则可以得到惩罚函数：

由上述两式即可根据给定步长拟合翻转角与边缘夹角在任意角度的对应关系。

3 实验结果

实验部分主要测试算法在实际生产环境下的鲁棒性，同时与Holcon的局域模板匹配方法对比了拟合精度与解算速度。在本文研究的智能生产案例中，采样选取了［-15 °，15 °］间共7组采样数据作为多项式拟合参考，如表1所示。

表1 采样数据表

带入惩罚函数式（4）后，解得拟合次数最优值为3。位姿解算方法测试部分主要测试了遮挡、光照、翻转三种干扰因素下的鲁棒性，结果如图5所示。

图5 不同工作环境下的形状匹配结果

从图5可以看到，本文采用的神经网络边缘提取与多项式拟合位姿求解算法对于不同的光照和遮挡干扰都有较好的适应能力。同时，为验证本文算法在位姿跟踪过程中的精度，根据［-15°，15°］间的7组采样数据进行了拟合结果与真实值的对比分析，结果如图6所示。

图6 位姿变化量实验数据与真实数据对比

其中为样本真实值，为Holcon局部轮廓模板匹配方法解算出的翻转角，为基于边缘直线与多项式拟合求解出来的结果。对比结果表明，本文的位姿求解方法在方向的误差不超过5个像素，方向不超过2个像素，旋转角拟合精度可达1°，翻转角度可达2°，且与真实值误差均小于Holcon局部轮廓模板匹配方法。对于位姿解算速度，局部轮廓模板匹配方法平均耗时864 ms，边缘直线多项式拟合方法平均耗时643 ms，效率提高25%以上。

图7展示了AR布线辅助系统视角下的虚实融合场景。从图7可以看到，由于目标板材属于大型目标，多项式拟合算法的误差对人眼产生的视觉上的影响难以察觉，完全不影响操作人员进行布线操作。

图7 AR眼镜端场景展示

4 结语

本文主要利用天线板的边缘直线进行目标工件的三维位姿解算，结合实际生产环境下的位姿变化量分析，通过降维、减小搜索空间方法提高位姿解算速度，利用Mask-RCNN神经网络的抗干扰性完成天线板边缘的快速鲁棒提取，最后通过多项式拟合的方法求出目标的位姿变化量，并用于天线板AR布线辅助系统的虚实融合指引。实验结果表明，结合直线特征与多项式拟合的位姿解算方法精度可达2～5像素，旋转角拟合精度小于1°，均超过商业软件Holcon的局部模板匹配算法，关键帧重定位效率提高25%以上。

基于结线特征与多项式拟合的位姿解算方法最终应用于大型天线板智能生产试验线路，生产实测结果表明，经过解空间优化后的单目三维注册方法在实时性、准确性、鲁棒性等方面均能够满足实际生产需求。在后续研究中，本团队将继续结合企业一线生产需求，从经济性、便携性、鲁棒性等方面进一步优化面向智能生产的AR装配指引系统。