基于视觉伺服大型输油臂机器人智能对接系统

白元明，孔令成，赵江海，张 强,3，方世辉

(1.常州大学信息科学与工程学院，江苏常州 213164；2.中国科学院合肥物质科学研究院先进制造技术研究所，安徽合肥 230031；3.中国科学技术大学自动化系，安徽合肥 230026)

0 引言

输油臂作为港口装卸石油及其他流体的主要设备，处于整个流体装卸领域的核心地位。目前其机构设计已经较为完善，但是其对接方式还沿用传统人工牵引的操作模式。随着人口老龄化、用工成本增加以及智慧港口建设的需要，这种效率低、安全隐患高、劳动强度大的作业方式急需一条变革之路，因此研发一套不需要人工干预而能够完成自动对接的智能输油臂系统具有重要的意义。但是由于输油臂作业环境为复杂的户外条件，天气、光线以及船舶种类等因素给输油臂对接过程自动化造成了很大的挑战，尤其在目标管口识别与定位方面存在很大的困难，智能输油臂的研发和应用在国内外尚属空白，所以这是具有开创性意义的工作。

输油臂智能对接系统是一个非常巨大的机械臂在户外自然环境下的应用问题，该系统包括机械机构设计、控制系统设计、路劲规划等多个部分，从系统构造来看类似于工件抓取、喷漆、破拆等问题，从趋近目标过程来看，高12 m的输油臂在对接过程中工作空间十分巨大，类似于目标追踪问题。随着计算机技术、传感技术、控制技术及工业自动化的发展，工业机器人在各种工业环境中得到了广泛应用。通过传感器给机器人赋予感知外界环境的能力是机器人智能化的基础，而通过视觉图像作为反馈信息而形成的控制系统就是视觉伺服控制系统，随着机器人应用需求的日益复杂多样，视觉伺服系统的研究挑战与机遇并存[1]。Comlekciler[2]等在对精度要求非常高的正颌手术中引入立体视觉用于辅助医生工作，取得了非常不错的效果。Sinisterra[3-4]等将立体视觉应用到无人机水面舰艇追踪海上移动船只，可以通过立体视觉实现目标船只测距、检测和跟踪，估算目标船只位置、速度和航向等信息。

在目标识别方面，Lin[5]等利用提取人工设计特征的方法识别目标图像信息构建机械臂视觉抓取系统；Said[6]等利用点集、轮廓等形状匹配来构建焊接点检测和分类系统；杜学丹[7]等提出了一种基于深度神经网络的机械臂抓取方法，利用深度学习检测识别目标物体，然后根据分类结果进行基于深度学习的方法进行抓取位置学习，进而完成抓取任务，Lenz[8]等同样将深度学习用于工件抓取；王丹[9]等利用方向梯度直方图(HOG)算子结合支持向量机(SVM)提出一种人体行为仿生识别与分类方法，该算法在对差别较大的行为的识别上表现不俗。文献[5-6]中的方法采用传统的特征提取方法来处理图像，易受外界光照、拍摄角度等因素的影响，泛化能力以及鲁棒性都有很大的提升空间；文献[7-8]利用深度神经网络来识别物体，具有较强的鲁棒性和稳定性，但是深度神经网络需要大量的数据样本和很大的时间开销，更高的电脑硬件配置。文献[9]中的方法属于一种统计学机器学习算法，相比深度学习其主要优势在于对数据样本的需求较少以及对硬件配置的要求更低。

针对输油臂自动对接过程以及目标管口识别与定位过程存在的问题，本文提出了一种基于视觉伺服的输油臂对接方法，由于输油臂尺寸较大，而视觉的工作距离存在限制，因此采用视觉范围外点激光辅助定位，形成基于位置的混合伺服控制系统。设计了一种加入多条件约束校验环节的 SVM 分类器，用于目标识别及在线自学习，相比深度学习算法需要更少的样本数据、大大缩短了训练时间，有利于满足不同的工作环境下的在线自学习，同时降低了对电脑配置的要求，有利于产品推广与普及；相比传统特征提取方式增强了稳定性、鲁棒性以及泛化能力。

1 系统构成与运动学建模

1.1 系统构成

输油臂的主体是由一套可以在机身中灵活旋转的管道和包裹在管道外壁的支架组成，这些管道形成的通道可以在码头流体装卸中输送流体到船舶等运载工具上。整个输油臂的机械结构设计已经非常成熟，其三维结构及机构原理图如图1所示。输油臂高12 m，臂展15 m，共计5个自由度，所有关节均采用旋转设计，主要由底座、内臂、外臂和末端三维旋转接头组成。其中基座、内臂、外臂控制输油臂末端管口的位置；末端三维接头包括3D1和3D2，用于调整输油臂机器人末端管口的姿态，其中所有关节驱动均采用液压驱动。在现有成熟的输油臂机械系统基础之上添加智能控制系统形成智能输油臂机器人系统。

图1 输油臂系统三维结构及机构原理图

输油臂机器人由视觉计算机、双目摄像机、控制计算机、EPEC控制器、云台、机器人系统、液压伺服控制系统等模块构成。视觉计算机和控制计算机都选用研华工控机；双目摄像机采用加拿大灰点公司生产的Bumblebee2双目立体相机，型号为BB2-08S2C-38；云台选用激光一体化智能云台摄像机MG-TC26-L。由视觉计算机，双目摄像机以及云台组成输油臂机器人的视觉系统，相机固定安装在输油臂末端管口上方，形成Eye-in-Hand的伺服控制方式。由于相机光轴与水平面成一定夹角，因此无法通过直接测量确定相机坐标系与输油臂机器人末端管口坐标系之间的关系，所以选用手眼标定的方式来确定两坐标系之间的关系。云台安装在输油臂机器人基座底端，与输油臂机器人形成Eye-to-Hand手眼系统，云台点激光坐标相对于世界坐标系的位置关系也通过标得到。

1.2 运动学模型

机械臂相邻连杆之间的相对位姿关系可以用D-H矩阵描述，该方法是Denavit 和Hartenberg在1955年提出的一种通用的方法，通过给机械臂的每个连杆上都规定一个坐标系，然后利用4×4的齐次变换矩阵来描述相邻两连杆间的空间关系，把正运动学运算转换为齐次变换矩阵之间的运算，从而利用此矩阵来描述机器人末端执行器相对于参考坐标系的变换关系[10-11]。根据D-H法建立输油臂机器人的连杆坐标系如图2所示，D-H参数见表1。

图2 输油臂机器人D-H坐标系

连杆iαi-1/(°)ai-1/mmdi/mmθi/(°)1000θ12-900d2θ230a20θ340a30θ45-9000θ5

a1=a2=7 500 mm，d2=972.5 mm。根据D-H参数表可以求得各连杆变换矩阵为：

(1)

2 控制系统设计

2.1 控制流程

码头操作员通过控制台或遥控器发出开始工作命令，输油臂机器人接收到该命令之后启动视觉控制系统、伺服控制系统、液压泵等单位。通过云台点激光对目标管口粗定位，然后在点激光引导下，输油臂机器人末端管口向目标管口方向运动，由于相机对目标管口的可识别距离为5 m，所以对云台点激光定位精度要求不高。如图3所示，只需要保证输油臂末端运动到距离目标管口5 m以内的视觉可识别区域即可。输油臂机器人末端到达相机可视范围内时切换为视觉伺服控制模式，最终在视觉引导下完成输油臂机器人末端管口与目标管口的对接，对接成功后闭合输油臂机器人末端管口夹爪，完成一次对接，整个对接流程如图4所示。

图3 两大空间关系示意图

2.2 控制系统

针对输油臂机器人对控制系统实时性、稳定性以及扩展性的要求，设计了多层次开放式的机器人实时控制系统，如图5所示，该实时控制系统包括会话层、主控层、物理层3个部分。

会话层主要由监控计算机和遥控器组成，与主控层之间采用局域网远程连接，属于上层智能监控和人机交互层。该层具有友好的可视化监控人机接口，可以用于对输油臂机器人末端管口空间位姿、运行状态、各个模块的通讯状况等进行实时监控。

遥控器主要是为了防止输油臂机器人控制系统出现紧急情况而直接对ECEP而设计的安全配置，同时也可以完成液压泵的开启、关闭、系统初始化、复位等工作。

图4 输油臂机器人工作流程图

图5 开放式的机器人控制系统

主控层主要由EPEC、控制计算机、视觉计算机组成，是整个实时控制系统的核心。主要负责输油臂机器人末端管口对接所需的所有运算，包括视觉处理、轨迹规划、协调控制、稳定性控制以及运动学求解等操作。

物理层主要包括双目相机、云台、液压站、液压泵、编码器等部件，属于整个实时控制系统的执行层。主控层通过计算获得运动控制信息，下发到物理层，物理层负责执行整个运动计划，并反馈执行结果。

3 双目立体视觉定位系统

3.1 数据集制作

图像数据集是在2017年3月至2018年6月期间利用Bumblebee2相机拍摄的现场图片，共采集10 000幅，分辨率为320×240像素，图像格式为.BMP，包括一年多来遇到的各种天气条件环境下的拍摄的图片，大致可分晴天、阴天、雨天、大风、雾天5个类别，在这些天气条件下按一定时间间隔拍摄现场图片各2 000幅。经过筛选后从拍摄的10 000幅现场图片中按照各种天气图片数目均等的原则截取大小为64×64像素的目标管口图片1 000张作为正样本，随机截取背景图片1 000作为负样本构成训练图像集，部分训练图像集样本如图6所示。然后同样按照各种天气图片数目均等的原则选取100幅图像作为测试集。对训练集和测试集样本进行图像降噪处理和图像增强处理处理之后形成最终的训练样本集和测试样本集。

图6 部分正(左)负(右)样本图片样例

3.2 目标管口识别

想要准确识别目标管口，就必须确立一套完善的目标识别算法，目标管口识别模块包括图像处理模块和SVM分类模块，主要包含的操作有图像滤波、图像增强、图像分割、特征提取、SVM分类器设计及参数选择等。多条件约束下的SVM目标识别算法流程如图7所示，从执行角度可分为训练和识别2个阶段。

图7 视觉目标识别流程图

3.2.1 算法流程

训练阶段首先提取训练样本集的HOG特征，然后利用这些特征进行SVM训练，生成.xml文件用于识别过程使用，训练完成之后利用测试图像集进行训练结果校验，从测试集中随机选取20幅图片进行识别效果检测，在生成的识别结果图片中，利用多条件约束检测，找出错分目标和没能识别出的目标管口分别截取生成为64×64像素的正、负HardSample补充训练图片集，扩容训练样本图片集之后进行下一轮SVM训练，更新.xml文件。重复以上操作直到通过结果校验，生成最终的.xml文件。

识别阶段是在相机采集图像后进行与制作样本数据集相同的降噪处理和滤波处理之后由SVM分类器读取由训练阶段生成的.xml文件，进行与训练阶段相同的HOG提取办法提取目标图图像的HOG特征，然后利用SVM分类器识别图像中的目标物体；利用添加的多条件约束校验环节并行生成校验结果，如果结果一致则表示目标管口识别准确，输出识别结果，否则重新采集图像重复进行以上操作，直到识别结果与校验结果一致为止。多条件约束校验环节包括校验前预处理、多条件约束校验2个关键步骤。校验前预处理应用PSO优化下的OTSU分割算法，形态学闭运算、Canny形状特征提取、圆形拟合等图像预处理过程，多条件约束校验包括类圆度检测和面积距离约束检验两个条件，面积距离约束检验是指目标像素面积与相机到目标距离间的关系表述。类圆度检测主要用于过滤背景中只具有部分圆弧边缘的物体，面积距离约束检验用于过滤背景中具有圆形轮廓但不处在目标位置的物体。

3.2.2 SVM分类器设计

本文在VS2015平台下利用OpenCV进行图像的HOG特征提取与SVM分类器设计。HOG算法通过计算和统计局部梯度信息，并在统计单元中形成梯度方向直方图作为特征描述子，对图像特征进行描述。HOG算法对图像几何、光学形变都能保持很好的不变性，对光照、遮挡、对比度等外界环境的变化具有较强的鲁棒性，在面部表情识别[12]、交通检测车辆定位[13]、辅助救灾现场受害人查找[14]，车牌识别[15]等领域得到了广泛使用。选取block大小为16×16像素，步长为8像素，cell大小为8×8像素，梯度直方图区间个数为9时的HOG特征作为SVM分类器的特征输入。

SVM作为一种统计学机器学习算法在小样本、非线性、高维数据集上得到了广泛应用，是监督学习中最好的定式算法之一，OpenCV中提供的SVM分类器有5种类型，分别为C_SVS、NU_SVC、ONE_CLASS、EPS_SVR、NU_SVR,同时包含4种不同的核函数，分别为LINEAR、POLY、RBF、SIGMOID。经过实验对比，最终选择C_SVS种类的SVM分类器、线性LINEAR核构建目标管口识别SVM分类器。

3.2.3 多条件约束校验环节设计

为了提高识别准确度，在SVM分类器训练和识别阶段均添加了多条件约束校验环节，由于现场目标法兰均为标准圆形，所以可以用圆形限制条件作为非目标物体的筛查。但是由于在实际工况下，相机拍摄角度导致目标法兰在成像中不一定是标准圆而是类圆。设圆的面积为s，周长为l，定义式(2)为类圆度函数。

(2)

通过对不同角度、距离下拍摄的50张图片中的目标法兰管口进行类圆检测试验发现，目标管口图像类圆度γ一般在0.8～1之间，如图8所示。

图8 目标管口类圆度测试

由于应用场景特殊，图像背景复杂，并且处于变化之中，所以背景中有球状或类球状物体是非常常见的现象。所以单靠类圆度一个指标不能起到很好的校验作用，所以加入了面积距离约束检验，通过实验发现目标法兰管口像素面积与相机到目标管口距离之间近似满足二次曲线关系，如图9所示，其拟合表达式如式(3)所示。

图9 面积距离约束检验

s(d)=2.99×10-4d2-2.94d+7 828,500

(3)

式中：d为相机到目标管口的距离；s(d)为目标管口的像素面积。

综上多条件约束校验环节由类圆度检测和面积距离约束检验2部分组成，通过多次实验验证最终确认式(4)作为多条件校验的条件，其中s′(d)为实际运行过程中所得目标管口的像素面积。

(4)

3.3 目标管口中心位姿获取

识别出目标管口生成目标点云之后，要确定管口末端位姿用于机器人轨迹规划与控制过程，而确定目标管口末端位姿，需要进行目标像素点云平面拟合和空间圆拟合，空间圆的圆心坐标即为位置描述，平面的法向量即为姿态描述。

图10 目标管口中心位姿获取流程

图11 空间圆拟合

设平面方程为ax+by+cz+d=0，则滤波前后目标管口点云拟合的方程系数如表2所示。

表2 拟合平面方程系数

4 实验结果及分析

为了验证视觉测量定位系统识别准确率、定位的准确性以及输油臂机器人系统的对接成功率以及整体性能，设计了3组不同的试验。分别为识别准确率试验、定位准确率试验以及对接成功率试验。

4.1 目标管口识别准确率实验

图12 输油臂机器人末端位置实时监控界面

图13 输油臂机器人在线目标管口分离系统

识别准确率实验是通过实时监控系统进行的，实验过程中实时监控系统可以很好地利用数据结合机器人末端管口位置进行对应分析，从而显著提高对实验各个环节的理解，更有利于解决实际问题，提高实验效率。所以设计开发了输油臂机器人在线监测系统用于人机交互，部分界面如图12和图13所示。通过实时监控系统观察目标管口识别情况，双目相机随机遍历可视空间中500个空间位置及姿态，其中有489次成功识别出了目标管口，5次运行超时而导致整个机器人系统运行不畅，4次因系统故障终止运行，2次因未知原因导致识别过程终止。加入多条件约束校验环节的 SVM 分类器目标管口识别准确率为97.80%，识别超时率为1.00%，系统故障率为1.20%。从实验结果来看，输油臂机器人视觉测量定位系统具有“两低一高”的优点，即系统超时率低、故障率低，识别准确率高。

4.2 目标管口定位准确率实验

选取空间中7个不同的位置，如图14所示，分别在每个位置处进行10次目标管口定位对接实验，记录实验数据，验证目标管口定位准确率以及观察目标管口所处的位置是否会影响定位成功率。

图14 实验管口摆放示意图

由于输油臂末端装有特殊导向装置，如图15所示。所以在x、y、z3个方向均允许存在误差，x、z方向允许误差为80 mm，y方向允许误差为205 mm。本实验是在拆除输油臂末端导向之后，规定y方向误差在200 mm的范围之内时记录x、z方向对应的实验数据，分别如图16、图17所示，为了减小记录数据的难度，误差小于10 mm时都记为0。

图15 机械导向示意图

图16 不同位置x方向误差

图17 不同位置z方向误差

图16中70次对接试验中只有1次超过了误差允许值80 mm，而图17所示70次实验中有5次超过了允许值。除在A位置x、z方向都超出误差限制之外，其余位置C、E、G只有z方向误差超出误差允许范围，其中G位置超出误差范围2次，而位置B、D、F在xoz平面内误差均在允许范围之内，70次目标管口定位实验中有5次失败，目标管口定位准确率为92.86%。通过对比发现，输油臂机器人对接过程中x方向出现误差的概率较小，而z方向出现误差的概率较大，说明输油臂机器人对接过程中主要误差来源于z轴方向，而空间位置的不同对误差是否超过允许范围几乎没有影响。

4.3 对接试验

首先在云台点激光引导下装卸臂末端到达可视范围，到达可视范围后切换至相机采集有效数据，将采集到的图片通过采集卡传送至图像处理程序进行视觉分割和三维重建，获得目标管口的圆心坐标和目标管口平面法向量之后计算坐标变换矩阵，进行正运动学运算求解出目标管口在基坐标系下的坐标，然后进行逆运动学运算求解各个关节的运动参数并规划输油臂末端运动轨迹。然后输油臂末端在相机的引导下做视觉伺服运动，实时调整末端位姿，最终实现精确对接。对接过程如图18所示。

(a)启动输油臂机器人并初始化

(b)输油臂机器人在激光引导下向目标管口运动

(c)到达视觉可视范围

(d)视觉引导下作视觉伺服运动

(e)调整末端姿态

(f)对接成功

按照图14中的7个不同位置分别进行10次对接试验，在C、G位置上全部对接成功，在A、B、E、F位置上分别有1次对接失败，而在D位置上有2次对接失败。在70次对接实验中对接成功的次数有64次，对接成功率为91.43%。从实验数据来看，位置目标管口所处位置并不是影响对接成功率的主要因素。而在70次对接过程中耗时最长的过程耗时135.35 s，耗时最短为57.77 s，平均时耗为82.36 s，能够满足现场需求。

5 结束语

本文设计了一种点激光辅助定位的视觉伺服大型输油臂对接控制系统，建立了运动学模型，设计了校验SVM分类器目标识别在线自学习系统，采用平面拟合和空间圆拟合算法获取目标管口的中心位姿。并以该平台为基础，实验验证了校验SVM分类器目标管口识别及定位的准确率、整个输油臂机器人智能对接系统对接成功率以及系统的稳定性。实验表明目标管口识别准确率97.80%，定位准确率92.86%，对接成功率为91.43%，而系统故障率只有1.40%。说明校验SVM分类器识别准确率高，系统稳定性好，对接误差来源除目标管口识别误差外还来源于机械配重、液压驱动系统、运动学计算误差、轨迹规划偏差、手眼标定误差等。进一步提高目标管口识别准确率，优化运动学模型、手眼标定模型将是下一步的工作。大型智能输油臂系统开发虽属于首创性工作，但类似这种智能系统具有广泛的使用范围，所以亦对其他智能机械臂设计具有参考意义。