油田注水机器人视觉定位系统研究
2021-04-02王朋朋周建平
王朋朋,周建平,姜 宏,许 燕
(新疆大学机械工程学院,新疆 乌鲁木齐 830047)
1 引言
油田注水是提高油田开发水平,保持油藏能量和油田稳产主要的工艺技术,在国内外得到了广泛的应用[1]。目前塔河油田的注水装置大部分是简易的注水撬,主要运行模式是通过水车运水,并通过向油田注水井口注水的方式来完成注水作业。虽然目前这种装置简单实用,但普遍需要人工值守来进行相关的泵的启停以及注水量统计,耗费人力财力,劳务用工成本压力大,不适合现阶段的注水作业。通过大量市场调研,该文将机器视觉技术与油田注水工艺结合,提出了一种油田注水机器人用于替代石油现场的人工注水作业,并对其中水车泄水管口边缘检测和管口中心三维定位部分进行了研究。
目前针对机器人视觉与定位是国内外学者研究的热点,国内外专家学者均做出了诸多相关的研究。例如文献[2]将双目视觉技术应用在草莓采摘机器人中,实现成熟草莓的识别、双目定位和采摘工作,能满足草莓采摘的要求。通过对冷凝器清洗移动机器人的视觉定位方法的探究,文献[3]提出一种采样密度可调的轮廓拟合定位算法。该方法能精确定位所需清洗管口质心,为清洗喷枪提供准确运动参数。文献[4]通过对双目立体视觉在管口测量系统中应用的关键问题进行探究,解决了圆孔透视投影中形状畸变的问题,提高了圆几何参数的视觉测量精度。文献[5]将手眼视觉系统应用在工业水泥灌装自动化改进方面,拥有视场大,定位精度高的优势。通过文献阅读分析,目前尚无将机器视觉技术与油田注水工艺结合的应用技术。
该文借鉴双目立体视觉定位方法和图像边缘检测算法,提出一种平行双目立体视觉技术的水车管口的视觉定位系统,希冀能满足油田自动化注水作业的现场工作要求。
2 机器人的系统整体框架
油田注水工作模式,如图1 所示。当水车停到限定范围内模糊工位后,固定在机械臂前端的双目摄像机采集包括水车泄水口在内的场景图像,并将场景图像采集到图像处理模块。利用机器视觉技术通过提取泄水口的边缘特征信息,再结合椭圆拟合方法和双目视觉原理得到泄水口中心在相机坐标系中的位置。其次,通过坐标系间的变换,得到在世界坐标系下的泄水口中心三维信息。最终通过解算求出机械臂运动参数实现与连接泄水导管的机械臂自动对接任务,在对接完成后,通过泄水管处的电磁开关打开泄水阀门,并将水车内的液体通过泄水导管注入到地下油井内,完成油田注水工艺的无人值守任务。
图1 油田注水机器人的现场示意图Fig.1 Site Schematic Diag Ram of Oilfield Water Injection Robot
3 定位系统总体技术路线
该文所研究的基于双目立体视觉油田注水机器人的三维空间定位系统的总体技术路线,如图2 所示。
图2 双目视觉油田注水立体视觉定位实现框架Fig.2 Binocular Vision Oilfield Water Injection Stereo Vision Positioning Implementation Framework
涉及的关键技术主要有:(1)相机标定与校正。通过双目摄像机采集含有标定板在内的多幅左右视场图像,执行相机标定算法求解相机的内外参数,并对摄像机进行畸变矫正,去除由相机畸变等因素产生图像定位的像素误差。目前常用的相机标定方法是张正友棋盘格标定方法,该标定过程简单快捷,误差较小[6]。(2)建立世界坐标系。对于矫正后的图像建立相机坐标系,再通过分析坐标系的刚体变换关系,求解以世界坐标系为基准的泄水导管口的中心的坐标。(3)水车泄水口的的检测与定位。从校正好的图像中获取有效区域中的泄水管口图像,再执行OTSU 阈值分割和亚像素边缘提取泄水管口的边缘,并通过对管口边缘的最小二乘法的椭圆拟合确定泄水管口中心坐标的位置,最后通过分析双目立体定位的原理求得泄水管口圆心的三维空间坐标。
4 双目立体视觉模型的建立
平行双目立体视觉定位技术由左右双目视觉图像中视差与距离的反比关系,由三角法原理进行立体坐标数据的求解。
平行双目视觉模型,如图3 所示。其中左右相机光心的投影中心分别表示为O1与Or,选用以O1为基准点,并定义光心投影中心Or到O1的距离为基线距离b。假设(Xc,Yc,Zc)为点P在相机坐标下的三维坐标,则P点在左图像中的像素坐标为P1(ul,vl),P点在右图像中的坐标为Pr(ur,vr)。
则在相机坐标系下P点的三维坐标可由三角形几何关系。
图3 平行双目立体成像原理Fig.3 Parallel Binocular Stereo Imaging Principle
可解算得,如式(1)所示。
式中:d=ul-ur左右相机的视差;(cx,cy)—左光心O1在图像上的成像像素点坐标。
5 泄水管口中心求取算法
5.1 图像滤波
通过双目摄像头采集的现场图片往往混有一定的噪声,因此在对图像进行分析之前,对图像进行滤波操作。该文针对使用中值滤波器会将图像中的线条细节滤除和使用均值滤被器会使图像边缘模糊的问题,选用了一种Kuwahara 边缘保持平滑滤波器来滤波原始图像,并在滤除噪声和保留边缘细节方面均有比较良好的效果。
5.2 图像分割
图像分割是指通过分析图像背景与特征目标在灰度分布上的不同,选取合适的分割阈值从背景中分割出特征目标的一种处理方法。该文所选用的OSTU 算法是一种自适应全局阈值选择方法,该方法使用最大类间方差标准来区分背景与前景[7]。
5.3 泄水管轮廓边缘提取
图像边缘是指在灰度值存在阶跃变化的边缘像素点的集合。该文针对上节OSTU 阈值分割后的泄水管口图像,首先采用Canny 边缘检测方法初步提取水车泄水口的图像边缘特征。
传统的边缘检测算法如 Roberts、Canny、Prewitt、Sobel 以及Laplace 算子等虽然表达形式简单。算法运行速度较快,但是算法精度较差,无法满足油田现场泄水导管对接的精度要求。针对上述问题,该文对上节由canny 边缘检测算子初步得到的泄水管口的像素边缘进行亚像素边缘提取,之后再进行水车泄水口的椭圆拟合算法。其中,该文利用的是Zernike 正交矩的方式对管口边缘进行亚像素图像边缘提取[8]。
5.4 泄水管口的椭圆拟合与中心坐标求解
Hough 变换法和最小二乘拟合法是使用最为广泛的椭圆拟合算法。其中,Hough 变换法易受边缘梯度的影响,且算法执行复杂。而相对于应用最小二乘法拟合椭圆,其仅受泄水口边缘信息精度的影响,算法执行较快,应用性较强。因此,通过由上节提取的泄水管口的亚像素图像边缘点,该文选用最小二乘法拟合泄水管口形状并解算其椭圆中心。
6 实验验证
6.1 实验系统组成
实验硬件平台主要由计算机、图像采集设备Kingcent 平行双目摄像头(最大像素数为1280×960)组成,软件环境为windows 10 系统,matlab2016b 进行相机标定,图像处理与三维坐标计算由vs2012 结合Opencv2.49 完成。并针对采油现场的注水作业为背景,模拟搭建实验平台,如图4 所示。
图4 模拟泄水管口立体测距实验平台Fig.4 Experimental Platform for Simulating Three-Dimensional Distance Measurement of Discharge Pipe Orifice
三脚架上的平行双目摄像头捕获前面的模拟管口的图像。其中,双目间距测得103mm,左相机光心距离底部270mm,管口中心距离底部平台270mm,左相机光心距离三脚架前端N=37mm,以左摄像机光心为三维坐标原点,每次移动箱体一定距离,测得三脚架前端距离模拟水车的距离L,并计算求得管心的实际坐标(51.5,0,L+N)并进行多组实验分析。
6.2 实验流程
6.2.1 摄像机标定
图5 相机标定部分标定图片Fig.5 Camera Calibration Part Calibration Picture
利用上节所提及的张氏标定法,对双目摄像头分别进行了标定实验。首先通过双目相机采集标定板图像,张氏标定法中需要将标定板放置为不同姿态,使用双目相机采集左右相机标定图像各30 张,运行MATLAB 中的双目标定程序,相机标定实验所采集的部分图像,如图5 所示。其中,标定板选择标准9×6 黑白棋盘格,每个棋盘格的大小为(21.7×21.7)mm,经过标定实验后的左右摄像头参数的结果,如表1 所示。
表1 摄像头标定结果Tab.1 Camera Calibration Result
6.2.2 泄水管口的立体定位
由上节MATLAB 标定实验得到的摄像机内外参数通过写入xml 文件传入到OpenCV 中。并按照如下步骤进行图像矫正,图像处理,泄水管口的椭圆拟合与中心坐标的提取。
(1)采集矫正后的泄水管口图像,如图6 所示。
图6 泄水管口的图像Fig.6 Image of the Drain Pipe
(2)采用Kuwahara 边缘滤波和OSTU 算法对采集的图像分别进行自适应阈值分割并进行反色处理效果,如图7 所示。
图7 泄水管口的阈值分割结果Fig.7 Threshold Segmentation Result of Drain Pipe
(3)采用Canny 算法和亚像素边缘检测对采集的左右目图像分别进行边缘提取,如图8 所示。
图8 边缘提取结果Fig.8 Edge Extraction Result
(4)在得到圆孔左右目图像的边缘像素点后,利用最小二乘法分别在左右目图像的坐标系中拟合出椭圆方程,并求取图像坐标系中椭圆的中心坐标,最后由平行双目定位原理求解相机坐标系下的三维坐标结果,如图9 所示。
图9 椭圆拟合结果Fig.9 Ellipse Fitting Result
6.3 实验结果
图10 XYZ 测量结果与误差关系曲线图Fig.10 Diagram of Nexus Between XYZ Measurement Result and Error
通过上节中的实验,可以分别得到管口中心在左右图像中的相对应图像像素坐标,并结合平行双目立体视觉三角法计算出管口中心在以左相机坐标系中的三维坐标,如图10 所示。并分别移动模拟的泄水车箱,进行了11 组实验,实验结果,如表2 所示。结合图10 和表2 可以得出:当测量距离小于500 时,XYZ测量误差基本上都在±10mm 以内;当测量距离超过500mm 以上时,误差开始逐渐增大。
表2 实验结果分析Tab.2 Analysis of Results
6.4 结论
根据多次实验结果并结合实际现场工作要求(实际现场测得注水井口距运水车500mm 内,水车泄水口管口外径10.2cm,泄水导管管内径11.8cm),误差范围满足要求。当测量距离在500mm 以上时,误差增加较大的原因分析主要存在于:(1)当距离较远致使图片识别出的管口残缺或图像的清晰度下降,导致拟合圆心计算误差增大;(2)其次是由于测量距离较远时,由于摄像机焦距的限制,此时成像模型并不是严格遵守小孔成像模型所以可能会造成一定的偏差。综上,在实际油田注水现场工作中使用该文方法将对实现油田注水自动化作业具有一定的指导意义。