基于双目视觉的自动空中加油近距导航方法

解洪文 王宏伦

(北京航空航天大学 无人驾驶飞行器设计研究所,北京 100191)

基于双目视觉的自动空中加油近距导航方法

解洪文 王宏伦

(北京航空航天大学 无人驾驶飞行器设计研究所,北京 100191)

为解决插头锥管式自动空中加油中的近距精确导航问题,提出了一种基于双目视觉的近距导航方法.该方法使用受油机上的两个摄像机拍摄加油锥管端面上光学标记的图像,采用轮廓跟踪法检测图像中的光斑区域,并将其灰度重心作为光学标记的像点,根据对极几何约束完成像点的匹配,利用空间圆形拟合法计算加油锥管的位置和姿态.建立了空中加油的三维虚拟场景对该导航方法进行仿真验证,仿真结果表明,该方法在近距离加油对接时具有很高的位置和姿态测量精度,可以满足自动空中加油的需要.

自动空中加油;视觉导航;双目视觉

自动空中加油技术是未来空中加油技术的发展趋势.我国采用的空中加油方式为插头锥管式(又称软管方式),该方式主要依靠受油机的操纵来完成加油,在近距离加油对接时(一般在 100m以内),必须精确测量加油锥管相对于受油机的位置,通常要求相对位置的测量精度达到 10 cm级[1].传统的 GPS(Global Positioning System)和惯性导航方法以及二者的组合,一般用于较远距离的导航中.在近距离加油对接阶段,由于 GPS信号易受干扰、惯性导航存在漂移等问题,很难达到足够的位置测量精度.而视觉系统广泛用于近距离的高精度三维测量中,视觉导航方法为这一问题提供了可行的解决方案.

国内在软管自动空中加油方面的研究尚处于起步阶段,国外已经在这方面进行了较为广泛的研究.文献[2-3]提出了在加油锥管端面上放置光学标记并结合 LHM算法[4]的导航方法,并进行了仿真实验,但该方法假定所有像点都能被正确识别,如果这些像点没有被正确识别、二极管布置方式不是正多边形或者出现个别损坏等,这种方法就不能正常工作,抗干扰能力较差;文献[5-6]介绍了一种新型的视觉导航系统 VisNav,该导航系统利用受油机上特制的传感器和加油锥管上的信号灯进行配合,并通过修正 Rodrigues参数计算加油锥管的位置和姿态,但是该方法需要依赖特制的传感器和信号灯,通用性较差.

针对上述视觉导航方法存在的不足,本文研究了一种比较通用的基于双目视觉的近距导航方法,可以快速准确测量加油锥管的相对位置和姿态,并具有较高的抗干扰能力.

1 基于双目视觉的近距导航方法

本方法的总体思路为:在加油锥管端面上放置多个光学标记(如图 1所示),但不要求严格等间距;在受油机上安装两个带有滤光片的摄像机,可削弱除光学标记外的其他环境光的干扰;两个摄像机实时拍摄光学标记的图像,并对图像中光学标记的像点进行提取,利用双目视觉系统的对极几何关系完成同名像点的匹配,然后分别计算出单个光学标记的空间位置;最后对这些空间点进行空间圆形拟合,计算出空间圆的圆心位置和法线方向,可得出加油锥管的位置和姿态.

图1 放置在加油锥管端面上的光学标记

1.1 针孔摄像机模型

摄像机的成像采用针孔摄像机模型描述,即点 P在图像中的投影位置 p为光心和 P点的连线与图像平面的交点,如图 2所示.OwXwYwZw为世界坐标系,O0UV为像素坐标系,OXY为图像坐标系,O点的像素坐标为(u0,v0),p点的像素坐标为(u,v),图像坐标为(x,y),焦距 f=|OcO|.

p点的像素坐标和图像坐标的关系为

式中,dx和 dy分别是图像中一个像素在 X和 Y方向的物理尺寸.

空间点 P的世界坐标与其像点 p的像素坐标的关系为

图2 针孔摄像机模型

其中,R为 3×3的正交矩阵;t为 3×1的平移向量;fu=f/dx和 fv=f/dy为 U轴和 V轴上的归一化焦距;M1为内参数矩阵,描述了摄像机的内部成像特性;M2为外参数矩阵,描述了摄像机在世界坐标系中的位置和姿态,二者可通过摄像机的标定求得.

1.2 双目视觉系统的数学模型

双目视觉的原理如图 3所示,由左右像点和摄像机的光心可以确定两条射线,两条射线的空间交点即为实际物点 P的位置.OclXclYclZcl和OcrXcrYcrZcr分别为左右摄像机坐标系,pl和 pr为P点在左右图像平面的像点,其图像坐标分别为(xl,yl),(xr,yr).根据式(1)、式(2)可以推导出

式中,Ml和 Mr为左右摄像机的投影矩阵.式(3)的几何意义是过 Oclpl和 Ocrpr的两条射线,点 P是这两条射线的交点.联立消去常数 zcl和 zcr之后,可得到关于 xw,yw和zw的 4个线性方程,解此方程组可求出点的空间坐标.在实际应用中,该方程组一般为超定方程组,可采用最小二乘法求解.

图3 双目视觉的空间几何关系

1.3 光学标记像点的提取

光学标记可看作点光源,在摄像机像平面的成像为椭圆形光斑.另外,由于滤光片的作用,图像大部分区域亮度较低,只有光学标记对应的光斑部分亮度较高,转化成灰度图像后见图 4a.

对该图像首先进行滤波和二值化处理,将其转化成二值图像.然后对光斑区域进行检测,本文采用了轮廓跟踪法[7],使用链码表记录区域的边界.如图 4b所示,阴影部分代表一个光斑区域,#为当前边界点,以它为中心按顺时针进行边界点的检测,即图 4b中 A-B-C-D的顺序.遇到新的边界点则停止该轮检测,然后以新边界点为中心进行新的检测.当边界点回到起点,且链码方向与第1个链码方向一致时,边界线闭合,检测结束.若某一像素在其邻点中没有新的边界点,则表示为孤立点,予以剔除,这样可以滤去随机噪声点的干扰.

多个光斑区域的检测是在单个光斑区域基础上完成的.扫描整个图像区域,寻找属于光斑区域的像素点,以该点为起点,利用单个光斑区域的检测方法进行检测,得到整个区域的边界;将检测出的区域记录,以免同一区域被重复检测;重复进行上述步骤,直到所有区域检测完毕.

图4c为从图 4a中检测到的光斑区域的轮廓.可见所有的光斑区域都被正确检测出来,证明了该方法的有效性.

检测出各个光斑区域之后,求取每个光斑区域的亚像素精度的灰度重心,将灰度重心作为光学标记像点的位置.

图4 光学标记图像及轮廓跟踪过程

1.4 光学标记像点的匹配

像点匹配时利用了双目视觉中的对极几何关系.

如图 5所示,由左右摄像机光心 Cl,Cr和空间点 P构成的平面称为极平面.点 P的两个像点pl和 pr都位于极平面与各自图像平面的交线上.这样就把对应点的搜索从二维平面降维到一维直线上,大大提高了匹配效率.

图5 双目视觉中的对极几何

对极几何关系在数学上可以通过基本矩阵[8]F来描述.式(3)可以写成:

其中,pl和 pr分别为点 P的左右像点的图像坐标;Pw为点 P的世界坐标;Ml1和 Mr1分别表示 Ml和 Mr中左边 3×3旋转矩阵部分;ml和 mr分别表示 Ml和 Mr中右边的 3×1平移向量部分.

可利用式(5)给出的关系完成像点的快速匹配,之后再根据双目视觉系统的数学模型分别计算出每个光学标记的空间位置.

1.5 加油锥管位置和姿态的测量

由于光学标记安装在加油锥管的端面上,所以可认为它们位于一个空间圆上.因此,对这些点进行空间圆的拟合(如图 6所示),可以将空间圆的圆心作为加油锥管端面的中心,将空间平面的法线方向作为加油锥管端面的朝向.

图6 空间圆拟合

在进行空间圆拟合时,将空间圆看作是空间球体和空间平面的交线[9],分别进行空间球体和空间平面的拟合,联立可得空间圆的方程.采用最小二乘参数估计法进行空间圆拟合,将数据点与空间球体和空间平面之间的代数距离作为评价准则,按照代数距离平方和最小的原则来求解估计的参数.

按此方法进行空间圆形的拟合至少需要 4个有效点的信息,在实际应用中光学标记的数目一般多于 4个,这样可有效防止因个别光学标记失效引起的测量失败的问题.

2 仿真实验

采用 Vega Prime 2.0视景驱动软件和开源图形库 OpenGL建立了空中加油三维虚拟场景,如图 7所示.用透视投影原理模拟两个摄像机的成像过程,这同前面所述的针孔成像模型一致.

图7 空中加油三维虚拟场景

从受油插头和加油锥管相距 100m开始,直到二者完成对接(距离为 0)为止,每隔 1m提取左右两幅摄像机图像,利用上述方法计算加油锥管的位置和姿态,并与真实值对比,得到测量误差曲线,如图 8所示.

图8 位置和姿态测量误差绝对值曲线

由图 8可见,随着距离的接近,侧向和垂向的测距精度逐步提高,整个过程的测量误差大致在5 cm范围内,距离靠近时精度提高,40m以内测量误差小于 3 cm,保证了受油插头能够准确地进入锥管的端面区域;前向的测距精度基本都在 15 cm以内,远距时比较高,近距时精度有所下降,但由于此时侧向和垂向的测距精度很高,受油插头可准确地进入锥管的端面区域,这时也是可以满足要求的.姿态测量误差是以测得的法线方向与实际法线方向之间的角度偏差表示的.从图 8明显看出,远距时姿态测量误差稍大,近距时姿态测量误差越来越小,40m以内小于 1°.

3 结束语

本文研究的基于双目视觉的自动空中加油近距导航方法,充分利用了两个摄像机的图像信息,对加油锥管端面上光学标记的安装位置没有严格的要求,在部分光学标记受到遮挡或损坏时(至少 4个正常)仍能正常工作.该方法可采用通用的物理设备实现,在近距离加油对接时达到了很高的位置和姿态测量精度,具有良好的应用前景.

References)

[1]董新民,徐跃鉴,陈博.自动空中加油技术研究进展与关键问题[J].空军工程大学学报:自然科学版,2008,9(6):1-5 Dong Xinm in,Xu Yuejian,Chen Bo.Progress and challenges in automatic aerial refueling[J].Journal of Air Force Engineering University:Natural Science Edition,2008,9(6):1-5(in Chinese)

[2]Pollini L,Campa G,Giulietti F,et al.Virtual simulation set-up for UAV's aerial refueling[R].AIAA 2003-5682,2003

[3]Pollini L,Mati R,Innocenti M.Experimental evaluation of vision algorithms for formation flight and aerial refueling[R].AIAA 2004-4918,2004

[4]Lu C,Hager G D,Mjolsness E.Fastand globally convergent pose estimation from video images[J].IEEE Transaction on Pattern Analysis and Machine Intelligence,2000,22(6):610-622

[5]Valasek J,Kimmett J,Hughes D,et al.Vision based sensor and navigation system for autonomous aerial refueling[R].AIAA 2002-3441,2002

[6]Tandale M D,Bowers R,Valasek J.Trajectory tracking controller for vision-based probe and drogue autonomous aerial refueling[J].Journal of Guidance,Control,and Dynamics,2006,29(4):846-857

[7]陆宗骐,金登男.Visual C++.NET图像处理编程[M].北京:清华大学出版社,2006:323-342 Lu Zongqi,Jin Dengnan.V isual C++.net programm ing of image process[M].Beijing:Tsinghua University Press,2006:323-342(in Chinese)

[8]张广军.视觉测量[M].北京:科学出版社,2005:146-147 Zhang Guangjun.Vision measurement[M].Beijing:Science Press,2005:146-147(in Chinese)

[9]潘国荣,陈晓龙.空间圆形物体数据拟合新方法[J].大地测量与地球动力学,2008,28(2):92-94 Pan Guorong,Chen Xiaolong.A new method for 3D circular object fitting[J].Journal of Geodesy and Geodynam Ics,2008,28(2):92-94(in Chinese)

(编 辑:赵海容)

Binocular vision-based short-range navigation m ethod for autonomous aeria l refueling

Xie Hongwen Wang Honglun

(Research Institute of Unmanned Aerial Vehicle,Beijing University of Aeronautics and Astronautics,Beijing 100191,China)

To solve the short-range precise navigation problem in the probe-and-drogue autonomous aerial refueling,a binocular vision-based short-range navigation method was presented.This method used two cameras installed on the receiver to capture the images of the optical markers mounted on the end surface of the drogue,then detected the light spot regions in the images by contour tracking algorithm and calculated their gray scale centers as the image points of the optical markers.These image points were matched according to epipolar geometry constraints,and the position and attitude of the drogue were calculated using space circle fitting arithmetic.A three-dimensional virtual scene of probe-and-drogue aerial refueling was established to simulate this navigation method.Simulation results show that this method has ahigh position and attitude measurement accuracy during the short-range docking maneuver,fulfilling the demand of autonomous aerial refueling.

autonomous aerial refueling;visual navigation;binocular vision

V 249.3

A

1001-5965(2011)02-0206-04

2009-12-03

国防预研基金资助项目

解洪文(1986-),男,山东泰安人,硕士生,akadia 001@126.com.