基于计算机视觉的UAV自主空中加油半物理仿真

段海滨 张奇夫

(北京航空航天大学 飞行器控制一体化技术重点实验室，北京100191)

范彦铭

(中国航空工业集团公司 沈阳飞机设计研究所，沈阳110035)

李 昊

(北京航空航天大学 飞行器控制一体化技术重点实验室，北京100191)

无人机(UAV，Unmanned Aerial Vehicle)在当今军事行动中扮演越来越重要的角色，能够有效完成复杂和危险的侦查和作战任务[1].UAV虽然在军事和民用等领域已有广泛应用，但其自身的很多关键技术尚有待进一步研究和应用[2].其中，自主空中加油(AAR，Autonomous Aerial Refueling)是目前UAV远程作战的挑战性技术之一[3－4]，自主空中加油是指在飞行过程中一架飞机在不需要人的干预下向另一架或多架飞机传输燃油的活动[5].近几年来世界各大军事强国均投入了大量财力和物力开展这一关键技术的攻关.

自主空中加油主要分飞行硬管式(探针式)和插头-锥套式两种[5]，影响自主空中加油性能的两个重要因素在于加油机与受油机的相对距离和干扰.对于软管式加油而言，其关键技术是精确测量加油锥管和受油机之间的相对位置，以及对受油机实施精确导引和控制[6].计算机视觉具有信息丰富、精度高等优点，近年来在UAV自主着陆、空中加油和协同编队飞行等方面已有广泛应用.

本文在实验室环境下，开发了一种基于计算机视觉的UAV自主空中加油半物理仿真平台，通过设计相应飞行控制律对受油机进行精确导引，可完成复杂环境下的加油对接.

1 无人机加油计算机视觉算法

UAV自主空中加油半物理仿真平台框架如图1所示.

图1 基于计算机视觉的UAV自主空中加油半物理仿真平台框架

由图1可见，计算机视觉自主空中加油系统主要包括视觉导航与导引控制两部分.此处假定加油机进行定高匀速直线平飞，在加油机的加油锥管上安装辅助光学标记，受油机上安装机载摄像机，采用计算机视觉测量技术实时测量并解算加油锥管的位置和姿态，通过设计相应飞行控制律对受油机进行精确导引，可完成复杂环境下的加油对接.

1.1 点检测算法

由于加油锥上的发光二极管(LED，Light E-mitting Diode)是红色，可利用其颜色特征信息进行点提取.首先对机载摄像机所采集图像进行彩色空间(RGB，Red-Green-Blue)到色相、饱和度和明度(HSV，Hue-Saturation-Value)处理，选取H、S、V三个通道中的H、S通道图像进行阈值分割，可得二值化图像.二值化图像存在噪声，可用腐蚀、膨胀等形态处理技术，把噪声滤除[7].然后对两个通道的二值图像进行融合，可检测到LED光点，并为加油锥与机载摄像机相对位姿测量做准备.

1.2 对应点匹配

对应点匹配(point feature matching)指的是匹配标记连续帧图像对应特征点的位置[8].假定投影点集为，从机载摄像机采集图像提取特征点所得的观测点集为{p1，p2，…，pn}，其中pj=(uj，vj)表示图像坐标，对应的投影点集为)是根据针孔投影成像模型计算而得的图像坐标.对于点集，可根据式(1)计算二者之间的m×n欧式距离矩阵:

由式(1)，可用经典的数学指派问题来描述点集对应问题，其数学模型可表述为:假设有两个点集A，B，用Sik表示集合A中的点i与集合B中的点k之间的欧式距离，则若建立A、B两个点集之间的对应关系，有如下公式:

式中，sik＞0，xik∈{0，1}.对于求解对应点匹配问题，可采用Hungarian算法(限于求方阵)，或采用改进Munkres算法(限于求非方阵).

1.3 位姿匹配算法

文献[9]中，Lu，Hager和Mjolsness提出了通过求解对象空间线性误差最小值来解决位置估计问题的LHM算法.首先，设图像序列在k时刻检测、标记的特征点j的坐标是[ujvj1]T，记

第k时刻的对象空间线性误差向量用ej表示，定义如下:

其中，CTT表示从加油机坐标系到相机坐标系的转移矩阵.由此，计算机视觉自主加油的位姿估计问题等价于使得误差平方和最小化的参数求解问题.

该算法通过迭代，更新改善位姿向量旋转部分的估算值，估计相关的平移分量，最终计算出满足性能指标的估计值.实际应用中，这是通过利用线性方程组来实现的:

2 扰动及加油锥建模

2.1 大气扰动与尾涡流模型

在空中加油过程中，加油机和UAV均会受到复杂风扰动的影响.对于UAV而言，还会受到来自前方加油机产生的尾涡流干扰.加油机尾涡流场在加油机后方某一截面内，按照涡场对受油机的作用效果可以分为上洗、下洗和滚转3个区域.其中，两条尾涡的内侧为下洗区，受油机进入该区域时，迎角减小，上升率降低;两条尾涡的外侧为上洗区，加油机进入该区域时，迎角增加;两条尾涡的涡心区域为滚转区，加油机进入此区域时，将受到附加滚转力矩的影响.

尾涡风场的作用实际上就是改变受油机上的相对气流，从而改变受油机所受到的气动力，而这种附加的气动力可通过受油机运动状态量的等价改变来进行表示.

2.2 加油锥运动建模和状态预估

2.2.1 加油锥模型

空中加油过程中，加油锥将受到多种不确定性因素的影响，一般难以建立准确的数学模型，这里将加油锥运动模型简化为是一个弹性阻尼线性时不变系统，其状态方程如下:

式中，加油锥的状态向量为

式中，Δxd，Δyd和Δzd表示相对于基准位置的位置偏差量;表示相对于基准位置的速度偏差量(假设基准位置偏差量和速度偏差量均为0);wg(t)表示大气湍流干扰下的外部扰动输入.

加油锥在大气扰动、尾涡流等作用下，前向、纵向和侧向都将产生一定程度的自由摆动，其中纵向和侧向的自由摆动幅度比较大，可以达到1～1.5 m，前向的摆动相对较小，一般只有厘米级.因此，在UAV飞行控制系统设计中可忽略前向位置的自由摆动，仅考虑加油锥纵向和侧向位置的自由摆动.

2.2.2 加油锥状态预估

相对位置运动的预估计是UAV自主加油导引控制的基础.本文采用卡尔曼滤波器实现对实时运动物体的状态预估计.其过程分两步:

1)利用当前状态和误差协方差估计下一时刻状态，得到先验估计;

2)通过反馈将新的实际观测值与先验估计值同时考虑，从而获得后验估计.

在每次完成预测和更新以后，由后验估计值预测下一时刻的先验估计，重复以上步骤，此即卡尔曼滤波器的递归原理，工程上易于实现.

3 无人机飞行控制律设计

UAV自主加油问题本质上为紧密编队问题，即UAV的飞行控制律必须使其能够沿着可行的参考航路飞至期望的固定位置.紧密编队飞行控制系统的输入量为加油机相对于UAV的距离，且在编队飞行过程中保持不变.将加油机的运动作为对系统的干扰量，飞行过程中会引起编队拓扑结构变化，因此在控制器设计中必须充分考虑到加油机影响.该导引控制问题可采用线性二次型调节器(LQR，Linear Quadratic Regulator)进行实现，图2给出了飞行控制系统实现方案.

图2中，“控制器”的目的是使UAV受油管与目标点之间的相对距离rd在规定时间内趋近于0(r=0).“计算机视觉(MV)”模块向UAV提供相对位置和姿态信息.“控制器”模块用来通过LQR产生控制指令使UAV能按给定指令操纵舵面，从而能准确快速到达加油点并完成加油任务.本文微粒群优化(PSO，Particle Swarm Optimization)算法作为一种高效的仿生智能优化算法，在UAV图像匹配[10]、编队协同[11]等各方面均获得了实际应用，将PSO用于对两机之间相对距离的实时优化.

图2 UAV自主加油控制模块

4 无人机视觉加油半实物平台

4.1 机载摄像机内参数标定

求得机载摄像机的内参数(包括图像中心位置、焦距、畸变系数等)在工程实现过程中是必不可少的环节[12].根据机载摄像机内参数，结合相应算法，计算实际加油锥与机载摄像机坐标系之间的位姿信息.每个像素都是通过透射投影得到的，对应于与场景点的一条射线，因此机载摄像机标定问题是确定该射线在场景绝对坐标系中的方程，由此建立图像阵列中的像素位置和场景点位置之间的关系，本文利用张氏标定法来标定机载摄像机的固有内参数.

4.2 机载摄像机/投影仪半实物仿真环境

机载摄像机采用的是德国AVT Manta-G125C彩色CCD摄像机，成像分辨率为1 292×964，拍摄帧率在理想情况下为30帧/s.屏幕分辨率为1 600×1200.实际处理时，需要根据摄像机与投影仪的相对位置，以及投影屏幕之间距离设置成像分辨率，本实验设置成像分辨率700×540，在该配置下，目标跟踪算法的处理速度为6～7帧/s.所用机载摄像机及相应系统如图3所示.

机载摄像机/投影仪半实物仿真步骤如下:

1)投影棋盘标定板，分辨率为1600×1200，格子数为40×30;

2)设置机载摄像机合适的感兴趣区域(ROI，Region of Interest)，保证能采集到整个投影幕上的标定板图像;

3)棋盘格特征点提取和单应性矩阵计算，其中特征点提取采用OpenCV库函数中提供的角点检测算法;

4)加/受油视景投影，LED特征点提取、匹配和位姿估计.所开发的UAV自主空中加油视景部分如图4所示.

图3 基于虚拟视景的UAV空中自主加油半物理仿真系统构成

图4 UAV自主空中加油视景

5 试验分析

5.1 摄像机内参标定结果

半物理仿真试验中，从各个角度拍摄了20张标定板图片，其中一张如图5所示.

图5 用于机载摄像机内参数标定的图像

开启实物加油锥上的LED光源，并确保加油锥在机载摄像头视野范围内，然后运行相应的计算机视觉处理模块进行位置测量.图6为20张标定图片中的一张.

图6 张氏标定角点提取序列图像

所采用的机载相机内参数标定后得到的参数矩阵为

5.2 投影仪摄像头半实物仿真

将投影棋盘标定板图像投影到屏幕上，调整机载摄像头与投影仪之间的几何位置，保证机载摄像头能采集到屏幕上的棋盘标定板，且使标定板恰好能充满整个图像空间.对投影仪/机载摄像机几何关系进行标定，得到单应性矩阵.随后投影仿真视景，输入单应性矩阵，运行并实时采集图像，调节HSV通道阈值，以保证能检测到LED特征点，所得测试结果如图7、图8所示.

图7 机载摄像机采集的棋盘格投影图像

图8 OpenCV角点检测结果

通过计算，所得的单应性矩阵和逆矩阵分别为

在此基础上，对图像特征点进行实时检测.首先提取图像H、S通道信息，如图9所示.

图9 图像通道提取

对HSV通道图像进行二值化阈值分割，H、S、V阈值具体分别为0.03，0.5，0.5.通过腐蚀、膨胀形态学操作，滤除二值图像噪声，结果如图11所示.

图11 加油锥特征点检测过程和结果

当检测到特征点后，计算所得的加油锥距虚拟视点相对位置姿态信息通过千兆网卡实时传给UAV飞行控制系统，然后通过控制指令传给视景计算机，并驱动视景，构成自主空中加油半物理闭环仿真环境.设置视景加油锥的相对距离为:(－1.4，0.5，5.6)，通过计算机视觉信息处理算法计算所得的相对距离为:(－1.412，0.517，5.631).当软管和加油锥处于这个距离并达到相对稳态时，就可进行精确对接.

6 结束语

自主空中加油是解决UAV燃油量少、航程短的有效技术途径.本文对基于计算机视觉的UAV软管式自主加油技术进行了系统研究和实现，利用计算机视觉算法进行特征提取、点匹配和位姿估计.考虑了风、尾涡等复杂干扰因素，设计了基于LQR的UAV自主飞行控制律.在此基础上，利用机载摄像机和投影仪等开发半物理仿真试验环境.

系列半物理仿真试验结果验证了采用计算机视觉进行UAV自主空中加油对接的可行性和有效性.

References)

[1]段海滨，范彦铭，张雷.高空长航时无人机技术发展新思路[J].智能系统学报，2012，7(3):195－199

Duan Haibin，Fan Yanming，Zhang Lei.New thoughts on the development of a HALE UAV[J].CAAI Transactions on Intelligent Systems，2012，7(3):195－199(in Chinese)

[2]Duan H B，Shao S，Su B W，et al.New development thoughts on the bio-inspired intelligence based control for unmanned combat aerial vehicle[J].Science China Technological Sciences，2010，53(8):2025－2031

[3]Nalepka J，Hinchman J.Automated aerial refueling:extending the effectiveness of UAVs[R].AIAA 2005-6005，2005

[4]Lee J H，Hullender D，Dogan A，et al.Estimation of receiver aircraft states and wind vectors in aerial refueling[R].AIAA 2012-4533，2012

[5]董新民，徐跃鉴，陈博.自动空中加油技术研究进展与关键问题[J].空军工程大学学报:自然科学版，2008，9(6):1－5

Dong Xinmin，XuYuejian，Chen Bo.Progress and shallenges in Automatic aerial refueling[J].Journal of Air Force Engineering University:Natural Science Edition，2008，9(6):1－5(in Chinese)

[6]Napolitano M R，Fravolini M L.Simulation environment for machine vision based aerial refueling for UAVs[J].IEEE Transactions on Aerospace and Electronic Systems，2009，45(1):138－151

[7]Duan H B，Deng Y M，Wang X H，et al.Small and dim target detection via lateral inhibition filtering and artificial bee colong based selective visual attention[J].PLoS ONE，2013，8(8):e72035

[8]Campa G，Mammarella M，Napolitano M R，et al.A comparison of pose estimation algorithms for machine vision based aerial refueling for UAVs[C]//Proceedings of the 14th Mediterranean Conference on Control and Automation.Ancona:IEEE，2006:1－4

[9]Lu C P，Hager G D，Mjolsness E.Fast and globally convergent pose estimation from video images[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22(6):610－622

[10]Liu F，Duan H B，Deng Y M.A chaotic quantum-behaved particle swarm optimization based on lateral inhibition for image matching[J].Optik，2012，123(21):1955－1960

[11]Duan H B，Liu S Q.Nonlinear dual-mode receding horizon control for multiple UAVs formation flight based on chaotic particle swarm optimization[J].IET Control Theory＆Applications，2010，4(11):2565－2578

[12]张伟，程鸿，韦穗.摄像机标定系统的设计与实现[J].计算机工程，2007，33(2):255－256

Zhang Wei，Cheng Hong，Wei Sui.Design and implementation of camera calibration system[J].Computer Engineering，2007，33(2):255－256(in Chinese)