一种空中加油锥套自动识别系统
2021-11-06裴闯纪红霞王毅闫文娟
裴闯,纪红霞,王毅,闫文娟
95894部队
空中加油技术可以有效提升无人机的航程和续航时间,充分发挥无人机的优势。本文提出一种空中加油锥套自动识别系统,利用CCD摄像机拍摄加油锥套影像,采用边缘检测、阈值分割、模板匹配等图像处理技术,精确识别锥套图像,通过坐标转换得到锥套的空间位置。测试结果表明,该系统能够满足加油锥套的识别和定位要求,可以用于无人机受油对接系统,实现无人机智能化自主空中受油。
空中加油技术已引起许多国家的高度重视。在飞行中,有人加油机为无人机补充燃油,可显著提高无人机的航程和续航时间,提升无人机的使用效益。虽然无人机续航时间不受飞行员生理因素的限制,但会受制于油量。同时,由于机上无飞行员,无人机必须自主完成整个空中受油过程。
有人机空中加油方式主要分为软管—锥套式和伸缩管式两种。其中,软管—锥套式空中加油技术应用更为广泛,技术更为成熟。无人机实现自主空中受油,需要自动识别和定位有人加油机的锥套,通过坐标转换,转化为无人机与有人机之间的空间位置关系,利用算法控制无人机与有人加油机完成加受油对接任务。本文基于图像识别技术,采用特征提取、图像分割、模板匹配等方法,研究一种有人加油机锥套自动识别系统,用于无人机对有人加油机锥套的识别和定位。
系统组成
加油锥套自动识别系统由图像采集模块和自动识别软件组成。
(1)图像采集模块的组成
图像采集模块由镜头、CCD摄像机、图像信号传输电缆、图像显示软件、近红外光源、近红外标定标志组成,如图2所示。其中,CCD摄像机选用了灰点(PointGrey)公司制造的GS3-U3-28S4M-C黑白摄像机。
在图像采集过程中,锥套反射的光线通过相机的镜头透射到CCD摄像机上,模数转换器芯片将光源转换为数字信号,由相机内部的闪存存储器保存,最后通过信号线传输给计算机。
(2)自动识别软件的处理流程
加油锥套自动识别系统的软件处理流程详见图3。视觉处理软件从图像采集模块中获取一帧图像后,首先进行平滑去噪,去除图像中的散斑等噪声,并在一定程度上消除运动模糊;第二,对去噪后的图像分别进行边缘特征识别和近红外标定标志特征识别。对于边缘特征识别,须拍摄加油锥套在不同距离、不同方位和不同光照条件下的10幅图像,当边缘检测完成后,存储为模板,去噪后的图像须要进行全局边缘检测,并利用每一个存储模板与之进行匹配。通过实验预先测定匹配系数阈值,满足该阈值并且互相关系数最高的,判定该位置存在加油锥套并进行标记。对于近红外标定标志特征识别,对去噪图像进行阈值分割和形态学操作,提取轮廓进行拟合,获得圆形轮廓后测量其直径。设定近红外标志与相机的距离,测量直径理论值。该理论值与实际测量直径进行对比,在误差允许的范围内,判定该轮廓是否为标定标志。综合分析两种特征的判别结果,若同时满足两个特征条件,则加油锥套识别成功,计算其坐标并传输给控制模块。若不能同时满足两个特征条件,则表明特征检测失败,读取下一帧图像并重新检测。
图1 软管式空中加油(左)与加油锥套细节图(右)。
2 图像采集模块组成图。
图3 锥套自动识别和定位软件处理流程图。
边缘检测
加油锥套具有非常丰富的边缘信息,容易与背景区分开,成为一种独立的特征。因此,算法采用边缘提取和模板匹配的方法,将边缘信息寻找作为加油锥套定位的一个判据。在边缘提取过程中,本文采用了索贝尔(Sobel)算子。索贝尔算子是一阶导数的边缘检测算子,在算法实现过程中,通过3×3模板作为核,对图像中的每个像素点做卷积运算,然后选取合适的阈值,以提取边缘。边缘检测结果如图4所示。
图4 锥套原图(上)与索贝尔边缘检测结果图(下)。
模板匹配
在CCD相机采集的图像中寻找加油锥套,本文采用模板匹配的方法。模板匹配是目标检测和跟踪的经典方法,具有简单准确、适用面广、抗噪性好、计算速度快等诸多优点。模板匹配法是指,在采集的一帧图像S内寻找目标模板Tk的位置(k为模板编号),与目标模板最相似的地方定义为目标。定义与模板大小相同的窗口,并在图像S上滑动,将获得的所有子区域图像S(i,l)(其中i、l为子区域图像横纵轴编号)和目标模板Tk进行比较,找到与目标模板最像的子区域,就是目标位置。
其中,采用归一化互相关系数RkNCC作为判断子区域图像S(i,l)和目标模板Tk相似程度的依据,定义为:
算法实现过程如6图所示,实现步骤如下所述。
第一,取加油锥套的10幅图像作为模板匹配图像,10幅图像的拍摄角度均不同。根据无人机与加油锥套的垂直和水平距离,确定水平和垂直的偏转角度。对10幅模板匹配图像进行索贝尔算子边缘检测,得到T0、T1、……T9,这十幅模板匹配图像已预先计算好并存储于计算机内存中,不占用目标搜索时间。
第二,从摄像头获取一帧图像,并进行索贝尔算子边缘检测,得到待匹配图像。按照模板匹配算法,与模板T0、T1、……T9逐个进行匹配,生成十幅互相关系数图像,每个模板匹配的最大互相关系数分别为R0NCC、R1NCC、……R9NCC。
第三,通过实验确定一个阈值,用最大互相关系数与其进行比较。超过这个阈值,确定加油锥套存在。把满足阈值条件且互相关系数最高的那一幅图像作为确定位置的依据。否则,该幅图像模板匹配目标检测失败,采集新的图像进行检测。
图5 美军有人机为X-47B无人机加油。
图6 基于模板匹配的目标搜索流程图。
目标定位
为了提高目标定位的速度和精度,技术人员在加油锥套上添加了近红外标志环。当模板匹配搜索到加油锥套的位置后,采用阈值分割获得标志圆环的图像。基于最大类间的阈值分割是一种最佳阈值分割方法。该方法是在判断分析最小二乘法原理的基础上推导得出。在完成阈值分割后,需要对标志环进行提取和识别。根据目标物的特征,本文选用霍夫变换进行圆检测。
霍夫变换圆检测的基本思想是,先将图像中的边缘像素点映射到参数空间,再把参数空间中的坐标点元素对应的累加值进行累加,然后根据累加值确定圆心和半径。通过模板匹配、阈值分割和圆检测之后,获得加油锥套在图像中的像素位置,最后通过坐标变换,确定加油锥套的空间位置,如图7所示。
图7 加油锥套精确定位结果。
测试结果
采用本文提出的图像采集硬件和识别算法,对加油锥套进行自动识别和定位。测试结果表明,在2 ~8m范围内,该系统能够准确识别出加油锥套并精确地定位出加油锥套中心,利用坐标转换可以得到加油锥套位置。视觉系统能够始终对加油锥套进行跟踪,实时测量与受油管的距离,通过与实际距离进行对比,误差在1%以内,能够满足要求。