基于电视末制导技术的舰船目标分割与匹配方法在复杂背景下的应用

张嘉文,史金光,徐东辉,刘佳佳

(1.南京理工大学 能源与动力工程学院,江苏 南京 210094;2.辽沈工业集团有限公司 研发中心设计二所,辽宁 沈阳 110045)

电视末制导炮弹利用物体所反射的光,在导引头内部的电视摄像机中成像。其对目标的寻找方式主要分为两种:遥控式和自寻的式。遥控式需要炮弹将摄取的图像通过无线电传回地面控制站,由控制人员选择目标物体后再传回弹上完成目标的识别。这种方式简化了弹上设备,降低了目标识别的技术难度且能够保持较高的命中精度。但遥控式在图像信号传输的整个过程中由于无线电信号易受干扰,极易暴露地面人员位置,给地面控制站带来极大威胁。自寻的式具有完全的自主性,在发射前由地面人员将目标图像装载入导引头内的图像处理器中,当炮弹进入末制导阶段,图像处理器对搜索到的每一帧图像进行处理后,与存储的目标图像模板进行匹配完成目标识别。本文以自寻的式电视末制导炮弹为研究对象,对其目标识别问题进行研究。自寻的式末制导炮弹对于图像处理过程中的清晰度和准确度有着较高的要求,具有抗电磁干扰、跟踪精度高等优点,已成为国内外研究的热点。

目标识别首先要进行的是图像分割,即将物体从背景中分离出来。经典的分割方法是利用阈值分割,它对于有显著波谷和波峰的直方图图像效果明显。对于复杂背景下的舰船,海面和舰船往往有难以区分的前景和背景,这使得图像的直方图不具备良好的波峰波谷特点,因此文献[1]提出了基于图像复杂度的图像分割方法,具有对图像进行降噪滤波的作用,保证了以图像复杂度为依据进行阈值选取的准确性和有效性。文献[2]针对光学遥感图像舰船目标类间差异小的问题,提出了一种基于全局-局部特征联合的舰船目标细粒度识别方法,设计了双分支特征提取与融合模型。文献[3]研究了基于深度学习方法的可见光图像舰船目标检测与识别,总结了适用的可见光图像舰船数据集与针对舰船目标的网络优化方法。文献[4]针对可见光图像中的舰船目标检测与识别问题,提出了一种通过计算图像各通道全局对比度特征值,融合并进行分块压缩后得到显著图以实现对舰船图像显著特征的检测识别。文献[5]针对传统不变矩高阶矩易受噪声干扰的问题,提出一种采用无冗余复数不变矩和多项式曲线拟合的舰船目标图像识别算法。文献[6]针对低分辨率舰船遥感图像目标识别过程易受气象因素影响的问题,提出将待识别图像划分为等大小的单元块进行识别的方法。文献[7]通过建立影响硬件处理平台,提出雾天多舰船模糊图像关联模式识别系统设计,实现对舰船模糊图像的高精度关联模式识别输出。文献[8]针对港口云雾和海浪天气对舰船图像识别的影响,设计了一个基于卷积神经网络的舰船识别统计系统。文献[9]首先对图像进行形态学分水岭分割,再经过去噪等操作提取舰船所在区域,采用卷积神经网络进行深度学习,实现对舰船的自动识别。文献[10]根据海上纹理特征的可变性,提出分层算法,对感兴趣区域的目标舰船进行检测。文献[11]采用自适应遗传算法搜索最优阈值结合脉冲耦合神经网络(Pulse coupled neural network,PCNN)模型来完成图像分割。文献[12]建立了一个用伪导数反向传播学习算法训练的前馈型卷积脉冲神经网络模型,将卷积神经网络和脉冲神经元相结合实现图像识别系统的设计。

通过对图像分割和识别算法的研究发现:阈值分割的诸多改进方法对于前景包含单个目标舰船的情况有较好的效果,而对于前景包含多只舰船的复杂背景情况往往无法得到清晰的分割结果。原因在于当视场中出现n个需要分割的物体时,需要n-1个阈值,对于海上舰船,由于其前景与背景相似度较高,直方图不能很清晰地体现n-1个波谷。研究还发现,边缘梯度算子在提取视场中单个或多个物体边缘时具有良好的效果。因此,针对包含多只舰船的复杂海上背景,本文提出一种结合阈值和边缘梯度算子的分割方法。随着神经网络算法、遗传算法等新型算法的发展,更多的研究人员将其应用到模板匹配领域,取得了一定的成果。对于电视末制导炮弹,考虑到实时性和算法复杂度等问题,新型算法与传统算法相比往往耗时较长。因此,本文选用传统算法中快速的加速稳健特征(Speed-up robust features,SURF)算法寻找特征点实现目标匹配,同时对于匹配过程发生的误匹配问题,采用M估计采样一致性算法提高匹配准确度。

1 图像分割

电视导引头对单帧图像进行处理,当视场内出现多只舰船时需要多个不同的阈值来进行分割。如果把图像作为整体来寻找合适的分割阈值,由于其灰度直方图通常只会出现一个有效的波谷,使得分割变得困难。因此首先对图像进行预处理,将整幅图像分割为3×3幅子图像,然后以每幅子图像为对象,利用合适的边缘梯度算子寻找阈值进行图像分割。

1.1 边缘梯度算子

边缘检测的目的是检测图像中边缘特性发生变化的位置。对于本文研究对象来说,图像中不同的舰船灰度不同,边界处会有较为明显的灰度变化。为了达到寻找边缘的目的,可以运用数学中一阶导数的概念。对函数f(x)在点x处导数的近似值有以下定义:把f(x+∂x)展开为x的泰勒级数,令∂x=1,且只保留此级数的线性项,则依据式(1),函数f(x)的梯度▽f为

(1)

若为一幅数字量图像在(x,y)位置处寻找边缘,同理可用梯度▽f来表示,如式(2)所示。不同的是,这个梯度包含两个变量,如式(3)和式(4)所示

(2)

(3)

(4)

gx和gy是边缘梯度算子,考虑到中心点对两端数据的影响,以及携带有关边缘方向信息的多少,通常选用大小为3×3的模板来近似偏导数,如图1所示。对于像素点z5处x和y方向的梯度大小gx和gy的近似公式如下

图1 3×3模板图

(5)

(6)

由式(5)和式(6)可知,3×3模板区域中的第三行和第一行之差近似为x方向的导数,第三列和第一列之差近似为y方向的导数。用图2的两个模板对原图进行卷积操作实现边缘检测,这两个模板称为Prewitt梯度算子。对式(5)和式(6)的中心系数乘以一个权值2,则变为Sobel梯度算子,如图3所示,变换公式如式(7)和式(8)所示

图2 Prewitt边缘梯度算子

图3 Sobel边缘梯度算子

(7)

(8)

除此之外,还有Roberts梯度算子、坎尼算子、高斯拉普拉斯(Laplacian-of-Gaussian,LoG)梯度算子等。如果想要借助舰船边缘信息来进行图像分割,首先应选择合适的边缘梯度算子,将图像中多只舰船的边缘清晰地勾勒出来。然而在这个过程中,会把海波的边缘也检测出来,对舰船的边缘形成干扰。为此,需要对图像进行滤波以达到降噪平滑,减少海波的影响。采用以上提到的边缘梯度算子依次对处理后的图像进行边缘检测,结果如图4(a)—(e)所示。

图4 几种边缘检测算子的舰船边缘提取效果对比

通过图4几种边缘检测结果的比较可以看出:坎尼和LoG梯度算子对海波非常敏感,Roberts和Sobel梯度算子也有许多海波点的噪声,Prewitt算子虽然边缘不连续但较好地摆脱了海波的影响,比较完整地呈现了舰船的边缘,因此本文选用Prewitt模板作为阈值寻找的基础。

1.2 阈值确定

首先利用Prewitt算子求出子图像的边缘梯度算子σxy,公式如下

σxy=|f(x+1,y-1)+f(x+1,y)+f(x+1,y+1)-

f(x-1,y-1)-f(x-1,y)-f(x-1,y+1)|+

|f(x-1,y+1)+f(x,y+1)+f(x+1,y+1)-

f(x-1,y-1)-f(x,y-1)-f(x+1,y-1)|

(9)

边缘梯度算子对子图像做卷积之后,前景和背景灰度值变化大的点得到较大的σxy值,反之则得到较小的σxy值。如果将所有点的σxy值相加求均值,作为图像的分割阈值,对图像边缘的刻画是模糊的。为了更加准确地刻画图像中舰船边缘的情况,引入权值概念,将σxy作为权值,与点f(x,y)相乘以保留边缘的强弱特征,再将每个点的乘积相加,求得的加权平均值作为子图的阈值,公式如下

(10)

依据式(11)将子图中每一点的像素值与阈值T比较,将灰度图像转换为二值图像,如图5所示。

图5 采用本文方法得到的舰船二值图像

(11)

为更好地说明本文所提图像分割方法的有效性,将其与最大类间方差法进行对比。图6是用经典最大类间方差法进行图像分割后的结果。通过对比可看到,运用本文所提图像分割算法可以将3只舰船清楚地从背景中分割出来,并很好地保留了舰船细节,较好地消除了海波对寻找目标特征点的干扰,为之后的目标识别奠定了一个良好的基础。

图6 最大类间方差法得到的舰船二值图像

2 目标匹配

2.1 特征点算法选择

自寻的电视末制导炮弹在发射前,地面人员将目标舰船图像装入电视导引头的图像处理器中,当导引头启动工作后,就进入了图像匹配识别阶段[13]。图像匹配的目的是为两幅不同图像中的相同目标物体建立对应关系。考虑到炮弹导引头的滚转、偏航和俯仰性质,需要寻找一种对于炮弹旋转平移以及图像中光线变化、场景缩放和噪声不敏感的特征来描述舰船。基于特征点的图像匹配算法主要由特征点和描述子组成,主要有高斯差分(Different-of-Gaussian,DoG)算子、最大稳定极值区域(Maximally stable extremely region,MSER)、Harris角点检测等[14,15],而由David Lowe教授提出的尺度不变特征变换(Scale invariant feature transform,SIFT)算法以及改进的SURF算法均可对场景中涉及的视角缩放、旋转等问题保持良好的稳定性。对于特征点检测:SIFT选择一个变化尺度为σ的二维高斯函数G(x,y,σ)与原图像f(x,y)卷积后形成多层空间,根据不同尺度下的高斯模糊图像的差异寻找局部极值点,即特征点;SURF的优势在于将SIFT中的高斯滤波器替代为Hessian矩阵来检测特征点,利用积分图大幅提高了运算速度,这点与炮弹要求的快速性契合。因此,本文选用SURF来检测舰船的特征点。图像匹配的本质是对来自相同场景但不同视点获得的的两幅图像中的同一物体建立对应的几何关系,这种对应的几何关系是一个秩为2的3×3矩阵,也叫基本矩阵,因此求解对应几何关系问题就转化为求解基本矩阵问题[16]。

求解基本矩阵首先通过SURF算法建立弹载图像和电视导引头摄取图像特征点之间的匹配集合。SURF算法在提取特征点位置时易受到图像噪声干扰,造成错误匹配现象。为此,本文采用M估计采样一致性算法来剔除误匹配。

2.2 M估计采样一致性算法

算法的核心思想是通过抽样检验的方法将匹配集合中误差较大的匹配点删除,生成一个符合误差标准的内点集,然后对内点集中的所有匹配点通过线性方法获得最小二乘解。M估计利用加权最小二乘法的思想,将与所估计模型偏差大的点视为外点,降低与模型偏差大的点的权重,抑制异常点对结果的影响,获得较为稳定的估计值,不易受强影响点的影响。具体步骤如下:

(1)分别对弹载目标图像和电视导引头实时处理的单帧图像采用SURF算法提取特征点,建立匹配集合;

(2)随机地在匹配集合中选取8对匹配点,并计算基本矩阵F;

(4)统计这8对匹配点在当前基本矩阵F下的匹配程度;

(5)重复步骤(2)至(4)m次;

(6)选择匹配程度最高的基本矩阵F来删除误匹配点,得到内点集,即最终匹配结果。

由以上步骤可见,首先需要找到一个标准去判断步骤(3)所述的正常点,消除异常匹配点;其次针对每组匹配点的距离平方找到一个合适的阈值去判断基本矩阵F的匹配程度。

所谓匹配异常点即为Sampson距离超过规定误差标准的点,常用式(12)的方法来判断异常匹配点

(12)

Sampson距离误差的标准差σ与图像信息、特征点检测算法和匹配算法的特征有关,在一般情况下σ的值是未知的,需要根据匹配点的情况进行估计。如果匹配点中没有异常匹配,则误差标准差为非线性最小二乘法最小化残差的标准偏差;如果存在异常匹配,则可以通过在所有匹配点中寻找Sampson距离平方的中位数确定误差标准差,如式(14)所示。

确定了正常匹配点之后,M估计器的目标就是将误差di的对称正定函数p(di)的总和最小化,并满足在di=0处有唯一最小值,即寻求关于误差函数的最小化。γi是满足式p(di)=(γidi)2的匹配点误差距离平方的权重,引入权重这个概念是为了降低不在内点集中的特征点对基本矩阵F的影响。依据经典的加权方案,γi满足以下关系

(13)

式中:σ可以根据di中值找到的最大似然估计来确定,公式如下

(14)

综上所述,可以获得判断匹配程度的基本矩阵F,将此过程重复多次,寻找匹配程度最高的基本矩阵F,得到其内点集并确定特征点之间的最终匹配关系。

本文针对海上目标舰船的识别问题,在MATLAB仿真平台上对分割得到的实时海上舰船分布情况与弹载图像处理器中的目标舰船进行匹配,并对比不同旋转角度下加入消除误匹配算法前后的匹配情况,直观展示其对特征点误匹配的改善,如图7和图8所示。

图7 无旋转时,加入消除误匹配算法前后SURF匹配结果对比图

图8 左侧弹载目标图像旋转20°时SURF匹配结果对比图

通过两组不同条件下的仿真对比可知,在目标舰船匹配过程中,M估计采样一致性算法有效改善了误匹配现象,证明了此算法无论在图像正常匹配还是有旋转条件下的匹配中,均可达到减少错误匹配的目的,在SURF的基础上大大提升了目标舰船匹配的准确性。

3 结束语

本文针对电视末制导炮弹在导引头视场内出现多只舰船的复杂海上背景时,图像分割和匹配存在的问题,提出一种将经典阈值分割和Prewitt边缘梯度算子结合的方法进行目标舰船的匹配。此方法可以较为完整地将多只舰船分割,同时较好地保留船只细节,为提取特征点打下一个良好的基础。由于特征点选取方法多样,考虑到炮弹自身的旋转和在接近目标过程中,导引头视场带来的尺度缩放变化等问题,选用稳定而快速、具有尺度不变特性的SURF算法提取特征点。在弹载图像和导引头处理的单帧图像之间的特征点匹配过程中,因为噪声等影响会产生误匹配,采用M估计采样一致性算法得到基本矩阵F来剔除错误匹配。数值仿真表明,本文提出的识别算法可有效实现多个舰船轮廓的清晰分割,且在匹配过程中,M估计采样一致性算法可较好地剔除误匹配,提高了特征点匹配的准确度。