基于图像和航迹信息的目标完整性评估方法

谢松云, 刘祥惠, 吴晓亮, 高川林, 沈冬睿

(西北工业大学 电子信息学院, 陕西 西安 710072)

目标的完整性评估指目标发生变化后，获取相关多源信息如图像、视频、轨迹和雷达等数据，根据其结构和特点，通过多种技术方法给出目标当前完整程度的判定。在如自然灾害的检测评估、土地利用以及军事等多个领域具有重要应用[1-2]。尤其在国防领域的应用中，准确及时地对目标进行完整性评估是战场协调控制和正确决策的重要基础和依据，能有效提高战场资源的利用效率。本文即依托空中飞行物这一目标对其进行实时的完整性评估。

自20世纪90年代起，国内外学者对目标完整性判断的方法进行了大量研究，如贝叶斯网络法、模糊综合评估法、深度学习法等[3]。其中，由于图像信息来源较多且相对容易获取，基于图像变化检测来判断目标完整性是较为常用的方法。如Hajeb等[4]基于地震事件前后SAR图像的纹理特征对震后城市损害进行了评估。Zhai等[5]基于卷积神经网络，选取谷歌街景图像，对飓风灾后建筑物的损坏程度进行了检测。然而对于现实环境下的空中飞行目标，即使完整性未发生变化，其周围可能也会存在干扰评估的火焰或者烟雾，产生的原因一般是并未接触目标，或者是被目标释放的诱饵提前引燃。这些干扰信息也会呈现在采集到的图像数据中，从而影响目标完整性评估的准确率。

近些年，基于非图像信息源的目标完整性评估研究也取得了较多进展。Gu等[6]分析了战术弹道导弹的系统特性和功能特性，构建了导弹的易损性模型进行完整性评估。Zhai等[7]对导弹打击下岛礁目标区域的完整性建立了评估模型，结合灰色关联度法和层次分析法解决了不同岛礁设施重要性的量化。但该类方法建立评估模型时要考虑的因素众多，过程十分复杂。

针对上述基于单一数据源对目标进行完整性评估不够准确、实现过程复杂等问题，提出了一种结合图像和航迹信息的目标完整性综合评估方法：首先利用目标变化前后的图像纹理、角点、方向梯度直方图(histogram of oriented gradient,HOG)等特征，通过K-近邻(K-nearest neighbors,KNN)、支持向量机(support vector machine,SVM)分类器转化为图像分类问题，之后结合航迹信息的分类结果综合判断，得出最终的完整性评估结果。该方法易于实现，且能够满足准确率和实时性的双重要求。

1 完整性评估方法概述

随着获取信息能力越来越强，可获得数据种类的增多，基于单一数据源的目标完整性评估方法已经不能满足人们的需求。利用不同信息源传递的数据，按照一定的规则进行融合，能做出更完备、更高效、更准确合理的判断。本研究即采用可见光图像和航迹信息2种不同源的数据进行融合评估，可避免单一数据源的某种限制造成评估结果的偏差。方法的整体框图如图1所示，基于可见光图像和航迹信息分别给出评估结果，在决策层根据各自的评估性能确定权重进行加权融合，得出最终的融合评估结果。

在分别基于可见光图像和航迹信息进行评估时，提出了一种新的基于分类的评估方法。经典的评估方法多为提取目标变化前后特定信息的变化率，由评估模型得到目标的完整性系数，根据不同的评估标准将系数对应到不同的完整性等级，该类方法的难点在于完整性系数与评估标准的对应往往需要一定的专家经验，而利用目标变化前后的评估特征，通过分类器转化为目标数据分类问题则可以避免这一困难。该方法首先将目标的完整性分为3个类别，分别为完整目标(类别0)、部分完整目标(类别1)、不完整目标(类别2)，记变化前目标的完整性均为类别0，则当前目标的分类类别等同于任务前后类别的变化量，也即任务后目标的完整性等级。

当空中目标受到打击发生变化时，在可见光图像上一般会表现为燃烧或者爆炸的现象，且飞行目标往往有着比较规则的边缘，目标一旦命中，规则的边缘就会受到大幅度破坏。图像的纹理特征、角点个数和HOG特征都会随着目标状态的不同发生较明显变化，可将其作为图像分类的特征。

正常情况下空中目标在三维空间中的飞行轨迹是一条平滑且连续的曲线，一旦目标变化，飞行轨迹会发生突变甚至消失。因此目标在三维空间内飞行轨迹的参数变化也可作为航迹分类的特征。

在分类器的选择上，K近邻方法易于实现，对异常值和噪声有较高的容忍度，支持向量机是一种学习及泛化能力很强的分类器，在非线性和高维识别问题以及小样本问题中展现了其独特的优势，正符合本文样本量较少的需求。

2 基于图像和航迹信息的完整性评估

2.1 基于图像分类的目标完整性评估方法

基于图像分类的目标完整性评估如图1所示，由图像预处理、纹理角点特征与KNN分类器、HOG特征与SVM分类器3个部分组成。

2.1.1 图像预处理

为了提高图像质量，减少图像背景对评估结果的影响，缩短后续特征信息提取时间，首先需对目标图像进行预处理。

由于待评估对象为海空背景下的空中飞行目标，减少天空背景中的烟雾可有效增强图像质量。本文采用的暗通道去雾方法[8]处理速度快且效果好，是目前诸多去雾算法中比较出色的算法之一。

得到更为清晰的去雾图像后，为防止非目标的图像背景变化会对后续评估产生干扰，在评估特征提取之前对去雾后的可见光图像进行待评估目标的检测与裁剪，把后续特征提取的区域缩小至空中目标本身，此步骤同时可缩短后续特征提取所需时间。具体操作分别为高斯去噪、sobel算子计算图像梯度、二值化确定目标的4个边界完成对图像的裁剪,结果如图2所示。

图2 图像预处理效果图

2.1.2 基于纹理角点特征和KNN的完整性评估

考虑到目标完整性评估稳定和快速的需求，研究选取的纹理特征为图像均值、标准差、平均梯度、信息熵，计算方式如下，其中,w为图像的宽，h为图像的高，Pxy为像素点(x,y)的像素灰度值，pn为灰度值为n的像素点在所有像素中所占比例。

图像均值：图像里全部像素的灰度平均值

(1)

图像标准差：像素灰度值和均值之间的离散程度

(2)

图像平均梯度：反映了图像的纹理变化及图像的清晰度

(3)

图像信息熵：代表了图像数据的信息丰富度

(4)

在纹理特征发生变化的同时，目标图像中的角点数目也存在较大变化。研究采用的角点检测方法为 Shi-Tomasi 角点检测算法，如图2g)所示：完整目标的角点个数为6，部分完整目标角点个数为10，不完整目标的角点个数为15。通过变化前后目标图像的角点个数统计发现目标的完整性和目标图像角点个数变化具有一定的相关性，不完整程度越大，角点个数变化越大，记变化量为ΔD。

KNN算法是一种基于回归和分类问题的算法，有实现简单、训练速度快等优点。其分类过程如下：选取一个待测样本，在全部的训练样本集中搜索k个待测样本的最近邻，然后通过多数投票的方式在k个最近邻中确定待测样本的所属类别,以此实现待测样本的分类识别。文中k值取3，距离采用欧氏距离。每个图像的特征向量即为

Y=(μ,σ,G,H,ΔD)T

(5)

则2个图像所对应的纹理角点特征向量之间的欧氏距离为：

(6)

为了提高准确率，对纹理角点特征进行归一化：

(7)

对于某个未知类别的特征实例来说，计算其与训练集中所有特征实例的欧氏距离，然后取 3 个与其相距最近的特征实例，通过判断这3个特征实例中的大多数类别，即可决定该未知实例的类别，也即完整性评估结果，该部分流程图如图3所示。

图3 基于纹理角点特征和KNN的完整性评估方法流程图

2.1.3 基于HOG特征和SVM的完整性评估

HOG特征本质也是图像梯度的统计信息，将图像分解成若干个小的单元，采集单元中各像素点的梯度直方图，构建表征梯度的统计特征向量。图4为3种情况下目标图像的HOG特征可视化图，可以看出也存在较明显区别。

图4 不同情况下的图像HOG特征可视化图

SVM是一种基于统计学习理论的学习机，其主要原理为通过使用非线性映射算法将输入的特征向量从低维空间映射至另一个高维的空间内使其线性可分，并且在该高维空间内构建最优的线性分类面。同时，把特征向量映射至高维空间里仅仅是改变了内积运算，算法的复杂度并没有随着维数的提高而提高，在图像识别和分类领域得到了广泛应用。与HOG特征组合得到的分类结果同样可作为当前目标的完整性评估结果，流程图如图5所示。

图5 基于HOG和SVM的完整性评估方法流程图

2.2 基于航迹信息的完整性评估方法

本研究通过飞行模拟软件FlightGear控制飞行器在三维空间内飞行的方式来进行目标的航迹模拟仿真。通过模拟进行正常飞行、某一时刻突然坠落、某一时刻突然停止飞行，分别对完全完整(未受到命中)、部分不完整(部分受到命中)、不完整(完全受到命中)等3种情况进行仿真，得出对应的3种空中目标的航迹数据。其中包括7个参数：经度、纬度、高度、速度、倾角、俯仰角、航向角，区别较明显的参数为高度、速度、俯仰角。

通过对比目标在变化前后的参数大小，可以得出目标在变化前后的高度、速度和俯仰角的变化；将变化值作为特征，同样采用KNN分类器进行三分类。分别记高度、速度、俯仰角为G,S,F，同时下标q,h分别代表变化前(即目标变化点之前的那一点)和变化后(即目标变化点之后的那一点；如果目标完全变化，则为目标变化点本身)。

则目标在变化后的轨迹特征向量V为

V=(|Gh-Gq|,|Sh-Sq|,|Fh-Fq|)T

(8)

把V输入KNN进行分类，得到目标轨迹测试数据在变化后的类别，即当前目标的完整性结果, 流程图如图6所示。

图6 基于航迹信息和KNN的完整性评估方法流程图

2.3 融合方法

通过上述方法分别得到图像类别变化(记为ΔCI(image category))和航迹类别变化(记为ΔCT(track category))的结果后，对2个类别变化进行加权平均，得到综合类别变化 。

ΔC=aΔCI+bΔCT

(9)

在基于图像数据源分类方面，为了对目标的完整性进行更全面评估，记ΔCIK为KNN和纹理角点分类所得到的类别变化，ΔCIS为SVM和HOG分类所得到的类别变化，则有下式：

ΔCI=c1ΔCIK+c2ΔCIS

(10)

将(10)式带入(9)式可得

ΔC=ac1ΔCIK+ac2ΔCIS+bΔCT

(11)

其中，a,b,c1,c2分别为各分类结果所占权重。由于最后的类别变化应该为整数(0或1或2)，对ΔC进行四舍五入取整，得到最终的综合类别变化，也即目标完整性评估的最终结果。

3 方法验证和结果分析

首先基于纹理角点特征与KNN图像分类方法对目标完整性进行评估，数据集共选取360张图像，其中包括完整图像120张(类别标签为0)，部分完整图像120张(类别标签为1)，不完整图像120张(类别标签为2)，训练集与测试集的比例为2∶1。图7中蓝色代表4维纹理特征向量，橙色为加入角点变化量的5维特征向量。结果表明选择纹理角点5维特征的准确率达到了93.33%，高于无角点变化量特征的90.83%, 且无论是否加入角点变化量，归一化操作都提高了图像的分类准确率，验证了归一化操作的有效性。

图7 纹理角点+KNN完整性评估准确率对比(是否归一化)

图8为将纹理角点、HOG、2种特征拼接分别和KNN、SVM分类器进行组合后的6种分类准确率结果，从图中可以看出，纹理角点+KNN组合的准确率93.33%高于纹理角点+SVM组合的91.67%，HOG+SVM组合的准确率90.83%高于HOG+KNN组合的89.16%，但拼接特征与任意分类器组合的准确率都没有超过纹理角点与KNN的组合,因此基于图像源的评估方法本文采用的组合即为2.1.2和2.1.3节所述的方法。

图8 基于图像的完整性评估正确率对比

虽然从图8中可以看出，纹理角点特征相比HOG特征拥有更高的准确率，但2种特征从不同角度反映了图像的特点，为了对目标的完整性进行更全面的判断，2种方法均作为基于图像分类的一部分加入综合评估。在结合航迹分类结果进行综合评估的过程中，权重的选择是一个重要的因素。由于前2种方法的数据源均为图像，只有第3种方法基于航迹信息且准确率并不低于2种图像源的方法，为了充分发挥航迹信息的作用故将第3种方法的权重定为略高于1/3的0.4，前2种图像源的方法权重均分为0.3和0.3。由图9不同权重下的完整性综合评估准确率柱状图中可以看出，当图像分类权重为0.6，且其中纹理角点特征和HOG特征各占比0.5(即纹理角点特征、HOG特征和航迹特征分类结果的权重分别为0.3，0.3，0.4)时，处于高准确率区域的中心位置，相对较稳定。

图9 不同权重下的完整性综合评估准确率

基于以上权重，图10给出了单数据源和综合评估的准确率对比结果，实验证明基于图像和航迹信息的综合评估方法准确率高达97.5%,相比仅依赖图像(无论是纹理角点还是HOG特征)或者航迹信息进行判断分别高出了4.17%，6.67%，4.17%，证实了结合图像和航迹信息综合评估方法的有效性。

图10 单数据源和综合完整性评准确率对比

由于目标的完整性评估需要极高的实时性，基于Intel(R) Core(TM) i7-9700F CPU @ 3.00GHz，GTX1660Ti显卡，16G内存的工作环境，进行了评估方法各环节速度的测试，如表1所示。整个完整性评估的用时可保持在毫秒级别，完全满足实时性的要求。

表1各环节单张图片平均用时

4 结 论

论文通过对目标可见光图像和航迹信息仿真及预处理得到可用于分类的数据，并对数据分别进行评估特征提取及分类，将分类情况对应为目标发生变化后的完整性结果，最终通过加权平均得到基于图像数据和航迹信息的综合评估结果。该方法将目标的完整性评估转换为分类问题，采用2种数据源成功提高了评估的准确率及速度，最终评估准确率高达97.5%，单张图片的用时为100 ms左右。在后续的研究中可继续引入更多的数据源进行综合评估，如雷达回波和红外图像等，进一步验证基于多数据源进行目标完整性评估的优势。

致谢感谢陕西省脑机一体化及其无人系统应用国际联合研究中心提供数据和设备支持。