基于背景还原的红外伪装效果评价方法

赵晓枫, 吴 飞,*, 徐叶斌, 牛家辉, 蔡 伟, 张志利

(1. 火箭军工程大学导弹工程学院, 陕西 西安 710025;2. 兵器发射理论与技术国家重点学科实验室, 陕西 西安 710025)

0 引 言

对目标红外伪装效果进行定量评价,不仅可以用于检验特定环境下目标的隐蔽效果,还可以为伪装设计、改进提供现实依据,而且对红外侦测系统的探测性能检验也具有重要意义。

当前,红外伪装效果的定量评价主要分为两大类:基于Johnson准则的探测概率法和基于图像特征分析的相似性度量法。前者需要推导出红外探测器的最小可分辨温差(minimum resolveable temperature difference, MRTD)与空间频率的曲线方程,然后结合目标尺寸与温度求出目标等效条带数,最后利用Johnson准则得出某一距离下红外探测器对该目标的探测概率。这类方法存在着两个明显的局限性:一是需要获取完备的探测器性能参数以及被测目标尺寸大小;二是推导建立的MRTD模型会与实际红外探测器的最小可分辨温差存在偏差,影响探测概率的计算精度。基于图像特征分析的相似性度量法实质上是对红外侦测设备从真实环境中采集的红外图像进行特征分析,分别提取图像中目标与背景的特征参量,计算两者之间的相似程度或者距离差异,目标与背景的红外特征越相似,伪装效果就越好,而这其中的关键环节就是对背景区域的选择。王霞等针对舰船红外图像的特征,设计了以探测概率和特征相似度为指标的红外伪装评价方法。陆文骏等构建了基于混合特征和显著性检测的红外图像质量评价模型,以主观评测为基准,实现了对红外侦察图像的评价。应家驹等通过采集红外动态伪装系统中背景与目标之间的4种特征值,依据信息熵分配特征值权重,乘积作为目标的红外伪装评价结果。Xue等提出了一种利用图像显著性评价红外伪装效果的替代方法,通过计算并融合伪装目标的主、副显著性得到伪装效能值。然而,运用上述方法对背景相对简单的目标进行红外伪装效果评价时,能够得到较为准确的评价值,但是当目标所在背景环境复杂,得到的评价值往往并不理想。主要原因在于:一是上述方法在评价目标伪装效果时选取的参照物都是邻域背景,若背景纹理特征较为复杂或者目标邻域背景区域不连续、存在灰度阶跃时,此时与不同邻域背景区域的相似性度量结果往往相差较大,不能反应目标真实的红外伪装效果。理想的红外伪装不是要求目标与邻域背景区域特征完全一致,而是要求目标与邻域背景区域高度融合,两者的结构、纹理、对比度等特征实现平滑过度;二是如果将邻域背景作为参照物,需要选取以目标为中心的多块同等大小邻域背景区域与目标区域进行相似性度量,当待评价目标在红外图像中像素占比较大时,很难选取出符合条件的多块邻域背景区域与其进行相似性度量。

针对以上存在的问题,本文提出了一种基于背景还原的红外伪装效果评价方法。首先利用改进后的Criminisi模型构建背景还原图像,并对修复质量和还原效果进行评价,然后与原始目标图像进行相似性度量,最后通过两个评价指标的非线性融合,实现复杂环境背景下目标红外伪装效果的综合评价。

1 背景还原图像的构建与评价

1.1 背景还原图像的构建

《GJB434-88伪装术语》对红外伪装进行了明确的规定:使工作在红外波段的探测设备难以探测或造成错觉的伪装。其主要就是减小目标与背景的散射或热辐射差异,理想状态下的红外伪装这种差异近乎为0,即目标“消失”在背景之中。基于图像修复算法的背景还原图像构建如图1(a)所示,其中,为目标区域;为目标的轮廓,随着算法的进展,向内演化直至消失;为目标以外的背景区域,该区域提供了还原目标遮蔽区域所需的样本信息;为上的任意一点,为以为中心的待还原块。将原始红外伪装目标从图像中分割,对逐个修复,还原出该区域的背景信息,使得与两个区域高度融合,如图1(b)所示,视为目标在该背景下的理想红外伪装。

图1 背景还原图像Fig.1 Background restoration image

传统的图像修复算法大多从纹理合成的角度出发,试图用重复的二维纹理模式去修复图像残缺区域。尽管这些算法在修复一些斑点和线条方面很有效,却很难在红外伪装图像中修复大面积目标区域。主要问题是目标与背景之间的边界是多个纹理在空间上相互影响的复杂产物,与纯纹理的二维性质相比,这些区域的边界形成了更接近一维的线性图像结构。针对以上问题,Criminisi等提出了一种基于样本的纹理合成算法,能够将线性结构和二维纹理传播到目标区域,修复大面积孔洞时,感知质量和计算效率都明显优于以前的工作。因此,本文在Criminisi算法的基础上进行了针对性的改进,使其更加适用于背景还原图像的构建。

输入原始的红外伪装图像,利用imfreehand函数标记并分割出目标区域,其边界作为待修复区域的初始边界。

确定目标边界上点的临时优先级(),该值决定了以为中心的边界块的填充顺序,在Criminisi算法中,()定义如下:

()=()·()

(1)

式中:()为置信项,用来度量点周围的可靠信息量,其目的是优先修复那些拥有更多已知像素点的边界块;()为数据项,表示点的等照度线强度,其值越大,越先被修复,具体为

(2)

(3)

(4)

式中:和分别为权重系数,具体值由试验确定。由式(4)可知,即使置信项或数据项有一项等于0,只要另一项足够大,那么该区域也能得到优先修复。

(5)

(6)

(7)

重复步骤2～步骤4,直至待修复的目标区域修复完毕,得到背景还原图像。

改进后的Criminisi算法有效解决了优先权计算紊乱而导致填充中断的问题,通过对目标轮廓到中心的逐像素遍历进行修复工作,充分考虑了目标与周围背景融合的问题,并将轮廓信息作为红外伪装效果评价的一部分。

1.2 背景还原图像的评价

利用图像修复算法构建的背景还原图像与目标遮蔽下的真实背景图像必然会存在因算法局限性而造成的偏差,因此,有必要先对背景还原图像的修复质量和还原效果进行客观评价,作为红外伪装效果综合评价的指标之一。

在对还原背景评价的过程中,很多情况下目标不可轻易移动,难以获得被测目标所遮蔽的背景区域信息,通过直接利用真实背景图像与背景还原图像进行比对的方法将失效。本文选用一种“全盲”的图像质量评价模型——IL-NIQE来评价背景还原图像的修复质量和还原效果,该模型不需要大量的训练样本和平均意见得分(mean opinion score, MOS),且能够在无先验知识的情况下对修复图像质量作出准确评价。其基本思想如下:构建一组“质量感知”特征,并将其拟合到一个多元高斯(multivariate Gaussian, MVG)模型,质量感知特征源自简单且高度规则的空间域自然场景统计(natural scene statistics, NSS),MVG模型具体如下:

(8)

式中:(,,…,)为个NSS特征;和分别为MVG的均值和协方差矩阵,使用文献[22]中的最大似然程序来估计。

给定测试图像的质量被表示为基于自然图像语料库(natural image corpus, NIC)的NSS特征模型与从测试图像提取的特征MVG之间的距离:

(9)

式中:,,,分别为自然图像MVG模型和测试图像MVG模型的均值和协方差矩阵;距离分布在[0,100]之间,值越大代表图像的修复质量越差。

使用IL-NIQE模型对背景还原图像进行定量计算,对得到的值进行归一化处理:

(10)

记为还原效果度量值,衡量还原背景与真实背景之间的接近程度,越接近1,表明构建的背景还原图像的修复质量和还原效果越好。

2 红外伪装效果评价方法的建立

在红外伪装效果评价中,一种常见的思路是对目标与背景之间的红外辐射特性进行相似性度量分析。本文首先对目标遮蔽的背景区域进行修复还原,并计算出还原效果度量值,再将背景还原图像与原始红外伪装图像进行相似性度量,最后融合两个评价指标得到红外伪装效果的综合评价值,方法流程如图2所示。

图2 红外伪装效果评价流程图Fig.2 Infrared camouflage effect evaluation flow chart

2.1 相似性度量分析

人类视觉系统(human visual system,HVS)主要根据图像的低层特征来理解图像,显著的低层特征传达了HVS的关键信息。相似性的图像质量评价(feature similarity index measure, FSIM)算法可以很好地利用低层特征计算原始红外伪装图像和构建的背景还原图像之间的相似程度。在该算法中,相位一致性(phase consistency, PC)被用作主要特征,梯度幅值(gradient amplitude, GM)作为次要特征,PC和GM在表征图像局部相似性方面发挥互补作用,在获得局部相似图之后,再次使用PC作为加权函数来导出整张图像的相似性度量值,具体表达式为

(11)

(12)

()=[()]·[()]

(13)

(14)

式中:、为增加稳定性的正常数,防止分母为0;、为权重值,通常设置==1;()为总体相似性函数,其值等于相位相似性函数()和梯度相似性函数()的加权乘积;为整个图像的空间域;()为()与()两者中的最大值。

计算背景还原图像与原始红外伪装图像的FSIM值,结果用表示,取值范围为[0,1],值越大说明伪装目标与还原背景越相似。

2.2 综合评价值的确立

还原效果度量值的大小直接影响着相似性度量值的可靠性,具体关系如下:还原效果度量值越高,表明构建的背景还原图像效果越好,在与原始红外伪装图像进行相似性度量时,得到的评价值就越能反应真实目标的伪装效果;当还原效果度量值较小时,表明构建的背景还原图像效果并不理想,此时与原始红外伪装图像进行对比计算,得到的评价结果误差较大,不能客观反应目标真实的红外伪装效果。

考虑到还原效果度量值和相似性度量值并非完全独立,如果采用线性加权的方式融合两个指标,则忽略了两者之间的非线性竞争关系。因此,本文借鉴了文献[10]中多特征融合策略的思想,设计如下指数乘法函数进行计算:

(15)

式中:、为权重系数,两者之和等于1;、为远小于1的正常数,避免分母部分为0;用来衡量构造的背景还原图像的可靠性,与呈正相关,当=1时,=1,表明背景还原图像的质量非常好,此时值完全由决定,当=0时,=0,则构造的背景还原图像不具备参考价值,无论取值如何,值都趋近于0;用来计算真实红外伪装与理想红外伪装之间的相似性,具体变化与相同。

综合评价值由和两部分组成,范围为[0,1]。值越大说明目标的红外伪装效果越好。

3 实验验证与应用

实验设计以Matlab 2019A作为工具,选择的平台为intel core i5-9400k CPU@2.6 GHz, DDR4 2400 16 GB RAM, GeForce 1650ti显卡的计算机。

3.1 背景还原图像构建效果分析

选择的原始红外伪装图像如图3(a)所示,分别为茂密树荫下停靠的小轿车、城市道路上涂覆有伪装涂层的坦克、藏匿在灌木丛后的人,同时选取水面上未实施任何伪装的人员进行对比实验。分别使用Criminisi算法和改进Criminisi算法构建背景还原图像,结果如图3(b)～图3(d)所示。

图3 构建背景还原图像Fig.3 Construction of background restoration image

从人眼视觉的角度出发,使用传统的Criminisi算法对目标遮蔽区域修复时,存在着修复区域模糊、高频信息缺失等问题,尤其是当周围环境复杂且目标伪装较好时,由于目标边缘较弱,内部纹理复杂,修复效果并不理想。改进后的Criminisi算法实现了对目标区域的高度修复,修复图案与周围背景的结构和纹理融合度较好,已看不出目标及其轮廓,效果更接近目标遮蔽下的真实背景。利用IL-NIQE模型对两种背景还原图像进行评价,结果如表1所示,a～d依次对应图3(a)中从左到右的4幅红外伪装图像。

表1 还原效果度量值

由表1可知,使用改进后的Criminisi算法得到的还原效果度量值更高,构建的背景还原图像更加接近该目标遮蔽下的真实背景,可以作为目标红外伪装效果评价的参照物。当背景相对简单且目标轮廓清晰时,两种算法得到的还原效果度量值相似,改进算法的优势不明显,如表1中b、d所示。当背景纹理复杂且目标伪装较好时,改进算法的修复效果要明显优于原始Criminisi算法的修复效果,如表1中a、c所示,这与人眼视觉观察的结果相符合。

3.2 红外伪装效果综合评价实验

由于当前并没有专门针对红外伪装图像的公开数据集,国内外学者在对红外伪装评价方法的研究中主要还是采用自行拍摄或仿真的红外图像,目标类型和背景环境相对单一,方法的可行性和准确性难以得到有效验证。因此课题组构建了以车辆、舰船、人物等目标为主的红外伪装数据集,数据集共495幅图像,伪装方式包含天然遮蔽伪装、红外伪装网覆盖伪装、红外伪装涂层等,数据集中部分红外图像如图4所示。拍摄设备为IRMC-S300制冷型中波红外热像仪。

图4 红外伪装图像Fig.4 Infrared camouflage image

3.2.1 基于主观评价法的红外伪装效果评价

主观评价法作为评价伪装效果的最直接手段,更加类似于军事侦察的实际情况。根据实验设计不同,主观评价法可分为单激励法和双激励法两大类。由于单激励法具有对实验环境要求低、速度快等优点,本文采用单激励法计算红外伪装图像的MOS,具体实施如下:首先选取50名非相关专业的观察者,经过短暂培训后,针对性地选取MORRIS红外数据库中部分红外图像及其对应的MOS值给观察者进行预先展示,形成对红外图像评分的基本印象,确保后续评分的准确性。然后让观察者依次观察红外伪装数据集中的图像,并对其中目标的伪装效果进行评分,将得到的分数按照式(16)进行高斯归一化处理:

(16)

其中,

(17)

(18)

式中：,为第个观察者对第幅图片的评分;为实验选取红外伪装图像的总数;、分别为第个观察者评分的均值和标准差;,为高斯归一化后的分数,取值范围为[0,1];设置阈值,若,大于067的个数超过阈值,则认为第个观察者给出的评分波动较大,舍弃其所有评分,值大小根据实际情况选取。

最终,第张红外伪装图像中目标伪装效果的MOS值由下式计算:

(19)

式中:为参加主观评分的人员总数。

红外伪装数据集的MOS值的频率分布如图5所示。虽然MOS直方图没有符合理想的正态分布,但也基本能够满足实验测试的要求,将该排序结果作为后续红外伪装评价方法准确性的验证依据。

图5 红外伪装数据集MOS直方图Fig.5 Infrared camouflage data set MOS histogram

322 基于背景还原的红外伪装效果评价

为验证本文评价方法的准确性,选择文献[9-10,27]的红外伪装效果评价方法进行对比实验。为便于比较,将各方法得到的结果进行正相关处理。

文献[9]分别计算背景与伪装目标的4种典型特征相似度,采用熵权法分配特征权重,累加值作为伪装图像的综合评价结果,取值范围为[0,1],值越小表明伪装目标与背景特征差异越小,故对其进行正相关处理:

=1-

(20)

文献[10]通过计算背景相关特征与伪装区域内部特征来度量伪装目标与背景的差异程度,并采取非线性融合的方式得出综合评价指数,取值范围为[0,1],其值越大表明目标的红外伪装效果越好。

文献[27]利用红外图像中目标的识别概率作为对目标的红外伪装效果的评估指标,识别概率的取值范围为[0,1],其特点是越小,目标的红外伪装效果越好,同样对其进行正相关处理:

=1-

(21)

经处理后各方法计算得出的评价值都统一到[0,1]之间,且大小与伪装效果成正相关,接下来分别从定性与定量两个角度展开实验。

定性评价方面,建立各种客观评价方法在红外伪装数据集上的评价值与对应图像MOS值之间的散点图,对方法的可行性和稳定性进行定性分析。为更好地反映评价值与MOS值之间的映射关系,使用式(22)、式(23)对散点图中的数据进行非线性拟合:

Quality()=logistic(,(-))++

(22)

(23)

式中:为各种客观评价方法得出的评价值;～为自适应调整参数,根据文献[28]的方法计算确定。

定量评价方面,依据检验图像评估模型性能视频质量专家组(video quality experts group, VQEG)的标准,选用SROCC、KROCC、PLCC 3个经典的评价指标与RMSE一起检验红外伪装评价方法的性能优劣。具体表达式如下:

(24)

(25)

(26)

(27)

式中:为红外伪装数据集,为数据集中图像的总数;()和()分别为第幅图像在客观和主观评分中的排名值;()和()分别为客观和主观评价的数值;为一致对的数量;为非一致对的数量,一致对是指对数据集中任意两幅图像的主客观评价值具有同向性,反之则是非一致对。评价方法的计算结果与人的主观感受关联程度越高,SROCC、KROCC和PLCC的值越高。而RMSE值越小,表明评价方法的稳定性越好。

图6分别展示了4种客观评价方法在红外伪装数据集上测试的结果,图中蓝色散点的横坐标和纵坐标分别对应客观评价值与主观评价值(MOS)。红色的非线性拟合曲线体现了主客观评价值之间的贴合程度,拟合曲线的单调性越好,蓝色散点越贴近于拟合曲线,则表明客观评价值与MOS值的评价结果越接近,对应的客观评价方法的性能越好。

图6 客观评价方法散点图Fig.6 Scatter diagram of objective evaluation algorithm

由图6可知,对于主观评分较低和较高的红外伪装目标,Ying的方法和Han的方法与主观评分的结论并不相同。Xue的方法和本文方法得出评价结果与MOS值都呈现出了较好的单调递增关系,相比之下,Xue的方法对应的散点图在中间段的振荡性较大,而本文方法与拟合曲线的贴合程度明显更高。接下来进一步对4种评价方法进行定量分析,如表2所示。

表2 不同评价方法定量分析

由表2可知,本文方法与人眼MOS的相关性明显高于其他3种方法,更加符合人眼视觉特性,而且本文方法的RMSE值是4种客观评价方法中最小的,表明稳定性最高。

4 结 论

本文提出一种新的红外伪装效果评价思路和方法,利用改进后的Criminisi算法构建出目标遮蔽下的背景区域,与原始红外伪装进行相似性度量,设计指数函数对背景还原效果与相似性度量结果进行非线性融合,完成目标红外伪装效果的综合评价。该方法有效解决了现有方法在面临目标背景区域纹理特征复杂,目标邻域背景不连续、存在灰度阶跃等复杂背景时评价结果不理想的难题,对于图像中像素占比较大的目标,也能得到较好的评价结果。实验表明,本文方法与视觉感知的贴合度更高,且稳定性更好,具有较好的应用价值,同时对可见光、遥感目标的伪装效果评价方法研究也具有一定的参考意义。