红外成像传感器效应建模与仿真的验证评价方法*

娄树理,李召龙,周仁来,任建存

(海军航空工程学院,山东烟台 264001)

红外成像传感器效应建模与仿真的验证评价方法*

娄树理,李召龙,周仁来,任建存

(海军航空工程学院,山东烟台 264001)

为解决红外成像传感器系统典型效应建模与仿真的验证评价问题,基于全参考图像质量评价方法提出了一种验证评价方法。在红外实拍和典型效应仿真图像的基础上,采用逐像素比较和统计比较相结合的分析方法,综合直方图统计、结构相似度、保真度等评价指标进行全面验证评价。实验结果表明:综合评价结果与直方图、傅里叶频谱数据分析一致,与主观评判结果相符。该评价方法可有效对红外成像传感器效应建模与仿真图像进行置信度评价。

红外成像传感器;建模与仿真;验证评价

0 引言

随着红外成像制导武器的发展和应用,红外成像传感器系统典型效应建模与仿真的研究越来越受到重视,红外成像传感器系统典型效应建模与仿真的真实性和逼真度决定着建模与仿真的有效性,因此红外成像传感器系统典型效应建模与仿真的真实性和逼真度的验证方法研究具有十分重要的意义[1]。

目前,对于红外成像传感器系统典型效应建模与仿真的研究很少,建模与仿真准确性和真实性的验证至今没有行之有效的方法和公认的评价指标[2]。一种方法是将实拍图像与建模仿真图像进行逐像素比较,如国内胡方明等人[3]利用归一化最小方差、保真度等进行评价,由于此类方法只比较了两幅图像对应像素的绝对误差,没有考虑像素的相关性,对于特定类型的图像评价与主观评价结果存在较明显差异;另外一种方法是整幅图像的统计比较,如李珂等人[4]采用直方图统计的方法,Jonathan D.Fanning、张福娣等人采用结构相似度(SSIM)方法[2,5],此类方法利用的是图像整体的统计量,容易产生误导,且对某些类型退化失真不敏感。

为了解决红外成像传感器系统典型效应仿真的验证评价问题,文中提出一种红外成像传感器系统典型效应仿真准确性和真实性的验证方法,在红外实拍图像与红外传感器效应仿真图像的基础上,采用逐像素比较和统计比较相结合的分析方法,利用一维、二维直方图统计、结构相似度、保真度等综合评价指标进行全面验证评价,有效克服了单一分析方法只能验证部分效应仿真结果的缺陷。

1 红外成像传感器系统典型效应建模与仿真的验证方法

由于构造无参考的图像质量评价方法比全参考和半参考评价方法要困难得多[6],且全参考图像质量评价方法的准确性要远远优于无参考的图像质量评价方法[7]。为验证红外成像传感器系统典型效应建模与仿真的准确性,采取全参考图像质量评价方法,在实拍红外图像与仿真图像的基础上,采用逐像素比较和统计比较的分析比较方法,对仿真图像与实拍图像进行分析评价,具体实现方法如下:

首先利用红外成像系统对黑体靶标成像,并针对不同黑体温度、温差分别输出红外实拍图像;其次,根据黑体温度、温差及靶标类别,计算黑体靶标的辐射亮度并量化为灰度,采用计算机仿真技术生成黑体靶标的红外理想仿真图像,并将红外理想仿真图像经过红外成像系统各模块的退化效应作用,最终得到黑体靶标的红外传感器效应仿真图像;最后,采用逐像素比较和统计比较相结合的分析方法,综合分析信息熵、保真度、偏离度和结构相似度等验证评价指标,形成综合评价指标,对红外传感器效应仿真图像和红外实拍图像进行分析比较,并给出可信度评价。

图1 红外成像传感器典型效应仿真的验证方法框图

2 红外成像传感器典型效应建模与仿真的验证评价指标

为了全面客观的对红外成像传感器效应建模与仿真图像进行综合评价,必须对指标进行合理的选择。选择并确立验证评价指标的原则如下:1)全面性。选择的评价指标要尽可能地覆盖评价的图像退化各个因素,要能从不同的角度对建模与仿真进行评价。2)通用性。能够适用于多种红外成像系统的建模与仿真评价。3)精选指标。限制指标数量,减少指标的重复性和相关性。4)评价指标得到的结果应具有单调性、准确性和一致性。5)评价指标得到的评价结果应与人类视觉感受具有较好的符合程度。

针对红外成像传感器典型效应建模与仿真的验证问题,分析比较了均值、标准差、信息熵、偏离度、密集度、对角线峰度、结构相似度等统计指标,以及保真度、均方误差、峰值信噪比等像素比较指标,经过试验和理论分析,根据指标选择确定原则,从优选择确定信息熵、保真度、偏离度和结构相似度作为验证评价指标。

2.1 信息熵

信息熵是从信息论角度反映图像信息丰富程度的一种度量方式,图像的熵定义为[8]:

(1)

信息熵说明的是图像的信息量,反映了图像中有意义的灰度层次的丰富程度,红外成像传感器系统退化效应仿真图像与实拍图像的熵存在差异,因此选取熵作为一项指标。

2.2 保真度

保真度与均方误差、峰值信噪比(PSNR)等评价指标一样,是对仿真图像和实拍图像两幅图像之间对应像素值的绝对差异进行统计和平均计算,具有如下形式[3]:

(2)

保真度F越大表示两幅图像之间差异越小,说明建模与仿真图像可信度高,当F=1时,表示所评价的仿真图像与实际拍摄图像没有差异。

保真度指标因子既考虑了图像灰度分布特征,也考虑了图像像素之间的几何结构特征,能全面评价影响光电系统成像质量的绝大多数因素,如分辨率、能量衰减以及信号处理对图像退化的影响,具有很强的客观性。该指标缺点是对部分图像的评价结果可能与主观感知的效果产生较大偏差。

2.3 偏离度指标

偏离度是二维直方图统计指标,以相邻像素灰度为定义,能够形象的描述与像素空间位置有关的像素之间的相互关系,能很好的描述图像的局部灰度波动状况。偏离度的数学表达式如下[9]:

(3)

偏离度的物理意义是整幅图像相邻像素灰度层次的平均差别。

2.4 结构相似度指标

结构相似度(SSIM)评价指标因子分别提取图像亮度、对比度等统计信息,然后综合比较红外实拍图像和红外传感器效应仿真图像在这些结构信息间的差异,定义为[10]:

(4)

(5)

实际应用时,一般以相同大小的窗口在两幅图像中进行滑动分析比较,采用高斯加权计算每一窗口的均值、方差以及协方差,得到两幅图像相应分块的结构相似度,最后取平均值作为两图像的结构相似度。

结构相似度分别提取亮度比较、对比度比较和结构比较三类不同的信息,完全符合人类视觉系统从图像中获得结构信息的特点,可有效评价噪声对于图像退化的影响,但对某些模糊图像的评价结果与人的主观感觉不一致。

2.5 综合评价指标

确定红外成像传感器系统典型效应建模与仿真图像验证的各评价指标因子后,综合各评价指标因子建立综合评价指标,较为困难的是各指标因子的权重分配,权重分配可以采用绝对比较法、二元比较法、模糊统计法等多种方法[12],在此采用实验与绝对比较法相结合的方法确定各指标因子的权重。首先利用红外成像系统对同一黑体靶的多次实拍图像进行分析比较,在实验的基础上寻找规律,几个指标中稳定度较高依次为保真度、结构相似度、偏离度、熵。权重分配时稳定度较高的指标赋以较大权重值,稳定度较低的赋予较小权重值,综合评价指标为:

(6)

式中:A、B为两幅比较图像;HA与HB、ξA与ξB、SSIM(A,B)、F(A,B)分别为图像A、B的熵、偏离度、结构相似度和保真度;k1、k2、k3、k4为权重系数,k1+k2+k3+k4=1。

Q(A,B)值在0和1之间,反映了两幅图像在结构特征、灰度特征、信息量和灰度相关性的差异,Q(A,B)数值越大说明两幅图像越接近,同一幅图像进行比较时Q(A,B)为1。

3 实验与结果

为了验证各种评价指标对于建模与仿真验证评价的有效性,采用文中提出的验证方法,在实验室利用多种红外成像系统进行了实验,在实验的基础寻找规律,经过多次实验和理论分析,采用绝对比较法进行权重确定,k1=0.24、k2=0.18、k3=0.26、k4=0.32,并分析验证了评价指标的有效性。

红外成像系统1为非制冷长波红外热像仪,黑体温差为4 K,实拍图、仿真图及其一维、二维直方图和傅里叶频谱图见图2,其中图2(a)、图2(b)为实拍图像,图2(c)是未经退化作用的理想仿真图像,图2(d)是理想仿真图像经过衍射、渐晕、噪声、低通滤波各种典型效应退化后,经图像增强之后得到的仿真图像。

图2 红外成像系统1实拍及仿真图像比较

利用信息熵、保真度、偏离度和结构相似度指标对黑体温差4 K时红外成像系统1所拍摄的图像和仿真图像进行分析,并采用综合评价指标Q(A,B)进行综合验证,比较分析时参考图像是采用实拍图像1,结果如表1所示。

红外成像系统2为制冷中波红外热像仪,黑体温差为4 K,实拍图、仿真图见图3。

表1 红外成像系统1的图像验证结果

图3 红外成像系统2实拍及仿真图像比较

利用评价指标对红外成像系统2所拍摄的图像和仿真图像进行分析,参考图像为实拍图像1,结果如表2所示。

表2 红外成像系统2的图像验证结果

红外成像系统3为制冷中波红外成像系统,黑体温差为4 K,实拍图、仿真图见图4。

图4 红外成像系统3实拍及仿真图像比较

用评价指标对红外成像系统3所拍摄的图像和仿真图像进行分析,参考图像为实拍图像1,结果如表3所示。

表3 红外成像系统3的图像验证结果

从直方图、傅里叶频谱图直观分析来看,每一红外成像系统两幅实拍图像的直方图、傅里叶频谱图非常接近,而考虑传感器效应时仿真图像的直方图、傅里叶频谱图相比于理想仿真图像更加接近于实拍图像的直方图、傅里叶频谱图。

从验证评价指标来看,每一种红外成像系统两幅实拍图像的熵、偏离度、结构相似度、保真度都非常接近,三种红外成像系统两幅实拍图像之间的Q(A,B)值分别为0.997 7、0.998 0、0.997 5,即置信度在99.7%以上,与一维、二维直方图和傅里叶频谱数据一致,符合人眼视觉评价结果,说明综合评价指标具有合理性。

从综合评价指标Q(A,B)来看,红外成像系统1的理想仿真图像和退化仿真图像的Q(A,B)值分别为0.643 6和0.830 9,红外成像系统2的理想仿真图像和退化仿真图像的Q(A,B)值分别为0.661 0和0.856 0,红外成像系统3的理想仿真图像和退化仿真图像的Q(A,B)值分别为0.702 6和0.938 1,考虑传感器效应后仿真图像相比未考虑传感器效应的理想仿真图像的置信度较高一些,与人眼视觉评价结果一致。

4 结论

文中根据红外成像制导信号注入式仿真的需求,针对红外成像传感器典型效应建模与仿真的验证问题,提出了红外成像传感器典型效应建模与仿真的验证评价方法,给出了验证评价方法的基本思路和评价指标。实验结果证明:红外成像系统对黑体靶标两幅实拍图像之间的综合评价指标在99.7%以上,考虑传感器效应后仿真图像相比未考虑传感器效应的理想仿真图像的综合评价指标高一些,与主观评判结果一致。该评价方法可有效对红外成像传感器效应建模与仿真图像进行置信度评价。

[1] 娄树理,韩艳丽,任建存,等.基于结构相似度和保真度的红外成像传感器仿真评价方法研究 [J].红外,2015,36(2):30-34.

[2] 张福娣,张建奇,徐茵.红外凝视传感器定量仿真及模型验证 [J].光子学报,2011,40(4):596-601.

[3] 胡方明,王晓蕊,张建奇.光电图像质量客观度量准则的分析与比较 [J].红外技术,2005,27(2):129-134.

[4] 李珂,王学伟,王世立.红外传感器模型的成像仿真效果分析 [J].计算机与数字工程,2012,40(7):118-122.

[5] JONATHAN D F.Metrics for Image-Based Modeling of Target Acquisition [C]// Proceeding of SPIE,8355.Bellingham:SPIE，2012:1401-1402.

[6] 范媛媛,沈湘衡,桑英军.基于对比度敏感度的无参考图像清晰度评价 [J].光学精密工程,2011,19(10):2485-2493.

[7] 褚江,陈强,杨曦晨.全参考图像质量评价综述 [J].计算机应用研究,2014,31(1):13-21.

[8] 章毓晋.图像工程 [M].3版.北京:清华大学出版社,2012:141-144.

[9] 殷德奎.热图像的二维分析与仿真方法研究 [R].南京:南京理工大学博士后研究报告,1999:17-20.

[10] 易三莉,苗莹,钱洁,等.基于感兴趣区域的边缘结构相似度图像质量评估 [J].计算机工程,2015,41(6):216-221.

[11] 李爱华.基于相位的结构相似度图像质量评价模型 [J].计算机应用与软件,2014,31(11):233-237.

[12] 张伟,王行仁.仿真可信度模糊评判 [J].系统仿真学报,2001,13(4):473-475.

TheEvaluationMethodforModelingandSimulationofInfraredImagingSensor

LOU Shuli,LI Zhaolong,ZHOU Renlai,REN Jiancun

(Naval Aeronautical and Astronautical University,Shandong Yantai 264001,China)

In order to validate accuracy of modeling and simulation of infrared imaging sensor system,a method was proposed based on full reference image quality assessment.Actual infrared image and the simulated image were compared with pixel by pixel comparison method and statistical analysis,and the assessment was obtained based on histogram statistics,structural similarity and fidelity indicators.Experimental results indicate that the comprehensive evaluation index is consistent with histogram data and frequency spectrum,and it is accord with the subjective evaluation results.The evaluation method can effectively validate accuracy of modeling and simulation of infrared imaging sensor system.

infrared imaging sensor; modeling and simulation; image assessment

10.15892/j.cnki.djzdxb.2017.02.001

2016-06-10

总装十二五预研基金(51303020403-3)资助

娄树理(1976-),男,山东蒙阴人,副教授,博士,研究方向:光电工程、图像处理。

TP751.1

A