基于CSF和梯度相似度的红外图像质量评价

刘弋名,王晓明,赵 昕

(华北光电技术研究所,北京 100015)

1 引 言

红外图像质量评价研究具有重要意义与价值。首先,红外图像的质量是对该成像系统性能进行评估的重要指标。其次,对不同算法处理过的红外图像进行有效地评价是对不同算法性能进行评估的先决条件。图像质量评价方法主要包括主观评价和客观评价两种[1]。主观评价方法最有效,但易受个人因素等影响,且无法应用于实时系统,因此实际应用中还是应用客观方法。客观评价方法可分为全参考、半参考和无参考三种类型[2],文中重点介绍的为全参考类型。

最简单的全参考评价方法主要有峰值信噪比(Peak Signal to Noise Ratio,PSNR)和均方误差(Mean Square Error,MSE)等[3]。这两种方法计算简单且便于优化,但仅是对像素点的误差进行的纯数学统计,没有考虑其相关性和人类视觉系统(Human VisualSystem,HVS)的感知特点,很多情况下不够符合人的主观感受。在考虑了HVS的客观图像质量评价研究的进展上,Zhou Wang等人[2,4]提出了基于结构相似度(Structural Similarity,SSIM)的图像质量评价方法。SSIM 可以在一定程度上符合人眼主观感知,但仍有不足之处,主要原因是其前提假设图像的每部分区域重要程度都相同,这与人的视觉兴趣区域特性不一致[5],从这方面来说单纯的SSIM结果并不能与主观结果相一致。

针对以上所提方法的不足,本文在SSIM模型基础上,将图像梯度幅值应用其中,又结合了人眼对比敏感度特性,提出一种基于CSF和梯度相似度的红外图像质量评价方法。

2 基于CSF和梯度相似度的算法模型

2.1 结构相似度模型

Zhou Wang[2,4]等人提出的结构相似度(SSIM)图像质量评价方法是将图像结构和外界照明两者信息独立进行检测的。SSIM就是通过亮度、对比度以及图像的结构这三个相互独立的通道对图像质量进行表征的。具体模型如下:

SSIM(x,y)=[l(x,y)]α·[c(x,y)]β·[s(x,y)]γ

(1)

(2)

(3)

(4)

式中,x,y分别代表失真图像和参考图像；l(x,y),c(x,y),s(x,y)分别为图像x,y的亮度、对比度和结构信息,其中参数α,β,γ均为正数,用以调节上述三者权重；C1,C2,C3为常数,防止分母为0的情况出现；μx,μx分别为图像x,y的均值,σx,σy分别为图像x,y的标准差；σxy为图像x,y的协方差[6]。SSIM的值越大,表明失真图像和参考图像差别越小,即失真图像的质量越高。

2.2 图像梯度

图像梯度反映了图像亮度变化最显著的部分,包含理解图像场景至关重要的视觉信息,因此提取梯度幅值作为图像特征进行图像质量评价效果较好。Chen等人[7]提出的基于梯度的结构相似度模型GSSIM,就是以SSIM方法为基础,计算过程中将用来计算对比度和结构两部分的原图像用梯度图像来代替,效果优于SSIM。

求梯度幅值常见的掩模算子有Sobel算子、Prewitt 算子和Scharr算子。图像的梯度幅值(Gradient Magnitude,GM)为:

(5)

其中,Gx,Gy分别为x方向和y方向的梯度图像(幅值分量的图像)。实验发现Sobel算子的效果最好[8],因此本文采用Sobel算子提取图像的梯度幅值。梯度相似度模型就是以SSIM方法为基础,计算过程中将用来计算对比度和结构两部分的原图像用梯度图像来代替。x′和y′为参考图像和失真图像的梯度图像,则:

(6)

(7)

式中,cg(x,y)和sg(x,y)为梯度图像的对比度和结构信息。

2.3 人眼对比敏感度特性

对比敏感度函数(Contrast Sensitivity Function,CSF)[9]反映了人眼在频域上的敏感度特性。Mannos和Sakrison等人根据大量的实验建立的CSF的函数模型为:

A(f)=2.6(0.192+0.114f)exp[-(0.114f)1.1]

(8)

对于一个M×M的图像,空间频率计算如下[10]:

(9)

(10)

(11)

式中,空间频率的单位为“周期/度”;fx,fy分别代表水平和垂直两个方向上的周期频率;I(i,j)代表该选定图像块的像素值。

人眼对于水平和竖直两方向的刺激最敏感,对角方向的敏感性比较弱。因此本文采用水平和垂直方向上的对比敏感度特性,得到归一化后的CSF特性曲线如图1所示。

图1 水平或垂直方向上归一化的CSF特性曲线

2.4 本文评价模型

(1)把分图像块计算SSIM方法中的参考图像和失真图像对比度和结构用其梯度图像的两者代替,得到基于梯度图像的SSIM map,即GSSIM map。

(2)由对比敏感度特性计算每个GSSIM map的权值,并由下式对权值进行归一化处理:

(12)

其中,λ(i)为归一化后的第i个图像块的权值;CSFi(f)为第i个图像块的对比敏感度特性值;N为图像块的总数。

(3)加权计算整幅图的评价值。将N个图像块的GSIM值进行加权求和,得到结合CSF和GSIM图像质量评价方法的计算表达式为:

(13)

3 实验结果及分析

由于图像无论经过怎样的处理、传输等,最终都是要给人看的。由人眼直接观察图像来判定图像的好坏即为图像质量的主观评价。主观评价是最为直接准确的,比较不同客观评价算法的性能也即比较其结果与主观评价结果的符合程度。

简要来说,主观评价一般按照国际电信联盟(ITU)提出的主观评价标准,给一组观察者观察原始图像及失真图像,并按照某种标准为失真图像打分,表1即为一种常用标准。

表1 一种图像质量评价标准

按照上述标准按照满分100分打分后,求取平均值即为平均主观分数(mean opinion scores,MOS),也可用主观差异评分(difference mean opinion score,DMOS)法来表征图像质量,DMOS为MOS和满分(100)的差值[6],取值范围为[0,100],取值越小表明图像质量越好。

本实验分为两部分,第一部分采用美国TEXAS大学图像与视频工程实验室(Lab of Image and Video Engineer,LIVE)所提供的图像质量评价数据库进行实验。该数据库为使用最为广泛的图像质量评价数据库之一,并且已经给出专业人员的主观评差异评分。一部分为红外图像实验。由于没有针对红外图像的质量评价数据库,因此需先建立红外图像库,然后找一组(20人)具有红外领域知识的观察者严格按照表1评价标准对样本图像进行主观评价,给出失真图像主观评价值,并求取主观差异值。样本图像在3.1节会详细介绍。

为比较不同评价模型的性能,采用视频质量专家组(video Quality Experts Group,VGEQ)推荐的模型评估指标[11]中的四个:Pearson线性相关系数(Pearson Correlation Coefficient,PCC),均方根误差(Root Mean Square Error,RMSE),平均绝对误差(Mean Absolute Error,MAE),Spearman等级相关系数(Rank Order Correlation Coefficient,ROCC)。其中,PCC和ROCC是客观评价值回归后的结果与DMOS值直接一致性的指标,值越大表明模型性能越好；MAE和RMSE是客观评价值回归后结果与DMOS值之间的距离,值越小表明模型性能越好[6]。

3.1 LIVE图像数据库实验

LIVE图像数据库中包含29幅原始图像及5种类型的失真图像982幅。并给出了所有失真图像的DMOS值。

首先用不同方法算出该图像库所有图像的客观评价值,然后与图像库提供的与之对应的DMOS进行非线性拟合,本文采用文献[12]中所推荐的最常用的回归函数作为拟合函数:

(14)

最后使用上文中四个指标来评估几个不同算法的性能(与主观评价符合程度)。实验中用了两个传统评价方法PSNR和SSIM,基于梯度相似度的算法GSSIM以及本文提出的结合CSF和梯度结构相似度VGSSIM共四个图像质量评价方法。图2分别给出了上述四种算法的客观值结果与主观值的散点图。表1给出了四种算法的评价指标。

图2 LIVE图像库实验客观评价值与主观值散点图

表2 4种算法性能对比

由图2结合表2可知,PSNR和SSIM两种传统方法散点拟合曲线基本不满足线性条件,且散点沿拟合曲线分布不均匀、不集中,表明这两种传统算法与人的主观评价一致性较低。与两种传统模型相比,GSSIM和本文的提出的VGSSIM模型散点沿拟合曲线分布更均匀,聚合度更好,拟合曲线也更接近直线,表明这两种方法明显由于传统的PSNR和SSIM两种方法。

结合拟合曲线和表2性能指标对比GSSIM和本文的VGSSIM模型,相对于本文所提的VGSSIM模型,GSSIM模型的MAE和RMSE的值略小,代表模型散点沿其拟合曲线的聚合度稍高。

但从拟合曲线来看,本文所提出的VGSSIM模型散点拟合曲线几乎是一条直线,这点明显优于GSSIM模型。且从拟合曲线与DMOS轴的交点来看,VGSSIM模型计算出来的客观值评价范围与主观评价值能更好地对应起来。且结合表2的性能指标,PCC和SROCC是回归后结果与DMOS值直接一致性指标,取值越大表示算法性能越好,VGSSIM模型的这两个指标也优于GSSIM模型。而MAE和RMSE两指标仅是对模型散点沿拟合曲线的聚合程度的考量,其对性能评价的重要程度相对于拟合曲线是否接近线性及范围是否能和主观结果更一致以及PCC和SROCC四部分而言起到补充和参考的作用。因此,综合几种指标,本文所提算法性能要优于GSSIM。

综合分析可知,文中算法VGSSIM明显优于 PSNR和SSIM两种传统算法,并在一定程度上优于GSSIM算法,更符合人的主观感受。

3.2 红外图像评价实验

红外图像实验共使用10幅某型640×512元探测器热像仪采集的包含不同场景信息的红外图像作为参考图像,对每幅原始图像(参考图像)分别采用6种不同方法进行不同程度降质处理,分别为白噪声污染,高斯噪声污染,运动模糊,加椒盐噪声,JPEG压缩和JPEG2000压缩,共得到240幅失真图像。10幅原始图像如图3所示。

图3 红外图像评价实验参考图像

其中一幅图像及经过降质处理后的图像如图4所示。

图4 红外图像评价实验原始图像及6种降质图像

对上述红外图像,首先严格按照主观评价的标准对样本图像进行主观评价,建立图像数据库,给出失真图像主观评价值,计算出主观差异值。然后用上述四种不同算法计算出客观评价值,绘制出与主观评价差异值的散点图,同样利用式(14)作为拟合函数进行曲线拟合。最后采用上文所提MAE、RMSE、PCC、ROCC四个指标来评价各算法的性能如表3所示。

图5 红外图像试验评价的模型散点图

表3 红外图像实验中4种算法性能对比

由图5和表3可看出,对于4个模型,红外图像实验与LIVE图像库实验的结果基本一致,并且从性能评价指标上看,本文提出的VGSSIM模型与传统的PSNR和SSIM两种模型相比优势更明显,由于红外图像实验主观评价人数及实验样本远小于LIVE图像数据库,相比而言本实验有一定的随机性。后续还需继续进行大量的实验进行进一步验证本文算法的优越性。

4 结 论

本文提出了一种将对比敏感度函数与梯度结构相似度模型结合的图像质量评价方法。该方法以分块SSIM方法为基础,计算过程中将用来计算对比度和结构部分的原图像用梯度图像来代替,最后利用对比敏感度函数确定图像块的权值加权得到最终评价值。实验结果表明,新模型的性能明显优于PSNR、SSIM两个传统模型,并且在一定程度上改善了GSSIM模型,能够更好地与人的主观感受相符合。对红外图像而言,实际的失真类型是多种多样的,且可能没有原始图像做参考。研究适应更多类型失真的半参考或无参考红外图像质量评价模型,会成为进一步的研究方向。

参考文献:

[1] WANG Zhou,BOVIK A C.Modern image quality assessment [M].New York:Morgan and Claypool Publishing Company,2006:20-30.

[2] WANG Zhou,BOVIK A C,SHEIKH H R,et al. Image quality assessment:from error visibility to structural similarity [J]. IEEE Trans on Image Processing,2004,13(4):600-612.

[3] AVCIBAS I,SANBUR B,SAYOOD K.Statistical evaluation ofimage quality measures [J].Journal of Electronic Imaging,2002,11(2):206-213.

[4] WANG Zhou,BOVIK A C.A universal image quality index [J].IEEE Trans Signal Processing,2002,9(3):91-94.

[5] ZHU Hanjiang.Research and Implementation of the Image Quality Assessment Method[D].Xi′an:XiDian University,2014.(in Chinese)

朱晗江.图像质量评价方法的研究与实现[D].西安:西安电子科技大学,2014.

[6] MA Xudong, YAN Li,CAO Wei,et al.A new image quality assessment model based on the gradient information[J]. Geomatics and Information Science of Wuhan University,2014,39(12):1412-1418.(in Chinese)

马旭东,闫利,曹纬,等.一种新的利用梯度信息的图像质量评价[J].武汉大学学报:信息科学版,2014,39(12):1412-1418.

[7] CHEN Guanhao,YANG Chunling,XIE Shengli.Gradientbasedstructure similarity for image quality assessment[C]//Proc of International Conference on Image Processing,2006:2929-2932.

[8] XIE Lizhi, LI Yuhui,LI Bo.An Image quality assessment method based on visual features weighting[J].Computer Technology and Development,2016,26(8):177-181.(in Chinese)

谢立志,李玉惠,李勃.一种基于视觉特性加权的图像质量评价方法[J].计算机技术与发展,2016,26(8):177-181.

[9] YAO Juncai. Image quality assessment method based on contrast sensitivity characteristics of human vision system [J].Chinese Journal of liquid Crystals and Displays,2011,26(3):390-396.(in Chinese)

姚军财.基于人眼对比度敏感视觉特性的图像质量评价方法[J].液晶与显示,2011,26(3):390-396.

[10] HU Xuming, ZHANG Dengfu,NAN dong,et al. Method of image visual quality evaluation based on human visual characteristics[J]. Journal of Computer Applications,2012,32(7):1882-1884.(in Chinese)

胡许明,张登福,南栋,等.基于人眼视觉特性的图像视觉质量评价方法[J].计算机应用,2012,32(7):1882-1884.

[11] Rohaly A M, Corriveau P J,Libert J M,et al.Video quality experts group:current results and future directions[C]. SPIE:Visual Communications and Image Processing,Perth,Australia,2000.

[12] Sheikh H R,Sabir M F,Bovik A C. A statistical evaluation of recent full reference image quality assessment algorithms[J]. Image Processing,IEEE Transactions on,2006,15(11):3440-3451.