基于SSIM_NCCDFT的超分辨率复原评价方法研究

张振东，陈健，2，3，*，王伟国，刘廷霞

基于SSIM_NCCDFT的超分辨率复原评价方法研究

张振东1，陈健1，2，3，*，王伟国1，刘廷霞1

(1．中国科学院长春光学精密机械与物理研究所，吉林长春130033; 2．中国科学院大学，北京100049; 3．吉林大学通信工程学院，吉林长春130012)

传统的图像质量评价方法很多，但是并非针对超分辨率复原算法的特定评价指标。一种超分辨率复原算法复原性能的好坏，至今没有一个统一的评价标准，这使得超分辨率复原算法的发展受到很大限制。针对传统的超分辨率复原评价体系只关注图像某一方面统计特性的问题，提出一种基于SSIM_NCCDFT的超分辨率复原评价方法。该评价方法结合了空间域的灰度均值、对比度以及频域自相关，能够同时评价超分辨率复原结果在空间域的复原效果和对频率域信息的复原精度。实验结果表明:SSIM_NCCDFT可以准确反映图像退化的程度。相对于PSNR，SSIM_NCCDFT的优势是其同时反映了频域和空域复原的精度，评价更加全面。本文提出的基于SSIM_NCCDFT的超分辨率复原评价方法同时考虑了超分辨率复原中频率域和空间域的复原性能，评价结果较为全面，能够有效地评价复原图像中的噪声和模糊等现象，对超分辨率复原方法的评价具有一定的指导意义。

结构相似度;归一化傅立叶互相关系数;峰值信噪比;超分辨率复原;图像评价

1 引言

数字图像的超分辨率复原发展至今已经半个多世纪，学者们提出了各种各样的复原算法，广泛用于计算机视觉、遥感成像、医学图像分析和数字电视信号增强等领域，在军事和民用方面均起到了巨大的推动作用。但是，一种超分辨率复原算法性能是好是坏，至今仍然没有一个统一的评价标准。这使得超分辨率复原算法的应用受到很大限制。因此，研究超分辨率复原图像质量评价体系，具有十分重要的现实意义。

一般而言，所有的图像质量评价方法均可以分为主观评价方法和客观评价方法。主观评价方法是指凭借人眼的主观感受，去评价图像质量的好坏，主观评价方法与评价人的个人认知、喜好和背景等关系密切;客观评价方法是指根据不同的模型，从公式计算出量化指标，用以评价图像质量的好坏。客观评价方法不以人的意志为转移，但是往往着眼于图像的某一方面性质，具有一定的片面性［1-4］。

图像的超分辨率复原是通过低分辨率图像，复原出超过成像系统衍射极限之上的频谱信息的过程，因此复原图像的频谱信息是否与原始图像相似，是评价超分辨率复原算法是否有效的一个重要指标。同时，在图像的空间域上，也要求复原的高分辨率图像与原始高分辨率图像在对比度和灰度均值等指标上相似，所提指标中也需要包含这些空间域信息。基于以上分析，本文提出基于SSIM_NCCDFT的超分辨率复原评价方法［5-9］。

2 基于SSIM_NCCDFT的超分辨率复原评价方法

客观评价指标是指可以定量计算的，不以人的意志为转移的图像质量评价指标。一直以来，人们都在寻找可以准确描述图像逼真度和可信度的定量指标，但目前的客观描述指标均无法完全达到这样的效果。根据有无参考图像，客观评价指标可以分为全参考评价、半参考评价和无参考评价三类方法。

全参考评价是指原始参考图像完全已知，通过计算原始参考图像和复原图像之间的误差，从而衡量复原算法的好坏。典型的全参考评价方法有绝对均值误差(MAE)、均方误差(MSE)、峰值信噪比(PSNR)、相关系数(CC)和高频分量相关系数(HFCC)［10-11］。

半参考评价不需要参考图像所有的像素信息，而只需要其部分统计信息，因此称为半参考评价。典型的半参考评价方法有结构相似度(SSIM)和交叉熵(CE)。

若参考图像的任何信息都是未知的，则只能使用复原图像自身的信息进行评价。无参考评价的实质就是计算出待评价图像自身重要的属性。典型的无参考评价方法有空间频率、标准差和信息熵［12-14］。

2．1结构相似度(SSIM)

结构相似度(SSIM)考虑的是两幅图像之间的亮度、对比度和相关性之间的相似性［15-16］，用到了两幅图像的均值和方差，计算公式如式(1)所示。

公式(1)中:l(x，y)、c(x，y)和s(x，y)的定义分别如式(2)、式(3)和式(4)所示。

公式(2)、(3)和(4)中，C1、C2、C3称为结构常数。为了简化运算，通常取α=β=γ=1，C3=则公式(1)变为如式(5)所示。

式中:μx和μy表示两幅图像的均值表示两幅图像的方差，SSIM越大，表示两幅图像越相似。SSIM指标的取值区间为(0，1)。

2．2归一化傅立叶变换互相关系数

要获得图像的频域信息，需要进行傅立叶变换。将离散傅立叶变换推广到二维空间，对于尺寸为N×N的图像f(x，y)，其傅立叶变换如式(6)所示。

傅立叶变换的频谱示意图如图1所示。

图1 傅立叶变换的频谱示意图Fig．1Spectrumschematicdiagramofthe Fourier transform

二维图像的傅立叶变换描述的是图像在互相垂直的两个方向上的变化程度。在图中的四个角(0，0)、(0，N－1)、(N－1，0)、(N－1，N－1)附近集是高频分量。因为图像中大部分能量集中在低频部分，所以傅立叶变换图表现为四周亮而中间暗的分布，这不利于对其进行分析。为此，利用傅立叶变换的周期性和共轭对称性对其进行变换，将低频分量集中到频谱图的中心，而将高频分量分散至频谱图的四周。

Lena图像的分辨率为512×512，测试Lena图像的傅立叶变换如图2所示。

图2 测试Lena图像的傅立叶变换Fig．2Fourier transform of the testing Lena image

Barbara图像的分辨率为512×512，测试Barbara图像的傅立叶变换如图3所示。

图3测试Barbara图像的傅立叶变换Fig．3Fourier transform of the testing Barbara image

图2 和图3表示的是两幅经典的测试图像Lena和Barbara及其傅立叶变换，可以看到Lena的傅立叶变换能量基本集中在低频部分，四个角上的高频部分几乎没有信号。而Barbara虽然大部分能量也是集中在中心的低频区域，但是离中心较远的高频区域也有较强的信号。对应到图像空间域上，表现为Barbara的边缘细节较多，例如衣服、桌椅上的纹理等，而Lena的突变边缘较少，图像比较均匀。因此，傅立叶可以很好描述图像包含的信息。

对两幅图像分别加入方差为0．01的高斯白噪声，并对其进行傅立叶变换。

Lena图像加入高斯噪声之后的分辨率为512 ×512，测试Lena图像加入高斯噪声之后的傅立叶变换如图4所示。

图4 测试Lena图像加入高斯噪声之后的傅立叶变换Fig．4Fourier transform of the testing Lena image after adding Gaussian noise

Barbara图像加入高斯噪声之后的分辨率为512×512，测试Barbara图像加入高斯噪声之后的傅立叶变换如图5所示。

图5测试Barbara图像加入高斯噪声之后的傅立叶变换Fig．5Fourier transform of the testing Barbara image after adding Gaussian noise

图4 和图5表明，高斯噪声经过傅立叶变换之后，在变换图的各个位置均匀分布，这是因为高斯噪声在谱域上是一个定值，带宽是无限的。

对两幅图像分别加入方向为45°，长度为20的运动模糊，并对其进行傅里叶变换。

Lena图像加入运动模糊之后的分辨率为512 ×512，测试Lena图像加入运动模糊之后的傅立叶变换如图6所示。

图6 测试Lena图像加入运动模糊之后的傅立叶变换Fig．6Fourier transform of the testing Lena image after adding motion blur

Barbara图像加入运动模糊之后的分辨率为512×512，测试Barbara图像加入运动模糊之后的傅立叶变换如图7所示。

图7测试Barbara图像加入运动模糊之后的傅立叶变换Fig．7Fourier transform of the testing Barbara image after adding motion blur

图6 和图7表明运动模糊会在图像的傅立叶变换低频分量对应角度加入干扰信息。

由以上分析可知，图像的傅立叶变换可以表征图像原始信息、噪声信息及运动模糊信息，是一种有效描述图像信号的工具。

在超分辨率图像复原中，假设原始高分辨率图像为g(x，y)，尺寸为N×N，其傅立叶变换为G(u，v)。复原后得到的高分辨率图像是对g(x，y)的估计，记为g^(x，y)，其傅立叶变换为g^(u，v)。复原效果越好，则g^(x，y)与g(x，y)越接近，那么必然g^(u，v)也越接近G(u，v)。为此本文提出归一化傅立叶互相关系数(NormalizedCross Correlation of DFT，NCCDFT)的概念，使用傅立叶变换的相似程度来衡量超分辨率复原效果的好坏如式(7)所示。

公式(7)中:G(u，v)和G^(u，v)分别是g(x，y)和g^(x，y)的傅立叶变换，NCCDFT∈(0，1］。NCCDFT越大，表示傅立叶变换越相似，超分辨率复原的质量也就越好。

2．3结构相似与频域相关指数(SSIM_NCCDFT)

2．2节中提出的NCCDFT是对复原图像在频域的质量进行评价。同时，如果复原的质量足够好，复原得到的高分辨率图像g^(x，y)与原始高分辨率图像g(x，y)在空间域也应该足够相似。评价图像在空间域相似的方法有很多，其中SSIM在亮度、对比度和相关性三个方面衡量图像特性，比较全面和直观。因此，选用SSIM指标作为超分辨率复原空间域相似的衡量指标如式(8)所示。

公式(8)中:μ和σ分别表示图像的均值和方差。

为了将空间域和频率域指标相结合，本文提出基于SSIM_NCCDFT的超分辨率复原评价方法如式(9)所示。

公式(9)中:α、β分别称为空间域权重因子和频率域权重因子，用以调节空间域和频率域相似度在评价指标中所占的比重。一般而言，若无特殊需求，可取α=β=0．5。

基于SSIM_NCCDFT的超分辨率复原评价方法既在空间域衡量了复原后的图像和原始高分辨率图像在亮度和对比度等统计特性上的相似程度，同时又考虑了复原图像对于信号在频率域部分的恢复程度，全面地评价了超分辨率复原图像的效果，对于超分辨率复原图像质量评价体系具有一定的指导意义［17］。

3 基于SSIM_NCCDFT的超分辨率复原评价方法的实验评价

为了验证基于SSIM_NCCDFT的超分辨率复原评价方法的有效性，主要是衡量该指标对于图像噪声和模糊的区分能力。仍然选用Lena图像和Barbara图像，对其加入不同的噪声参数和模糊参数。

Lena图像加入高斯噪声之后的分辨率为512 ×512，测Lena图像加入高斯噪声之后的效果如图8所示。

图8 测试Lena图像加入高斯噪声之后的效果Fig．8Effect of the testing Lena image after adding Gaussian noise

Lena图像加入运动模糊之后的分辨率为512× 512，测试Lena图像加入运动模糊之后的效果如图9所示。

Barbara图像加入高斯噪声之后的分辨率为512× 512，测试Barbara图像加入高斯噪声之后的效果如图10所示。

Barbara图像加入运动模糊之后的分辨率为512×512，测试Barbara图像加入运动模糊之后的效果如图11所示。

分别计算不同噪声图像与原始图像的PSNR指标，计算结果如表1所示。

图10 测试Barbara图像加入高斯噪声之后的效果Fig．10Effect of the testing Barbara image after adding Gaussian noise

表1 PSNR评价噪声图像Tab．1PSNR evaluating noise image

分别计算不同模糊图像与原始图像的PSNR指标，计算结果如表2所示。

图11 测试Barbara图像加入运动模糊之后的效果Fig．11Effect of the testing Barbara image after adding motion blur

表2 PSNR评价模糊图像Tab．2PSNR evaluating blur image

表1和表2表明，随着噪声强度的增加或者模糊程度的增加，PSNR是递减的，也就是说PSNR可以很好地反映图片的视觉效果。当然在某些特殊情况下，噪声或者模糊参数小时的PSNR反而比噪声或者模糊参数大时更小，这是因为PSNR是一个统计值，在整体上计算参考图片和复原图片之间的差别，这种差别无法在局部得到体现。人眼视觉效果在局部受到许多因素的干扰:人眼对亮度的差异比颜色的差异更加敏感;人眼在图片平滑的地方发现边缘的能力更强等。这些原因都可能导致PSNR与主观评价不一致。

分别计算不同噪声图像与原始图像的SSIM_ NCCDFT指标，计算结果如表3所示。

表3 SSIM_NCCDFT评价噪声图像Tab．3SSIM_NCCDFT evaluating noise image

分别计算不同模糊图像与原始图像的SSIM_NCCDFT指标，计算结果如表4所示。

表4 SSIM_NCCDFT评价模糊图像Tab．4SSIM_NCCDFT evaluating blur image

表3和表4表明随着噪声参数的变大和模糊步长的加大，图像的质量下降，SSIM_NCCDFT值越来越小，这种趋势与表1和表2列出的PSNR相同。这说明SSIM_NCCDFT可以准确反映图像退化的程度。可以预见，在超分辨率复原中，如果复原图像的质量较差(例如包含噪声较多或者模糊严重)，则其SSIM_NCCDFT值也越小。因此，完全可以将SSIM_NCCDFT评价指标应用于超分辨率复原的算法评价中。相对于PSNR，SSIM_ NCCDFT的优势是其同时反映了频域和空域复原的精度，评价更加全面。

表4表明，在相同的模糊步长下，Barbara的SSIM_NCCDFT比Lena的SSIM_NCCDFT下降得更快，这是因为Barbara包含的细边缘较为丰富，在模糊之后造成的降质更加严重。

4 结论

针对传统的超分辨率复原评价体系只关注图像某一方面统计特性的缺点，提出了基于SSIM_ NCCDFT的超分辨率复原评价方法。该评价方法结合了空间域的灰度均值、对比度以及频率域自相关，能够同时评价超分辨率复原结果在空间域的复原效果和对频率域信息的复原精度，实验表明该评价方法能够很好地评价超分辨率复原的结果，对超分辨率评价方法具有一定的指导意义。

5 展望

本文建立了超分辨率复原红外图像质量评价体系，通过实验验证了此评价体系的有效性。但是此评价体系还存在一定的局限性，例如在空间域，参考SSIM系数，仅仅利用了灰度和对比度信息，对于图像的梯度、纹理等特征并没有过多的考虑。在今后的研究中，还要考虑图像性质的各个方面，进一步建立更高效的评价体系，同时将此评价体系推广到超分辨率图像复原的其他领域。有了高效统一的评价体系，可以对各种超分辨率复原算法的性能进行有效的评价，也将为后续超分辨率图像复原的研究提供理论依据。

［1］刘贵喜，陈文锦，杨万海．融合参数对对比度塔形分解图像融合方法性能的影响研究［J］．电路与系统学报，2006，2 (11):40-46．

Liu G X，Chen W J，Yang W H．Study on the influence of fusion parameters on the performance of contrast pyramid decomposition based image fusion scheme［J］．Journal of Circuits and Systems，2006，2(11):40-46．(in Chinese)

［2］周景超，戴汝为，肖柏华．图像质量评价研究综述［J］．计算机科学，2008，35(7):1-8．

Zhou J C，Dai R W，Xiao B H．Overview of image quality assessment research［J］．Computer Science，2008，35(7):1-8．(in Chinese)

［3］许廷发，李俊涛，张一舟，等．真彩色传递双波段图像融合［J］．中国光学，2014，7(3):402-410．

Xu T F，Li J T，Zhang Y Z，et al．True color transfer for dual band image fusion［J］．Chinese Optics，2014，7(3):402-410．(in Chinese)

［4］刘书琴，毋立芳，宫玉，等．图像质量评价综述［J］．中国科技论文在线，2011，6(7):501-523．

Liu S Q，Wu L F，Gong Y，et al．Overview of image quality assessment［J］．Sciencepaper Online，2011，6(7):501-523．(in Chinese)

［5］张颖颖，张帅，张萍，等．融合对比度和分布性的图像显著性区域检测［J］．光学精密工程，2014，22(4):1012-1019

Zhang Y Y，Zhang S，Zhang P，et al．Detection of salient maps by fusion of contrast and distribution［J］．Optics and Precision Engineering，2014，22(4):1012-1019．(in Chinese)

［6］龚卫国，潘飞宇，李进明．用双层重建法实现单幅图像的超分辨率重建［J］．光学精密工程，2014，22(3):720-729．

Gong W G，Pan F Y，Li J M．Single-image super-resolution reconstruction via double layer reconstructing［J］．Optics and Precision Engineering，2014，22(3):720-729．(in Chinese)

［7］褚江，陈强，杨曦晨．全参考图像质量评价综述［J］．计算机应用研究，2014，31(1):13-22．

Chu J，Chen Q，Yang X C．Review on full reference image quality assessment algorithms［J］．Application Research of Computers，2014，31(1):13-22．(in Chinese)

［8］王宇庆，王索建．红外与可见光融合图像的质量评价［J］．中国光学，2014，7(3):396-401

Wang Y Q，Wang S J．Quality assessment method of IR and visible fusion image［J］．Chinese Optics，2014，7(3):396-401．．(in Chinese)

［9］林海祥，张忻．无参考图像质量评价综述［J］．电脑知识与技术，2009，28(5):8043-8046

Lin H X，Zhang X．A survey of no reference image quality assessment［J］．Computer Knowledge and Technology，2009，28 (5):8043-8046．(in Chinese)

［10］楼斌，沈海斌，赵武锋，等．基于自然图像统计的无参考图像质量评价［J］．浙江大学学报，2010，44(2):248-252

Lou B，Shen H B，Zhao W F，et al．No reference image quality assessment based on statistical model of natural image［J］．Journal of Zhejiang University，2010，44(2):248-252．(in Chinese)

［11］陈恺，陈芳，戴敏，等．基于萤火虫算法的二维熵多阈值快速图像分割［J］．光学精密工程，2014，22(2):517-523．

Chen K，Chen F，Dai M，et al．Fast image segmentation with multi-level threshold of two-dimensional entropy based on firefly algorithm［J］．Optics and Precision Engineering，2014，22(2):517-523．(in Chinese)

［12］朱丽娟，赵青兰．基于结构相似性的全参考图像质量评价［J］．信息通信，2013，123(1):1-2．

Zhu L J，Zhao Q L．A full reference image quality assessment algorithm based on SSIM［J］．Information and communications，2013，123(1):1-2．(in Chinese)

［13］朱里，李乔亮，张婷，等．基于结构相似性的图像质量评价方法［J］．光电工程，2007，34(7):108-113．

Zhu L，Li Q L，Zhang T，et al．Metric of image quality based on structural similarity［J］．Opto-Electronic Engineering，2007，34(7):108-113．(in Chinese)

［14］彭真明，景亮，何艳敏，等．基于多尺度稀疏字典的多聚焦图像超分辨率融合［J］．光学精密工程，2014，22(1): 169-176．

Peng Z L，Jing L，He Y M，et al．Super resolution fusion of multi-focus image based on multi-scale sparse dictionary［J］．Optics and Precision Engineering，2014，22(1):169-176．(in Chinese)

［15］杨桄，童涛，陆松岩，等．基于多特征的红外与可见光图像融合［J］．光学精密工程，2014，22(2):489-496．

Yang G，Tong T，Lu S Y，et al．Fusion of infrared and visible images based on multi-features［J］．Optics and Precision Engineering，2014，22(2):489-496．(in Chinese)

［16］李航，路羊，崔慧娟，等．基于频域的结构相似度的图像质量评价方法［J］．清华大学学报，2009，49(4):559-562．

Li H，Lu Y，Cui H J，et al．Image quality assessment based on frequency domain of structural similarities［J］．J Tsinghua Univ，2009，49(4):559-562．(in Chinese)

［17］陈健．基于POCS的红外弱小目标超分辨率复原算法研究［D］．长春:中国科学院大学，2014．

Chen J．Research on infrared dim-small target super-resolution restoration arithmetic based on POCS［D］．Changchun:U-niversity of Chinese Academy of Sciences，2014．(in Chinese)

Evaluation method of super-resolution restoration based on SSIM_NCCDFT

ZHANG zhen-dong1，CHEN Jian1，2，3，*，WANG Wei-guo1，LIU Ting-xia1
(1．Changchun Institute of Optics，Fine Mechanics and Physics，Chinese Academy of Sciences，Changchun 130033，China) 2．University of Chinese Academy of Sciences，Beijing 100049，China; 3．College of Communication Engineering，Jilin University，Changchun 130012，China)

There were many traditional methods of image quality assessment．But they were not specific evaluation method for super-resolution restoration．So far there is no uniform evaluation criteria for super-resolution restoration，which largely restricted the development of super-resolution restoration algorithm．For the disadvantage of the traditional super-resolution restoration evaluation system only concerning about a particular aspect of the statistical properties of the image，this paper proposed the super-resolution restoration evaluation method based on SSIM_NCCDFT，which combined the gray value and contrast of the spatial domain and the autocorre-lation of frequency domain．Therefore，the proposed evaluation method can evaluate the results of the super-resolution restoration in both spatial domain and frequency domain．Experimental results showed that SSIM_NCCDFT can accurately reflect the degree of image degradation．Relative to PSNR，SSIM_NCCDFT reflected both frequency and spatial accuracy．SSIM_NCCDFT was a more comprehensive evaluation．The evaluation method of super-restoration method based on SSIM_NCCDFT proposed in this paper can evaluate the results of the superresolution restoration in both spatial domain and frequency domain．It got more comprehensive evaluation results．It can evaluate the image noise and blur．Furthermore this evaluation method has some significance for super-resolution restoration evaluation．

SSIM;NCCDFT;PSNR;super-resolution restoration;image evaluation

TP751．1

A

10．3788/YJYXS20153004．0713

陈健(1981－)，男，吉林长春人，博士，助理研究员，2014年毕业于中国科学院大学获得博士学位，主要高精度快速数字伺服系统研究。E-mail:chenjian4500@163．com

1007-2780(2015)04-0713-09

2014-09-18;

2014-10-23．

吉林省重大科技攻关专项(No．20126015)

*通信联系人，E-mail:chenjian4500@163．com