基于局部信息失真建模的图像质量评价方法

卢彦飞，张 涛，郑 健，李 铭，章 程

(1．中国科学院长春光学精密机械与物理研究所，吉林 长春130033;2．中国科学院大学，北京100049;3．中国科学院苏州生物医学工程技术研究所，江苏 苏州215163)

1 引言

随着成像技术的发展，人们可以通过各种方式来获取图像。在图像数据的获取、传输、压缩处理、重建等过程中，会引入各种各样的失真，导致图像退化，使图像的视觉效果下降。图像质量评价方法可以为成像系统的参数设计和算法优化提供参考，如何合理评价图像的质量正在成为图像处理领域的一个热点。

现有的图像质量评价方法主要分为主观评价方法和客观评价方法，目前图像质量评价领域的研究重点是客观评价方法。客观评价方法根据参考图像的信息量可以分为三种，即全参考质量评价、部分参考质量评价以及无参考质量评价。全参考评价方法［1］利用整幅参考图像，通过降质图像和参考图像的比较来评价图像质量，是目前最可靠的客观评价方法。

早期的全参考评价方法如均方误差(MSE)及其相关的峰值信噪比(PSNR)等，通过计算降质图像以及参考图像的对应像素的差值，并将差值的统计量作为图像的质量度量，忽略了人眼的视觉特性对图像质量评价结果的影响，也忽略了图像的像素之间具有很强的关联性这一事实。随着人们对人眼视觉系统(Human Visual System，HVS)认识的深入，人们开始利用人眼视觉系统的某些特征来设计图像质量评价方法。一种是对人眼视觉系统的特征构建视觉模型，通过自底向上(Bottom－up)的方法来模拟人的视觉，其中代表性的模型有Daly的VDP［2］(Visible Differences Predictor)模型，典型的方法有NQM［2］和VSNR［3］。另一种是把人类视觉系统当作一个黑箱，建模时只考虑信号的输入与输出的关系，即通过自顶向下(Top－down)的方法来模拟人的视觉特 性，主 要 有SSIM［4］(Structural Similarity)、IFC［5］、VIF［6］、FSIM［7］及基于SVD分解的方法［8］。其中Zhou Wang等提出的SSIM方法，假设人类视觉系统的作用是提取场景中的结构信息，避免了从低层次上模拟HVS的整体功能，将图像的失真分为结构性失真和非结构性失真，与参考图像的亮度、对比度和结构信息进行比较，从而综合得到了对图像质量的评价结果。

已有的方法中，SSIM计算难度较小，但是存在着对模糊图像评价不准确的问题，其他大部分方法的计算量都比较大。本文通过考虑图像的三种失真，即像素灰度失真、局部对比度失真和局部结构失真，并对三种信息失真进行建模，提出了一种新的图像质量评价方法。此方法物理意义明确，而且计算比较简单。采用LIVE图像数据库对该方法进行验证，实验结果表明，本文方法具有很好的图像质量预测性能。

2 图像不同信息失真的表示

2．1 结构相似度(Structural Similarity)

Zhou Wang［4］等利用图像像素间的相关特性，给出了结构信息的概念，认为其应独立于图像的亮度和对比度。此方法认为人眼视觉系统的主要功能是提取图像中的结构信息，通过定义结构相似度，提出了基于结构相似度(SSIM)的图像质量评价方法。

由于部分考虑了人眼对图像的感知特性，而不是利用图像之间的像素差异，SSIM模型对图像的质量评价取得了较好的效果，与人眼的主观感知比较一致，引起了比较广泛的关注。但是这种方法对于模糊图像的评价不够理想，特别是模糊程度比较大的，评价结果与人眼的主观感知差异比较大。

2．2 像素灰度失真

其中，c1是很小的正常数，为了避免分母为零或者接近零时出现的不稳定情况。

2．3 局部对比度失真

对于一幅图像来说，某一个像素所代表的信息不仅和其自身的灰度有关，而且和其邻域像素的灰度相关。由于HVS对于图像的理解受像素邻域的影响，不同的邻域模式会导致对同一灰度级像素不同的理解，如图1所示。图1中(a)和(b)对应的中心像素的灰度值是一样的，但是由于其邻域的灰度模式不一样，导致视觉上有差异，(a)的中心像素看起来要比(b)的暗一些。

图1 同一灰度值像素在不同邻域中的视觉差异

对于图1所示的现象，一个简单的解释是，(a)和(b)对应中心元素的邻域模式不同，局部对比度是不一致的，所以才导致其视觉上的差异。本文用局部二值模式来度量图像的局部对比度。

Ojala等学者［9］在1994年首次提出了局部二值模式，最初功能为来衡量图像的局部对比度，后来提升为一种有效的纹理描述算子。对于一个像素的3×3邻域，利用中心像素作为阈值，周围的8个像素的值与其比较，如果周围的像素值小于中心像素，则该像素位置被标记为0，否则为1。阈值化后的值分别与对应位置像素的权值相乘，8个对应乘积的和即为该像素邻域的LBP值，计算的原理如图2所示。

图2 原始LBP的定义

图2 为一个3×3的像素块，经过阈值化处理后，不同的像素位置变为0或1。对不同的像素位置i赋2i的权重，最后得到该像素邻域的局部二值模式。

最初始的LBP存在定义过于简单，只能提取固定尺寸纹理特征的局限性。Ojala等［10］对LBP进行了修改，并形成了比较系统的理论。

为了简化计算，本文利用原始的局部二值模式来度量图像的局部对比度，如图3所示，对于参考图像monarch和失真图像，由于失真的存在，失真图像的局部邻域模式发生了变化，局部对比度也发生了改变，其对应的LBP编码图像在局部细节上是不同的。不同的失真对局部对比度的影响也是不同的，这个在LBP编码图像上也能体现出来。

图3 参考图像monarch和失真图像及对应的LBP编码图像

将参考图像X和失真图像Y对应的像素xi和yi经过LBP编码之后的值记为Xlbp－xi和Ylbp－yi，则失真图像的局部对比度失真可以用下式来表示:

其中，c2是很小的正常数，为了避免分母为零或者接近零时出现的不稳定情况。

2．4 局部结构失真

SSIM方法［4］认为HVS的主要功能之一是提取图像中的结构信息。而图像的大量结构信息与其局部方差的分布密切相关［11］，本文利用图像局部方差之间的差异来衡量局部结构失真。

对于图像I，其局部方差的定义为:

由于标准差的量纲与原图像中像素的量纲是一致的，为了使局部结构失真的意义更明确，利用局部标准差代替局部方差更为合理，即:

参考图像X和失真图像Y对应的像素xi和yi的局部标准差分别为std(xi)和std(yi)，则和上面的失真定义类似，失真图像的局部结构失真可以用下式来表示:

其中，c3是很小的正常数，为了避免分母为零或者接近零时出现的不稳定情况。

3 局部结构失真图像质量评价方法

结合第2部分中定义的像素灰度失真、局部对比度失真和局部结构失真，得到图像质量评价测度如下:

其中，α＞0，β＞0和γ＞0这三个参数是用来调整三种失真的重要程度，一般取α=β=γ=1。由于本方法主要结合了图像的局部性质和结构信息，将其称为局部结构失真测度(Local Structural Distortion Measure，LSDM)。

利用LSDM(X，Y)可以得到参考图像和失真图像对应位置的局部失真，从而可以得到失真图像的整体失真程度。由于人眼视觉系统对图像不同区域的敏感程度是不同的，对于边缘和纹理区域，人眼能够感知到更多的信息，而对于平坦区域，人眼的敏感程度有所降低。因此，需要根据不同区域的视觉重要性，来分配适当的权重。本文利用局部方差［11］来衡量像素点的视觉重要性。如果参考图像和失真图像中对应像素点的局部方差比较大，则意味着这个像素点对于人眼视觉系统的重要程度也比较高。因此，本 文 利 用wmap(xi，yi)= max(std(xi)，std(yi))作为权重来衡量对应像素点的重要性。最终的图像质量评价测度如下:

其中，xi和yi分别为参考图像和失真图像对应像素。

4 实验及分析

为了测试本文提出的质量评价方法的有效性，本文使用美国Texas大学的Laboratory for Image and Video Engineering(LIVE)［12］图像数据库进行实验。该图像数据库包含29幅参考图像和对应的各种失真图像，其中有5种失真类型:JPEG2000压缩失真(jp2k)，JPEG压缩失真(jpeg)，白噪声失真(wn)，高斯模糊失真(gblur)和Rayleigh衰落道模型失真(fastfading)，共779幅失真图像。同时，该图像库还给出了每幅图像的DMOS值，DMOS值越小说明图像的主观质量越好。本文提出的方法暂时只考虑图像的灰度信息，彩色图像需要将其转为灰度图像。

为了客观的评价图像质量评价方法，根据VQEG［13］(Video Quality Evaluation Group)提出的准则，通常认为在客观评价值和主观评价值之间存在一定的非线性关系，这里采用下面的函数［1］建立这种非线性映射:

其中，x表示客观评价值，β1，β2，β3，β4和β5为模型参数。针对五种不同的失真类型，本文所提出的图像质量评价方法(WLSDM)与主观DMOS的曲线拟合情况如图4所示。

图4 本文所提出的图像质量评价方法(WLSDM)与主观DMOS的曲线拟合图

对于不同的质量评价方法，通常选用以下三个指标来比较方法之间的优劣［1］:①Pearson线性相关系数(Pearson Linear Correlation Coefficient，PLCC)，反映预测的准确性;②Spearman秩相关系数(Spearman Rank－Order Correlation Coefficient，SROCC)，反映预测的单调性，及预测值与主观值之间的一致程度;③均方根误差(Root Mean－Squared－Error，RMSE)，反映客观评价的一致性。其中PLCC和SROCC数值越大表明模型的预测能力越好，而RMSE数值越小则预测能力越好。表1列出了WLSDM评价方法与PSNR以及SSIM方法在LIVE图像库中的性能指标，对于每种失真类型，每一列中PLCC和SROCC的最大值以及RMSE的最小值，均用黑体标出。经过对比可以发现本文方法的三项指标总体优于PSNR、SSIM方法。由于白噪声是单个像素点失真，与图像的结构不是很相关，而PSNR是针对像素点误差的数学统计，比较适合这种失真情况，因此PSNR方法对于白噪声失真的预测准确性优于本文的方法和SSIM方法。对于其他失真类型，本文方法的表现均要优于PSNR和SSIM，具有最高的PLCC和SROCC，且具有较小的RMSE。

表1 本文所提出的WLSDM评价方法与PSNR以及SSIM方法性能指标比较

为了进一步验证本文方法的灵敏性和合理性，图5给出了LIVE图像数据库中的6幅失真程度不同的monarch降质图像，前3幅(a)、(c)和(e)为wn失真，后3幅(b)、(d)和(f)为gblur失真，并给出了对应的DMOS值。表2给出了SSIM和本文方法对这6幅图像的客观质量预测值，表中的DMOS值按升序排列。从表2可以看出，相对于SSIM，本文方法对失真图像质量预测的结果和主观判断更加一致，而SSIM则存在误预测的情况，特别对于模糊程度比较严重的图像，其预测结果存在较大偏差。

表3列出了本文方法的SROCC值与几种性能公认较好的评价方法对比。其中MS－SSIM［14］，IW－SSIM［15］是以SSIM为基础的改进，IFC［5］基于自然场景分析和信息论，均属于自顶向下(Topdown)的方法;VSNR［3］属于自底向上(Bottom－up)的方法。表3中，对于每种失真类型，每一行中最大的3个值均用黑体标出。表中可以看出，WLSDM在jp2k，jpeg，gblur以及fastfading这四种失真类型上的表现很好，每种类型对应的SROCC值均排名靠前，在wn失真类型上也给出了不错的预测结果。实际上，利用其他指标，例如KROCC和PLCC，也可以得到类似的结果。总体上来说，WLSDM方法的表现比其他方法更优越，与主观评价结果具有很好的一致性。

表2 图5中失真图像的质量预测值比较

表3 本文所提出的WLSDM评价方法SROCC值与其他方法对比

图5 不同失真程度的图像及其DMOS值

5 结论

图像质量评价方法研究是近期图像处理领域的一个热点问题，由于传统的MSE及PSNR方法没有考虑人眼的视觉特性，和主观评价结果存在不一致性，将人眼视觉系统的性质加入到图像质量评价方法中成为研究重点之一。基于结构相似度(SSIM)的图像质量评价方法，根据人眼视觉系统主要提取结构信息的假设，利用图像间的相关系数定义图像结构信息，得到了比较好的结果，但是对于模糊程度比较严重的图像的评价会出现较大偏差。针对图像的亮度、局部对比度和局部结构失真进行建模，提出了一种新的局部结构失真测度，物理意义比较明确，计算复杂度较低。在LIVE图像数据库上的实验结果表明，本文方法对于jp2k，jpeg，gblur和fastfading失真预测的准确性和一致性都很高，PLCC值和SROCC值分别达到了0．9694，0．9814，0．9694，0．9678及0．9635，0．9782，0．9693，0．9607，均超过了SSIM的表现;对于wn失真也有较好的预测结果，PLCC值和SROCC值分别为0．9451，0．9332;通过SROCC比较，WLSDM相对于PSNR、SSIM以及其改进MS－SSIM与IW－SSIM，能够更好的预测图像质量，比VSNR及IFC方法的性能也更优越。总体上来说，WLSDM方法取得了很好的图像质量预测结果，和人眼视觉特性更为一致。本文通过考虑人眼视觉特性，在图像的结构信息建模方法提供了一个新的思路，利用本文提出的图像质量评价方法在图像处理算法的设计等方面进行应用，比如对图像融合算法进行评价［16］，是下一步研究的目标。

［1］ Sheikh H R，Sabir M F，Bovik A C．A statistical evaluation of recent full reference image quality assessment algorithms［J］．IEEE Transactions on Image Processing，2006，15(11):3443－3452．

［2］ Damera－Venkata N，Kite T D，Geisler W S，et al．Image quality assessment based on a degradation model［J］．IEEE Transactions on Image Processing，2000，9(4):636－650．

［3］ Chandler D M，Hemami S S．VSNR:A wavelet－based visual signal－to－noise ratio for natural images［J］．IEEE Transactions on Image Processing，2007，16(9):2284－2298．

［4］ Wang Z，Bovik A C，Sheikh H R，et al．Image quality assessment:from error visibility to structural similarity［J］．IEEE Transactions on Image Processing，2004，13(4):600－612．

［5］ Sheikh H R，Bovik A C，Veciana G．An information fidelity criterion for image quality assessment using natural scene statistics［J］．IEEE Transactions on Image Processing，2005，14(12):2117－2128．

［6］ Sheikh H R，Bovik A C．Image information and visual quality［J］．IEEE Transactions on Image Processing，2006，15(2):430－444．

［7］ Zhang L，Zhang L，Mou X Q，et al．FSIM:A feature similarity index for image quality assessment［J］．IEEE Transactions on Image Processing，2011，20(8):2378－2386．

［8］ Aleksandr S，Alexander G，Ahmet M E．An SVD－based grayscale image quality measure for local and global assessment［J］．IEEE Transactions on Image Processing，2006，15(2):422－429．

［9］ Ojala T，Pietikainen M，Harwood D．Performance evaluation of texture measure with classification based on Kullback discrimination of distributions［C］//Proceedings of the 12thIAPR International Conference on Pattern Recognition(ICPR 1994)，Jerusalem，Israel，1994:582－585．

［10］Ojala T，Pietikainen M，Maenpaa T．Multiresolution gray－scale and rotation invariant texture classification with local binary patterns［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24(7):971－987．

［11］Santiago A F，Raul SJ E，Carlos A L，et al．Image quality assessment based on local variance［C］//Proceedings of 28thIEEE Annual International Conference on Engineering in Medicine and Biology Society，New York City，USA，2006:4815－4818．

［12］Sheikh H R，Wang Z，Cormack L，et al．LIVE image quality assessment database，release 2［Online］．http://live．ece．utexas．edu/research/quality．

［13］Final Report From the Video Quality Experts Group on the Validation of Objective Models of Video Quality Assessment，Phase II VQEG，Aug．2003［EB/OL］．Available:http://www．vqeg．org/

［14］Wang Z，Simoncelli E P，Bovik A C．Multiscale structural similarity for image quality assessment［C］//Proceedings of 37thIEEE Asilomar Conference on Signals，Systems and Computers，Pacific Grove，CA，USA，2003:1398－1402．

［15］Wang Z，Li Q．Information content weighting for perceptual image quality assessment［J］．IEEE Transactions on Image Processing，2011，20(5):1185－1198．

［16］SONG Le，LIN Yu－chi，LIU Qi－hai，et al．Novel evaluation model for different－source image fusion quality［J］．Laser＆Infrared，2010，40(1):99－102．宋乐，林玉池，刘启海，等．一种新型异源图像融合质量评价模型［J］．激光与红外，2010，40(1):99－102．