基于视觉感知梯度SSIM的图像质量评价方法研究

袁 莉，邹 海

（安徽大学 计算机科学与技术学院，安徽 合肥 230601）

0 引言

图像质量评价（Image Quality Assessment，IQA）在多媒体信息处理中占有非常重要的地位，比如信号的传输、恢复和显示[1].图像质量评价方法分为两类：主观评价方法和客观评价方法.主观评价方法由多位不同知识背景的观察者对图像质量评估，然后对他们给出的分数进行平均得到图像质量评价.主观评价方法直观、合理、准确，但实际应用时需要大量的人力、物力、财力，很不方便.客观质量评价方法利用数学模型，比较参考图像与失真图像的相似度或差异，省时省力，如峰值信噪比（PSNR）和均方误差（Mean Square Error,MSE）模型[2-3]等.近年来，Wang等认为人眼能高度自适应的提取图像的结构信息，提出了基于结构相似度（Structural Similarity,SSIM）的图像质量评价方法[4-7]，该方法评价性能优于PSNR和MSE模型，受到广泛关注.尽管SSIM算法客观反映了图像结构信息的变化，但存在两个严重的缺陷.首先，SSIM忽略掉了人类视觉系统（Human Visual System,HVS）的底层视觉特性，导致了SSIM在评价图像质量时很多时候与主观评价不一致；其次，SSIM基于简单建模基础之上，很难模仿高层视觉对结构信息的处理过程，从而不能很好地评价严重模糊的失真图像.

1 结构相似度

基于结构相似度的图像评价方法是从亮度、对比度和结构相似度三方面对参考图像和失真图像进行对比.设x和y分别代表参考图像和失真图像，是对应的离散非负信号，其模式定义如下：

其中，l(x,y)为亮度函数，c(x,y)为对比度函数，s(x,y)为结构函数.

由(1)(2)(3)(4)有

其中，μx、μy分别为 x和 y的均值；σx、σy分别为 x和 y的标准差；σxy为x和y的协方差；C1、C2和C3是非常小的正常数，防止分母为零造成不稳定现象，C1=(k1L)2,C2=(k2L)2,C3=(C2/2)2,k1<<1,k2<<1,п是图中像素的取值范围，对于8位灰度图像而言，L=255；一般设参数 α=1,β=1,λ=1，通过实验确定 k1=0.01，k2=0.03.

SSIM在图像质量评价时，用8×8的滑动窗口在图像（参考图像和失真图像）上逐像素从左上向右下依次计算子图像块的结构相似度，对所有子块的SSIM求均值，即可得到整幅图像的SSIM：

其中，sum为子块的总数.

2 基于视觉感知和梯度的结构相似度评价方法

SSIM算法较为客观的反映了图像的结构信息变化，但是对于图像失真和图像内容在图像质量评价方面所起作用认识不足[8]，忽略了视觉系统的底层视觉特性，导致了评价结果有时与主观评价不一致.考虑到人类视觉系统的底层视觉特性，在此，将视觉敏感度函数作为底层视觉感知信息并结合梯度地图（Gradient Map）,提出一种基于视觉感知的梯度结构相似度图像质量评价模型.

2.1 视觉感知模型

我们从误差可视性和内容可视性两个方面论述视觉感知模型，并利用这两个可视性函数构造视觉感知函数，以此作为结构相似度的权值.由失真模型的空间域表达式d(x,y)=r(x,y)×h(x,y)+n(x,y)可得出失真图像的误差函数

其中，r(x,y)和d(x,y)分别表示参考图像和失真图像，h(x,y)、n(x,y)分别表示局部退化函数和加性噪声.

通过掩蔽效应，这里采用归一化误差图像的方差作为误差可视性，定义为：

其中，σd2和σe2分别表示失真图像和误差图像的局部方差，C0为常数.σd2和σe2越大，表明误差可视性越大，失真越严重.

图像边缘本身对比度高，根据掩蔽效应，失真受到影响，可视性降低；而边缘两侧区域的对比度从无到有，失真会在一侧的平滑区域被强化.边缘纹理不一定都经历失真，具有很高的局部图像质量.因此，需要根据其视觉重要性给予适当权值.以图像局部方差的均值作为掩模，得出内容可视性：

其中σr2、∑σi2/n分别为参考图像子块的局部方差和图像块的均值.方差反映像素的对比度大小，对比度越大，表明所处区域为边缘纹理区域，wt表示参考图像子块的内容可视性.

将误差可视性和内容可视性相结合得到视觉感知函数，定义如下：

其中，a+b=1，a,b∈[0,1].实验证明，当 a=0.4，b=0.6时，参考图像和失真图像有最大的结构相似度值.

2.2 梯度地图

图像的梯度地图通过索贝尔算子获得，该算子包含两组3×3掩模矩阵，如图1所示：

图1 两组掩模矩阵

矢量的梯度计算如下：

梯度地图通过两个掩膜算子和等式(11)求得，它能清晰地反映出图像的边缘和轮廓.

2.3 边缘比较

设X'和Y'分别代表参考图像和失真图像的梯度地图，x'和y'代表X'和Y'的块矢量，基于梯度的对比度函数cg(x,y)和图像结构函数sg(x,y)，定义如下：

其中，σx'、σy'分别表示矢量 x'、y'的标准差，σx'y'表示矢量x'、y'的协方差，C2,C3用于避免分母为零而设的常数.

2.4 基于视觉感知和梯度地图的图像质量评价模型

SSIM模型简单、物理意义明确，但其忽略了HVS的底层视觉特性，导致图像质量评价在很多时候与主观评价不一致，特别对严重模糊的降质图像不能给予准确评价.下面结合视觉感知函数和基于梯度结构相似度算法，构造一种新的图像质量评价模型（GM_SSIM）.

将视觉感知函数和梯度地图结合，构建的函数模型如下：

整个图像的结构相似度计算如下：

3 实验结果与分析

3.1 各失真类型质量评价结果

失真类型图像如图2所示.其中，失真类型分别为白噪声While noise(括号内为噪声率)、JPEG2000压缩、JPEG压缩、Fast fading压缩和高斯噪声Gblur.对上述各个失真类型图像分别采用PSNR、SSIM、和GM_SSIM模型进行质量评价.得到的实验结果如表1所示，并与DMOS评价结果进行比较.DMOS为平均主观评分差值，是主观评分均值(MOS)与满分100的差值，主观评分均值越高就表示图像质量越好，所以，DMOS越大，表示图像质量越差，失真越严重，且DMOS取值范围为[0,100].

图2 各失真类型实验图像

从表1中可以看出，SSIM与PSNR均与DMOS评价结果产生了不一致.在PSNR相近的情况下，SSIM对严重降质的压缩图像评价过高，而对白噪声图像评价过低.如噪声率为0.11718的白噪声图像与JPEG2000压缩图像，其DMOS值分别为41.1696与45.8305，而SSIM值分别为0.6735与0.9540，显然与主观感觉不一致.JPEG2000、JPEG、Fastfad-ing、Gblur均具有较高的DMOS，但其SSIM值均较白噪声图像SSIM值高.而白噪声图像在较小DMOS情况下，其SSIM值反而没有相对较高.显然SSIM对模糊图像有过高评价和对噪声图像有过低评价.

表1 各种失真类型图像评价结果

从表1可以看出，GM_SSIM模型对失真图像的评价结果与DMOS保持一致，随着DMOS的不断增大，图像质量越来越差，GM_SSIM值表现得越来越小，能够对降质严重的压缩图像、模糊图像和噪声图像进行较为准确的评价，表明GM_SSIM模型能较好的符合人的主观评价.与SSIM相比，GM_SSIM不仅考虑了人眼视觉感知因素和人眼视觉心理因素，还考虑了图像的结构信息在人眼视觉系统中的重要性，所以更加符合人眼的视觉特性.

3.2 算法性能分析

采用美国TEXAS大学图像和视频工程实验室提供的图像质量评估数据库进行实验 [9]，并从均方根误差RMSE角度来比较PSNR、SSIM和GM_SSIM的性能，RMSE值越小，表明与人主观评价结果的误差越小.非线性回归函数采用指数拟合函数Exponential.实验结果如图3所示.

图3 图像评价的DMOS散点图

由图3可知，PSNR、SSIM、GM_SSIM算法的RMSE值分别为9.41、7.781、5.54，GM_SSIM的RMSE较小说明其性能优于PSNR、SSIM，更符合人眼视觉感知特性.其中图3中(a)、(b)、(c)分别为 PSNR、SSIM、GM_SSIM作用于所有失真图像上的散点图，可以看出(c)图中的点明显比较有规律的分布，在DMOS较小的时候，数据点也比较聚拢，从而验证了GM_SSIM相对符合主观评价.

4 结束语

本文结合误差可视性和内容可视性对视觉系统底层进行建模，采用失真图像的梯度分量来替代SSIM中的结构分量，提出了一种基于视觉感知的结构相似度质量评价模型GM_SSIM，该模型克服了SSIM在评价结构严重失真和严重模糊图像方面存在的缺陷.通过对各失真类型图像进行仿真实验，结果表明，GM_SSIM模型的评价结果较PSNR和SSIM模型更接近于主观评价结果.

〔1〕蒋刚毅,黄大江.图像质量评价方法研究进展[J].电子与信息学报,2010,32(1):219·226.

〔2〕Mannos J L,Sakrison D J.The effects of a visual fidelity criterion on the encoding of images［J］.IEEE transactions on information theory,1974,20(4):525-536．

〔3〕Liang Yanling,Yang Chunling,Yu Yingling.Arbitrary shaped ROI image coding based on HVS ［J］.Journal of South Chinauniversity of technology,2005,33(3):44-49.

〔4〕W ang Zhou，Bovik A C,Sheikh H R,etal.Image quality assessment:from error visibility to structural similarity[J].IEEE Transactions on Image Processing，2004，13(4):190-192．

〔5〕杨春玲,陈冠豪,谢胜利.基于梯度信息的图像质量评判法的研究[J].电子学报,2007,35(7):1313-1317.

〔6〕W ang Zhou,Bovik A C,LuL.W hy is image quality assessment so difficult[C］//Proc of IEEE international conference on acoustics，speech，and signal processing．O rlando:［s.n.],2002:3313－3316.

〔7〕W ang Z,Bovik A C.A universal image quality index［J].IEEE signal processing letters,2002,9(3):81-84．

〔8〕WANG Yu-qing，LIU W ei-ya，WANG Yong.Image quality assessment based on local variance and structure similarity [J].Journal of Optoelectronics Laser，2008，19(11):1546-1553．

〔9〕H.R.Sheikh,Z.W ang,L.Cormack and A.C.Bovik,"LIVE Image Quality Assessment Database Release 2",http://live.ece.utexas.edu/research/quality.