基于区域对比度和SSIM的图像质量评价方法

闫乐乐，李 辉，邱聚能，梁 平

（1.电子科技大学 航空航天学院，四川 成都611731；2.成都出入境检验检疫局，四川 成都610041）

引言

客观评价方法根据是否需要利用原始参考图像可以分为全参考（FR）、部分参考（RR）和无参考（NR）3种［2］。全参考图像质量评价 （FR-IQA）算法［8］利用原始图像可以获得充足的误差信息来进行图像质量分析，其研究目的是使评价结果与人眼主观感觉相符。传统的FR-IQA方法，例如均方误差（MSE）和峰值信噪比（PSNR），都是基于逐像素点比较图像差别，未考虑到人眼视觉特性（HVS），评价结果不准确。为寻找更为有效的IQA方法，许多研究人员将HVS特性融入图像质量评价中，提出了一些比较成熟的评价算法。例如，2004年Zhou Wang等人从高层模拟HVS特性，提出了经典的SSIM算法［2］，该方法对静态图像的质量评价取得了较好的效果，但也存在某些不足之处，不能很好地评价存在局部失真和交叉失真类型的图像。针对SSIM算法的不足之处，国内外研究人员在SSIM算法基础上，从不同角度陆续提出了多尺度结构化相似度（MS-SSIM）算法［3］、梯度结构相似（GSM）算法［4］、信息量加权结构相似（IW-SSIM）算法［5］、特征相似度（FSIM）算法［6］、谱残差（SR-SIM）相似度算法［7］等。文献［3］利用多级的小波分解将单尺度的SSIM改造为多尺度结构相似度评价方法，取得了一定的效果；文献［4］利用图像梯度信息来替换SSIM中的结构相似因子，一定程度上规避了图像失真类型对评价结果的影响；文献［5］提出加权结构相似度的策略，对图像不同区域赋予不同权值，评价效果获得一定的提升；文献［6］将相位一致性信息引入图像质量评价，结合梯度信息有效地提取人类感兴趣的特征点，取得了比较好的结果；文献［7］利用谱残差视觉注意模型，提取局部感兴趣区域并加以不同权重，提高了评价算法性能。上述几种算法与SSIM算法相比都在一定程度上提高了评价准确度。

为了进一步提高图像质量评价效率和准确度，本文将局部区域对比度与结构相似度相结合，提出了一种RCSSIM改进算法。实验表明该算法的评价结果优于SSIM及其部分改进算法，更加符合人眼主观。

1 结构相似度图像质量评价方法分析

Zhou Wang等人依据HVS高层视觉理论，认为视场中的结构信息是人眼观察图像过程中的决定因素，结构失真才是图像质量评价中的关键因素，并据此提出了SSIM评价方法。该模型将参考图像和失真图像分块从亮度、对比度和结构3个方面分别进行比较，加权乘积得到子图像的结构相似度，最后将所有子图像结构相似度取平均获得SSIM 值［2］。具体定义为

式中：l（x，y）、c（x，y）、s（x，y）分别为参考图像与待测失真图像间的亮度相关函数、对比度相关函数和结构相关函数；μx、μy为2幅图像亮度均值；σx、σy为标准差；σxy为协方差；C1、C2、C3取很小的正常数，防止分母为零或接近于零而出现不稳定现象；α、β、γ均为正数，用来调整亮度、对比度、结构相关度的权重。当取α＝β＝γ＝1，C3＝C2／2时，（1）式可简化为

该相似性度量满足以下条件：

1）对称性：SSIM（x，y）＝SSIM（y，x），改变参考图像和失真图像输入顺序不影响其相似性度量值；

电话响起的时侯，他正准备提醒她。进了客房，他们就紧紧地拥抱在一起，粗重的喘息充盈了空间，半空的那根轻柔的空调飘带似乎也凝固了。几分钟后，她推开他。她准备去淋浴，脱衣服的时候她变得有些羞涩。他背过身去，想象着她的举动。浴室的灯开了。他突然提醒说，小心滑。是的，就是这句话。正巧，说完这句话，他的电话在口袋里响了起来。

2）有界性：0＜SSIM（x，y）≤1，越接近于1，表明2幅图像的相似性越强；

3）唯一最大值：当2幅图像完全相同，即x＝y时，取得唯一最大值1。

在评价图像质量时，为了提高评价结果的准确性，文献［2］用11×11的窗口逐像素在参考图像和待测图像上移动，计算窗口对应子图像的SSIM值，并对所有SSIM值取平均，便可得到2幅图像的结构相似度：

式中：X和Y分别代表参考图像和待测图像；M为子图像总数。MSSIM值越高，表示待测图像与参考图像结构相似度越高，质量越好。

SSIM模型从高层视觉特性出发理解人眼观察图像实质，避免了底层视觉建模的复杂性，以一种简洁的方式较好地评价了图像质量，与传统的基于误差的质量评价相比，大大提升了评价效果。但是SSIM也存在一些不足，例如对HVS底层视觉特性的忽略；简单线性建模难以描述高层视觉的图像结构信息；假定图像的不同区域具有相同的视觉重要性等。而这些就导致SSIM在某些失真程度严重或者存在交叉失真的情况下评价效果不尽如人意，不符合人眼主观评价。

2 基于区域对比度和SSIM的图像质量评价方法

2.1 算法改进思路

经典的SSIM算法采用了取平均值的简单方式，对图像的不同区域给予相同的权重，但是人眼实际上对图像不同部分、不同区域的敏感度是不同的［10］，如人眼对边缘纹理的失真、平坦区域的噪声更加敏感。因此，一种自然的思路就是在子图像SSIM合并时对不同区域采取不同的权重值。针对灰度图来说，非严重失真类型虽然多种多样，但其模糊的结果都表现为待测图像与参考图像对应位置的灰度产生变化。本文依据图像不同区域包含灰度变化的信息量即区域对比度（regional contrast）不同，给予区域子图像SSIM不同的权重，最后加权归一化为新的图像质量。

2.2 区域对比度

对于图像一定区域的像素点来说，其与邻域内像素点的灰度差的大小并不能完全表征该点邻域内所包含的图像复杂度或信息量的大小。从人眼视觉系统角度出发，一点与其区域内所包含的视觉信息量的大小还与该点所处的环境背景有关，在背景较亮时，图像的灰度变化信息不易被察觉。因此，单纯通过检测像素点邻域内灰度变化映射成边缘图像的方法会有失妥当。

借鉴信号理论中的信噪比计算方法和自动对焦清晰度评价方法［9］，本文提出了一种利用区域对比度得到图像边缘纹理映射图的方法，其主要原理是：在某一个中心像素点所对应的区域中，计算区域内灰度的最大值与最小值之差，再除以最大值，称为该区域的区域对比度。

式中：con（x，y）为以（x，y）为中心区域的区域对比度；max［fr（x，y）］和 min［fr（x，y）］分别为该点邻域内的灰度最大值和灰度最小值。由（5）式可知，区域对比度值满足0≤con（x，y）≤1；区域对比度值不只与该区域内灰度值的极差有关，还与背景的明暗程度有关。

通过滑动计算某幅图像的每像素点邻域内的区域对比度（对图像边缘可做舍去处理），便可得到这幅图像的区域对比度映射图。对同一图像而言，领域大小选择方法不同，区域对比度映射图也会略微不同，但通过合理选取邻域大小所得区域对比度映射图可以更好地表征图像的边缘纹理特征。结构相似度映射图和区域对比度映射图见图1。

图1 图像结构相似度与区域对比度映射图对比Fig.1 Comparison between structural similarity map and regional contrast map

2.3 基于区域对比度和SSIM的图像质量评价模型

根据上述区域对比度的定义方法，结合结构相似度算法，本文提出一种基于区域对比度和结构相似度的图像质量评价方法。SSIM算法计算子图像的结构相似度过程中同时计算出对应子图像中心像素点处的区域对比度，然后加权得到子图像的基于区域对比度的结构相似度，最后归一化为整幅待测图像的质量值RCSSIM。算法基本流程图如图2所示。

图2 RCSSIM算法基本流程图Fig.2 Basic flow chart of RCSSIM algorithm

式中：SSIM（x，y）表示参考图像与待测图像在像素点（x，y）处对应位置的结构相似度；con（x，y）表示该像素点邻域的区域对比度；m、n表示结构相似度映射图的大小；RCSSIM（X，Y）表示待测失真图像Y相对参考图像X的质量值。由基本数学知识可知，RCSSIM质量值仍然满足SSIM质量值的有界性和唯一最大值的性质。

3 实验结果与分析

为了验证RCSSIM算法的有效性，在MATLAB 7.0仿真环境下对LIVE database release2图像库［11］中图像进行了大量实验，重点比较了RCSSIM与SSIM的性能。

3.1 主客观评价一致性总体比较

图像质量主观评价值为LIVE图像数据库提供的平均差值评价分数DMOS（difference mean opinion score），越大表示图像质量越差；图像质量客观值为LIVE数据库中图像经过IQA算法处理后得到的质量值，越大表示图像质量越好。

对本文提出的RCSSIM评价模型和SSIM模型的评价结果利用Logistic函数进行非线性回归拟合，使用Spearman等级相关系数（SROCC）、Kendall等级相关系数（KROCC）、均方根误差（RMSE）和Pearson线性相关系数（PLCC）4个指标来测试算法性能［12］。其中，SROCC、KROCC和PLCC绝对值越接近于1，表明客观评价模型的准确度越高，主客观一致性越好；RMSE越接近于0，表明客观评价模型评价值离散程度越小，稳定性准确性越好。

图3和表1给出了对整个LIVE图像数据库中失真的779幅图像的实验结果。图表中的坐标和指标均为数值型变量，无量纲。

图3 SSIM和RCSSIM客观评价值与主观值散点图及拟合曲线Fig.3 Scatter plot and fitting curve of objective and subjective scores of SSIM and RCSSIM

表1 几种IQA算法在LIVE库上的性能Table 1 Performance of a few IQA algorithms on LIVEdatabase

表1中，RCSSIM（x×x），x＝3、5、7、9、11，表示区域对比度计算区域窗口为x×x。通过表1可以看出：

1）RCSSIM算法中区域对比度计算窗口大小选取不同，算法性能会有些许差别。选取窗口过大，会导致对图像区域特征表现不明显。本实验中选取3×3、5×5窗口性能较好。应用中可根据实际情况选取合适的区域对比窗口。

2）RCSSIM评价结果的准确度高，线性相关性好，主客观一致性好，整体性能明显好于SSIM算法。

3）RCSSIM算法在达到甚至超过FSIM和SRSIM算法在灰度图域的性能的同时，保持着较好的计算简便性。

3.2 不同失真类型下算法性能比较

为了验证RCSSIM算法针对不同失真类型的适应性，对LIVE图像数据库中的5种不同类型的失真图像（JPEG2000压缩失真图169幅、JPEG压缩失真图175幅、白噪声失真图145幅、高斯模糊失真图145幅、快衰落失真图145幅）进行了仿真，结果如图4、表2、表3所示。

图4 RCSSIM算法在不同失真类型下评价值与DMOS散点图和拟合曲线Fig.4 Scatter plot and fitting curve of RCSSIM's objective scores and DMOS with different distortion types

表2 RCSSIM算法在5种不同失真类型下的评价性能Table 2 Performance of RCSSIM algorithm under 5 kinds of distortion

表3 SSIM算法在5种不同失真类型下的评价性能Table 3 Performance of SSIM algorithm under 5 kinds of distortion

从图4、表2、表3中可以看出：

1）RCSSIM算法在LIVE图像白噪声、高斯噪声和快衰落失真分库中的评价结果与视觉效果基本保持一致，性能优于SSIM算法，对不同噪声种类有较好适应性。

2）RCSSIM算法在JPEG和JPEG2000失真图像库中的性能不如SSIM。此类图像压缩过程中会产生明显的块效应，图像结构大大改变，通过散点图可看出SSIM和RCSSIM对于JPEG失真图像的评价效果不佳。

4 结论

针对SSIM图像质量评价算法中对图像局部区域失真度量的不足，从不同区域加不同权重角度出发建立了RCSSIM改进算法，该算法基于区域对比度在空域内以极小的计算代价得到了更加符合人眼视觉效果的图像质量评价。在LIVE图像数据库中的大量对比测试实验数据表明：RCSSIM算法比SSIM算法的评价准确率更高，评价结果更加符合人眼主观。

［1］ Wei Xuehui，Li Junli，Chen Gang.A perception based image quality assessment model［J］.Journal of Computer-Aided Design ＆ Computer Graphics，2007，19（12）：1540-1545.韦学辉，李均利，陈刚.一种图像感知质量评价模型［J］.计算机辅助设计与图形学学报，2007，19（12）：1540-1545.

［2］ Wang Z，Bovik A C，Sheikh H R，et al.Image quality assessment：from error visibility to structural similarity［J］.IEEE Transactions on Image Processing，2004，13（4）：600-612.

［3］ Wang Z，Simoncelli E P，Bovik A C.Multiscale structural similarity for image quality assessment［J］.IEEE Computer Society Press，2003，2 （11）：1398-1402.

［4］ Liu Anmin，Lin Weisi，Narwaria M.Image quality assessment based on gradient similarity［J］.IEEE Transactions on Image Processing，2012，21（4）：1500-1512.

［5］ Wang Z，Li Q.Information content weighting for perceptual image quality assessment［J］.IEEE Transactions on Image Processing，2011，20（5）：1185-1198.

［6］ Zhang Lin，Zhang D，Mou Xuanqin，et al.FSIM：a feature similarity index for image quality assessment［J］.IEEE Transactions on Image Processing，2011，20（8）：2378-2386.

［7］ Zhang Lin，Li Hongyu.SR-SIM：A fast and high performance IQA index based on spectral residual［J］.IEEE International Conference on Image Processing，2012，19（9）：1473-1476.

［8］ Sheikh H R，Sabir M F，Bovik A C.A statistical evaluation of recent full reference image quality assessment algorithms［J］.IEEE Transactions on Image Processing，2006，15（11）：3440-3451.

［9］ Zhang Yatao，Ji Shupeng，Wang Qiangfeng，et al.Definition evaluation algorithm based on regional contrast［J］.Journal of Applied Optics，2012，33（2）：293-299.张亚涛，吉书鹏，王强锋，等.基于区域对比度的图像清晰 度 评 价 算 法 ［J］.应 用 光 学，2012，33（2）：293-299.

［10］Yang Chunling，Xu Xiaolin.Structural similarity highlighting edge regions for image quality assessment［J］.Journal of Image and Graphics，2011，16（12）：2133-2139.杨春玲，徐小琳.重视边缘区域的结构相似度图像质量评价［J］.中国图象图形学报，2011，16（12）：2133-2139.

［11］Sheikh H R，Wang Z，Cormack L，et al.LIVE image quality assessment database release 2，2004［EB／OL］.Austin：The University of Texas，2005（2012-02-13）［2004-07-01］.http：／／live.ece.utexas.edu／research／quality.

［12］Zhang Lin，Zhang D，Mou Xuanqin，et al.A comprehensive evaluation of full reference image quality assessment algorithms［J］.IEEE International Conference on Image Processing，2012，19（9）：1477-1480.