基于注意力选择与感觉容量的图像质量评价算法

郑江云

（安庆师范学院物理与电气工程学院，安徽安庆 246133）

基于注意力选择与感觉容量的图像质量评价算法

郑江云

（安庆师范学院物理与电气工程学院，安徽安庆 246133）

图像质量评价是用可计算的模型模拟人的主观判断。根据人眼对图像高低频失真的感觉容量不同及注意力选择特性，本文提出一种新的图像质量评价算法。首先，将图像的高低频信号分别选用视觉显著图的系数和小波变换的近似系数表示；然后，采用不同方法分别计算图像高频和低频失真量，两种失真量的乘积就代表图像质量评价。这种客观评价算法与LIVE图库中DMOS的线性相关性达到0.906 4以上，明显优于PSNR和SSIM等算法。

图像质量评价；注意力选择；感觉容量；视觉显著图（VSM）

图像质量评价在图像和视频的处理、传输领域是重要的研究课题，对于图像系统与算法的评价具有重要的指导意义。图像质量评价方法主要分为两类：主观评价方法和客观评价方法。主观评价复杂性高，费时费力，且很难直接应用于实时图像处理系统中。而客观评价方法便于内置于图像处理系统中，是开发符合人类视觉系统（human vision system，HVS）的客观评价方法，为当前图像质量评价研究的重点。文献［1］提出了将对比度失真、亮度失真及相关性损失三项结合的客观评价指标Q，它的性能优于均方误差（MSE，Mean Square Error），但它的不足是计算复杂，不利于普遍推广应用。Wang等人提出了结构相似度SSIM（structural similarity）［3］的图像质量评价方法。SSIM以简单的模型得到了较好的质量评价效果，但是对不同失真类型、不同失真强度图像的评价缺乏一致性［4］。文献［4-6］改进了SSIM的算法，但他们和主观评分间都采用非线性相关比较，而采用线性回归和非线性回归的方法，对Pearson相关系数差别是很大的［7］。文献［8］提出了一种基于小波第二级系数误差（Wavelet Second Coefficient Error，WSCE）的图像质量评价模型，该模型与主观评价DMOS间的线性相关性较好，但从回归方程的斜率和截距可知，该模型对不同失真类型的评价缺乏一致性。文献［9］提出了注意力选择的快速计算，并将它作为加权因子应用在已知的图像质量评价模型中，改善了现有算法。本文结合文献［8 -9］的优点，提出了基于注意力选择与感觉容量的（Attention Selection and Sense Capacity，ASSC）的图像质量评价模型，采用LIVE Database Release2图库［10］779幅失真图像进行了实验，结果表明该模型能够较好地评价图像质量。

1 注意力选择

注意力选择是动物视觉的一个重要性质，眼睛往往会对场景中感兴趣的目标或区域分配较多的注意力，而忽视重复出现的内容或不感兴趣的部分。视觉显著图是模拟人注意力选择的计算模型，本文采用类似文献［9］的方法得到视觉显著图。先对图像直接进行二维傅里叶变换，并计算其相位谱和幅度谱，然后将幅度谱归为1，保留相位谱，作二维的傅里叶反变换，并用高斯滤波器平滑，即可得到原图像的显著图。图1给出了woman的原图、显著图及由小波近似系数反变换构成的图像。图1（a）中的项链比较容易吸引人的注意力，图1（b）所示显著图中相应位置的信号就比较强，而图1（c）所示的由小波近似系数反变换构成的图像，它仅显示细节，而没有表达视觉注意力选择的效果，即对所有边缘同等对待。该实验表明：视觉显著图不仅能反映图像的细节，即高频分量，也能反映图像中的新颖信息，用视觉显著图表示图像的高频成分更符合人眼的视觉特性。

图1 woman的原图、显著图及由小波细节系数反变换得到的边缘图像

2 基于注意力选择与感觉容量的图像质量评价模型

根据Weber定律，对比度门限和原始信号的幅值成比例，只要改变的信号量低于对比度门限，视觉系统就无法感觉到信号的改变，由于低频系数的幅值一般远大于高频系数，从而具有较大的感觉容量［8］。本文根据这种特点设计评价模型。

2.1 图像低频误差

文献［8］的实验表明：选用二级小波近似系数的变化量作为图像背景部分的降质，效果最好。所以本文参照文献［8］的方法，用LFE（Low Frequency Error）表示图像低频的失真量，如公式（1）所示，它是小波分解的第二级近似系数变化量的平方和，代表低频的累积失真量。LFE越大，图像低频的失真量就越大。M，N指被评价图像的像素个数。分别表示原始图像和被评价图像的第二级小波近似系数。

2.2 图像高频误差

由第1节内容可知，显著图比小波细节系数更符合人眼的生理特点，所以本文选取视觉显著图的系数作为图像高频信号，以显著图系数的相对失真量表示图像高频的失真，如式（2）所示，HFE（High Frequency Error）的值与图像高频信号的失真量、原始图像的纹理及内容的显著性有关，HFE越大，图像细节的降质越大。分别表示原始图像和被评价图像视觉显著图的系数值。

2.3 基于注意力选择与感觉容量的图像质量评价算法ASSC

基于注意力选择与感觉容量的图像质量评价算法如式（3）所示，单位为dB。ASSC值越大，图像失真量就越大。

式（3）将图像低频的绝对失真量、高频的相对失真量通过相乘结合起来，综合评价图像的质量，由于LFE，HFE的计算方式不同，两者的相对独立性得到了保证。

3 实验结果及分析

3.1 本文方法与主观感知一致性实验

实验采用LIVE Database Release2图库［10］，该图库选取29幅高精度、高质量彩色图像作为原始图像，再模拟JPGE2000压缩（JP2K）、JPEG压缩（JPEG）、高斯白噪声（WN）、高斯模糊（GBlur）、瑞利信道失真（FF），这些失真类型形成5个子图库，共779幅失真图像。另外，图库提供了每幅图像的差异主观评价分DMOS（differentialmean opinion score），DMOS作为客观质量评价比较的标准，DMOS值越大，表示图像质量越差，DMOS值越小，表示图像质量越好，DMOS的取值范围是［0，100］。下面从几个方面比较ASSC，WSCE［8］，GSSIM［5］和SSIM［3］的性能。

图2为GSSIM，SSIM，WSCE和ASSC评价全体图像的DMOS散点图，由图2的散点图可知，ASSC与主观评分DMOS的相关程度明显优于WSCE，GSSIM和SSIM。

图2 GSSIM，SSIM，WSCE和ASSC评价全体图像的DMOS散点图

图2（a），2（b）主客观评价值采用Logistic非线性函数回归。而图2（c），2（d）直接采用线性函数回归分析，得到相关系数（CC）、均方差的平方根（RMSE）、绝对误差均值（MAE）和离出率（OR）4个方面的结果，如表1所示。4个指标中，CC值越大，MAE，RMSE和OR值越小，就表示客观评价模型越好。从表1可见，尽管ASSC直接采用线性回归，但它的CC值仍然是最大，MAE，RMSE和OR值最小，这充分说明ASSC评价模型最好。

表1 不同客观评价模型评价所有图像的性能比较

虽然评价图库［10］中所有图像的整体指标，ASSC已经优于WSCE，但由于ASSC和WSCE主客观评价值都采用线性回归模式，为了比较它们评价不同失真类型的一致性，对图库［10］中五个子图库分别进行线性回归分析，表2给出了它们线性回归方程的斜率a和截距b。从表2中α，b值的变化情况看，ASSC模型在不同的失真类型下，取值非常稳定，特别是α，基本都等于1，而且对于779幅所有失真图像ALL，α，b的取值和每类失真的值都非常接近。而WSCE评价GBlur和WN失真类型时，α，b取值波动较大，这说明ASSC在评价不同的失真类型时，比WSCE更具一致性。

表2 ASSC和WSCE评价子图像库的线性回归直线的斜率α与截距b

以上的实验结果表明：ASSC模型很好地反映了主观评价，总体评价性能明显优于GSSIM。

3.2 本文方法的敏感性测试实验

图3是图库［10］中的图像，分别为monarch的原图、WN失真及GBlur失真图。虽然图3（b）的WN失真和3（c）的GBlur失真属于不同的类型，且失真都比较严重，但相对图3（c）而言，图3（b）的质量要好一些，特别是图中吸引人眼注意力的蝴蝶，要比图3（c）清晰，表3中的主观评价DMOS值也表明图3（b）的失真要小一些。在表3列出的客观评价模型中，只有ASSC的评价结果与人的视觉一致，而PSNR和WSCE的评价结果都与DMOS值相反，且差值较大。这表明本文提出的ASSC模型具有良好的敏感性。

表3 PSNR，WSCE和ASSC评价图3（b），3（c）的结果

图3 monarch的原图、WN失真及GBlur失真

4 小 结

本文提出了一种新的图像质量评价模型ASSC，它根据人眼对图像的高低频失真的感觉容量不同及人眼的注意力选择性质而设计，具有计算简单、物理意义明了的特性。实验结果表明，ASSC与人的主观评价线性相关性很强，总体性能明显优于PSNR，MSSIM，DWISSIM和WSCE等算法。

［1］Z.Wang，A.C.Bovik.A universal image quality index［J］.IEEE Signal Processing Letters，2002，9（3）：81-84.

［2］Min Zhang，Xuanqin Mou.A psychovisual image Quality Metric based on multi-scale Structure Similarity［J］.ICIP，2008：381-384.

［3］Wang Z，Bovik A C，Sheikh H R，et al.Image quality assessment：from error visibility to structural similarity［J］.IEEE Trans on Image Processing，2004，13（4）：600-612.

［4］楼斌，沈海斌，赵武锋，等.基于失真模型的结构相似度图像质量评价［J］.浙江大学学报（工学版），2009，43（5）：864-868.

［5］杨春玲，高文瑞.基于结构相似的小波域图像质量评价方法的研究［J］.电子学报，2009，37（4）：845-849.

［6］李航，路羊，崔慧娟，等.基于频域的结构相似度的图像质量评价方法［J］.清华大学学报（自然科学版），2009，49（4）：559-562.

［7］Emil Dumic，Sonja Grgic，Mislav Grgic.New image-quality measure based on wavelets［J］.Journal of Electronic Imaging，2010，19（1）：011018（19）.

［8］郑江云，江巨浪.基于小波第二级系数误差的图像质量评价模型［J］.电子学报，2012，40（3）：559-563.

［9］马奇，张立明.快速注意力选择计算及其在图像质量评价中的应用［J］.计算机辅助设计与图形学学报，2009，21（7）：973 -983.

［10］Sheikh H R，Wang Z，Cormack L，et al.Live image quality assessment database release 2［DB/OL］.http：//live.ece.utexas.Edu/research/quality，2005.

An Algorithm of Image Quality Assessment Based on Attention Selection and Sense Capacity

ZHENG Jiang-yun

（School of Physics and Electronic Engineering，Anqing Teachers College，Anqing 246133，China）

Image quality assessment simulateshuman subjective opinion with calculatedmodel.Based on different sensitivities in the frequency domain and attention selection of human visual system（HVS），a new algorithm of image quality assessment is proposed.First，high and low frequency signals of image are expressed by coefficients of visual saliencymap and wavelet approximation coefficients.Then，low frequency error and high frequency error are calculated by differentmeans，the productof two errors is adopted as objective evaluation of quality.The new method is validated with subjective quality scores on LIVE database，linear correlation coefficient reaches0.9064.Experimental results show that the performance of the new method is superior to the algorithms of PSNR and SSIM.

image quality assessment，attention selection，sense capacity，visual saliencymap（VSM）

TP391

A

1007-4260（2014）03-0074-04

时间：2014-9-15 16：07 网络出版地址：http：//www.cnki.net/kcms/doi/10.13757/j.cnki.cn34-1150/n.2014.03.018.html

2013-11-21

安徽省高等学校省级自然科学研究基金重点项目（KJ2010A226）资助。

郑江云，女，安徽怀宁人，硕士，安庆师范学院物理与电气工程学院副教授，主要从事无线电电子学图像处理研究。