基于2D 视觉注意模型的全参考图像质量评价方法

孟丽茹，赵 岩，王世刚，陈贺新

(吉林大学通信工程学院，长春130012)

0 引言

视频图像压缩所允许的失真程度需要人眼感知，并作为对信道、编解码器性能进行评估和优化的判断依据，图像质量评价对视频图像产业的发展以及推广起着推动作用。根据是否需要大量观察者，可以将图像质量评价方法分为主观评价方法和客观评价方法。主观评价方法需要大量的人力、物力和财力，且评价结果容易受到测试者的主观因素和外界环境的影响，评价过程的复杂性严重影响方法的准确性和通用性，将其嵌入到实际视频处理系统中有一定的困难。因此，研究人员提出了许多客观质量评价方法。均方根误差和峰值信噪比是目前发展较成熟的全参考视频客观质量评价方法［1］，但只是对像素点间误差的纯数学统计，没有考虑像素点间的相关性，也忽略了HVS(Human Visual System)对图像质量感知的影响。Wang等［2］提出基于结构相似度(SSIM:Structural Similarity Index Method)方法，其性能优于PSNR(Peak Signal to Noise Ratio)，但在评价严重模糊和压缩图像时主客观评价并不完全一致。基于梯度的结构相似度(GSSIM:Gradient based Structural Similarity Index Method)方法［3］，只适合视频图像的质量评价，需要与运动信息相结合才能评价视频质量;没有考虑图像的显著区域对评价方法的影响。根据是否需要图像的原始信息以及需要程度，可将图像质量评价方法分为全参考质量评价、部分参考质量评价和无参考质量评价。目前全参考评价方法最可靠，部分参考和无参考只是取得阶段性成果，仍然不够完善。

笔者利用视觉注意模型，并结合现有评价方法对图像进行评价。主要包括两方面内容:1)关注模型，面对一个复杂场景，HVS能迅速将注意力集中在少数几个显著的视觉对象上，即对图像的不同对象和区域给予不同的处理优先级，并对其优先处理;2)传统并广泛应用的评价指标PSNR、SSIM和GSSIM。根据笔者的模型，利用质量评价方法进行图像质量评价。

1 2D视觉注意模型

HVS的对比敏感度、多通道和掩模效应等许多特性已被利用在视频质量评价当中，并具有良好的性能，而HVS的视觉注意特性在质量评价中的应用不是很广泛。心理学研究表明，HVS优先处理的区域是能产生新奇刺激的区域或是包含观察者自己期待刺激的区域，这个最吸引观察者注意的区域称为视觉显著区域。图像显著区域包含图像的主要信息和关键信息，处理图像时，着重对图像中的ROI(Region of Interest)进行分析，可得到较好的效果。人眼视觉显著分为bottom－up控制的预注意机制和top－down控制的注意机制。前者是由视觉刺激驱动的信息处理过程，属于低级、快速的认知过程;后者是由观察任务驱动的信息处理过程，通过调整选择准则适应用户观察任务的要求，从而达到将注意集中于特定目标的目的，属于高级、慢速的认知过程。目前，由于较难提取图像的语义特征，ROI提取算法大多依赖图像的底层特征，也在不断考虑加入更多的高层语义信息提取ROI。因此，视觉注意模型的研究主要集中于低级结构信息模型，高级语义模型的研究较少。

1.1 低级结构信息(bottom－up)

Itti视觉注意模型考虑HVS的特性:1)视觉多通道特性;2)视网膜神经节细胞感受野形状为同心圆拮抗式特性，即感受野的中心和周边对信号的反应是相反的，采用“中心－周边”算子，将不同尺度的图像序列相减，以便抽取各个特征中的对比度信息;3)分析并融合每一维，得到显著图(saliency map)［4］。

1.2 高级语义信息(top－down)

研究表明，在一幅图像中，人类出现的区域即为感兴趣区域。人们利用肤色检测方法判断人类出现区域。当检测到人物出现时，为1，未检测到人物出现时，则为零。高级语义信息表示为

2 算法实现

2.1 2D视觉注意模型

采取Itti视觉注意模型，得到亮度、颜色和方向特征显著图¯I、¯C和¯O，wi、wc、wo分别为对应特征显著图的权值，通过公式

进行线性组合，得到最终的显著图S，即为低级结构信息Sb。最终得到的2D视觉注意模型，可表示为

2.2 笔者算法

在2D视觉注意模型基础上，利用PSNR、SSIM、GSSIM评价指标，得到基于2D视觉注意模型的图像质量评价方法，其算法流程图如图1所示。基于视觉注意模型的PSNR质量评价方法(VAM_PSNR:Visual Attention Model PSNR)和SSIM质量评价方法(VAM_SSIM:Visual Attention Model SSIM)、GSSIM质量评价方法(VAM_GSSIM:Visual Attention Model GSSIM)分别表示为

图1 算法流程图Fig.1 Flowchart of proposed algorithm

其中(2n－1)2为图像中最大可能的信号值平方，n为每个像素的比特数;I(i，j)、Id(i，j)分别为原始图像、失真图像在(i，j)位置处的像素。

3 实验及其结果分析

笔者采用美国TEXAS大学图像视频工程实验室的LIVE图像质量评价数据库第2版进行了实验。该数据库被认为是图像质量评价的标准数据库，具有较高的权威性和可靠性［5］。为衡量主客观方法的一致性，以及验证该方法的有效性，选用视频质量专家组VQEG提出的模型检验标准，即4个客观统计指标:Pearson相关系数、斯皮尔曼秩相关系数(SROCC:Spearman Rank－order Correlation Coefficient)、离散率(OR:Out Ratios)和均方根误差(RMSE:Root Mean Square Error)。Pearson、Spearman值越大，主客观相关性越好，即质量评价方法的性能也越好;OR、RMSE值越小，客观评价方法越好。为进一步验证该方法的有效性，在LIVE数据库上对PSNR、经典的SSIM算法、GSSIM算法和小波［6］等传统方法，以及视觉信噪比(VSNR:Visual Signal－to－Noise Ratio)［7］、视觉信息保真度(VIF:Visual Information Fidelity)［8］、基于特征相似度评价方法(FSSIM:Feature Structural Similarity Index Method)［9］、多尺度结构化相似度(MSSSIM:Multi－scale Structural Similarity Index Method)［10］和信息量加权结构化评价算法(IW－SSIM:Information Weighted Structural Similarity Index Method)［11］等现在性能较优方法进行仿真测试。

分别对 LIVE数据库中的 5类失真图像:JPEG、JPEG200、Gaussian Blur(高斯模糊)、Fastfading(在fastfading通道传输JPEG2000码流过程中发生错误而失真的图像)、White Noise(白噪声)，共779幅失真图像进行客观质量评价和非线性回归后得到4个统计指标，并得出整体数据库的平均结果。表1～表4分别为笔者以及其他传统评价方法和目前性能较好的评价方法的Pearson相关系数、Spearman相关系数、Out Ratios值和RMSE值。

表1 Pearson值对比结果Tab.1 Comparison results of Pearson

(续表1)

由表1可知，笔者方法得到的Pearson系数(0.903 5)明显高于其他方法的相关系数值，低于目前性能最优的信息量加权方法IW_SSIM(0.910 6)的0.007 1;VAM_PSNR、VAM_SSIM、VAM_GSSIM三者较PSNR、SSIM、GSSIM 方法分别提高0.006 0、0.017 0、0.033 1，性能较优。

表2 Spearman值对比结果Tab.2 Comparison results of Spearman

由表2可知，笔者方法得到的Spearman系数(0.903 1)明显高于其他方法的相关系数值，略低于目前性能最优的信息量加权方法(IW_SSIM、IW_PSNR、IW_MSE)以及基于多尺度的结构相似度方法;VAM_PSNR、VAM_SSIM、VAM_GSSIM 三者较 PSNR、SSIM、GSSIM 方法分别提高 0.009 8、0.016 5、0.036 4，性能较优。

表3 Out Ratios值对比结果Tab.3 Comparison results of Out Ratios

(续表3)

由表3可知，笔者方法得到的Out Ratios值(0.397 9)明显低于其他方法的离心率，仅高于目前性能最优的信息量加权方法(IW_SSIM)的0.001 2;VAM_PSNR、VAM_SSIM、VAM_GSSIM三者较PSNR、SSIM、GSSIM 方法分别提高 0.009 8、0.016 5、0.036 4。

由表4可知，笔者方法得到的RMSE值(6.902 4)明显低于其他方法的离心率，仅高于目前性能最优的信息量加权方法IW_SSIM(6.656 2)的0.246 2;VAM_PSNR、VAM_SSIM、VAM_GSSIM三者较PSNR、SSIM、GSSIM 方法分别降低 0.200 8、0.452 2、0.778 0。

由表1～表4可知，对白噪声类型的失真图像，PSNR取得的效果最好，白噪声失真图像是将白噪声直接叠加到原图像上而形成的，而PSNR方法的点对点计算像素的算法很好地符合了这一特性，所取得的效果较好。但在图像质量评价的整体性和对各类失真图像通用性方面，性能还略差。

4 结 语

在2D视觉注意模型基础上，利用PSNR、SSIM、GSSIM评价指标，得到笔者的基于2D视觉注意模型全参考图像质量评价方法(VAM_PSNR、VAM_SSIM、VAM_GSSIM)，三者较原始PSNR、SSIM、GSSIM方法都有明显提高;三者中最优方法VAM_GSSIM较目前性能最高的基于信息量加权方法略低，较其他方法性能更优。该质量评价方法原理简单，计算复杂度低，并能得到较好的图像质量评价性能。

［1］WINKLER S.Digital Video Quaity:Vision Models and Metrics［M］.Switzerland:John Wiley and Sons，2005:71－220.

［2］WANG Z，BOVIK A C.A Universal Image Quality Index［J］.IEEE Signal Process，2002，9(3):81－84.

［3］杨春玲，陈冠豪，谢胜利.基于梯度信息的图像质量评判方法的研究［J］.电子学报，2007，35(7):1313－1318.YANG Chunling，CHEN Guanhao，XIE Shengli.Gradient Information Based Image Quality Assessment［J］.Acta Electronica Sinica，2007，35(7):1313－1318.

［4］YOUNGSOO PARK，BONGHO LEE，WON－SIK CHEONG，et al.Stereoscopic 3D Visual Attention Model Considering Comfortable Viewing［C］∥Image Processing(IPR)，IET Conference.London:IET，2012:1－5.

［5］SHEIKH H R，SESHADRINATHAN K，MOORTHY A K，el al.Image and Video Quality Assessment Research at LIVE［DB/OL］. ［2004－05－28］.http://live.ece.utexas.edu/research/quality.

［6］东野升云.多尺度分析与相似度的立体视频人类视觉评价模型的研究［D］.长春:吉林大学通信工程学院，2011.DONGYE SHENGYUN.Research on Evaluation Model of Human Vision in Stereo Video Based on Multiscale Analysis and Similarity［D］.Changchun:College of Communication Engineering，Jilin University，2011.

［7］CHANDLER D M，HEMAMI S S.A Wavelet Based Visual Signal－to－Noise Ratio for Natural Images［J］.IEEE Transaction on Image Process，2007，16(9):2284－2298.

［8］SHEIKH H R，BOVIK A C.Image Information and Visual Quality［J］.IEEE Transactions on Image Processing，2006，15(2):430－444.

［9］ZHANG Lin，ZHANG Lei，MOU Xuanqin，et al.A Feature Similarity Index for Image Quality Assessment［J］.IEEE Transactions on Image Processing，2011，20(8):2378－2386.

［10］WANG Z，SIMONCELLI E P，BOVIK A C.Multiscale Structural Similarity for Image Quality Assessment［C］∥Invited Paper，IEEE Asilomar Conference on Signals，Systems and Computers.［S.l.］:IEEE，2003，2:1398－1402.

［11］徐少平，杨荣昌，刘小平.信息量加权的梯度显著度图像质量评价［J］.中国图象图形学报，2014，19(2):201－210.XU Shaoping，YANG Rongchang，LIU Xiaoping.Information Content Weighted Gradient Salience Structural Similarity Index for Image Quality Assessment［J］.Journal of Image and Graphics，2014，19(2):201－210.