基于视觉显著失真度的图像质量自适应评价方法

丰明坤 赵生妹 邢 超



基于视觉显著失真度的图像质量自适应评价方法

丰明坤*①②赵生妹①邢 超①

①(南京邮电大学信号处理与传输研究院 南京 210003)②(浙江科技学院信息与电子工程学院 杭州 310023)

针对结构相似(SSIM)图像质量评价算法没有考虑人眼视觉多通道性和对图像高失真评价的不稳定性，提出一种基于视觉显著失真度的图像质量自适应融合(VSAP)评价方法。该方法首先采用log-Gabor滤波提取图像的高频、中频及低频3层视觉特征，基于log-Gabor变换尺度和方向权重系数计算特征值的相似度；然后基于视觉阈值多分辨性迭加计算出特征值的失真度；最后，根据视觉失真度自适应融合相似度评价与失真度评价获得图像质量的最终客观评价。实验结果表明，VSAP方法不但对图像不同类型失真的客观评价与主观感知具有更高的相关性，而且3个主要指标斯皮尔曼等级相关系数(SROCC)、曲线拟合相关系数(CC)和均方根误差(RMSE)对图像不同水平失真的整体评价性能更稳定，明显优于其它评价方法。

图像质量评价；计算机视觉；log-Gabor滤波器；视觉显著；自适应融合

1 引言

随着图像应用技术的发展，图像质量评价的研究引起了人们的关注，该研究分为主观评价和客观评价两种方法，前者通过测试者的主观感知来评价图像的质量；后者则依据计算机模拟人类视觉系统建模研究图像质量。客观方法以其速度快、实时性强而成为了研究重点。在全参考图像质量客观评价研究领域中，人类视觉系统(Human Visual System, HVS)建模方法比峰值信噪比(Peak Signal to Noise Ratio, PSNR)类方法具有较高的准确度。Dalay模型[6]和Lubin模型[7]基于每个视觉通道的感知门限检测概率评价图像。文献[8]基于基准、亮度和掩膜的归一化因子使用Minkowski度量进行评价。文献[9]则利用离散余弦和小波变换模拟人眼评价图像质量。文献[10]优化了评价参数。HVS方法的缺点是建模效率较低，并且较少考虑图像自身的失真特性。

近些年基于系统论提出了一些新的方法。文献[11]提出的SSIM(StructuralSIMilarity)方法基于图像结构相关性评价其质量。文献[12]提出的信息保真度准则(Information Fidelity Criterion, IFC)方法基于失真图像和参考图像共享信息量的大小进行质量评价。文献[13]提出的奇异值分解 (Singular Value Decomposition, SVD)算法基于参考图像和失真图像奇异值的差值评价图像质量。文献[14]将图像分离出频率失真度量 (Distortion Measure, DM) 和加性噪声失真度量(Noise Quality Measure, NQM)并分别进行评价。系统论方法的优点是基于图像的语义信息进行质量评价，建模效率较高，但缺点是没有考虑HVS的多通道特性。

当前，比较多的研究将HVS特性融入图像高层系统论，取得了较好的评价效果。文献[15]提出的多尺度结构相似度(Multi-Scale Structural SIMilarity, MS-SSIM)算法融合了图像多个尺度上的SSIM评价。文献[16]提出的特征相似度(Feature SIMilarity, FSIM)算法则基于相位一致性特征评价图像质量。文献[17]提出了基于局部统计结构相关(StatisticalLocal Correlation, SLC)算法。文献[18]提出了图像奇异值分解的结构相似度评价算法。文献[19]提出的视觉显著索引(Visual Saliency Index, VSI)算法在视觉显著图(Graph-Based Visual Saliency, GBVS)变换域计算图像的SSIM值。文献[20]提出的视觉信息保真度(Visual Information Fidelity, VIF)算法则评价图像视觉稀疏特征的相似度。这些改进方法的缺点是图像视觉特征算法不统一，且不能自适应地融合最佳评价策略。

该领域目前仍然存在的问题是针对图像不同类型失真和不同程度失真的评价，没有一种方法整体上保持较好的评价性能。针对该问题，并借鉴HVS特性及SSIM类改进算法的成果，本文提出一种基于图像视觉失真度显著的自适应融合(Visual Salience Adaptive Pooling, VSAP)评价方法。VSAP首先采用2维log-Gabor变换模拟人眼提取图像视觉显著特征，然后将HVS对比度敏感函数和中央凹融入评价，分别计算失真图像和参考图像的视觉结构相似度和视觉失真度，最后基于图像失真度自适应地融合了相似度评价和失真度评价。

2 图像质量评价自适应融合VSAP方法

基于图像失真度自适应融合的VSAP方法可用图1描述。该方法首先对图像进行log-Gabor变换模拟人眼提取图像的多通道视觉显著图特征，然后设计视觉结构相似度(Visual Structural SIMilarity, VSSIM)算法和视觉阈值迭加自适应(Visual Threshold Iteratively Adaptive, VTIA)算法分别计算失真图像和参考图像的相似度与失真度，最后基于图像失真度函数自适应地融合VSSIM与VTIA获得图像质量评价VSAP值。其中，VSSIM算法首先独立计算对应通道的相似度值；然后在每个视觉尺度上，基于视觉方向权重系数加权融合值，获得该视觉尺度通道的相似度值；最后基于视觉尺度权重系数加权融合，获得最终相似度测量VSSIM值。VTIA算法则按照VSSIM算法相似的流程计算失真度MSE。两者不同之处在于VTIA每一步融合过程均多考虑了视觉中央凹效应，且VSSIM融合采用乘积的方式，而VTIA则采用迭加求和的方式。

图1 VSAP方法原理

HVS通常根据图像自身失真度，自适应地调节视觉分辨率并融合多重评价方法，因此，VSAP方法统一并自适应地融合了VSSIM和VTIA的评价结果，可用式(1)表示：

2.1 log-Gabor变换的视觉特性

log-Gabor小波具有以下优点：(1)空域和频域联合测不准下限；(2)频谱覆盖宽；(3)高频端延长的尾巴符合自然图像统计特性；(4)对数结构吻合HVS特性[16]。

2维log-Gabor是1维log-Gabor的径向高斯平滑扩展，其频域函数为[16]

2.2 图像视觉相似度VSSIM算法

图2 VSSIM算法原理

其中，视觉尺度调制和视觉方向调制分别如下：

(1)视觉尺度调制：图像中频、高频及低频视觉特征对评价结果的影响不同，据此，基于对比度敏感函数定义视觉尺度权重系数[21]：

(2)视觉方向调制：log-Gabor具有良好的视觉方向性，据此，定义视觉方向权重系数[21]：

2.3图像视觉失真度VTIA算法

图3 VTIA方法

失真阈值判决准则为

(2)视觉中央凹调制： 文献[22]的中央凹理论认为：中央凹中心区域的空间分辨率高于非中心区域的分辨率。文献[23]将这种特性表示成如式(17)所示的空间函数：

叠加所有通道的失真度，可得最终评价结果VTIA为

3 实验结果分析

本实验采用LIVE数据库，该库包含以下5种典型失真：(1)JPEG压缩；(2)JPEG2000压缩；(3)WN白噪声；(4)gblur高斯模糊；(5)fastfading移动信道。根据视频质量专家组VQEG规范化标准测试3个指标：(1)反映主、客观评价结果数据相关性的斯皮尔曼等级相关系数SROCC指标；(2)基于非线性数据拟合回归算法的相关系数CC；(3)拟合均方根误差RMSE。实验过程保持严格同等条件，每个方法每次测试都从同一初始参数开始。

3.1基于图像不同失真类型的实验结果

表1是VSAP方法和其它方法基于图像不同失真类型的非线性数据拟合回归算法的Pearson相关系数CC和均方根误差RMSE实验结果，CC衡量预测的准确性，越接近１则说明数据拟合一致性越好，RMSE是标准非线性拟合的准确度，RMSE越小说明拟合精度越高。表1中加粗数字表示性能较好，结果显示VSAP方法的CC和RMSE指标对于各类图像失真都能保持较好的预测相关性和精度，且整体评价性能(RMSE=6.104, CC=0.965)明显优于其它方法。

表1 VSAP方法及其它方法的均方根误差RMSE和相关系数CC比较

表2中SROCC指标的实验结果越接近１说明该方法的主、客观相关性越好。表中加粗数字表示性能较高，结果说明了VSAP方法对各类失真的客观评价与主观感知相对其它方法保持了较高的相关性，且整体评价性能明显优于其它方法(SROCC= 0.963，高于FSIM方法0.2个百分点)。

表2 VSAP方法及其它方法的SROCC比较结果

3.2基于图像不同失真程度的实验结果

本实验依据平均主观分值(Mean Opinion Scores, MOS)将图像失真划分为低()、中()、高() 3个失真水平，对每个失真水平保持统一的实验初值条件，对不同失真水平的评价，只有当3个指标RMSE, CC和SROCC都保持较高的水平时，才能说明该方法性能较好。表3中加粗数字表示性能较低，结果表明多数方法对图像高失真的评价性能不稳定，与主观感知相关性较低，MSSIM的SROCC也仅有0.544。本文VSAP方法对图像高失真水平的评价性能，相对其它方法有了明显的提升(RMSE=6.004, CC=0.625, SROCC=0.638)，也是唯一对不同水平失真整体评价保持较好稳定性能的方法。

表3 VSAP方法及其它方法基于图像不同失真度的测试

图4是VSAP方法和其它两个方法的主客观测试结果散点及非线性回归图，图4(a)是基于视觉阈值信噪比的图像质量评价方法，图4(b)是基于结构相关的图像质量评价方法，图4(c)图是基于图像失真度自适应融合的质量评价方法。图4结果显示VSAP方法拟合曲线的评价结果整体分布较为均匀，预测的线性度较为准确，每个测量结果的散点围绕拟合曲线均匀集中分布说明VSAP方法的评价精度高。

图4 VSAP及其它方法的主客观评价散点图

4 结束语

利用log-Gabor变换的视觉显著性，计算图像多通道相似度和失真度，并结合HVS的视觉方向、视觉尺度调制效应及中央凹融合获得失真图像和参考图像的相似度与失真度测量结果，最后提出的VSAP融合评价基于图像失真度自适应地融合了相似度与失真度，实验结果说明该方法评价结果与主观评价较为吻合，整体上精度比其它方法优越。后期研究将在log-Gabor变换的视觉特性和图像失真度之间建立一种自适应的关系，并结合图像处理的后期视觉心理决策机制，通过混合专家(Mixture of Expert, MoE)理论最优化地融合多重图像质量评价方法。

参考文献

[1] 蒋刚毅, 黄大江, 王旭, 等. 图像质量评价方法研究进展[J]. 电子与信息学报, 2010, 32(1): 219-226.

Jiang Gang-yi, Huang Da-jiang, Wang Xu,.. Overview on image quality assessment methods[J].&, 2010, 32(1): 219-226.

[2] 张飞艳, 谢伟, 陈荣元, 等. 基于视觉加权的奇异值分解压缩图像质量评价测度[J]. 电子与信息学报, 2010, 32(5): 1061-1065.

Zhang Fei-yan, Xie Wei, Chen Rong-yuan,.. Compression image quality assessment based on human visual weight and singular value decomposition[J].&, 2010, 32(5): 1061-1065.

[3] 王翔, 丁勇. 基于Gabor滤波器的全参考图像质量评价方法[J]. 浙江大学学报(工学版), 2013, 47(3): 422-430.

Wang Xiang and Ding Yong. Full reference image quality assessment based on Gabor filter[J].(), 2013, 47(3): 422-430.

[4] 米曾真. 小波域中CSF频率与方向加权的图像质量评价方法[J]. 电子学报, 2014, 42(7): 1273-1276.

Mi Zeng-zhen. Image quality evaluation method based on frequency and direction weighted to CSF in wavelet domain[J]., 2014, 42(7): 1273-1276.

[5] Yalman Y. Histogram based perceptual quality assessment method for color images[J]., 2014, 36(6): 899-908.

[6] Daly S. The visible different predictor: an algorithm for the assessment of images fidelity[C]. Digital Images and Human Vision Conference, Cambridge, England, 1993: 179-206.

[7] Lubin J. A visual discrimination model for images system design and evaluation[C]. Proceedings of the Conference on Visual Models for Target Detection and Recognition, Singapore City, Singapore, 1995: 207-220.

[8] Safranek R J and Johnston J D. A perceptually tuned sub-band image coder with image dependent quantization and post-quantization data compression[C]. Proceedings of the IEEE International Conference on Acoust, Speech and Signal Processing, Glasgow, UK, 1989: 1945-1948.

[9] Watson A B. DCT quantization matrices visually optimized for individual images[C]. Proceedings of the SPIE Human vision, Visual Processing, and Digital Display IV, Washington, USA, 1993: 202-216.

[10] Teo P C and Heeger D J. Perceptual image distortion[C]. SPIE International Conference on Image Processing, Texas, USA, 1994: 982-986.

[11] Wang Zhou, Bovik A C, Sheikh H R,.. Image quality assessment: from error visibility to structural similarity[J]., 2004, 13(4): 600-612.

[12] Sheikh H R, Bovik A C, and Veciana G D. An information fidelity criterion for image quality assessment using natural scene statistics[J]., 2005, 14(12): 2117-2128.

[13] Aleksandr S D, Alexander G, and Eskicioglu A M. An SVD-based grayscale image quality measure for local and global assessment[J]., 2006, 15(2): 422-429.

[14] Venkata N D, Kite T D, Bovik A C,Image quality assessment based on degradation model[J]., 2000, 9(4): 636-650.

[15] Wang Zhou, Simoncelli EP, and BovikA C. Multi-scale structural similarity for image quality assessment[C]. Proceedings of the 37th IEEE Asilomar Conference on Signals, Systems and Computers, Pacific Grove, Canada, 2002(2): 1398-1402.

[16] ZhangLin, ZhangLei, MouXuanqin,.. FSIM: a feature similarity index for image quality assessment[J]., 2011, 20(8): 2378-2386.

[17] Ding Yong, Wang Shao-ze, and Zhang Dong. Full-reference image quality assessment using statistical local correlation [J]., 2014, 50(2): 79-81.

[18] Hu An-zhou, Zhang Rong, Yin Dong,.. Image quality assessment using a SVD-based structural projection[J].:, 2014, 29(3): 293-302.

[19] Zhang Lin, Shen Ying, and Li Hong-yu. VSI: a visual saliency-induced index for perceptual image quality assessment[J]., 2014, 23(10): 4270-4281.

[20] ChangHua-wen, YangHua, Gan Yong,.. Sparse feature fidelity for perceptual image quality assessment[J]., 2013, 22(10): 4007-4018.

[21] LarsonEC and ChandlerDM. Most apparent distortion: full-reference image quality assessment and the role of strategy[J]., 2010, 19(1): 011006-1-011006-21.

[22] Wandell B A. Foundations of Vision[M]. Stanford: Sinauer Associates, 1995: 277-284.

[23] WangZhou, Lu L G, and Bovik A C. Foveation scalablevideo coding with automatic fixation selection[J]., 2003, 12(2): 243-254.

Image Quality Self-adaptive Assessment Based on Visual Salience Distortion

Feng Ming-kun①②Zhao Sheng-mei①Xing Chao①

①(,,210003,)②(,,310023,)

The StructuralSIMilarity (SSIM) algorithm of image quality assessment does not take into account the characteristics of multi-channel resolutions of human vision, it is also not consistent with subjective human evaluation for high level distortions. A Visual Salience Adaptive Pooling (VSAP) strategy of image quality assessment is proposed based on visual multi-scale and multi-orientation of log-Gabor transformation. Firstly, the visual characteristics of image on the high, medium, and low frequency are extracted by the log-Gabor transformation. Then the visual similarity scores based on visual scales and visual orientations of log-Gabor are calculated, accordingly, the visual distortion levels of image are calculated iteratively with the visual multi- resolution threshold. Finally, a strategy of image quality assessment is proposed with adaptive pooling similarity scores to distortion scores. The experimental results show that objective assessments of VSAP for different types of distortion hold higher correlation with subjective assessment. More importantly, the overall assessment performance of the Spearman Rank-Order Correlation Coefficient (SROCC), Correlation Coefficient (CC) and Root Mean Square Error (RMSE) for different levels of distortion is more consistent with subjective scores and superiorto other methods.

Image quality assessment; Computer vision; log-Gabor filter; Visual salience; Adaptive pooling

TN911.73

A

1009-5896(2015)09-2062-07

10.11999/JEIT141641

丰明坤 104027@zust.edu.cn

2014-12-25收到，2015-04-01改回，2015-06-11网络优先出版

丰明坤： 男，1978 年生，博士生，讲师，研究方向为计算机视觉、图像质量评价.

赵生妹： 女，1968 年生，博士，教授，博士生导师，研究方向为无线通信中的信号处理.

邢 超： 男，1980 年生，博士生，研究方向为编码信息论.