一种基于人眼视觉特性的图像质量评价方法

2015-06-24万海东卢彦飞

中国电子科学研究院学报 2015年6期

万海东，卢彦飞，张涛

一种基于人眼视觉特性的图像质量评价方法

万海东1，卢彦飞1，张涛2

（1.中国电子科技集团公司第十四研究所，南京 210039；2.中国科学院长春光学精密机械与物理研究所，长春 130033）

为了有效地评价图像质量，该文提出一种应用人眼视觉特性的全参考图像质量评价方法。该方法主要考察了人眼的两个视觉特性，即韦伯定律和视觉注意机制，并利用这两个特性计算对应的差异激励图和视觉显著性图，将其作为能够反映图像失真的特征图，同时考虑了观察因素的影响，最后得到了失真图像的质量评价指标。实验结果表明，该方法在LIVE、CSIQ和LIVEMD三个图像库上有很好的表现。三个图像库的加权平均结果显示，本文方法的表现优于所有对比方法，包括近期提出的GMSD和VSI方法，说明本文方法的评价结果与主观感知不仅具有更好的一致性，而且具有很好的通用性和鲁棒性。

图像质量评价；人眼视觉特性；韦伯定律；差异激励；视觉显著性

0 引言

随着图像处理技术的发展，图像的应用越来越广泛，如何合理的评价图像的质量成为一个基础而有挑战性的问题。图像质量评价方法分为主观评价方法和客观评价方法，现在的研究重点集中在客观评价方法。客观评价方法利用算法来模拟人眼对图像质量的主观感知，目前的方法根据参考图像是否存在可以分为三类：全参考评价［1，6-15］、半参考评价［2，3］和无参考评价［4，5］。由于全参考评价方法可以利用整幅参考图像的信息，是目前最可靠的质量评价方法。

传统的基于像素误差统计量的方法，如均方误差（Mean Squared Error，MSE）及峰值信噪比（Peak Signal-to-Noise Ratio，PSNR），由于计算简单，物理意义明确，得到了广泛的应用，但是由于其没有考虑人眼视觉特性及图像像素之间的关系，评价结果不太符合人眼的主观感知。随着人们对人眼视觉系统（Human Visual System，HVS）的理解，将人眼视觉特性考虑进图像质量评价方法中成为一个研究趋势。根据模拟HVS的方式不同，可以分为自底向上的方法和自顶向下的方法。自底向上的方法通过模拟HVS处理图像信号的不同过程和性质，比如亮度和对比度特性、视觉掩膜效应及恰可辨别失真等来建立模型，然而HVS过于复杂，现有的知识无法对其进行准确建模。自顶向下的方法只考虑输入和输出，通过模拟HVS的整体功能来建立模型，很多全参考方法都根据这个框架进行设计。代表性的自顶向下的方法有Wang等［6］提出的结构相似度（Structural SIMilarity，SSIM），及其改进MS-SSIM［7］和IWSSIM［8］；SSIM方法假设HVS的主要作用是提取场景的结构信息，利用失真前后结构信息的相似程度来评价失真图像的质量。Sheikh等提出的IFC［9］及VIF［10］方法，假设HVS是自然进化的结果，利用自然场景统计的方法估计人眼从失真图像中得到的信息量相对于参考图像的保留程度，根据信息保真度来衡量图像的失真情况。Zhang等提出的FSIM［11］方法利用相位一致性等低级特征在失真前后的相似程度估计图像的质量。Liu等［12］利用梯度信息能够捕捉图像结构和对比度变化的性质，提出了基于梯度相似度的评价方法（Gradient Similarity based Metric，GSM）。文献［13］认为根据视觉显著性和图像质量有关，提出了考虑视觉显著性的图像质量评价方法（Visual Saliency-induced Index，VSI），得到了较好的评价结果。

人眼是图像的最终接收者，由于其机制过于复杂，合理利用人眼视觉特性，是得到性能优良的图像质量评价方法的关键。人眼视觉有一个重要特性，即对所观察物体的相对亮度比较敏感，而对绝对亮度不太敏感，这种现象就是韦伯定律。同时，人眼具有视觉注意选择机制，能够从大量视觉信息中选择特定的感兴趣区域。而在对图像的观察过程中，不同的观察距离和图像分辨率都会对人眼的判断结果产生影响。本文假设参考图像存在，提出了一种基于人眼视觉特性的图像质量评价方法。该方法综合考虑了人眼的两个视觉特性，即韦伯定律和视觉注意特性，同时考虑了人眼感知图像过程中不同的观察因素带来的影响。评价模型将差异激励图引入到图像质量评价领域，根据失真前后，不同尺度下差异激励图和视觉显著性图的变化情况评价图像质量。在LIVE、CSIQ和LIVEMD三个图像数据库上的实验结果表明，本文方法与人眼主观感知具有很好的一致性，而且具有很好的通用性和鲁棒性。

1 图像特征图提取

1.1韦伯定律及差异激励图

韦伯定律指出，一个刺激量的可感知的最小变化与原刺激量的比值是一个常数，可表示为：

其中，k称为韦伯比，在较大的一个范围内可以看做常数，即当I改变时，ΔImin/I基本保持不变。韦伯定律在很多感知现象中都存在，其意味着刺激量的感知不依赖于其绝对强度而依赖于相对强度。

为了利用韦伯定律对图像特征进行描述，Chen等人［16］提出了韦伯局部描述子（Weber Local Descriptor，WLD），其包括两个部分，即差异激励和方向描述，分别用来表示局部变化的幅度与方向。WLD在纹理分类、目标识别及人脸检测等领域得到了成功的应用。本文类似于WLD中差异激励的计算方法来得到差异激励图。对于一幅图像来说，差异激励是以下两项比值的函数：第一项是当前像素和其邻域之间灰度值的差异，第二项是当前像素的灰度值，具体的计算方式如图1所示。

图1 差异激励计算过程示意图

将当前像素的灰度值记为xc，其p个邻域像素记为xi（i=0，1，…p-1），在本文中p=8。为了计算xc的差异激励ξ（xc），首先计算当前像素与其邻域像素的差值，图中用滤波器f00表示，即：

然后，利用邻域差值的和来表示邻域对中心像素的影响，计算如下：

根据韦伯定律，计算邻域差值的和与中心像素的比值，图中用滤波器f00和f01的滤波结果表示：

则差异激励ξ（xc）最终计算方式如下：

即

其中反正切函数用来防止计算结果过大，α用来调整邻域像素与中心像素的差异。

差异激励图基于韦伯定律，保留了中心像素点和其邻域之间的差异，能将边缘保存得非常完整，由于所提取的边缘依赖于人感知到的亮度差异，与人眼的主观感知非常吻合。普通的边缘提取算子，或者利用一阶差分，或者利用二阶差分，均未考虑差值与背景之间的关系，在噪声比较强的情况下，很难有效提取出图像边缘。当一幅图像发生失真时，其对应的差异激励图会发生相应的变化，由于差异激励图的计算过程考虑了人眼视觉特性，本文利用其作为能够反映图像质量的特征图之一。差异激励图主要描述的是局部特征，对于局部失真比较敏感，为了更有效的对图像质量进行评价，本文利用视觉显著性图来反映图像的全局失真。

1.2视觉显著性图

人眼能够从大量视觉信息中选择特定的感兴趣区域，这种性质称为人眼视觉注意机制，这是人类视觉系统进化的结果。建立有效的计算模型来模拟人眼的视觉注意机制，已经吸引了心理学、神经生物学和计算机视觉等领域的很多学者。Itti等人［17］提出了第一个有重要影响的视觉显著性模型，之后出现了各种各样的视觉显著性计算方法。

研究发现，视觉显著性和图像的感知质量有关系，二者都依赖于HVS感知图像的方式，很多方法都尝试将视觉显著性信息加入到图像质量评价方法中去。但是这些方法都只是将视觉显著性图作为加权函数，并未充分挖掘视觉显著性图和图像质量之间的关系。Zhang等［13］指出，视觉显著性图在作为加权函数的同时还能够有效反映局部图像质量，然而其利用的显著性图比较复杂，且在计算过程中利用了颜色信息，无法评价灰度图像。

为了尽量使最终的评价方法简单而且有效，本文选择频谱残余视觉显著性模型［18］（Spectral residual visual saliency，SR）来计算视觉显著性图。SR方法将图像分为先验部分和波动部分，并认为人眼对于波动部分更敏感。首先计算图像的对数频谱，然后在频域得到图像的频谱残余，再将频谱残余变换到空域得到显著性图，在计算过程中主要利用了图像的频谱信息，不考虑颜色信息，计算非常简单。对于一幅图像f，其频谱残余视觉显著图计算过程如下。首先计算图像在频域的幅度和相位角，

再计算图像的对数频谱，

然后得到图像的频谱残余，

最后变换到空域得到显著性图，

其中，F代表傅里叶变换，F-1代表反傅里叶变换，abs（·）可以得到复数的幅度，angle（·）可以得到复数的相位角，hn（u，v）是n×n的均值滤波器，g（x，y）是高斯滤波器，*代表卷积运算。本文中均值滤波器的尺寸n=3，高斯滤波器的尺寸为10，标准差为3.8。

自底向上的视觉显著性图基于图像的低级特征，反映了人眼的对不同区域的感兴趣程度，当图像质量变化时，视觉显著性图也会发生相应的变化。

2 基于人眼视觉特性的图像质量评价方法

根据韦伯定律得到的差异激励图，及根据人眼视觉注意机制得到的视觉显著性图，反映了HVS在对图像进行感知时对应的不同方面，一个偏重局部，一个偏重整体，二者具有互补性。当一幅图像发生失真时，其对应的差异激励图和视觉显著性图也会发生相应的失真，度量两种特征图的失真，可以得到整幅图像的失真程度。

本文方法分为两个阶段，首先得到两幅图像的局部相似性图，然后得到整幅失真图像的质量评价指标。记参考图像和失真图像分别为X和Y。首先计算两幅图像的差异激励图，分别为DE（X）和DE（Y），然后利用SR方法分别得到对应的视觉显著性图SR（X）和SR（Y）。

利用参考图像和失真图像对应的差异激励图之间的相似性来衡量失真图像的失真，则差异激励图之间的相似性定义为：

其中，C1是正常数，为了避免分母接近零时出现的不稳定情况。

同样的，可以利用参考图像和失真图像对应的视觉显著性图之间的相似性来衡量失真图像的失真，则视觉显著性图之间的相似性定义为：

其中，C2是正常数，作用与C1类似。

定义参考图像和失真图像的局部相似性图如下：

其中，β＞0，γ＞0，这两个参数用来调整两部分的相对重要程度。

在得到局部相似性图之后，可以得到两幅图像的整体相似程度。研究发现，人眼视觉系统对于图像的不同区域的敏感程度是不同的，由于视觉显著性图反映了人眼对不同感兴趣区域的重视程度，本文利用视觉显著性图作为权重函数来描述不同区域对视觉感知的重要性。参考图像X和失真图像Y对应的视觉显著性图为SR（X）和SR（Y），则权重函数w（X，Y）=max（SR（X），SR（Y）），此时的图像质量评价指标为：

其中，Ω表示参考图像和失真图像对应的整个图像域。

在人眼对图像的感知过程中，观察条件对于评价结果也有影响，人眼感受到的图像失真与观察距离和图像分辨率都有关系，本文利用多尺度方法［7］来对以上因素进行考虑。如图2所示，对于参考图像X和失真图像Y，对其反复进行低通滤波和降采样，得到不同尺度的副本。设初始图像的尺度为1，最高尺度为M，中间共经过M-1次迭代操作。记尺度为j时的质量评价指标为Qj，则结合不同尺度上的评价指标，可以得到最终的图像质量评价指标：

其中，ωj是尺度j（j=1，…，M）对应的权重，ωj=1。

本文提出的图像质量评价指标取值范围在0到1之间，值越大，待评价图像的质量越好，值越小，待评价图像的质量越差。

图2 本文方法框图

3 实验结果与分析

为了验证本文方法的性能，本文利用LIVE［19］、CSIQ［20］和LIVEMD［21］三个图像数据库进行实验。LIVE图像库包含29幅参考图像和对应的799幅失真图像，其中有JP2K压缩，JPEG压缩，白噪声WN，高斯模糊Gblur和Rayleigh衰落信道模型传输误差失真（fastfading，FF）共5种失真类型。CSIQ图像库包含30幅参考图像和对应的866幅失真图像，其中有JP2K压缩，JPEG压缩，全局对比度衰减，加性高斯粉红噪声，加性高斯白噪声和高斯模糊Gblur共6种失真类型。LIVEMD图像库包含15幅参考图像和对应的450幅失真图像，其中的失真类型有两种，即图像模糊之后进行JPEG压缩和模糊之后加入高斯噪声，此图像库是为了验证图像质量评价方法对多种失真叠加图像的评价能力。三个图像库中均给出了每幅图像的主观评价值DMOS，DMOS值越小说明图像的主观评价越高。

本文方法利用的特征只考虑了图像的灰度信息，可以将其扩展为彩色图像质量评价方法。在实验中，利用5个尺度进行计算，ωj（j=1，…，5）依次取0.044 8，0.285 6，0.300 0，0.236 3和0.133 3；主要参数取α=5.2，β=1，γ=0.6，C1=600，C2= 0.000 01。为了说明本文方法的优越性，在三个图像库上进行实验时，参数保持不变。

为了客观反映图像质量评价方法的性能，根据VQEG［22］（Video Quality Evaluation Group）提出的准则，需要在客观评价值和主观评价值之间建立非线性映射来反映存在的非线性关系，采用的映射函数［1］如下：

其中，x表示客观评价值，β1，β2，β3，β4和β5为模型参数。

本文利用3个指标来评估图像质量评价方法的性能。Spearman秩相关系数（Spearman Rank-Order Correlation Coefficient，SROCC）反映预测的单调性，取值范围在0到1之间，数值越大说明算法的单调性越好。另外两个指标需要在客观评价值和主观评价值之间建立非线性映射之后得到，分别为Pearson线性相关系数（Pearson Linear Correlation Coefficient，PLCC）和均方根误差（Root Mean-Squared-Error，RMSE），各反映预测的准确性和一致性，其中PLCC的取值范围在0到1之间，数值越大说明算法越准确，RMSE的值越小说明算法的一致性越好。

图3为本文方法在LIVE图像库上5种单一失真实验与交叉失真实验的曲线拟合图，可以看出，散点图很紧凑的分布在拟合曲线的周围，说明本文方法具有较好的预测性能。

图3 本文方法与主观评价值的曲线拟合图

表1列出了本文方法在LIVE图像库上的性能指标。可以看出，无论是在单一失真还是在交叉失真实验中，本文方法都有很好的表现，说明本文使用的特征图很好地反映了图像质量。

表1 本文评价方法在LIVE图像库上的性能指标

图4为9种对比方法在LIVE图像库上交叉失真实验的曲线拟合图，其中PSNR是峰值信噪比，MS-SSIM［7］、IW-SSIM［8］是以SSIM［6］为基础的改进，VIF［10］基于自然场景分析和信息论，FSIM［11］利用了相位一致性，GSM［12］利用了梯度相似度，GMSD［14］与VSI［13］是最近发表的算法。将9种评价方法的曲线拟合图与本文方法比较可以看出，本文方法的散点图分布比较紧凑，说明本文方法有很好的一致性。

表2列出了本文方法在LIVE、CSIQ和LIVEMD三个图像库上的3个性能指标与其他9种评价方法的对比，并给出了三个图像库评价结果的加权平均值，权重为每个图像库中的图像数量占三个图像库总图像数量的比值。表中每种评价方法的SROCC与PLCC最大的三个值及RMSE最小的三个值均用粗体标出。可以看出，本文方法在三个图像库上有很好的表现，特别是在CSIQ图像库上，表现比较出色。在LIVEMD上的结果说明，本文对于多种失真叠加的图像也有较好的评价性能。加权平均结果显示，本文方法的表现优于所有对比方法，包括GMSD和VSI方法，说明本文方法的评价结果与主观感知具有更好的一致性，而且具有很好的通用性和鲁棒性。

图4 九种对比方法在LIVE上与主观评价值的曲线拟合图

表2 本文方法在三个图像库上与其他方法性能指标比较

4 结束语

本文主要考察了人眼的两个视觉特性，即韦伯定律及视觉注意机制，并利用能够反映这两个特性的差异激励图和视觉显著性图，提出了一种考虑不同观察因素影响的全参考图像质量评价方法。实验结果表明，本文方法在LIVE、CSIQ和LIVEMD三个图像库上均有很好的表现，非常符合人眼的主观感知。三个图像库加权平均的结果显示，本文方法的表现超过了所有的对比方法，包括GMSD和VSI方法，说明本文方法与主观感知具有更好的一致性，而且具有很好的通用型和鲁棒性。本文方法所选取的特征没有考虑颜色信息，在本文方法的基础上加入颜色信息失真，是下一步的研究目标。

［1］ Sheikh H R，SabirMF，Bovik A C.A statistical evaluation of recent full reference image quality assessmentalgorithms［J］.IEEE Transactions on Image Processing，2006，15（11）：3443-3452.

［2］ Wu J，Lin W，ShiG，etal.Reduced-reference image quality assessment with visual information fidelity［J］.IEEE Transactions on Multimedia，2013，12（7）：1700-1705.

［3］ Liu D，Xu Y，Quan Y，et al.Reduced reference image quality assessment using regularity of phase congruency［J］.Signal Processing：Image Communication，2014，29（8）：844-855.

［4］南栋，毕笃彦，查宇飞，等.基于参数估计的无参考型图像质量评价算法［J］.电子与信息学报，2013，35（9）：2066-2072.

［5］ Bong D B L，Khoo B E.Blind image blur assessment by using valid reblur range and histogram shape difference［J］.Signal Processing：Image Communication，2014， 29（6）：699-710.

［6］ Wang Z，Bovik A C，Sheikh H R，et al.Image quality assessment：from error visibility to structural similarity［J］.IEEE Transactions on Image Processing，2004，13（4）：600-612.

［7］ Wang Z，Simoncelli EP，Bovik A C.Multiscale structural similarity for image quality assessment［C］.IEEE Asilomar Conference on Signals，Systems and Computers，Pacific Grove，CA，USA，2003：1398-1402.

［8］ Wang Z，Li Q.Information contentweighting for perceptual image quality assessment［J］.IEEE Transactions on Image Processing，2011，20（5）：1185-1198.

［9］ Sheikh H R，Bovik A C，Veciana G.An information fidelity criterion for image quality assessment using natural scene statistics［J］.IEEE Transactions on Image Processing，2005，14（12）：2117-2128.

［10］Sheikh H R，Bovik A C.Image information and visual quality［J］.IEEE Transactions on Image Processing，2006，15（2）：430-444.

［11］Zhang L，Zhang L，Mou X Q，et al.FSIM：A feature similarity index for image quality assessment［J］.IEEE Transactions on Image Processing，2011，20（8）：2378-2386.

［12］Liu A，Lin W，Narwaria M.Image quality assessment based on gradient similarity［J］.IEEE Transactions on Image Processing，2012，21（4）：1500-1512.

［13］Zhang L，Shen Y，Li H.VSI：A visual saliency-induced index for perceptual image quality assessment［J］.IEEE Transactions on Image Processing，2014，23（10）：4270-4281.

［14］Xue W，Zhang L，Mou X，et al.Gradient Magnitude Similarity Deviation：A highly efficient perceptual image quality index［J］.IEEE Transactions on Image Processing，2014，23（2）：684-695.

［15］Qian J，Wu D，Li L，et al.Image quality assessment based onmulti-scale representation of structure［J］.Digital Signal Processing，2014，33（2014）：125-133.

［16］Chen J，Shan S，He C，et al.WLD：A robust local image descriptor［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32（9）：1705-1720.

［17］Itti L，Koch C，Niebur E.Amodel of saliency-based visual attention for rapid scene analysis［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1998，20（11）：1254-1259.

［18］Hou X，Zhang L.Saliency detection：a spectral residual approach［C］.IEEE Conference on Computer Vision and Pattern Recognition，Minneapolis，USA，2007：1-8.

［19］Sheikh H R，Wang Z，Cormack L，et al.LIVE image quality assessment database，release 2［EB/OL］.http：//live.ece.utexas.edu/research/quality.2005.

［20］Larson E C，Chandler D M.Categorical Image Quality（CSIQ）database［EB/OL］.http：//vision.okstate.edu/ csiq.2009.

［21］Jayaraman D，Mittal A，Moorthy A K，etal.LIVEmultiply distorted image quality database［EB/OL］.http：//

［6］黎顺杰.基于FPGA的PCI-CAN通信系统设计［D］.西南交通大学，2013.

［7］张珍奇.某雷达控制时序产生与界面开发［D］.哈尔滨工业大学，2008.

［8］ SJA1000 Stand-alone CAN controller Data Sheet.Philips Semiconductor Corporation，2000.

［9］ SJA1000独立的CAN控制器应用指南.广州周立功单片机发展有限公司.

［10］徐木水，刘金国.基于FPGA的CAN总线通信接口的设计［J］.电子设计工程，2010，18（10）：96-99.

［11］CAN Specification.Version 2.0.Robert Bosch GmbH，Postfach50，D-7000 Stuttgart1，1991.

［12］Identify使用教程.广州致远电子有限公司.

［22］Final Report From the Video Quality Experts Group on the Validation of Objective Models of Video Quality Assessment，Phase IIVQEG，Aug.2003［OL］.Available：http：//www.vqeg.org/

作者简介

万海东（1978—），男，江苏人，高级工程师，主要研究方向为综合电子信息系统；

E-mail：wan81520590@sina.com

卢彦飞（1989—），男，河南人，博士，主要研究方向为信息融合和智能算法等；

张涛（1964—），男，吉林人，研究员，主要研究方向为探测与成像技术。

An Image Quality Assessment Method Using Human Visual Characteristics

WAN Hai-dong1，LU Yan-fei1，ZHANG Tao2
（1.The 14thResearch Institute of China Electronics Technology Group Corporation，Nanjing 210039，China；2.Changchun Institute of Optics，Fine Mechanics and Physics，Chinese Academy of Sciences，Changchun 130033，China）

To assess image quality effectively，a new full-reference image quality assessmentmethod using human visual characteristics is proposed.Thismethod mainly considers two characteristics of human visual system，i.e.，Weber's law and visual attention strategy，and the obtained differential excitation map and visual saliencymap are used as indictors of image distortions to get the final image qualitymetric which also incorporates the viewing conditions.The experiment results show that the proposed method owns an excellent performance on three databases including LIVE，CSIQ and LIVEMD.Theweighted average results indicate that the proposedmethod outperforms othermethods，including the latestGMSD and VSI，which means that the new algorithm occupies a better consistencywith subjective evaluation and has good universality and robustness.

Image quality assessment；Human visual characteristics；Weber's Law；Differential Excitation；Visual Saliency

TN911.73

：A

：1673-5692（2015）06-567-07