基于局部最大梯度的无参考图像质量评价

蒋 平 张建州



基于局部最大梯度的无参考图像质量评价

蒋 平*①②张建州①

①(四川大学计算机学院 成都 610065)②(榆林学院信息工程系 榆林 719000)

图像质量评价在数字图像处理中应用广泛，无参考图像质量评价更是近些年来的研究热点。该文提出一种基于局部结构的无参考图像质量评价方法，该方法首先利用局部梯度选择强边缘区域，然后通过强边缘的信息来评价图像的质量。该方法的创新之处在于：基于局部最大梯度的像素点质量评价；利用强边缘点的局部质量来估计全局图像质量。该方法可以同时评价噪声图像和模糊图像，图像失真越严重，该方法的评价分数就越低。与图像质量评价数据库的主观评价结果比较表明，该文方法与主观评价结果相关性很强，能很好地反映图像质量的视觉感知效果。

图像质量评价；梯度模板；高斯噪声；高斯模糊

1 引言

随着社会信息化的不断发展，图像与人们生活的关系越来越密切，人们对图像的分辨率和清晰度的要求也越来越高。然而，在图像的采样、处理、存储、传输过程中，由于硬件设备的固有缺陷、环境变化和处理方法的不完善等各种原因，不可避免地会导致图像失真，这些失真会导致图像质量的改变。例如，在图像传输的过程中，由于各种原因难免会加入噪声、模糊，它们都会导致图像质量的下降。因此需要一些方法来评价图像质量的好坏，这就是图像质量评价要解决的问题。

图像质量是对图像清晰程度的一种度量指标，主要是通过度量图像的失真的程度来获得。图像质量评价方法一般分为主观方法和客观方法两类。主观图像质量评价方法，就是使用人眼来评价图像质量的方法。主观图像质量评价方法，是最为可靠的图像质量评价方法，因为人是最终图像的消费者，但是成本高，而且耗时。

客观图像质量评价的研究目标就是开发出能够代替人类视觉系统的算法，来自动评价图像质量，得到一(组)与人的主观质量评价相一致的图像质量得分。在客观图像质量评价中，根据需要原始参考图像的信息的多少为依据，客观质量评价算法可以分为3大类：全参考(Full Reference, FR)图像质量评价方法，半参考(Reduced Reference, RR)图像质量评价方法和无参考(No Reference, NR)/盲(Blind)图像质量评价方法。当前，很多全参考和半参考图像质量评价方法已经取得了非常精确的结果，但它们都要借助参考图像的全部或部分信息，都需要参考图像的参与，在实际应用中这个条件常常是不具备的，因为很多场合很难获取参考图像信息，甚至根本就不存在参考图像，所以最近几年无参考图像质量评价发展迅速。

一些无参考图像质量评价方法通过一种可以体现图像局部结构特征的度量来估计图像质量，例如文献[14]的局部结构张量和文献[15]的主梯度方向奇异值分量。这些方法有时候并不符合人类视觉系统(Human Visual System, HVS)。第一，这些方法认为在局部主方向上的边缘越多质量越好，但是根据人眼空间频率特性，过度密集的条纹的视觉质量是很差的。第二，这些方法对图像结构越多的图像的评价质量越高，对结构较少的图像的评价很低，这并不符合HVS。

在失真图像中，人眼对边缘结构区域比较敏感；另一方面，弱边缘的梯度检测结果受到噪声的影响较大。所以本文方法首先给局部最大梯度较大的像素点分配一个较大权值，而给局部最大梯度较小的像素赋予一个很小的权值，然后对局部图像质量进行加权平均来估计全局图像质量。

本文剩下部分的安排如下：首先介绍一种梯度检测模板，然后提出本文的无参考图像质量评价方法，并测试本文方法的性能，最后是结束语。

2 梯度模板

图1显示了几种常见的边缘结构，(a)边界，(b)直线和(c)纹理。显然，人眼对图1(a)的边界最敏感，所以本文提出一种主要针对这类边缘点的梯度检测方法。这类边缘点有2种(即阶梯上和阶梯下两种)，因此，在一个方向上就设计2个模板(大小为)来检测梯度。在方向上的2个梯度模板和的制作步骤如下(以5×5为例)：

(1)生成方差为1的高斯模板：

(2)以中点为界在横向上一分为二，然后把一边的权值设为负，得到2种梯度模板：

(3)为了保证所有权值之和为0，对上面2个模板的正和负权值各自归一化，得到

图1 几种常见边缘结构

3 基于局部结构的图像质量评价

这节首先介绍局部最大梯度(MLG)，然后是图像局部质量估计和整体图像评价。

3.1局部最大梯度

图2显示的是图1中的几种边缘像素点(中心)的示例，在高斯噪声和高斯模糊失真下，这几种边缘的MLG如图3所示(是噪声的均方差，是高斯模糊核的均方差)。在高斯噪声失真时(图3(a))，随着噪声水平的增加，这些边缘点的MLG变化并不是很大，尤其是边界点的变化很小。而在高斯模糊失真时，随着模糊程度的增加，MLG都单调降低。

3.2 局部质量评价

在高斯噪声失真图像中，强边缘像素的MLG变化不多，可以被看作是信号，因此像素的视觉质量被定义为

3.3 全局质量评价

图2 几种边缘结构像素点(中心)示例(数字是灰度值)

图3 图2中几种边缘点在高斯噪声和高斯模糊失真时的MLG

图4 图2中几种边缘点在不同污染程度时的局部评价质量

对于图1(b)和1(c)中的直线和纹理像素点(假设中点为高灰度像素，高低灰度差为)，则在理想情况下就是和之中的最大值。对于直线像素点，和都服从均值为0.5741且方差为0.3329的高斯分布；而对于纹理像素点，和都服从均值为0.4694且方差为0.3329的高斯分布。由次序统计量知识可得到它们的概率密度函数和为

请注意，这里讨论的是理想情况下3种结构点的局部最大梯度中的噪声平均含量，但是实际上是比较复杂的。例如，在理想情况下，如图1(b)的直线像素点的始终是水平方向两个模板之一的检测结果，但是噪声方差很大或者直线本身不明显时，就有可能是其它方向模板的检测结果了。因此，实际上的平均噪声含量比理想情况下的平均噪声含量要高一些。例如，在图3(a)中，当= 30时，图2(b)直线像素点的平均值实际上为68.1952，平均噪声含量为10.7852；而从图5中可知，理想情况下它的平均噪声含量应为10.6144。

图5 图像结构像素点的中的平均噪声含量       图6 不同时的权值(=120)

4 实验结果

本文方法对TID2008中的加性白高斯噪声(GN)，彩色噪声(CN)，掩蔽噪声(MN)，高频噪声(HN)，脉冲噪声(IN)和高斯模糊(GB)失真图像的评价质量与其平均主观得分(Mean Opinion Score, MOS)的散点图如图8所示。从图8中可以看出，在GN, CN, HN, IN和GB中散点大多都分布在一条直线附近，表示客观评价和主观评价得分MOS有很强的线性相关性，这说明本文的客观评价结果很好地反映了主观视觉感知效果。相应地，在MN中，散点就分的比较散，说明和MOS的相关性较差，原因是噪声估计方法[16]是针对加性高斯噪声的，而不适合MN。

从表1中可知道，在各类噪声失真中，本文方法的LPCC和SROCC几乎都是仅次于PSNR，而且对于GN, CN, MN和HN，如果能准确地估计出噪声方差，则本文方法的性能极度接近于PSNR。在GB中，本文方法也有仅次于SSIM的良好效果。但是，对于IN，使用真实噪声方差的本文方法结果反而比使用文献[16]估计方法的结果稍差，具体原因无法解释。

如果采用文献[16]方法来估计噪声方差，本文方法是彻底的无参考评价方法，而且该方法对于除MN外的各类失真都有很好的效果。采用文献[16]的噪声估计方法时，对于MN的效果较差，是因为文献[16]方法并不适合估计这类噪声。

图7 Lena图像在不同程度的噪声和模糊失真的QH

图8 本文方法对TID数据库的几种失真类型评价结果跟MOS的散点图

表1 LPCC和SROCC(每类失真的2个最好结果标记为粗体)

表2不同大小梯度模板时本文方法对TID2008白高斯噪声图像的性能

W3579 LPCC0.90410.90720.90690.8911 SROCC0.89700.89750.89740.8854

5 结束语

本文提出一种基于局部最大梯度的无参考图像质量评价方法。对于高斯噪声失真和高斯模糊失真，本文方法都具有很好的性能。对于噪声失真，本文方法的性能很接近于PSNR方法，而对于高斯模糊失真，本文方法的性能却很接近于SSIM方法。相比于PSNR和SSIM，本文方法的最大优势在于不需要知道真实图像。未来的工作主要是扩展到更多的失真类型。

[1] Liu H and Heynderickx I. Visual attention in objective image quality assessment: Based on eye-tracking data[J]., 2011, 21(7): 971-982.

[2] Hassen R, Wang Z, and Salama M. Image sharpness assessment based on local phase coherence[J]., 2013, 22(7): 2798-2810.

[3] Wang Z, Bovik A C, Sheikh H R,.. Image quality assessment: from error visibility to structural similarity[J]., 2004, 13(4): 600-612.

[4] Xue W F, Zhang L, Mou X Q,.. Gradient magnitude similarity deviation: a highly efficient perceptual image quality index[J]., 2014, 23(2): 684-695.

[5] Rehman A and Wang Z. Reduced-reference image quality assessment by structural similarity estimation[J]., 2012, 21(8): 3378-3389.

[6] Zeng K and Wang Z. Polyview fusion: a strategy to enhance video-denoising algorithms[J]., 2012, 21(4): 2324-2328.

[7] Li C F, Ju Y W, Bovik A C,.. No-training, no-reference image quality index using perceptual features[J]., 2013, 52(5): 188-194.

[8] Saha A and Wu Q M. Utilizing image scales towards totally training free blind image quality assessment[J]., 2015, 24(6): 1879-1892.

[9] Mittal A, Muralidhar G S, and Bovik A C. Making a ‘completely blind’ image quality analyzer[J]., 2013, 20(3): 209-212.

[10] Bahrami K and Kot A C. A fast approach for no-reference image sharpness assessment based on maximum local variation[J]., 2014, 21(6): 751-755.

[11] Saifeldeen A and Jiao S H. No-reference image quality assessment algorithm based on Weibull statistics of log- derivatives of natural secenes[J]., 2014, 50(8): 595-596.

[12] Moorthy A K and Bovik A C. Blind image quality assessment: from scene statistics to perceptual quality[J]., 2011, 20(12): 3350-3364.

[13] Vu C T, Phan T D, and Chandler D M.3: a spectral and spatial measure of local perceived sharpness in natural images [J]., 2012, 21(3): 934-945.

[14] 邵宇, 孙富春, 刘莹. 基于局部结构张量的无参考型图像质量评价方法[J]. 电子信息学报, 2012, 34(8): 1779-1785.

Shao Yu, Sun Fu-chun, and Liu Ying. A no-reference image quality assessment method using local structure tensor[J].&,2012, 34(8): 1779-1785.

[15] Zhu X and Milanfar P. A no-reference sharpness metric sensitive to blur and noise[C]. International Workshop on Quality of Multimedia Experience, San diego, USA, 2009: 64-69.

[16] Liu X, Tanaka M, and Okutomi M. Noise level estimation using weak textured patches of a single noisy image[C].Proceedings of 2012 International Conference on Image Processing, Florida, USA, 2012: 665-668.

[17] Ponomarenko N, Lukin V, and Zelensky A. TID2008 a database for evaluation of full-reference visual quality assessment metrics[J]., 2009, 10(1): 30-45.

[18] Wang Z and Bovik A C. Modern Image Quality Assessment [M]. New York: Morgan and Claypool Publishers, 2006: 41-44.

No-reference Image Quality Assessment Based on Local Maximum Gradient

Jiang Ping①②Zhang Jian-zhou①

①(,,610065,)②(,,719000,)

Image Quality Assessment (IQA) is widely used in digital image processing, and No Reference IQA (NR-IQA) has become the research focus recently. This paper proposes an NR-IQA method based on local structure, which chooses strong structure areas by using local gradients, and assesses the quality of image by utilizing the Maximum Local Gradients (MLG) of strong structure areas. The main novelties are: pixel,s quality assessment based on MLG; whole image quality based on strong edge points,quality. The proposed method can assess noise image and blur image at the same time, and the score of the proposed method is smaller when the distortion is more serious. The results show that the proposed no-reference method for the quality prediction of noise and blur images has a comparable performance to the leading metrics available in literature.

Image quality assessment; Gradient mask; Gaussian noise; Gaussian blur

TN911.73

A

1009-5896(2015)11-2587-07

10.11999/JEIT141447

2014-11-20；改回日期：2015-07-15；

2015-08-25

蒋平 ping.jiang79@gmail.com

蒋 平： 男，1979年生，博士生，研究方向为图像去噪及相关技术.

张建州： 男，1962年生，教授，博士生导师，研究方向为计算机视觉.