无参考图像质量评价算法性能分析*

陈楚燕　解天鹏

(1.广州市城市规划勘测设计研究院　广州　510310)(2.中国科学院光电研究院　北京　100094)



无参考图像质量评价算法性能分析*

陈楚燕1解天鹏2

(1.广州市城市规划勘测设计研究院广州510310)(2.中国科学院光电研究院北京100094)

摘要图像质量评价是计算机视觉和图像处理领域的一个热门问题，具有重要的研究价值和广阔的应用前景。根据所需原始图像信息的多少，客观图像质量评价方法主要分为全参考图像质量评价方法、部分参考图像质量评价方法和无参考图像质量评价方法。但是在实际应用过程中，参考图像往往难以获取或是不存在，因此需要对无参考图像质量评价算法进行研究。近年来，很多无参考质图像评算法被相继提出，但是国内还没有相关文献对这些算法的性能进行系统的分析和比较。基于此，论文首先选取了七种具有代表性的无参考图像质量评价算法并对其进行了简要介绍，然后全面介绍并总结了常用的图像质量评价算法性能验证数据库以及算法性能指标，最后，对七种算法的性能进行了详细的分析和比较。

关键词无参考; 图像质量评价; 图像质量数据库; 算法性能

Perfoamance Analysis of No-reference Image Quality Assessment Algorithm

CHEN Chuyan1XIE Tianpeng2

(1. Guangzhou Urban Planning & Design Survey Research Institute, Guangzhou510310)

(2. Academy of Opto-electronics, Chinese Academy of Sciences, Beijing100094)

AbstractImage quality assessment is a hot issue in the field of computer vision and image processing, and it has great research value and application prospect. According to the required knowledge of the original image, object image quality assessment methods are mainly divided into no-reference methods, reduced-reference methods and full-reference methods. But in practical application, the reference image is hard to achieve or even not exist. Therefore, it is necessary to do research in no-reference methods. Many no-reference methods have been proposed in recent years but no article has systematically analyze and compare these methods. Seven representative no-reference methods are chosen to do the job mentioned before and introduced some typical image quality databases and algorithm performance indicators. In the end, the seven algorithms are analyzed and compared in detail.

Key Wordsno-reference, image quality assessment, image quality database, algorithm performance

Class NumberTP391

1引言

视觉信息是人类获取外界信息的重要手段，大约占据了人类所获取全部信息的75%。视觉信息即图像信息，与其他信息获取方式相比，图像信息比语言文字更加生动、形象、高效，人眼可以通过图像在短时间内获取大量信息。数字图像在获取、存储、传输、显示等过程中都有可能会引入失真，从而导致图像质量的下降。因此。如何准确地衡量图像质量的好坏，成为了计算机视觉和图像处理等领域的一个热门而具有挑战性的问题[1]。

总得来说，图像质量评价方法可以分为主观评价方法和客观评价方法。主观评价方法由人类观察者对一系列图像进行观测、比较，并根据事先确定的标准对其质量进行评分。客观评价方法通过设计数学模型实现对图像质量好坏的预测。由于人类视觉系统(Human Visual System,HVS)是视觉信息的最终接收者和解译者，因此主观评价方法是最为可靠的图像质量评价方法，但是该方法费时费力，难以应用于实际。根据评价过程中所需“原始图像”信息的多少，客观评价方法可以分为三种，分别是全参考(Full-Reference,FR)图像质量评价方法、部分参考(Reduced-Reference,RR)图像质量评价方法、无参考(No-Reference,NR)图像质量评价方法。在实际应用过程中，原始图像往往无法获取或是根本不存在，这就需要在不借助任何原始图像信息的条件下对图像的质量进行预测。

无参考图像质量评价方法是图像质量评价领域的研究热点和难点。在过去的十几年中，无参考图像质量评价取得了很大的进展，一系列富有成效的算法被相继提出，但是国内还没有相关文献对这些算法的性能做过系统的评估与比较。因此，本文主要针对七种被广泛引用的、且被实验证明具有较好性能的无参考图像质量评价算法，旨在通过对这七种有代表性的算法的性能进行分析和比较，使图像质量评价领域的研究人员对无参考图像质量评价算法的研究现状和算法性能优劣有一个清楚的、定量的认识。同时，通过本文对不同算法性能的分析、比较和讨论，希望能够引发出一些新的无参考算法设计思路。

2无参考图像质量评价算法

目前有很多全参考、半参考图像质量评价算法都已经取得了较为精确的预测结果，然而在大部分实际应用中，参考图像往往是无法获取或是难以获取的，因此需要开发无参考图像质量评价算法。

无参考图像质量评价方法，就是在不需要任何参考图像信息的条件下对失真图像的质量进行评价。对于人类观察者来说，这是一项轻而易举的工作，人眼在无需任何参考的情况下，便能够很容易地区分图像质量的好坏并指出其中可能存在的错误。然而，无参考图像质量评价方法却是该领域的一个难题，其原因可能是人类的大脑掌握了大量的关于图像应该是什么样、不应该是什么样的先验知识[2]。

在过去的十几年中，很多学者对无参考图像质量评价的问题进行了深入的研究，并提出了各种不同的算法，本文主要讨论以下七种具有代表性的无参考图像质量评价算法，如表1所示。

下面分别对这七种算法进行简要的介绍：

2010年，Moorthy A K等人提出了一种基于自然场景统计模型的BIQI(Blind Image Quality Index)方法[3]，首先通过测量自然场景统计信息的变化来进行失真分类，然后进行图像质量评价。一旦完成样本训练，将不再需要待评价图像的关于失真的先验知识。该方法是模块化的，可以扩展到任意数量失真类型的情况。

表1　无参考图像质量评价算法

2011年，Saad M A等人提出了一种基于图像离散余弦变换系数的自然场景统计模型的BLIINDS-II(BLind Image Integrity Notator using DCT Statistics)方法[4]，利用DCT统计特性的图像完整性检测器进行图像质量评价。

2012年，Mittal A等人提出了一种BRISQUE(Blind/Referenceless Image Spatial Quality Evaluator)方法[5]，这是一种的基于自然场景统计模型(Natural Scene Statistics,NSS)的无参考图像质量评价算法，它不是通过计算特定失真类型的特征，而是利用局部归一化亮度系数的场景统计信息来量化由失真引起的“非自然性”，该算法计算复杂度很低，可以满足实时应用的需求。另外，与之前提出的无参考图像质量评价算法有所不同，该算法是在空间域上进行的，因此不需要进行坐标框架的变换(离散余弦变换、小波变换等)。

2014年，Liu L等人提出了一种Curvelet域的无参考图像质量评价方法[6]，首先对图像进行Curvelet变换，然后从中提取统计特征，包括Curvelet系数的对数直方图顶点的坐标、Curvelet域内方向和尺度的能量分布等。该算法计算复杂度较低，与人类主观评分具有较好的一致性。

2011年，MoorthyA K等人提出了一种DIIVINE(Distortion Identification-based Image Verity and Integrity Evaluation)的无参考图像质量评价方法[7]，该方法的核心思想是，自然场景图像具有某种统计特性，而图像失真会改变这一特性，使其变得“不自然”，利用自然场景统计模型对这种“不自然”进行描述，就可以测定其失真程度并进行图像质量评价。与针对特定失真的评价方法不同，该方法可以对存在多种失真类型的图像进行评价。

2013年，Mittal等人提出了一种NIQE(Natural Image Quality Evaluator)方法[8]，利用自然图像统计规律的可测量偏差来进行图像质量评价，该方法无需失真图像人类主观评分库的训练。

2014年，Liu L等人提出了一种通用的无参考图像质量评价指标SSEQ[9](Spectral Entropy-based Quality index)，利用失真图像的局部空间和光谱信息熵的特征来进行质量评价。

3图像质量评价算法性能验证数据库

图像质量评价数据库的建立对于图像质量评价算法的性能验证具有重要意义。

目前为止，较为常用的、公开的图像质量评价数据库有七个，分别是：TID2008[10](2013年扩展为TID2013[11])、CSIQ[12]、LIVE[13]、IVC[14]、Toyama-MICT[15]、WIQ[16]、Cornell A57[17]。其中，TID2008、TID2013、CSIQ和LIVE属于较大规模的数据库，具有较多的失真图像数量和失真类型；IVC和Toyama是两个中等规模的数据库；WIQ和A57是两个小规模的灰度图像数据库。

关于这几个图像库的参考图像数量、失真图像数量、失真种类、图像类型(彩色或黑白)、图像文件格式、图像尺寸、主观评价者人数等具体信息，表2对其进行了总结。

表2　图像质量评价数据库

TID2008图像质量评价数据库由乌克兰国立航空航天大学信号接收、传输与处理学院的高级研究员Nikolay Ponomarenko建立，该数据库包括25幅参考图像和1700幅失真图像(17种失真类型，4个失真等级)，其主观评价值的范围为[0.2,7.3]。TID2013数据库是TID2008数据库的扩展，包括25幅参考图像和3000幅失真图像(24种失真类型，5个失真等级)。

CSIQ数据库由奥克拉荷马州立大学计算感知和图像质量实验室(Computational Perception and Image Quality Lab)建立，该数据库包括30幅参考图像和866幅失真图像(6种失真类型)，其主观评价值的范围为[0,1]。

LIVE数据库由德州大学奥斯汀分校(University of Texas at Austin)的图像与视频工程实验室(Laboratory for Image and Video Engineering,LIVE)建立，该数据库包括29幅参考图像(如图1所示)和779幅失真图像，包含5种失真类型：JEEG2000(JP2K)压缩失真、JPEG压缩失真、高斯白噪声(White Noise,WN)、高斯模糊(Gaussian blur,Glur)和快速衰退瑞利通道失真(Fast FadingRayleigh channel,FF)。LIVE数据库提供了所有图像的差异主观平均意见分数(Difference Mean Opinion Score,DOMS)，该评分值的范围为[0,100]，取值越小，表明图像质量越好(参考图像的DMOS值为0)。

图1　LIVE库中的29幅参考图像

IVC数据库由法国IRCCyN实验室的研究人员建立，该数据库包括10幅参考图像和235幅失真图像，包含4种失真类型：JPEG压缩失真、JPEG2000压缩失真、局部自适应决策编码(LAR coding)失真和模糊(Blurring)。主观评价结果由15名观测者通过双刺激损伤测量法(Double Stimulus Impairment Scale,DSIS)进行实验获得。

Toyama-MICT数据库由日本富山大学多媒体信息和通信技术实验室的研究人员建立，该数据库包括14幅参考图像，168幅失真图像(JPEG和JPEG2000两种失真类型，6个失真等级)。

WIQ数据库由瑞典布莱金厄理工学院和印度尼西古纳德尔玛大学的研究人员合作建立，该数据库共包括7幅原始图像，80幅失真图像。图像的主观评分通过两组实验获得，每组实验都由30名观测者对40幅失真图像和7幅参考图像进行评价，评价方法采用双刺激连续质量评价法(Double Stimulus Continuous Quality Scale,DSCQS)[18]。

4图像质量评价算法的性能指标

国际电信联盟的视频质量专家组(Video Quality Experts Group,VQEG)认为，评价客观算法的预测性能需要考虑以下三个方面的因素[19]：

1) 准确性：客观评价结果与主观评价结果的偏离程度。

2) 单调性：客观评价结果与主观评价结果具有一致的变化趋势。

3) 一致性：对于不同类型和内容的图像，算法能够保持预测的准确性。

本文使用以下三个性能指标对无参考图像质量评价算法的性能进行评估：

1) 斯皮尔曼序列相关系数(Spearman Rank Order Correlation Coefficient,SROCC)

(1)

其中，di=RXi-RYi(1≤i≤N),Xi和Yi分别为第i幅图像的主观评分和客观评分，N为图像总数，RXi为Xi在N个主观评分中的排序(按从大到小或从小到大的顺序排列)，RYi为Yi在N个客观评分中的排序。SROCC又称为秩相关系数，用于评价客观算法的单调性，其取值范围为[-1,1]，当SROCC为1时，表明主客观评分值的变化趋势完全一致。因此，SROCC取值越大，说明客观算法评价结果与主观质量评分的一致性越好。

2) 皮尔逊线性相关系数(Pearson Linear Correlation Coefficient,PLCC)

(2)

3) 均方根误差(Root Mean Squared Error,RMSE)

(3)

N为图像总数，Xi和Yi分别为第i幅图像的主观评分值和客观评分值。RMSE用于评价客观算法评价结果与主观质量评分之间的差异大小，取值非负。RMSE的值越小，说明总体上主客观评分之间的差异越小，当RMSE=0时，客观评价与主观评价完全一致[20]。

5算法性能分析与比较

本文使用影响力最大、应用最广泛的LIVE数据库对七种无参考图像质量评价算法的性能通过SROCC、PLCC和RMSE三个指标进行评价，评价结果如表3所示。对LIVE数据库内五种不同类型的失真图像，各算法的SROCC、PLCC和RMSE的计算结果分别如表4~6所示。每种指标里性能最好的两种算法的计算结果，在表格中使用加粗字体进行了显示。

表3　各算法性能指标计算结果

表4　SROCC计算结果

表5　PLCC计算结果

表6　RMSE计算结果

从表格中可以看出，BRISQUE和SSEQ具有最好的算法性能，其次是Curvelet-QA算法，只比前两种算法的性能稍逊一筹；BLIINDS-Ⅱ、DIIVINE、NIQE这三种算法具有大致相当的性能，而BIQI的性能是最差的。对七种算法的性能进行排序，从好到坏依次是：(BRISQUE≈SSEQ)>Curvelet-QA>(BLIINDS-Ⅱ≈DIIVINE≈NIQE)>BIQI。

6结语

无参考图像质量评价是一个开放的、具有广阔应用前景的研究领域，同时也是一个需要长期研究的复杂课题。本文介绍了七种具有代表性的无参考图像质量评价算法，总结了常用的图像质量评价数据库以及算法性能评价指标，在此基础上，对七种算法的性能进行了详细的分析和比较。本文的研究，旨在让相关研究人员对无参考图像质量评价的研究现状和算法性能优劣有一个定量的认识。同时，希望能够带来一些新算法设计上的启发。

参 考 文 献

[1] 梁狄林.无参考图像质量评价算法研究[D].无锡:江南大学,2013.

LIANG Dilin. The Research On No Reference Image Quality Assessment Alogrithm[D]. Wuxi: Jiangnan University,2013.

[2] Wang Z, Bovik A C. Modern Image Quality Assessment[M]. Morgan & Claypool Publishers,2006.

[3] Moorthy A K, Bovik A C. A two-step framework for constructing blind image quality indices[J]. Signal Processing Letters, IEEE,2010,17(5):513-516.

[4] Saad M, Bovik A C, Charrier C. DCT statistics model-based blind image quality assessment[C]//Image Processing(ICIP), 2011 18th IEEE International Conference on. IEEE,2011:3093-3096.

[5] Mittal A, Moorthy A K, Bovik A C. No-reference image quality assessment in the spatial domain[J]. Image Processing, IEEE Transactions on,2012,21(12):4695-4708.

[6] Liu L, Dong H, Huang H, et al. No-reference image quality assessment in curvelet domain[J]. Signal Processing: Image Communication,2014,29(4):494-505.

[7] Moorthy A K, Bovik A C. Blind image quality assessment: From natural scene statistics to perceptual quality[J]. Image Processing, IEEE Transactions on,2011,20(12):3350-3364.

[8] Mittal A, Soundararajan R, Bovik A C. Making a “completely blind” image quality analyzer[J]. Signal Processing Letters, IEEE,2013,20(3):209-212.

[9] Liu L, Liu B, Huang H, et al. No-reference image quality assessment based on spatial and spectral entropies[J]. Signal Processing: Image Communication,2014,29(8):856-863.

[10] Ponomarenko N, Lukin V, Zelensky A, et al. TID2008-a database for evaluation of full-reference visual quality assessment metrics[J]. Advances of Modern Radioelectronics,2009,10(4):30-45.

[11] Ponomarenko N, Ieremeiev O, Lukin V, et al. Color image database TID2013: Peculiarities and preliminary results[C]//Visual Information Processing(EUVIP), 2013 4th European Workshop on. IEEE,2013:106-111.

[12] Larson E C, Chandler D M. Most apparent distortion: full-reference image quality assessment and the role of strategy[J]. Journal of Electronic Imaging,2010,19(1):011006-011006-21.

[13] Sheikh H R, Wang Z, Cormack L, et al. LIVE image quality assessment database release 2[J]. 2005.

[14] Le Callet P, Autrusseau F. Subjective quality assessment IRCCyN/IVC database[J]. 2005.

[15] Horita Y, Shibata K, Kawayoke Y, et al. Mict image quality evaluation database[J]. [2012-06-03]. http://mict,eng.u-toyama.ac.jp/mictdb,html,2011.

[16] Engelke U, Kusuma M, Zepernick H J, et al. Reduced-reference metric design for objective perceptual quality assessment in wireless imaging[J]. Signal Processing: Image Communication,2009,24(7):525-547.

[17] Chandler D M, Hemami S S. VSNR: A wavelet-based visual signal-to-noise ratio for natural images[J]. Image Processing, IEEE Transactions on,2007,16(9):2284-2298.

[18] 刘德磊.基于分形分析的图像质量评价[D].广州:华南理工大学,2014.

LIU Delei. Image Quality Assessment Using Fractal Analysis[D]. Guangzhou: South China University of Technology,2014.

[19] Video Quality Experts Group. Final report from the Video Quality Experts Group on the validation of objective models of video quality assessment, Phase Ⅱ(FR_TV2)[J]. ftp://ftp.its.bldrdoc.gov/dist/ituvidq/Boulder_VQEG_jan_04/VQEG_PhaseII_FRTV_Final_Report_SG9060E.doc,2003,2003.

[20] 解天鹏,许妙忠,丛铭,等.基于Contourlet-GSSIM的无参考遥感图像质量评价研究[J].测绘通报,2015,1:015.

XIE Tianpeng, XU Miaozhong, CONG Ming. Research on No-reference Remote Sensing Image Quality Assessment Based on Contourlet-GSSIM[J]. Bulletin of Surveying and Mapping,2015,1:015.

中图分类号TP391

DOI:10.3969/j.issn.1672-9722.2016.02.035

作者简介:陈楚燕，女，研究方向:测绘工程和图像处理相关领域。解天鹏，男，硕士，研究方向:图像处理、激光雷达几何检校和数据处理。

*收稿日期:2015年8月11日,修回日期:2015年9月27日