基于加权模型的无参考图像质量评价方法

徐长英 曾艳娇 陈英

摘  要： 针对无参考的图像质量评价，提出一种基于SSEQ算法、BRISQUE算法和BP神经网络的质量评价模型，其评价过程如下：利用SSEQ算法提取图像的空间熵值和频谱熵值;利用BRISQUE算法提取局部规范系数;将图像中提取的两类特征值和对应的主观质量分数分别利用BP神经网络进行训练，并通过加权融合得到最终的客观质量分数。实验结果表明，主客观质量分数的皮尔逊相关系数均在0.85以上，满足极强相关，结果优于部分无参考图像质量评价模型。

关键词： 图像质量评价; 评价模型; SSEQ; BRISQUE; 特征值提取; 性能检测

中图分类号： TN911.73?34; TP391.41                文献标识码： A                 文章编号： 1004?373X（2020）21?0043?04

No?reference image quality assessment method based on weighted model

XU Changying1， ZENG Yanjiao2， CHEN Ying2

（1. Engineering Training Centre， Nanchang Hangkong University， Nanchang 330063， China;

2. School of Software， Nanchang Hangkong University， Nanchang 330063， China）

Abstract： A non?reference image quality assessment model based on SSEQ （spatial?spectral entropy based quality assessment） algorithm， BRISQUE （blind/referenceless image spatial quality evaluator） algorithm and BP neural network is proposed in this paper. The assessment process is shown as follows： the SSEQ algorithm is used to extract the spatial entropy value and spectral entropy value of the image; the BRISQUE algorithm is used to extract local norm coefficients; the two types of eigenvalues extracted from the image and their corresponding subjective quality scores are trained by BP neural network， and then the final objective quality scores are got by weighted fusion. The experimental results show that the Pearson correlation coefficients of the subjective quality score and objective quality score are all above 0.85， which meets the standard of extremely strong correlation. The results are better than those of some non?reference image quality assessment models.

Keywords： image quality assessment; evaluation model; SSEQ; BRISQUE; eigenvalue extraction; performance detection

0  引  言

圖像选优方法是基于图像质量展开的，由于人是图像质量评价的主体，如何建立图像选优模型使主客观评价一致是图像处理领域的研究热点[1]。目前无参考图像质量评价在图像压缩、无人机航拍和医学图像领域广泛应用[2]。无参考图像质量评价模型分为基于机器学习和基于深度学习两类，基于深度学习又可分为OA?BIQA（Opinion Aware）和OF?BIQA（Opinion Free）[3]。对于图像中存在的多种失真，BIQI（Blind Image Quality Indices）算法[4]基于五种失真类型的预设，将图像的失真类型概率和其对应的失真水平进行加权求和得出质量分数。文献[5]提出的ERISQUE使用局部标准化亮度系数得出图像失真程度。SSEQ算法[6]使用空间熵值和频谱熵值作为图像质量指标并使用支持向量机判断失真类型并进行评价。OA?BIQA中，文献[7]基于卷积神经网络提出IQA?CNN，使用特征提取和回归建立学习模型，对于模糊、压缩和噪声失真图像的质量评价有很好的效果。文献[8]提出的DeepBIQ中引入迁移学习、扩展深度学习中的网络深度。OF?BIQA模型不需要使用人工评价样本，可用性更强。文献[9]提出的BIECON中训练过程包括回归到客观误差图和主观评分两个部分，有效避免实验样本受限问题。本文使用SSEQ，BQRISQUE和BP神经网络进行融合，提出一种无参考质量评价模型。

1  基础理论

1.1  BRISQUE算法

BRISQUE（Blind Referenceless Image Spatial Quality Evaluator）是一种无参考的空间域图像质量评估算法。算法原理为从图像中提取局部规范化系数（MSCN），并将其拟合成广义高斯分布（GGD）和非对称性广义高斯分布（AGGD），并利用多尺度图像提取36个特征，使用支持向量机LibSVM得出客观质量分数。BRISQUE算法的流程图如图1所示。

MSCN系数具有由于失真的存在而改变的特征，一定程度上反映了图像的自然统计特征，并且量化这些变化可以预测影响图像的失真类型及其感知质量。由于人类视觉系统观察图像是多尺度的，各种图像退化也作用于图像的多个尺度。所以在不同的尺度图像上进行质量评价，更符合人类感知的特性。

1.2  SSEQ算法

SSEQ（Spatial?Spectral Entropy Quality）称为基于空间?谱熵的质量指数，获取图像的空间熵值和频谱熵值作为图像的特征值，熵值大小可反映不同种类失真，使用支持向量机LibSVM得出客观质量分数。SSEQ算法的流程图如图2所示。

由于空间熵值和频谱熵值都是基于多个像素点计算出来的，所以为了使读取的值分布均匀，本文采用块处理，将预处理后的灰度图像分成8×8的块，并以此作为特征值提取最小信息单位。图像的信息可使用[14]，[18]，[116]的采样率，分为高、中、低3个频率段，特征值为每个频率段的均值和偏度值。

1.3  BP神经网络

BP神经网络是一种多层前馈神经网络，拓扑结构分为输入层、隐含层和输出层三个部分，具有信号前向传播、误差后向传播的特点。BP神经网络信号的前向传播是指信号从输入层经过隐含层，再到输出层;误差的反向传播是从输出层到隐含层，再到输入层。

使用该模型的BP神经网络对样本进行训练，网络的形成过程中为使误差平方和最小，使用误差的反向传播不断调整网络的权值和阈值，从而使输出值接近期望值。其结构图如图3所示。

2  模型建立

本文中模型使用的算法有BRISQUE算法、SSEQ算法、BP神经网络和加权融合算法。首先通过BRISQUE算法得出36个特征值，SSEQ算法得出12个特征值。然后利用BP神经网络将特征值和DOMS值进行训练测试，其中50%作为训练集，50%作为测试集。最后将测试集得出的客观质量评分进行加权融合，得到最终的客观质量评分，其中，加权融合的权值为相关性检测中相关性最大时对应的权值。具体流程如图4所示。

3  实验结果及分析

3.1  实验样本描述

图像来源于美国德克萨斯大学奥斯汀分校的电气与计算机工程系和心理学系联合建立的LIVE（Laboratory for Image & Video Engineering）图像质量评价数据库的Release2版本，由29幅参考图像和5种失真类型共982幅图像组成，其中包含不同程度高斯白噪声（WN）失真图像174幅、不同程度高斯模糊（GBlur）失真图像174幅、jpeg压缩（JPEG）失真图像233幅、jp2k压缩（JP2K）失真图像227幅和快速瑞利衰减（FF）失真图像174幅。采用161人作为观察人员，通过统计约25 000个数据，获得了不同失真图像的主观相对质量分数（DMOS）。DMOS值范围为0～100，DMOS值越大，表示图像失真越严重。

3.2  模型评价标准

本文采用线性相关系数LCC，也称皮尔逊线性相关系数PLCC，描述预测值与主观评分之间的相关性和算法的准确性。皮尔逊相关系数定义为两个变量之间的协方差和标准差的商，计算公式如下所示：

[ρX，Y=cov（X，Y）σXσY=E[（X-μX）（Y-μY）]σXσY]

式中[σ]为标准差。皮尔逊相关系数反映了两个变量的线性相关性的大小，绝对值越大说明两变量的相关性越强。相关系数大于0.8为极强相关。

3.3  实验结果

本文模型是在对单张失真图像进行客观质量评价的基础上实现图像質量的选优，即单张图像通过模型处理后得到其对应的客观质量评价分数，多张图片可获得多个对应的客观质量评价分数，对图像进行图像质量评价就是预测图像的主观质量分数。如图5a）～图5f）所示是LIVE图像质量评价数据库里高斯模糊失真中对应的6张图像，将这6张图像输入此模型可得出其对应的客观质量评价分数。表1是图5中的6张失真图像通过模型得出客观质量评价分数和其在LIVE数据库中对应的主观质量评价分数。

如表1所示，失真图像5a）和失真图像5b）对应的主观评价分数分别为23.14和27.16，客观质量分数分别为20.58和22.51，从中可以得出主客观结果一致，即表明通过此模型得出的客观质量分数可在失真图像5a）和5b）中预测图像5a）的图像质量优于图像5b）。

再者，对表1的主观质量评价分数和客观质量评价分数进行排序，其中主观质量评价分数从小到大对应的失真图像依次为图像5e），5a），5f），5b），5c），5d），客观质量分数从小到大对应的失真图像依次为图像5e），5a），5f），5b），5c），5d），比较得出两个序列失真图像客观评价分数的大小与主观评价分数大小有关，主观质量评价分数越大对应的客观质量评价分数往往也会越大。在这6张图像中图像5e）对应的质量分数最小，即图像5e）的质量最好。通过对LIVE数据库中的高斯模糊失真中对应的6张图像的客观和主观质量分数进行分析，说明本文模型可以在一定程度上通过输入失真图像得出客观质量评价分数的大小，对一系列图像的质量进行比较，选择质量最好的图像。

由于考虑到模型性能，评价方法使用的是PLCC相关系数，所以需要得到大量图像的客观质量评价分数和其对应的主观质量评价分数才可以进行模型性能的评价，PLCC越接近1则表示线性相关性越好。为评价模型的整体性能，对LIVE图像评价数据库中的五种失真图像使用PLCC进行相关性分析，得出的客观评价分数的大小与其对应的主观评价分数的PLCC相关性如表2所示。

表2中五种失真图像对应的PLCC均在0.8～1.0的区间里，失真图像的客观评价分数和主观评价分数呈极强相关，所以通过此模型对LIVE数据库的五种失真图像得出的客观评价分数可以找到较好质量的图像。其中，FF的PLCC系数最小，由此可知此模型对于快速瑞利衰减失真图像质量评价的准确性最低，GBlur和WN对应的PLCC系数相对较大，可知此模型对于高斯模糊和高斯白噪声失真图像质量评价的准确性高于其他三种失真图像。

3.4  性能检测

将本文模型与BIQI，BRISQUE，OG?IQA和SSEQ四种经典的无参考图像评价模型进行PLCC比较，得到的结果如表3所示。

由表3可知，对于FF失真，本文模型优于BIQI和SSEQ模型，略差于BRISQUE和OG?IQA模型。对于GBlur失真，本文模型优于BIQI和OG?IQA模型，略差于BRISQUE和SSEQ模型。对于JP2K失真，本文模型优于BIQI和BRISQUE模型，略差于OG?IQA和SSEQ模型。对于JPEG失真，本文模型明显优于BIQI、BRISQUE和OG?IQA模型，略差于SSEQ模型。 对于WN失真，本文模型明显优于BIQI模型，略优于BRISQUE、OG?IQA和SSEQ模型。

3.5  迁移性分析

本文模型针对TID2013数据库进行迁移性分析，使用GBlur，JP2K和JPEG这3种失真图像进行性能分析。TID2013图像质量评价数据库中某张图像与其对应的5张JPEG失真图像如图6所示。其中图6a）为原图像，图6b）～图6f）为失真图像，观察比较图像可知，图6b）～图6f）的5张失真图像的信息损失程度逐渐增加。

表4是图6中的5张失真图像6b）～6f）通过模型得到的客观评价分数和其主观评价分数，其中分数越大表示图像失真程度越高。表中图6b）～图6f）对应的质量分数的增加符合图像失真程度的增加，并且客观质量分数和主观质量分数呈正相关，故此模型可以较好地预测图像的失真程度。

表5是此模型分别在LIVE和TID2013图像质量评价数据库中，对于GBlur，JP2K和JPEG这3种失真对应的客观质量分数和主观质量分数的PLCC。由表5可知此模型对于TID2013图像质量评价数据库的PLCC值在0.8～1.0的区间里，所以客观质量评价分数和主观质量评价分数呈极强相关，即模型对TID2013图像质量评价数据库的图像可以较为准确地预测图像质量。

4  结  语

本文基于LIVE数据库提出了融合SSEQ算法、BRISQUE算法和BP神经网络的无参考质量评价模型。可根据图像在模型中得出的客观质量分数较为准确地实现系列图像的自动选优。该模型优于部分无参考图像质量评价模型，且具有较强的迁移性。如何进一步提高图像质量评价的准确性以及建立模型适用于多种失真类型的图像是今后的研究方向。

参考文献

[1] 詹忆冰.基于视觉感知特性的图像质量评价方法研究[D].合肥：中国科学技术大学，2018.

[2] 张满.无参考图像质量评价及其应用[D].西安：西安电子科技大学，2018.

[3] 杨璐，王辉，魏敏.基于机器学习的无参考图像质量评价综述[J].计算机工程与应用，2018，54（19）：34?42.

[4] MOORTHY A K， BOVIK A C. A two?step framework for constructing blind image quality indices [J]. IEEE signal proces?sing letters， 2010， 17（5）： 513?516.

[5] MITTAL A， MOORTHY A K， BOVIK A C. No?reference image quality assessment in the spatial domain [J]. IEEE transactions on image processing， 2012， 21（12）： 4695?4708.

[6] 郑加苏.基于图像信息熵的无参考图像质量评估算法的研究[D].北京：北京交通大学，2015.

[7] KANG Le， YE Peng， LI Yi， et al. Convolutional neural networks for no?reference image quality assessment [C]// Procee?dings of the IEEE Conference on Computer Vision and Pattern Recognition. Columbus， OH， USA： IEEE， 2014： 1733?1740.

[8] BIANCO S， CELONA L， NAPOLETANO P， et al. On the use of deep learning for blind image quality assessment [J]. Signal， image and video processing， 2018， 12（2）： 355?362.

[9] KIM J， NGUYEN A D， LEE S. Deep CNN?based blind image quality predictor [J]. IEEE transactions on neural networks & learning systems， 2019， 30（1）： 11?24.

作者简介：徐长英（1981—），女，山东郓城人，硕士，讲师，主要研究方向为信号处理、模式识别。

曾艳娇（1998—），女，湖南株洲人，主要研究方向为图像处理。

陈  英（1981—），男，江西临川人，博士，副教授，主要研究方向为图像处理及模式识别。