基于权重池的多尺度图像质量评估方法

朱惠娟，宗 平，丛玉华

南京理工大学紫金学院 计算机学院，南京210046

随着数字成像和通信技术的迅速普及，图像质量评估（IQA）已成为许多应用程序中的重要问题，例如图像获取、传输、压缩、恢复和增强，且在通信、处理和显示系统的评估、控制、设计和优化中具有广泛的应用。由于主观IQA方法无法在许多情况下（例如实时和自动化系统）简便，常规地使用，因此有必要设计客观IQA算法以自动、有效地测量图像质量。同时，客观的预计评估结果应在统计上与人类观察者保持一致。“一致”是指算法的质量评估应与人类的判断密切相关，无论图像的失真类型，图像的内容或失真的强度如何。随着计算机技术的进步，未来客观的图形质量评估技术会与主观评估越来越相近，评估的手段也会由全参考逐渐转换为无参考的形式。

1 相关工作

多年来，许多研究人员在设计图像质量评估算法方面做出了重大研究[1-5]，也在该领域取得了一定的进展。在图像质量评估算法领域，为了使算法的性能与人类对图像质量的感知相关联，为此建立了图像和主观评分数据库，包括VQEG数据集[6]和LIVE数据库[7]。Sheikh[8]测试了各种领先的IQA算法，并使用统计标准例如Spearman 秩相关系数（SROCC）、均方根误差（RMSE）、线性相关系数（LCC）来表示算法与主观评测结果的相关程度。其中，典型的IQA算法可以直接量化失真图像与理想图像之间的差异，其中结构相似性指数（SSIM）[9]和视觉信息保真度指数（VIF）[10]以及特征相似性指数（FSIM）[1]与人类的感知具有非常高的相关性。

SSIM 特别适合用于在实时系统中，相对于MSE[11]等旧的标准，具有极高的简便性和出色的性能，因此该方法被常用于进行图像质量的评估。VIF 是基于自然场景统计（NSS）的IQA 替代方法，Seshadrinathan[12]证明SSIM和VIF的指标是等效的。FSIM是SSIM的一种成功变种算法，认为图像的每个位置都有特有的特征，基于特征应该有不同程度相似度的比较衡量。

本文认为图像的不同区域并非具有相同的重要性，因为从人类直观感受的角度来看，图像中的每个区域不可能具有与其他区域相同的视觉重要性。在视觉显著性[13]、注视计算[14]以及偏向图像和视频压缩的研究背景下，视觉重要性被反复提及，但是视觉重要性对于图像质量评估领域仍未完全开发，正是这一质量评估领域的发展推动了本文的研究。

在图像中如果某些区域可能在视觉上比其他区域更重要，从图像映射空间合并视觉重要性权重的方法是提升Spearman秩相关系数或者线性相关系数的有效方法。Wang[15]评估了使用不同合并策略的效果，包括基于权重池的质量合并，最后得出的结论是信息理论方法部署“信息内容加权池”可以实现最大的收益。在本文中，将进一步研究基于权重池的质量合并，并考虑基于预测的人类注视行为进行合并。

人类对图像的感知与视觉注意力相关联，人类的视觉注意力一般由图像的区域质量分布和对图像的感受野决定。人类往往对于图像中质量较差的区域具有更高的敏感程度，因此即使是少数质量较差的区域，图像整体质量也会受到更大的影响。Wang[15]指出对低质量区域进行质量加权合并可产生增量改进，本文也使用该策略可以获得相当可观的性能提升。

在图像权重池的构造上，本文认为权重池的构造主要是为了契合人类的主观评价标准。首先人类的视点分布情况会影响图像质量评估。例如，人类会更多在意中心区域的图像质量，而不是很在意边边角角的细节，人类对于对一些鲜艳的区域或者某些结构更为敏感，因此会把注意力更多地放到敏感区域。其次图像本身的信息内容也会影响图像质量，例如不同信息内容的失真情况以及不同的失真情况，都会影响图像质量评估。因此本文会结合两种权重形式构造一种混合权重池来拟合人类的权重池概念。

另一方面，人类对于图像的感受野有限，对于不同尺度的同一图像视觉注意力的分布也不一样，图像信息内容也有所变化，研究表明对于不同尺寸的同一图像，人类的注视点分布规律并不一致，图像信息有丢失，导致对图像质量评估有较大的区别。因此，本文对原始图像信息进行多次低通滤波和下采样得到不同尺度的特征图像，采用多尺度图像加权质量综合评估，最后实验证明多尺度的评估方式有效地改进了评估模型。

尽管本文处理问题的方式与之前的方法不同，但视觉重要性的使用已在以前进行过验证。Larson[16]评估了影响视觉注意力的多种因素的使用，以产生重要性图（IM）。然后，使用IM 对IQA 指数进行加权，从而得出可衡量的改进。Zhou[17]提出不同的信息内容也会影响图像质量评估，因此结合图像信息进行权重池构造成了一种可能。

本文提出基于视觉权重池的无参考质量评估方法，通过局部区域图像质量加权合并可以有效地提升性能。同时为了考虑感受野对视觉重要性和图像内容信息提取的影响，本文采用多次低通滤波和下采样得到不同分辨率下的图像，通过多尺度特征的图像加权质量评估改善了原有的评估模型。

2 基于权重池的多尺度图像质量评估

本文提出的图像质量评估的基本框架由两部分组成，无参考图像质量评估模型设计和基于视觉重要性和基于图像信息内容的混合权重池设计。

视觉质量是图像的非常复杂但固有的特征，当有参考图像可用时，可以使用全参考IQA方法直接量化两者之间的差异即可。但是视觉质量是图像本身所拥有的，不会因为参考图像的变化而变化，所以本文采用无参考图像质量评估，并给出CNN图像质量评估网络，可以对图像的局部灰度图像进行对比度归一化，然后采样不重叠的色块，对每个局部区域进行质量评分，然后基于每个区域的归一化后的权重池进行加权质量合并得到图像的整体质量评估。

2.1 图像质量评估的网络结构

本文基于文献[4]提出的“CNN 无参考图像质量评估”方法，采用了五层网络设计，图1显示本文的网络架构，第一层到第五层的尺寸分别是7×7、26×26×50、2×50、800×1、800×1结构，输入的是归一化的尺寸为32×32的图像，第一层卷积使用了50个卷积核，每个大小尺寸为7×7，步长为1个像素对输入进行过滤。卷积层会产生50个特征图，每个特征图尺寸大小为26×26，然后进行池化操作将50 个特征图映射到最大特征图与最小特征图。池化操作后是包含800个节点的两个全连接层，最后一层是简单的线性回归层，能输出一维的图像评估分数。

图1 CNN的网络结构

在卷积层中，将归一化的图像与50 个卷积核进行卷积操作，每个卷积核会生成一个特征图。然后，在每个特征图上采用池化操作，以将特征映射到较低的维度。本文参照CONRIA[4]将每个特征图池化映射到一个最大值和最小值，CONRIA证明这样做可以直接从原始图像像素学习判别图像特征，而无需手工提取特征。如式（1）中，代表的是特征图的位置(i,j)像素点经过第k个卷积核过滤后的值，然后uk和vk的定义如下：

其中，k=1,2,…,K，K为卷积核的数量。池化操作将特征图映射合并到二维的特征向量。因此，下一个全连接层的每个节点输入的大小为2×K，实验证明尽管最大池化已经能起很好的作用，但是引入最小池化操作可以使性能提高约2%。

对于无参考的图像质量评估任务，观察到的图像失真往往是局部均匀的，即在32×32图像的所有位置都发生相同程度的失真，图像失真因为会缺乏明显的全局空间结构，因此可以在不保留位置的情况下进行合并以降低计算机成本。

2.2 图像权重池设计方法

一般而言，人类对图像质量的主观评估受制于两方面影响，人类的视点分布规律和图像信息内容。本文分别对这两部分权重池设计进行了研究，提出一套系统的权重池设计方案。

2.2.1 基于视觉重要性的权重池设计

人类对图像质量的评估很大程度上取决于人类在图像上视点的分布情况，人类会自动搜寻感兴趣的区域，这些感兴趣区域的质量往往很大程度决定视觉感受的好坏。眼动仪可以有效捕获人类视觉注意力的变化，如图2是眼动仪测试的视点变化轨迹，人类的视觉系统会自下而上搜寻感兴趣区域，又自上而下地进行对图像进行深层理解，因此基于视觉重要性的权重池对于图像质量加权合并十分有必要。

图2 人类注视点的移动轨迹

图3显示了一组人类使用眼动仪的注视点分布，其中白色的点代表眼睛的视点曾在于此，这些点代表人类对图像中感兴趣区域的自动搜寻结果，因此可以利用眼动仪的视点分布进行视觉重要性的权重池构建。

图3 人类视觉注意力的分布

2.1节提出的网络结构可以获得32×32局部区域的质量评估，接下来本文会根据注视点分布计算每个局部区域的权重，设计一个符合人类视觉重要性的权重池进行加权质量合并。如式（2）中δP为局部区域P的权重计算，通过计算注视点分布到P区域的个数与总注视点个数的比例构造权重池。

2.2.2 基于图像信息内容的权重池设计

不同的自然图像可以提取出截然不同的图像内容信息，也影响着人们的主观判断。图像信息内容的计算依赖于良好的统计图像模型。在以前的研究中，基于一个粗糙空间域的局部高斯模型用来进行IQA 的空间池化。基于过去图像去燥和去模糊的高速发展，本文采用高斯比例混合模型处理自然图像，得到了基于图像信息内容的权重池。与许多其他图像模型一样，为了减少图像的高维数，做出了马尔科夫假设，即像素的概率密度完全由空间中的像素确定规模。因此剩下的工作即对相邻像素进行统计建模，本文接下来会讲述这一工作对于图像内容的权重池构造。

本文定义R为一组包含相邻变换系数的列向量，例如小波系数或者拉普拉斯金字塔变换系数。可以将其建模成GSM，表示为两个独立部分的乘积，如式（3）：

其中，U是具有协方差矩阵的零均值高斯向量，称之为混合系数。一般来说，GSM 允许它是一个在连续范围内具有一定分布的随机变量。为了简化计算，本文假设在每个位置仅取一个固定值，简化的好处是当固定并给定R时，它只是具有协方差的零均值高斯向量。

从以往的信息理论IQA 方法可以学到一个重要概念，图像中包含的信息并不等于视觉系统感知的信息量，视觉感知通道之前和之后的图像之间的相互信息提供了更有用的度量。根据这个想法，本文通过参考信号R得到一个失真的信息，如式（4）：

其中，失真根据增益因子g建模，然后累加具有协方差的独立高斯噪声V。尽管此模型在捕获所有潜在类型的失真方面相对简单，例如对于压缩图像中的块状和环状伪影的捕获，但以前的研究表明可以在各种失真类型下达到合理的平衡。

本文让参考信息和失真信号都通过感知视觉噪声通道，如式（5）：

其中，N1和N2被定义为独立的高斯白噪声，它们的对角协方差其中δn旨在描述失真模型在捕获视觉系统的不确定性。因此可以得到D、E、F的协方差矩阵如式（6）：

通过上述的定义，在每个位置上感知到的原始图像信息和失真图像信息都可以分别由计算得到，因此本文可以进一步计算图像信息的权值。可以通过累加不同信号的内容信息，减去两者的共同信息，可以得到有效的内容权值信息。公式（7）定义了如下内容权重池的计算方法：

其中，相互信息的评估值τ可以根据协方差的行列式来计算。下面对w进行展开计算，首先τ的定义如下：

结合式（7）与式（9）可得：

因为最后w的定义如下：

最后根据本文的实际情况计算局部权重池如式（14）：

本文采用了结合视觉重要性因素的混合权重池，定义如式（15）：

其中，δv是区域P的视觉重要性权值，δc是区域P的内容信息重要性权值。

最后本文得出式（16），即为质量加权合并的图像质量评估结果，其中为局部区域P的混合权重因子，OP为局部区域P的质量得分。权重池的设计符合人类对于图像质量评估的基本模式，本文在实验结果发现基于视觉重要性和图像信息内容的混合权重池设计有利于性能的提高。

3 基于多尺度图像的质量评估方法

人类对图像细节的感知取决于多种与比例有关的因素，包括但不限于图像信号的采样密度，从图像平面到观察者的距离以及观察者视觉系统的感知能力。通常来说，图像的分辨率是影响图像感知的最大因素，也会导致图像的信息内容丢失。在本文中，分辨率的大小也直接影响观察者的注意力视点分布和图像本身的信息内容，因而改变了混合权重池，因此本文提出了基于多尺度图像的质量综合评估方法。

原始图像可以通过迭代对图像信号进行低通滤波和下采样，从而获得多个尺度的图像。图4是本文提出的多尺度图像质量评估框架，原始图像经过多次低通滤波和系数为2的下采样，然后分别输入到无参考图像质量评估f模块得到该分辨率下的质量评估分数，最后加权得到多尺度下的图像质量评估结果。下采样后的图像在信息上所有丢失，根据信息内容加权池的理论，本文会给下采样的图像权重系数为2 的衰退系数。最后本文给出在多尺度下的质量评估如式（17）：

其中，n为下采样的次数，a是值为的权重基础系数，Si为每个分辨率下的质量评估得分。利用图像的多尺度特征可以有效地模拟人类观察者对于图像质量评估过程，从多个尺度上评判，符合人类的质量评估模型。

图4 多尺度的图像质量评估框架

4 实验结果

4.1 实验环境

本文的实验环境为：GTX1050 显存，4 核i7 处理器，操作系统为Ubuntu14 LTS 64 位。深度学习框架为Pytorch，Python 版本为3.6，眼球仪选择的是Dikablis眼球仪。

4.2 实验数据

本文的实验数据采用LIVE[7]数据库、CSIQ数据库、TID2013 数据集作为训练和测试平台，一共选取了4 种类型失真的1 500 张图片，失真类型分别是白色噪声（WN），高斯模糊（BLUR），JPEG 压缩和JP2K 压缩，并且为每个图像提供了差分意见分数（DMOS），大致在[0，100]范围内，DMOS越高表示质量越低。

4.3 性能对比

在上述三种数据集上提供了特定的失真图像上，本文针对JP2K、JPEG、WN、BLUR这四种失真的图像一起训练和测试，并不会提供失真类型。

本文采用性能评估标准Spearman等级有序相关系数（SROCC）和线性相关系数（LCC），SROCC 被认为是最好的非线性相关指标，LCC能很好地反应数据之间的线性相关性，因此本文采用这两种不同的评估标准进行测试。

表1 列出了各种方法在SROCC 指标上的实验对比，其中PSNR、SSIM、FSIM 均为有参考图像质量评估方法，BROISQUE 和CORNIA 为目前最为先进的无参考评估方法，CNN 是本文2.1 节提到的网络模型，对比发现，CNN对于传统的无参考模型有一定的提升，通过设计基于视觉重要性和基于图像信息内容的混合权重池，能让SROCC 系数提升0.6%，为了进一步提升性能和稳定性，本文加上了多尺度判定的综合评估方法，可以让性能进一步提升0.4%，并在JP2K、JPEG 上达到最好的效果，总体评估质量超过了当前最先进的FSIM。

表1 SROCC性能对比

表2是各种方法在LCC性能指标的实验结果，通过对比发现，本文在基于权重池的设计和多尺度的图像上，提升至接近FSIM的水平，获得了较大的性能提升。

表2 LCC性能对比

为了进一步验证本文网络的有效性，本文首先对卷积核数量进行了测试，如图5 显示，卷积核的数量会显著影响性能，通常更多的卷积核会带来更好的性能，但是本文的网络中卷积核数量超过40 个时，性能几乎就不会较大提高。

图5 卷积核数量的影响

本文的网络会同时使用最大池化和最小池化过程，为了验证两种池化的效果，进行了消融实验，表3 显示了同时使用两种池化能有效地提升SROCC/LCC值，增强网络模型的可解释性。

表3 池化性能比较

4.4 实验分析

图6 模型对失真区域的识别效果图

本文为了能进一步验证本文模型的有效性，选取了LIVE 中未失真的图像和中心区域分别进行白色噪声（WN）处理、高斯模糊处理（BLUR）、JPEG 压缩和JP2K压缩来进行测试，然后使用训练的模型对这些合成图像进行局部质量估计。本文以步长为8来扫描16×16的色块并将预测的分数归一化到[0，255]范围以内进行可视化。图6下面一排显示了合成图像的质量评估图，其中较亮的像素表示质量较低，可以看到本文的模型可以正确地区分每个合成图像的未失真部分和失真部分。而且本文还同时测试了通过不同等级噪声处理过后的图片，如图7 显示了图像质量越差，质量评估图白色区域越明显，有效地说明本文网络模型具有对于图像质量的的解释能力。本文还测试不同分辨率对图像质量的影响，图8显示了不同分辨率图像在大体上具有相同的质量评估图，但分辨率的变化可以对图像质量分布产生些许影响，因此利用多尺度的图像进行综合评测，可以有效改进图像质量评估模型，与人类主观评测相符。

图7 模型对不同等级噪声的解释能力

本文还设计了基于图像信息内容的权重池，其中图9显示的是计算出来的权重池图，其中红色区域表示该区域权重大，正好红色区域部分被白色噪声处理过，证明了粗糙空间域的局部高斯模型对信息内容中包含的噪声敏感，对于图像质量评估模型的改善具有重要意义。

图8 多分辨率图像的质量评估图

图9 基于图像信息内容的权重池图

5 结语

本文设计了用于局部图像质量评估的CNN 模型，将学习和回归结合成一个完整的优化过程，从而形成了一种更有效的图像质量评估模型。通过研究还发现可以通过基于视觉重要性和基于图像信息内容的混合权重池进行加权质量合并，生成与人类感知密切相关的图像质量预测，并在标准IQA 数据集上达到优秀的性能。另外，利用了图像的多尺度特征，有效地提升了质量评估模型。未来的图像质量评估方法依旧是计算机视觉中的重要研究方向，本文的方法虽然改善了以往的评估模型，并进行了有效的验证，但是两种权重池设计里面有重叠冗余部分，可变化的参数繁多，需要进行大量的调优，未来会继续研究其中的规律，发展出统一有效的模型，在原有的基础上继续完善质量评估模型，生成与人类感知密切相关的图像质量预测。