基于视觉显著性的自适应图像质量评价方法

邓杰航，袁仲鸣，刘栋濠，顾国生

（广东工业大学 计算机学院，广东 广州 510006）

0 引言

数字图像在现代信息工业发展中占据重要地位，然而在其获取、压缩、传输、显示过程中会不可避免地发生失真现象，因此图像质量评价（Image Quality Assessment，IQA）被广泛用于图像任务处理中。目前IQA 被分为主观评价方法和客观评价方法两种［1］，前者依靠观察员的主观感知评价图像质量，后者则利用数学模型给出量化指标评价图像质量。客观评价方法具有处理速度快、可批量处理等优势，根据对参考图像的利用率可将其分为3 类［2］，分别为全参考、无参考和弱参考。本文将主要研究全参考IQA 算法。

在全参考IQA 方法的发展历程中，研究者基于图像质量的下降程度与误差信号强弱相关的特点，首先通过比较参考图像与失真图像之间的误差信号进行质量分析，如均方误差（Mean Square Error，MSE）和峰值信噪比（Peak Sig⁃nal to Noise Ratio，PNSR）。这两种方法具有数学模型简单、易优化以及计算效率高的优点，但均假定图像像素之间是单独存在的，没有考虑到相邻像素点之间的相关性，与人类视觉感知自然场景的特性不符［3］。Wang 等［4］假设人眼视觉系统（Human Visual System，HVS）对结构信息高度敏感，提出结构相似性指数（Structural Similarity，SSIM）的概念，从亮度、对比度和结构3 个方面评价图像质量。SSIM被公认为IQA 研究领域中的里程碑，后续研究者在SSIM 的基础上进行了拓展。如Liu 等［5］提出SSIM 在小波变换上的扩 展（Wavelet-Domain Structural Similarity，WDSSIM）；Wang 等［6-7］提出多尺度SSIM（Multi-Scale Structural Similar⁃ity，MS-SSIM）和信息内容加权的SSIM（Information Content Weighted Structural Similarity，IW-SSIM）。除了SSIM 及其扩展方法，研究者也提出了不少其他IQA 方法。例如，Lar⁃son 等［8］认为在评估高、低质量图像质量时，HVS 会分别执行两种截然不同的策略，并提出基于最明显失真（Most Ap⁃parent Distortion，MAD）的IQA 指标；Zhang 等［9］假设HVS 通过低级特征理解图像，其提出的特征相似性指数（Feature Similarity，FSIM）将相位一致性与梯度幅值作为主要特征计算IQA 指标，其中相位一致性在最终分数汇总时充当局部权重；Liu 等［10］基于梯度结果，提出GSM（Gradient Simi⁃larity Metric）方法；Xue 等［11］认为仅采用梯度幅值便能很好地评估图像质量，并以全新的池化策略实现了一种高效的梯度幅值相似度偏差（Gradient Magnitude Similarity Devia⁃tion，GMSD）方法；Zhang 等［12］提出视觉显著性指数（Visual Saliency-induced Index，VSI）的概念，认为其与图像质量在本质上相关，均取决于HVS 如何感知图像，视觉显著性起到表征图像局部特征以及作为加权池中的加权函数的双重作用。

在观察图像时，HVS 会优先选择场景中视觉显著的部分进行处理，即在图像质量的感知过程中，HVS 不会均等对待图像中的内容，而是会更多地关注显著性高的部分，较少关注其余部分，因此可以将视觉显著性用于局部特征相似性度量的修正与池化阶段。根据以上论述，本文提出一种基于视觉显著性与特征相似性参数自适应的图像质量评价模型，首先在LMN 颜色空间中提取色度特征，在视觉显著性检测模型中提取视觉显著性谱（Saliency Map，SM）作为显著性特征，在Scharr 算子中提取梯度特征；然后对上述特征进行相似性度量，采用基于显著性的参数自适应策略对其进行修正；最后对图像所有特征的相似性度量使用加权池的池化策略，并引入视觉显著性谱作为加权池中的权重函数。

1 自适应图像质量评价模型构建

本文提出的图像质量评价模型总体结构框架如图1 所示。该模型由6 层构成，分别为输入、图像预处理、图像特征提取、特征相似性度量、池化策略以及输出。模型评价图像质量的具体步骤为：①模型以参考图像与失真图像为输入；②对输入的图像分别进行LMN 颜色空间转换和视觉显著性检测的预处理；③根据预处理结果，分别提取参考图像和失真图像的显著性、色度和梯度等低层次特征；④对已提取的特征进行相似性度量，采用基于视觉显著性的参数自适应模型对其进行修正，生成局部质量分数；⑤以视觉显著性谱计算加权池中的权值函数；⑥对④中生成的局部质量分数进行加权池化，得出最终评分并输出。

Fig.1 Overall framework of the proposed model图1 本文模型总体结构

1.1 颜色空间转换与色度相似度

RGB 彩色空间能直接将颜色的值传输给显示器显示图像，但不能直观地表现图像的亮度和色彩饱和度，因此RGB 色彩空间并不接近HVS 的感知。为更好地评估失真图像，首先需要将图像转换为接近HVS 感知的LMN 色彩空间，计算过程如式（1）所示：

式中，L 表示图像亮度通道，用于评估结构失真引起的图像质量下降；M 和N 分别为两个色差通道，用于表征由颜色失真引起的图像质量下降。

根据参考图像和失真图像M、N 通道的色差信息，通过式（2）和式（3）计算其色度相似度。

式中，Mr(i)和Md(i)分别表示参考图像和失真图像第i个像素的M 通道色差值，Nr(i)和Nd(i)分别表示参考图像和失真图像第i个像素的N 通道色差值。在传统的IQA 方法中，C1 为常数，用于避免分母为零所产生的不稳定性。而本文中，C1 作为调节参数具有避免分母为零和调节局部特征相似性度量两种作用，其可通过基于显著性的参数自适应策略确定。式（4）中的色度相似度SC(i)由M 通道的色差相似度SM(i)与N 通道的色差相似度SN(i)的乘积所决定。

1.2 显著性相似度

基于图论的GBVS（Graph Based Visual Saliency）模型是一种基于底层视觉特征且拥有较高计算效率的显著性分析模型［13］。图2（a）和（c）为CSIQ 数据库中的两张参考图像，采用GBVS 模型对其进行视觉显著性检测，结果如图2（b）和（d）所示。图中亮度越高的区域视觉显著程度越高，反之越低，提示该模型能准确预测并将较高的像素值分配给显著性较强的区域。此外，与Itti-Koch 模型在内的其他模型相比，GBVS 模型可以更准确地预测显著性图［14］。因此，本文使用该模型对参考图像和失真图像进行显著性特征提取，分别得到参考图像和失真图像的显著性图谱，然后通过式（5）计算参考图像与失真图像之间的显著性相似度。

式中，VSr(i)和VSd(i)分别表示参考图像和失真图像显著性图谱中第i个像素的值；C2 的作用与C1 相似，可通过基于显著性的参数自适应策略确定。

Fig.2 Visual saliency test results图2 视觉显著性检测结果

1.3 梯度相似度

图像梯度可用于反映结构特征，且梯度相似度对于图像质量有良好的指示作用。文献［4，15］提出Scharr 算子对于IQA 模型有较好效果，因此本文采用Scharr 算子对图像梯度进行提取，水平方向的梯度值GH(i)和垂直方向的梯度值GV(i)分别如式（6）和式（7）所示。

式中，L(i)表示亮度分量，⊗表示图像的卷积运算。图像对应的梯度幅值G(i)定义为：

分别计算参考图像和失真图像的梯度幅值，然后通过式（9）计算结构相似度。

式中，Gr(i)和Gd(i)分别表示参考图像和失真图像中第i个像素的梯度幅值；C3 的作用类似于C1 和C2，根据基于视觉显著性的参数自适应模型自行调整。

1.4 基于视觉显著性的特征相似性参数自适应修正策略

HVS 在感知过程中对图像不同区域的关注程度并不均等，因此当图像显著性较强的区域发生失真时，HSV 更易于感知到失真；而当失真发生在显著性较弱的区域时，HSV 则不易感知。高敏娟等［16］研究表明，HSV 感知到的局部图像质量退化由客观退化程度和图像的视觉显著性共同决定，其提出利用显著性自适应调节局部图像质量的算法。本文对该算法进行了改进并且将其应用于显著性相似性度量的参数自适应中，具体实现过程如下：

式中，e 为自然常数，K1、K2、K3为调节参数，h1、h2、h1为衰减因子；V(i)取参考图像和失真图像在i处的显著性最大值，即V(i)=max(VSr(i),VSd(i))。以式（2）为例，M 通道的色差相似性度量公式变为：

由于C1 通过减函数进行自适应变化，V(i)的值越大，表示i处的显著性越强，HVS 对该处的失真敏感性越强，对应的自适应参数C1 值越小，参考图像和失真图像的色差特征值Mr(i)与Md(i)之间的差异对M 通道色差相似度SM(i)的影响越大。反之，V(i)的值越小，表示i处的显著性越弱，HVS 不易感知其质量变化，对应的自适应参数C1值越大，参考图像和失真图像的色差特征值Mr(i)与Md(i)之间的差异对M 通道色差相似度SM(i)的影响越小，且SM(i)越接近于1。同样的，使用该策略对式（11）、（12）中的C2 和C3 进行特征相似性参数自适应修正处理。

1.5 池化策略

综合式（3）色度相似度、式（5）视觉显著性相似度、式（9）梯度相似度，将局部质量分数的计算公式定义为：

式中，α和β为调整色度相似度和梯度相似度之间权重的参数。

对局部质量分数S(i)进行加权池化处理，最终得到基于视觉显著性和特征相似性参数自适应的图像质量评价分数为：

式中，N表示图像中像素的总数，ω(i)表示加权池中的权值函数。

将采用视觉显著性检测模型计算得到的显著性谱作为权值函数ω(i)，表示为：

式中，VSr(i)和VSd(i)分别表示参考图像和失真图像的显著性谱。

2 实验方法与结果分析

2.1 实验数据库与评价指标

为验证本文IQA 方法的有效性，在公开测试数据库LIVE、CSIQ、TID2008 上进行实验。表1 列出了3 个公开测试数据库包含的图像数量、图像类型、失真类型数以及观察员人数，涵盖了现实应用中常见的各种失真，用于主观评价表征图像质量（MOS 或DMOS），可作为IQA 模型的评价依据。

IQA 模型通过分析客观评分与主观评分之间的一致性评价算法性能，常用评价指标包括Spearman 等级相关系数（Spearman Rank Order Correlation Coefficient，SROCC）、Ken⁃dall 等级相关系数（Kendall`s Rank Order Correlation Coeffi⁃cient，KROCC）、Pearson 线性相关系数（Pearson`s Linear Cor⁃relation Coefficient，PLCC）以及均方根误差（Root Mean Square Error，RMSE）4 种。其中SROCC 和KROCC 表示预测的单调性，可通过IQA 模型的主观评分和客观评分直接计算得到；而PLCC 和RMSE 表示预测的精度，在计算前需要进行回归分析，以获得客观评分与主观平均意见评分（MOS）之间的非线性映射。回归分析采用文献［12］中的非线性逻辑回归模型，表示为：

式中，x为本文IQA 模型得出的原始客观质量评分，β1～β5分别为非线性回归过程中自适应调整的参数。

Table 1 Benchmark image database表1 基准图像数据库

2.2 实验环境与参数设置

实验环境为MATLABR2018b，所有实验均在Intel⁃Corei5-8400 CPU，GTX10606GB 显卡以及16GB RAM 的计算机上进行。模型所需实验参数包括：式（10）、（11）和（12）中基于显著性参数自适应模型的调节因子k1、k2、k3和衰减因子h1、h2、h3，根据文献［12，16］的实验方法在TID2008 数据库中将k1、k2、k3分别确定为130、1.27 和386，h1、h2、h3分别确定为0.5、10 和0.5；式（14）中调整色度相似度与梯度相似度之间权重的参数α和β，根据文献［12］的实验结果分别设置为0.4 和0.02。

2.3 实验结果比较

对本文方法和目前具有代表性的IQA 方法进行比较，包 括SSIM［4］、MS-SSIM［6］、IW-SSIMMAD［7］、FSIMc［9］、GSM［10］、VSI［16］、VIF［17］、LLM［18］、MESR-SQI［19］和RVSIM［20］。表2 中，3 个数据库中每个评价指标的前3 名突出显示。为进一步分析本文IQA 方法的综合性能，以数据库失真图像数目作为权值，获得每个IQA 方法的SROCC、KROCC 和PLCC 指标的加权平均值，结果如表2 所示。

本文IQA 方法在3 个基准数据库中均有良好表现，尤其是在CSIQ 和TID2008 这两个失真图像数目最多的数据库中，其性能表现均位居前3 名。VIF 与FSIMc 在LIVE 数据库中获得最高性能表现评价值，但在失真图像数量以及类型最多的TID2008 数据库中，其评价性能排名均未进入前3 名。本文方法在LIVE 数据库中的性能表现虽未进入前3 名，但与其差距很小，仍具有不错的竞争力。此外，VSI也是采用视觉显著性作为评价策略的IQA 方法，但本文方法在3 个基准数据库中的性能表现全面优于该方法。而对于更能说明综合性能的加权平均值和直接平均值，本文方法排前3 名，且SROCC 和KROCC 两个指标排名第一。

Table 2 Performance comparison of different methods on three databases表2 不同IQA 方法在3 个基准数据库中的性能表现

2.4 实验散点图结果比较

为定性评价不同IQA 方法的性能，绘制6 种算法在TID2008 数据库中客观评价值与主观评价值的散点图，其中横轴表示客观算法评价值，纵轴表示MOS 值。图3 中的曲线通过非线性拟合的式（17）得到，可以看出，本文方法的数据点沿拟合曲线分布紧密且与曲线走势保持一致，表明其与主观评价有较好一致性，能有效评价图像质量。

Fig.3 Comparison of scatter plots of six IQA methods图3 6 种IQA 方法的散点图比较

3 结论

HSV 的注意力机制决定了当人类观察图像时存在显著区域与非显著区域。为使客观评价与主观评价具有更高的一致性，需要在客观评价方法中对显著区域和非显著区域进行不同的处理。本研究中，视觉显著性具有三重作用，首先是作为局部特征之一进行相似性度量，其次是对各个特征的相似性参数进行自适应修正，最后通过视觉显著性加权局部质量评分模拟人类注意力机制获得全局质量评价分数。使用LIVE、CSIQ 和TID2008图像数据库对本文算法进行测试，包括84 幅参考图像和3 345 幅失真图像，涵盖28 种失真类型。结果表明，在这3 个图像数据库中，本文方法各个性能指标的直接平均值与加权平均值均优于其他10 个主流IQA 方法，说明其拥有优秀的综合性能。在视觉显著性的加持下，本文方法能更好地模拟人类视觉特性，获得与人类主观评价更高的一致性。该方法是基于加权池化的评价方法，随着人工智能等领域的快速发展，基于机器学习的池化与回归策略成为当前研究的热点，因此将该方法与机器学习相融合以提升评价性能可能是今后的重点研究方向。