集成学习算法在图像质量评估中的应用

牟卿志， 李玉婷， 孙宗升， 周 荃

（潍坊职业学院 机电工程学院， 山东 潍坊 262737）

0 引 言

由于拍摄、存储和显示技术的进步，图像信息交互已经成为在线媒体和社交网络的主流，每天平均有数十亿张图片在网上共享。 为了能够在有限的带宽内共享所有图像，需要设计紧凑的压缩算法，使图片不仅满足带宽要求，而且能够保持适当的感知质量。 然而，海量图像数据使得人工主观评估的方法不再可行。 因此，迫切需要可靠的图像质量评估方法，来提供用户体验基准，以应对媒体与社交网络信息流传递的需求。

图像质量评估通常用于处理一幅或多幅图像，按规律映射到评估器进行运算，进而完成分数评估工作［1］。 按照映射时是否需要参考图像来看，可分为全参考图像质量评价（FR-IQA）、半参考图像质量评价（RR-IQA） 和无参考图像质量评价（NRIQA）3 类。 其中，无参考图像质量评价因其广泛的应用场景与较大的评价难度成为当今的研究热点［2］。 在无参考图像质量评价中，按映射规律，评估器可分为基于保真度［3-4］、结构相似性［5-6］、颜色质量［7］与数据驱动学习［8］等多种评价指标。 分析评估算法，可知现有估计器都基于视觉系统不同方面的特征，即使某种方法在特定感知策略上不如其他方法直接相关，但其仍然可以包含其他方法无法提供的额外信息。 因此，融合多种方法提高整体评估能力的策略被提出，并已成为图像质量评估工作中的主要发展方向。 随着融合与增强方法的改进，多方法融合可以产生更全面的质量估计器。 目前常用多方法融合策略有基于线性组合［9］、回归［10］、集成学习策略［11］等的方法，其中基于集成学习策略的方法被证明表现优于常规融合方法。

在对算法评估能力探究，尤其是将多方法融合策略视为一个集成学习框架进行分析方面，文献［2］在LIVE 和TID 08 数据集对5 种非特定失真的算法性能，结合算法运行时间情况评选出最佳方法。文献［12］则针对模糊失真图像的特性，按人工模糊与自然模糊进行了评估。 本研究发现，框架不应局限于某些特定的质量指标、失真类型或学习方法。为了研究集成学习质量估计器的通用性，本文选用基于4 种不同评价指标中的主流图像质量评估算法。 在学习算法中，使用支持向量机与通用神经网络执行增强。 所选用方法在3 种最新且全面的数据库中进行多项训练和测试，最后使用基于准确性和线性进行度量，通过将融合方法与现有方法的评估能力进行比较，证明并探讨了不同融合方法在不同数据库上的评估能力。

1 实验设定

1.1 图像质量评估器选用

1.1.1 基于保真度

保真度属性直白量化了评估图像相对于参考图像的变化，是图像和视频编码标准中用于衡量失真率的首选指标。 峰值信噪比（PSNR）是其最为常用的像素级保真度度量方法。 进一步扩展指标，添加均值漂移灵敏度，定义为PSNR-HMA（简称HMA），这两个指标均用于失真率衡量操作。

1.1.2 基于结构相似性

结构相似性是一种衡量两幅图像相似度的指标。 文献［3］中提出的基于参考图像和扭曲图像在空间域中亮度、对比度和结构方面比较的完全参考度量方案-结构相似性（Structural Similarity，简称为SSIM），有效衡量了空间域中两幅图像结构的接近程度，是目前主流方法。

1.1.3 基于颜色

在亮度稳定情况下，颜色成为人类视觉系统（HVS）的首要感知评价信息。 在图像质量评估中，文献［7］所提出的PerSIM 算法通过计算颜色-对立空间（LAB 空间）中色度通道的像素级保真度来引入颜色信息，通过视网膜细胞的对比敏感度带通特征，计算两幅图像相似性。

1.1.4 基于数据驱动学习

数据驱动的质量估计器多采用无监督方式对使用的图像进行训练。 图像通过多种预处理获得更具描述性的结构和颜色表示后，被送入线性解码器以获得稀疏表示，进而对稀疏表示进行比较，从而获得客观分数。 数据驱动的质量估计器UNIQUE 被证明是具备优秀表现的算法［8］。

1.2 集成学习算法

本文通过支持向量机和通用神经网络两种主流方法探究提升效果。 在通用神经网络架构中，调整的唯一参数是单个隐藏层中的神经元数量，其被设置为实验中使用的质量估计器的总数。 均方误差设置为代价函数；Levenberg-Marquardt 方法设置为训练函数。 所采用支持向量机的策略中包括序列最小优化算法（Sequential Minimal Optimization，SMO）和线性核。

1.3 数据集

在估计器评估能力比较中，引入LIVE［13］、多重失真LIVE（MULTI）［14］和TID 2013（TID13）数据库［15］。 数据库中提供了参考图像及附带评价的失真图像，通过不同的失真图像及相关评价，可以有效对质量估计器的评估能力进行客观验证。

以TID2013 数据集为例，其提供的参考图像及相关失真图像如图1 所示。

图1 TID2013 数据集中提供的参考图片与失真图片Fig.1 Reference and distorted images provided in the TID2013 dataset

1.4 数据分区和实验次数

实验中，质量估计器的评估能力通过k折交叉验证进行测量。 其中，k设置为4。 在每次迭代中，每个数据库中总图像的25%被选为测试集，用于测量现有质量估计器的评估能力。 每种方法都经过10 次运行后取均值作为最终结果。

1.5 评价指标

本文采用精度和线性度两种评价指标。 均方根误差（RSME）用于测量精度，而泊尔森相关系数（PLCC）用于测量预测线性度。 相关公式如下：

其中，s为索引图像序号；xs是评价分数；ys是参考分数；u是图像均值；N是图像总数。

2 实验结果与分析

2.1 现有质量估计器的评估能力

现有质量估计器的评估能力见表1。 就准确性（均方根误差RMSE） 和线性度（泊尔森相关系数PLCC） 而言，最佳执行方法是LIVE、MULTI 数据库中的UNIQUE 和TID13 数据库中的PerSIM 方法。就整体评估能力来看，UNIQUE 估计器的评估误差较小，是评估能力最强的。

表1 现有IQA 方法的评估能力Tab.1 Evaluation capability of existing IQA methods

2.2 集成学习后图像质量估计器评估能力变化

本节探究了在集成学习算法的弱势方法中添加新方法所导致的相对评估能力变化，以及现有方法与集成学习后的图像质量评估方法的比较。 在集成学习时，每个类别均由表现最差的方法作为基础，加入所有方法列表中未使用过的最佳方法进行集成学习（该方法此时状态将变更为已使用），进行估计器能力评估，进而依次循环，继续进行方法列表下一个未使用过最佳方法的集成，直至所有方法全部集成为止。 初始最弱势方法为表1 中所列的PSNR 方法，其RSME值为14.63，PLCC值为0.811。

实验结果表明，随着集成学习方法数量的增加，均方根误差（RSME） 呈现递减趋势，而泊尔森相关系数（PLCC） 增加，图像质量评估的准确性不断提升，线性度则不断优化。 仅在少数例外情况下， 泊尔森相关系数（PLCC） 在集成学习方法的数量方面出现线性度反向变化的行为。 实验结果在LIVE、MULTI 及TID13 数据集的整体变化基本趋同。 在LIVE 数据集运行的标准误差线柱状图如图2、图3所示。 其中，主轴代表相应指标均值，误差线代表标准差。

图2 集成学习后估计器的均方根误差Fig.2 RSME of estimator after ensemble learning

图3 集成学习后估计器的泊尔森相关系数Fig.3 PLCC of estimator after ensemble learning

在准确性及线性度分析方面，以LIVE 数据集为例可以发现，集成学习方法通常可以提高图像质量评估能力。

集成单种方法时，基于神经网络集成学习的方式，使估计器评估能力在准确度与线性度方面分别提升25.52%与4.81%；而使用支持向量机集成学习的质量估计器的评估能力提升不足，准确度与线性度提升能力仅为7.17%与0.42%。 由此可见，神经网络集成学习的方式对集成方法带来的误差减小较为敏感，可显著在原方法上完成优势信息补充。

集成两种及以上方法时，神经网络与支持向量机集成学习策略均取得显著的评估能力优化，在LIVE、MULTI、TID13 数据集运行结果见表2。

表2 现有与集成学习后的图像质量评估方法比较Tab.2 Comparison of existing and ensemble learning image quality assessment methods

因全部集成学习完成后的方案将所有图像质量评估算法都已融合在内，因此在进行评价时，选择将集成学习算法与原来的单一最佳方法进行对比，以验证多方法集成增强的有效性。 在3 种数据库权重一致的情况下，神经网络集成算法较原最优方法的准确度与线性度分别提升16.68%与2.52%，而支持向量机的准确度与线性度提升9.01%与1.10%，两者均取得了较为有效地提升。 考虑深度学习网络集成学习参数设置的便捷性，且其评估能力增强亦优于基于支持向量机的增强，因此该方法具有更强的适用性与推广性。

3 结束语

本文分析了基于多方法融合集成学习框架对图像质量提升的影响。 实验结果表明，基于集成学习方法的评估能力优于现有的最佳方法，可以证明集成学习通常会提高图像质量评估算法的评估能力，增强级别取决于集成学习策略的类型。 此外，使用两种或两种以上的附加方法增强评估能力最差的质量估计器，可以在所有场景中获得统计显著的改进，而不依赖于特定集成学习策略。