基于多阶结构表示的超分辨率重构图像质量盲评价方法

王 烁，余 伟，田传耕

(1.徐州工程学院 信电工程学院,徐州 221018；2. 成都理工大学工程技术学院,成都 614000)

0 引 言

超分辨率图像重构技术[1-6]是在不改变已有成像系统物理分辨率的条件下，利用计算机将一幅低分辨图像或图像序列恢复出高分辨率图像的一种图像处理技术。目前，图像超分辨重构已经在计算机视觉和遥感技术等众多领域取得成功。在过去十年间，大量的图像超分辨重构算法被提出[7-9]。然而，至今没有一种重构算法能高效地重构出所有视觉内容的高清图像。随着大量图像超分辨重构算法被提出，如何有效地评价超分辨重构图像的质量已经成为一个亟待解决的问题。

客观图像质量评价方法[10-12]可根据参考信息的可用性分为全参考、半参考和无参考3类。全参考方法是利用原始图像全部信息，通过计算原始图像与失真图像之间的感知误差，并对这些误差进行加权得到失真图像的质量分数。比较经典的全参考方法有特征相似度 (feature similarity, FSIM)[13]，梯度幅值相似性偏差(gradient magnitude similarity deviation, GMSD)[14]，结构相似性 (structural similarity, SSIM)[15]，多尺度结构相似性 (multi-scale version of SSIM, MS-SSIM)[16]，峰值信噪比(peak signal to noise ratio, PSNR)，基于块的对比度质量指标 (patch-based contrast quality index, PCQI)[17]等。半参考方法与全参考类似，只是在比较相似度部分需要借助从参考图像中提取的部分信息[18]。无参考方法则仅利用待评价信号本身的信息，基于自然场景统计 (natural scene statistic, NSS)或特征学习 (feature learning, FL)的方法来计算质量分数。如文献[19]提出的基于空间域自然场景统计的无参考(blind/referenceless image spatial quality evaluator, BRISQUE)算法，文献[20]提出了一种使用自然场景对数导数统计的无参考质量评价 (derivative statistics-based quality evaluator, DESIQUE)算法，文献[21]提出的基于多变量高斯模型的非监督无参考质量评价 (natural image quality evaluator, NIQE)算法，文献[22]提出的基于自由能熵的无参考质量评价 (no-reference free energy-based robust metric, NFERM)算法。近些年，通用型无参考图像质量评价逐渐成为研究热点，并且取得了一定的发展。

早期，研究者们采用传统的PSNR和SSIM[15]方法预测超分辨重构图像的质量。这些方法需要无失真的高清图像作为参考，在真实超分辨重构场景下，无失真的高清图像通常不存在[23]。而无参考质量评价方法虽然在评价常见失真类型上取得成功，但它们并不能有效地评价超分辨重构图像的质量。因为自然图像常见失真主要表现于纹理结构失真、边缘模糊等，而超分辨率重构图像的失真还表现于细节信息的丢失[1]。因此设计针对超分辨重构图像的无参考质量评价算法是有必要的。

目前，针对超分辨重构图像质量评价的研究十分有限。文献[24]进行了一个超分辨重构图像的主观实验，并测试了几种客观评价方法的性能，其效果并不理想。文献[25]提出了一种基于自然场景统计的超分辨重构图像质量无参考评价方法。该方法提取空间域和频域中的二维统计特征来计算高分辨率图像的质量分数。但是，在他们的工作中只分析了8幅图像和4种超分辨率重构算法，实验数据量不足[26]。文献[27]提出了一种半参考的超分辨重构图像质量评价方法。该方法通过对比高分辨率图像和低分辨率图像之间图像块的像素对应关系来预测二者的感知相似性，从而估计高分辨率图像的整体质量。该方法采用马尔科夫随机场来建立低分辨率图像和高分辨率图像之间的像素对应关系，从而解决了参考图像和失真图像尺寸不一致的问题。该方法在一个专门针对超分辨率重构图像而建立的数据库上进行实验，实验数据量得到保证。但因为需要参考信息，所以该方法在实际情况中可能并不适用。文献[26]构建了一个大尺度超分辨重构图像数据库。随后，作者提出了一种基于机器学习的无参考超分辨重构图像质量评价方法。该方法的优点在于使用来自空间域和频域的3组判别性低级特征来描述超分辨率重构图像，其次两阶段回归模型对于处理主观实验的感知分数中的异常值是比较鲁棒的；缺点是对于具有高频信息的图像该方法的预测效果并不理想[26]。上述方法在评价超分辨率重构图像上取得了一定的成功，但他们主要是基于图像的1阶导数表示来提取特征，几乎没有考虑图像的多阶信息。

本文提出了一种基于图像多阶结构的超分辨率重构图像质量无参考评价方法。首先利用图像的多阶导数信息表示超分辨率图像的主要结构和细微纹理，主要结构包括图像的梯度和边缘，细微纹理表示图像的纹理信息和局部结构。图像的1阶导数可以检测图像的边缘和梯度，从而提取图像的主要结构和高频信息；图像的高阶导数可以检测图像中的团块以及纹理结构，从而提取图像的纹理信息和局部细节信息。其次利用局部二值模式 (local binary pattern, LBP) 提取图像的多阶结构特征。LBP是描述图像局部纹理特征的算子，具有旋转不变性和灰度不变性等显著优点，能够从图像多阶导数信息中提取对图像质量更为敏感的特征。因为机器学习是处理非线性拟合和回归问题的一个有效方法；所以，将获得的所有特征和图像的平均意见分数 (mean opinion score, MOS)一起输入到随机森林模型中，进行回归训练得到图像质量预测模型。最后利用训练好的模型预测待测图像的质量。

该方法的创新点在于利用图像导数成功检测超分辨率重构图像的高频信息；同时采用图像的高阶导数检测图像块丢失的局部细节信息(详情见1.1节)。实验结果表明，本文提出的算法优于现有的无参考评价方法，与主观评价结果保持高度一致性。

1 基于结构的超分辨率重构图像质量评价模型

结构信息对图像质量评价非常重要，人类视觉系统 (human visual system, HVS) 在感知视觉场景时对结构十分敏感[15]。图像结构可以分为主要结构和细微纹理[28]。主要结构包括图像高频部分，比如边缘；细微纹理表示图像的具体细节和视觉内容。超分辨率重构图像包括了这两部分的失真。基于此，本文提取图像的结构信息来构建质量评价模型。图1给出了本文方法的框架图，可以分为模型训练和分数预测2部分。在模型训练部分，首先提取图像的多阶梯度信息，其次使用LBP统计提取有效特征，最后结合MOS值使用随机森林进行模型训练得到质量预测模型。分数预测部分直接使用得到的预测模型对失真图像进行质量预测。

1.1 多阶导数信息

图像的多阶导数可以表示图像的不同结构[29]。其中，第1阶导数表示图像的主要结构，比如图像梯度和边缘变化明显的地方；图像的高阶(2阶，3阶等)导数可以抓取到图像的结构细节，突出图像的纹理和细节信息丢失。因此，本文利用图像的多阶导数表征图像的结构。给定一幅图像I(x,y)，它的1阶导数信息定义为[25]

(1)

(2)

(3)

进一步，图像的第n阶导数信息计算为

(4)

(5)

(6)

图1 本文方法的框架图Fig.1 Flow chart of this paper

1.2 局部二值模式

局部二值模式被广泛应用于图像的纹理分析和图像质量评价，是一种很好的结构和纹理分析技术手段[30-32]。本文采用旋转不变的统一局部二值模式在图像多阶导数信息基础上抓取图像的结构特征。传统的局部二值模式计算中心像素点Pc与周围像素点Pi的大小关系，并采用科学的计算方法计算中心像素的模式[33]得

(7)

(8)

(7)式中：P是周围像素的数量；R是周围像素的半径。旋转不变的统一局部二值模式具有更好的提取结构信息的能力。其定义为[31]

(9)

(9)式中：上标riu2表示不变的统一模式；当u值小于2，u的统一计算方式为

u(LBPP,R)=‖s(PP-1-Pc)-s(P0-Pc)‖+

(10)

这样，经过局部二值模式计算，图像的每个像素就归为一种模式(一共有P+2种模式)。最后，统计每种模式出现的频率，得到P+2个概率作为图像的质量特征，用以表示图像的结构信息。

本文计算1～3阶导数信息，R取值为1，P取值为8。最终，一幅图像提取30个质量特征。

图2 图像的多阶导数信息Fig.2 Image sample and its derivative magnitude maps of different orders

1.3 模型训练和质量预测

提取上述特征后，本文使用随机森林回归方法训练质量预测模型。假设xi和yi分别是第i个图像的特征向量和MOS值，利用随机森林对所有的训练数据进行回归分析。随机森林的主要目的是寻找图像特征之间的方程f(xi)，使得f(xi)与MOS值之间的最大差值小于一个特定的极小值，从而训练出质量预测模型。随后，利用训练好的质量预测模型预测失真图像得到质量分数。假设失真图像的特征向量为xi，则f(xi)即为待测图像的质量分数。

2 实验结果和分析

2.1 实验设置

本文中，利用迄今为止最大的超分辨率重构图像数据库(SR reconstructed image database, SRID)[27]来测试提出方法的性能。SRID数据库包含1 620幅超分辨率重构图像。首先，对30幅原始图像进行6种不同的下采样和模糊组合处理，得到180幅低分辨率图像。随后，利用9种图像超分辨率重构算法对这180幅低分辨率图像进行重构，得到1 620幅超分辨率重构图像。最后，采用多刺激方法对所有图像进行主观测试，进而得到每幅图像的MOS值。

本文采用4类常用的性能指标来评价所提方法的性能：斯皮尔曼相关系数(spearman’s rank ordered correlation coefficient，SRCC)，肯德尔等级相关系数(kendall rank order correlation coefficient，KRCC)，皮尔森线性相关系数(pearson linear correlation coefficient，PLCC)和均方根误差(root mean squared error, RMSE)。SRCC和KRCC衡量方法预测的单调性；PLCC和RMSE描述算法评价值与MOS值之间的相关性，即衡量方法预测的准确性。PLCC，SRCC，KRCC越大，RMSE越小表示算法性能越好。为了计算出上述性能指标，单调逻辑拟合函数被用来实现主观分数和客观分数之间的映射为

(11)

(11)式中：y代表MOS值；f(y)代表拟合后的分数；ai{i=1,2,3,4,5}是拟合回归参数。

1)皮尔森线性相关系数

(12)

2)斯皮尔曼相关系数

(13)

(13)式中：rsi和rxi分别表示si和xi在各自数据序列中的排序位置。

3)肯德尔等级相关系数

(14)

(14)式中：Nc表示数据序列中序号对一致的个数；Nd则是序号对不一致的个数。

4)均方根误差

(15)

(15)式中：si是MOS值；fi是非线性拟合后的客观分数值的均值。

2.2 性能比较

本节将本文所提算法与基于离散小波变换域的通用无参考质量评价算法(blind image quality index, BIQI)[33]、基于失真识别的图像真实性和完整性评估(distortion identification-based image verity and integrity evaluation, DIIVINE)[34],BRISQUE[19]、基于离散余弦变换的算法(blind image integrity notator using DCT statistic, BLIINDS-II)[35]，NIQE[21]，DESIQUE[20]， NFERM[22]7种主流通用无参考评价方法；FISBLIM(five-step blind metric)[36]，SISBLIM(six-step blind metric)[37]，GWH-GLBP(gradient-weight histogram of local binary pattern calculated on the gradient map)[30]3种主流多失真无参考评价方法和1个超分辨率重构评价方法(high-order local pattern descriptor, HOLPD[29])进行比较。所有代码均是从对比文献作者主页下载，并使用默认参数。由于本文方法和对比的方法皆是基于训练的，所以本文将图像库分作2部分，一部分(80%的图像)作为训练集，另一部分(20%的图像)作为测试集，2部分没有交集。为保证实验结果的准确性，重复试验1 000次，取结果中值作为方法最终的性能。表1给出了实验结果，数据被加下划线的表示性能最好的方法。表1中“G” 表示通用无参考评价方法；“M”表示多失真无参考评价方法；“SR”表示超分辨率重构评价方法。

表1 本文方法和对比的方法在SRID数据库中的性能

从表1可以看出：①本文所提方法性能最优，优于所有通用无参考评价方法、多失真无参考评价方法和超分辨率重构评价方法；②通用无参考评价方法只能取得一般的性能表现；③多失真无参考评价方法性能与通用方法相似；④HOLPD的性能排第2，低于本文所提方法。综上，无论是预测准确性还是预测单调性，本文方法都优于其他方法。该结果证明了本文所提方法的优越性。

2.3 高阶导数对性能的影响

本文提出的方法分3步提取了感知质量特征，分别在1阶、2阶和3阶导数信息上运用LBP提取特征。本文1.1节从理论方面介绍了采用多阶导数的合理性。在本节中将进行实验定量分析本文方法每个步骤的实验结果。为验证高阶导数信息对提升本文算法性能的有效性，分别使用从1阶图像导数信息中提取的质量感知特征和从1阶、2阶导数信息中提取的特征进行模型训练和质量预测，再对比考虑3阶导数信息即本文方法以及4阶导数信息的实验结果，如表2。

从表2的比较结果可以看出，多阶导数信息可以获取更多有效的质量感知特征，显著地提升算法的性能。这表明通过高阶导数信息提取图像的纹理、细节信息的设想是有效且合理的。同时对比3阶和4阶信息的实验结果发现，超过3阶的导数信息不再有效。这也证明本文方法提取到3阶导数信息的合理性。

表2 多阶导数信息对算法性能的影响

2.4 训练集大小对性能的影响

对于基于训练的方法来说，训练样本量对实验结果起着很大的作用。为此，本节讨论训练量对性能的影响。具体地，调整训练测试比例，分别对70%训练-30%测试，60%训练-40%测试，50%训练-50%测试，40%训练-60%测试和30%训练-70%测试5种比例进行实验。表3给出了实验结果。

表3 本文所提方法在不同比例的训练-测试过程中的性能

从表3可以看出，随着训练量的减少，本文所提算法的性能有所下降。但是整体性能依然很好，当训练数据量只有30%时，其SRCC值达到了0.868，仍然好过大多数现有的图像质量评价方法。该结果表明，本文方法不依赖训练数据量，有利于解决现实应用中小样本问题。

2.5 质量预测实例

为了直观地理解本文所提方法对超分辨率重构图像的预测效果，本节给出了一组预测实例。图3显示了4幅不同失真程度的超分辨率图像，它们的MOS值逐渐降低。此处利用本文所提方法和上述几种对比方法分别预测这4张图像的质量，预测结果见表4。

从表4可以看出，本文提出的方法能准确预测图3中图像的质量，所预测的质量分数具有和MOS值一致的单调性，其他方法都不能准确预测出图3中图像的质量。该结果进一步表明本文所提方法的有效性和实用性。

图3 超分辨率重构图像实例Fig.3 Example of super-resolution reconstructed image

表4 本文方法和对比方法的质量预测结果

2.6 算法时间复杂度比较

为了评估算法的时间复杂性，我们在SRID数据库中随机挑选100张尺寸为320×480的图片；分别用本文算法和11种比较算法预测这100张图片的质量，记录每种算法的运行总时间；最后计算平均时间作为预测每张图片所需的时间。所有实验在相同的实验环境(电脑配备i5的CPU，主频为3.3 GHz，12 GB运行内存，64位Windows7系统，Matlab2015a)下进行。实验结果如表5。

表5 本文方法和对比方法的时间复杂度比较

由表5，本文所提出方法预测一张图片所消耗的时间较为合理，虽然BRISQUE，NIQE，DESIQUE，GWH-GLBP算法的运行时间都比本文方法略低，但他们的预测性能却远远低于本文算法。所以结合预测性能和时间复杂度两方面考虑，本文提出的算法是最理想的。

3 结 论

本文针对超分辨率重构图像的失真特性，提出了一种基于图像结构信息的超分辨率重构图像无参考质量评价方法。该方法利用图像的多阶导数信息表征图像的结构，进而在空间域提取相关结构特征。最后，利用随机森林训练质量预测模型来预测待测图像的质量。通过广泛的实验表明，本文提出的超分辨率重构图像质量评价方法优于现有的通用无参考评价方法，多失真无参考评价方法和超分辨率重构评价方法。