基于流形特征相似度的感知图像质量评价

王朝云　　蒋刚毅　　郁梅，2　　陈芬

基于流形特征相似度的感知图像质量评价

王朝云1蒋刚毅1郁梅1，2陈芬1

图像质量评价（Image quality assessment，IQA）的目标是利用设计的计算模型得到与主观评价一致的结果，而人类视觉感知特性是感知图像质量评价的关键.大量研究发现，认知流形和拓扑连续性是人类感知的基础即人类感知局限在低维流形之上.基于图像低维流形特征分析，本文提出了基于流形特征相似度（Manifold feature similarity，MFS）的全参考图像质量评价方法.首先，利用正交局部保持投影算法来模拟大脑的视觉处理过程获取最佳映射矩阵进而得到图像的低维流形特征，通过流形特征的相似度来表征两幅图像的结构差异，从而反映感知质量上的差异.其次，考虑亮度失真对人眼视觉感知的影响，通过图像块均值计算亮度相似度并用于评价图像的亮度失真；最后，结合两个相似度得到图像的客观质量评价值.在四个公开图像测试库上的实验结果表明，所提出方法与现有代表性的图像质量方法相比总体上具有更好的评价结果.

图像质量评价，流形特征相似度，正交局部保持投影，视觉感知

引用格式王朝云，蒋刚毅，郁梅，陈芬.基于流形特征相似度的感知图像质量评价.自动化学报，2016，42（7）:1113-1124

图像质量评价是图像处理领域中充满挑战性的问题［1［4］提出的结构相似度（Structural similarity，SSIM）算法与PSNR等方法相比性能改进明显，引起了学者们的关注；在其后续工作中，Wang等又提出了多尺度的SSIM（Multi-scale structural similarity，MS-SSIM），改进了SSIM的性能［5］.Zhang等［6］提出了基于Riesz变换的特征相似度（Riesz transform-based feature similarity，RFSIM）评价算法，提取了基于一阶和二阶Riesz变换的图像局部结构并利用Canny边缘特征用于质量加权.文献［7］认为人眼在对局部图像评分时相位一致性和梯度幅值起着相辅相成的作用，提出特征结构相似度（Feature similarity，FSIM）.程光权等［8］探索自然图像的几何结构特征，考虑像素点的方向失真、幅度失真和方差失真，提出了一种基于几何结构失真模型的全参考质量评价方法.除了基于结构的图像质量评价方法外，另一些评价方法是从人眼视觉系统的其他特性出发进行设计的. Chandler等［9］提出视觉信噪比（Visual signal-tonoise ratio，VSNR），该准则先通过视觉阈值确定失真是否可察觉，再对超过视觉阈值的区域进行失真度量.Larson等［10］认为人类视觉系统（Human visual system，HVS）在评测高质量图像和低质量图像时采用了不同策略，提出最明显失真（Most apparent distortion，MAD）的质量评价算法.Sheikh等［11］将全参考图像质量评价问题看作信息保真度问题，在信息保真度（Information fidelity criterion，IFC）［12］的基础上进行拓展得到视觉信息保真度（Visual information fidelity，VIF）评价算法. Zhang等［13］发现质量下降会造成图像显著图的变化且与感知质量失真程度密切，从而提出基于视觉显著性（Visual saliency induced index，VSI）的图像质量评价方法.考虑到结构和对比度变化可以通过图像梯度的变化得到，Liu等［14］提出基于梯度相似度（Gradient similarity metric，GSM）的全参考质量评价算法.

优异的图像质量评价方法应能很好反映人眼视觉感知特性.针对视觉感知现象，有研究表明流形是感知的基础，大脑中以流形方式对事物进行感知［15］；因此，将图像流形特征应用于视觉质量评价可得到与主观感知一致性较高的评价结果.流形学习能较好地帮助找到图像在低维流形中的内在几何结构，反映出事物的非线性流形的本质［16］.Cai等［17］对局部保持投影（Locality preserving projection，LPP）算法进行改进、得到正交局部保持投影算法（Orthogonal locality preserving projection，OLPP），该方法可找到数据的流形结构且具有线性特点，适用于所有邻域空间而并非局限于样本点.Charrier等［18］则针对JPEG 2000失真的图像提出一种基于机器学习的图像质量分类方法，它利用现有的全参考与无参考图像质量方法提取的特征来描述图像，然后尝试了主成分分析（Principal components analysis，PCA）线性降维和拉普拉斯特征映射的流行学习的非线性降维等两种方式的降维方法来对提取得到的特征向量进行降维用于训练后续的SVM得到分类器；但从其结果分析中可以看出相较于PCA的线性降维而言，拉普拉斯特征映射的非线性降维并不能有效地帮助其提高质量分类的准确性.而本文将从人眼视觉感知的角度出发，利用流形学习的方法直接从图像块中学习得到图像低维流形特征，得到符合人眼感知特性的图像特征用于图像质量评价.

结合上述分析，本文提出一种基于流形特征相似度（Manifold feature similarity，MFS）的图像质量评价方法（MFS准则）.在训练阶段，MFS准则将利用流形学习OLPP算法得到最佳映射矩阵用于提取图像的流形特征；在质量预测阶段，在将原始与失真图像划分为图像块后，去除每个块的均值使所有块向量都具有零均值，在其基础上得到流形特征相似度；而所有块均值则用于计算亮度相似度.其中，流形特征相似度表征了两幅图的结构差异，而亮度相似度则度量了失真图像的亮度失真.最后，结合两个相似度得到图像的质量评价值.实验结果表明所提出方法的评价结果与人眼主观评价值具有很高的一致性.

1　基于流形特征相似度（MFS）的图像质量评价准则（MFS准则）

流形是感知的基础，经过自然界长期进化的人脑能够以流形的方法表达对外界对象的感知［15］.大脑中神经元群体活动通常可描述为一个神经放电率的集合的结果，如果一个神经元的触发率对应于一维，那么图像信息就能够由与像素个数相等的神经元来表示.研究发现每个神经元在一个神经元群体中的放电率可用一个少数变量的平滑函数表示，比如人眼转动的角度和头旋转的方向［19］，这说明神经元群体活动是局限在一个低维流形之上.

基于流形学习理论，本文定义了流形特征相似度的概念，进而提出一种基于流形特征相似度的图像质量评价新方法（MFS准则）；它使用OLPP来模拟神经元群体的视觉感知过程，并给出显式的最佳映射矩阵用于提取测试图像的低维流形特征.所提出的MFS准则框架如图1所示，它分为两个阶段：训练和相似度计算.首先，从训练阶段得到最佳映射矩阵J，并将其用于后续参考和失真图像块的流形特征的提取；然后，在流形特征的基础上计算图像质量值.

图1　基于流形特征相似度的图像质量评价准则Fig.1　Manifold feature similarity based perceptual image quality index

1.1训练获取最佳映射矩阵

训练过程先从无失真的N幅自然图像中随机选取上万个图像块作为训练样本，再通过主成分分析对样本向量进行降维以及白化处理；然后，通过OLPP对白化后的数据Xw进行训练得到白化空间中的正交投影矩阵Jw，最后将其还原到原始样本空间得到最佳映射矩阵J.

1）预处理.在训练过程的初始阶段，从无失真的10幅自然图像中随机选取20000个8×8图像块作为训练样本.在实际计算时，需要将每个图像块按逐个通道逐行转换为列向量.由于彩色图像有三个通道，由此得到长度为8×8×3=192的向量.最后，每个向量通过减去对应图像块的均值进行中心化，所有中心化后的样本向量组成矩阵X.

2）利用PCA进行降维和白化.有研究表明，人眼视网膜和外侧膝状体（Lateral geniculate nucleus，LGN）会对输入的视觉信号进行白化处理［20］.进一步的研究还表明，视网膜和LGN具有很好的去视觉冗余效果；因此，这里采用PCA进行降维和白化来模拟视网膜和LGN的该功能.一方面，这样做去除了样本中冗余信息同时减少了计算量；另一方面，这样避免了当数据维数大于样本点数时，OLPP算法中的广义特征值求解很不稳定的问题.降维和白化处理过程如下：

通过数据协方差矩阵的特征值分解来实现PCA过程.样本数据X的协方差矩阵C计算

3）使用OLPP算法进行训练.最佳映射矩阵是将从白化样本数据Xw中通过流形学习获取的正交投影矩阵还原到原始样本空间得到的.当高维数据分布于嵌入在子空间的低维流形中时，正交局部保持投影算法（OLPP）通过寻找流形的最佳线性逼近的拉普拉斯Beltrami算子进行低维嵌入，具体流程如下：

得到上述矩阵后，正交基向量｛ ppp1，···， pppn｝计算如下： ppp1为（XΦXT）-1XLXT的最小的非零特征值对应的特征向量， pppn为Hn=｛I-（XΦXT）-1 ×P（n-1）［Q（n-1）］-1［P（n-1）］T｝（XΦXT）-1XLXT的最小的非零特征值对应的特征向量.

令白化空间中的正交投影矩阵为Jw=［ ppp1，···，ppl］，其中l=8.

步骤4.在进行学习之后，正交投影矩阵Jw应该从白化样本空间转化回到原始样本空间：

其中，W 为白化矩阵，Jw表示在白化样本空间中的正交投影矩阵，J为最终的原始样本空间的最佳映射矩阵.这里，将J看作大脑以流形方式感知的一个模型，可以用于提取图像块的流形特征.

1.2MFS评价值计算

如图1所示，MFS评价值的计算由两部分组成：特征相似度计算和亮度相似度计算.为了处理方便，在计算之前，将参考图像和失真图像通过8×8的滑动窗口分为不重叠的块，同时对每个图像块进行去均值操作；由于图像块在去均值后的块包含了对比度和结构等信息，将其称作结构块.因此，可将每个图像块看作由对应的均值块和去均值后的结构块组成.在全参考图像质量评价中，参考图像和失真图像采用的是相同的划分方式，从而可将每个参考图像块和对应的失真图像块作为一对图像对.由于图像的均值块不包括任何对比度和结构等信息，因此在计算流形特征相似度时将不使用图像块的均值.但考虑到图像亮度的变化还是会引起感知失真虽然其影响并不如对比度和结构变化那么大［14］，因此，引入亮度相似度来描述图像的亮度失真，此时则需要利用图像块的均值进行计算.最后，通过组合特征相似度和亮度相似度得到MFS评价值.

1.2.1利用视觉特性选块

在去除每个块的均值后，原始和失真图像的结构块成为一个零均值的列向量和（i对应图像的第i个块），所有来自参考图像和对应的失真图像的列向量和组成两个矩阵，即Xref和 Xdis.超阈值失真是视觉关注中的一个重要影响因子，在感知质量中也有着举足轻重的作用［21］，这也是人类视觉系统对图像中的低质量区域比高质量区域更敏感的原因.正是由于低质量区域对质量评价有更大的影响，所以通过使用结构差异较大的图像块对来进行质量评价可以提高评价性能［22］.为了保持评价方法的执行效率同时提高评价的准确性，本文使用特定标准来衡量图像块的结构差异，同时在其基础上设计阈值进行选块进而利用选取的图像块进行相似度计算.

其中，h代表每个图像块向量的元素数目.最终，所有的参考和失真图像块对的AVE值形成一个向量vvv，向量 vvv中的元素为

为了选择一组有利于质量评价的图像块对，在 vvv向量的中值的基础上设计了阈值THx，利用该阈值来选取参考—失真块对.如果某一块对的AVE值不小于设定的阈值THx，则保留该块对用于质量评价，最后所有选取的参考和失真图像块向量记为和最终，所有保留下来的向量组成两个矩阵，Yref和Ydis，如式（8）所示：

其中，median（·）代表选取中值的运算.

给定一幅图像，利用适当的视觉显著性（Visual saliency，VS）模型计算其显著图能反映每个局部区域在人眼视觉系统中的显著程度.VS和IQA有着紧密的联系，它们都依赖于HVS如何感知一幅图像同时在视觉关注中超阈值失真也是一个重要的影响因素［21］，图像不同区域在HVS感知图像质量过程中有着不同的作用，显然，使用与人眼关注特点相关的选块策略可以提高质量评价性能.然而，上述的选块只考虑了结构差异大的区域，这些区域一般对应失真图像质量较低的区域但并不一定是人眼最关注的区域.因此，在利用阈值THx来选取参考—失真块对之后，使用视觉显著计算模型（Saliency detection based-on simple priors，SDSP）［23］计算原始和失真图像的显著图，使用VS图来表征图像不同区域的的视觉重要性，即给出图像对fr和fd中的每个图像块的VS值，无论fr还是fd中第i块图像具有较高VS值就说明位置i处的图像块在评价图像fr和fd相似度时具有较大的影响.为此，对求得的VS图按8×8不重叠分块后，分别求取各块的平均显著度得到图像对fr和fd中的每个图像块的VS值形成显著图V S1和V S2.最后，利用V Sm（i）= max｛V S1（i），V S2（i）｝来对图像进行二次选块：

其中，THvs为将所有图像块显著值按降序排序后在前60%位置的显著值即选取显著度最高的60%的块对AVE选块进行二次细选.

1.2.2流形特征相似度

在图像块对选取结束后，通过如下操作得到流形特征向量 rrrt和 ddt：

由于J的大小为8×192，则 rrrt和 dddt的向量长度为L=8.为了简洁表示，使用（ rrrt， dddt）向量对来表示参考图像和失真图像块的特征.而所有流形特征向量 rrrt和 dddt组成两个矩阵R和D.

其中，K代表在图像中选取的图像块数目， rrt和 dddt分别为R和D的列向量.

最后，定义MFS中的流形特征相似度MFSf，计算如下：

其中，K代表一幅图像中选取的图像块数目，即保留的流形特征向量的数目，Rtj和Dtj分别表示R 和D的第t列和第j行的值；C1为一个很小的常量，用于保证结果的稳定性.

1.2.3亮度相似度

亮度相似度的计算是基于每个图像块的均值进行的，仅考虑使用在上述选块过程中获取的图像块对对应的均值向量（µref，µdis）来定义和计算亮度相似度MFSm，计算过程如式（13）.

其中，µref和µdis为选块后对应块的均值组成的向量，mean（·）代表取向量的均值；C2为一个很小的常量，用于保证结果的稳定性.

1.2.4MFS准则的评价值

最后，对MFSf和MFSm进行线性加权得到MFS评价值作为失真图像的质量分数.

其中，0＜ω＜1用于调节MFSf和MFSm两个分量的线性加权的权值.

2　实验结果与分析

为了验证本文算法的有效性，在4个公开的测试图像库上对本文算法进行了测试和对比；这4个图像库包括LIVE［24］、CSIQ［10］、TID2008［25］和TID2013［26］.每个图像库包含上千幅失真图像，同时拥有多种失真类型.每幅失真图像都会给定一个主观分数例如平均主观分（Mean opinion score，MOS）或平均主观分差值（Differential mean opinion score，DMOS）.各图像库中的参考图像数、失真图像数、失真类型数以及参与主观实验的人数如表1所示.最终的算法性能验证是在比较主观评分与图像质量评价算法客观评价结果基础上进行的.

表1　应用于图像质量评价算法分析的4个测试图像库Table 1　The four benchmark datasets for evaluating IQA indices

采用4个通用评价指标并根据视频质量评价专家组PhaseI/II（VQEG）［27］提供的标准验证方法来获取IQA的评价性能.斯皮尔曼秩相关系数（Spearman rank-order correlation coefficient，SROCC）和肯德尔秩次相关系数（Kendall rank-order correlation coefficient，KROCC）用于评价IQA方法的预测单调性的优劣，这两个指标仅在排序后的数据上进行而忽略数据点之间的相对距离.为了获取另外两个指标皮尔森线性相关系数（Pearson linear correlation coefficient，PLCC）和均方根误差（Root mean squared error，RMSE），需要对客观评价值和主观平均评分（MOS）进行非线性映射来去除客观分数的非线性的影响.采用5参数非线性映射函数来进行非线性拟合.

其中，q代表原始的客观质量评价分数，Q代表非线性映射后的分数.5个调节参数α1，α2，α3，α4，α5则是由最小化映射后的客观分数与主观评分之间的方差和确定的.

本文提出的MFS准则将与具有代表性的10个图像质量评价算法进行比较，包括：SSIM［4］、MS-SSIM［5］、IFC［12］、VIF［11］、VSNR［8］、MAD［10］、GSM［14］、RFSIM［6］、FSIMc［7］和VSI［13］.

2.1参数确定

本文所提出算法在求取特征相似度时，使用了参数C1来保证结果的稳定性但该参数的改变同时也会在一定程度上影响特征相似度的计算值从而影响最终的评价结果.为了获取最佳的参数C1，在固定其他参数ω和C2时（ω∈｛0，0.1，0.2，0.3，0.4，0.5，0.6，0.7，0.8，0.9，1｝，C2＜10-2）进行测试时发现，当C1=0.09时MFS在4个库上的SROCC达到最高，因此C1取0.09.而由于在计算亮度相似度过程中式（13）中的分子分母数量级均较大，C2在10-2的数量级以下对亮度相似度的计算结果几乎没有影响，这里C2取为0.001.在最后线性加权特征相似度和亮度相似度过程中的参数ω则在ω∈｛0，0.1，0.2，0.3，0.4，0.5，0.6，0.7，0.8，0.9，1｝中选择使得MFS在4个库上的评价指标SROCC达到最高的0.8作为最终参数.

2.2块选择策略

为了验证选块对提高本文算法的评价准确性的作用，选用了3个不同的策略来对图像进行选块，最后选用SROCC来作为验证指标，每种选块策略得到的评价结果如表2所示.

表23种选块策略对应的SROCC值Table 2　The SROCC of three selection strategies

从表2中可知，利用AVE选块能有效地提高算法的评价结果，这归功于HVS对图像中的低质量区域比高质量区域更敏感.正是由于低质量区域对质量评价具有重大影响，使用具有巨大结构差异的图像块对来进行质量评价可以提高评价性能.而在加上VS选块后，在CSIQ图像库和LIVE图像库上的评价性能较仅使用AVE选块策略有下降外在其他两个库上均有提升（在最大的两个图像库TID2008 和TID2013上效果均有提升），由此可以看出本文选块策略的有效性.在CSIQ和LIVE图像库使用AVE+VS选块后评价性能虽然相较于AVE选块略有下降，但是相较于不选块来说评价准确性仍有提高，此处的可能原因是VS算法无法完全精确地估计图像显著性，最终导致了在失真图像数目并不多的CSIQ和LIVE库的性能略有下降，相信在失真图像数目越多时AVE加VS选块性能的优越性将更加明显.

2.3PCA白化对评价性能的影响

MFS利用OLPP在白化空间中求取正交基，然后将其还原到原始样本空间作为最佳映射矩阵来提取图像块的流形特征.表3给出了MFS在不同的去冗余后的白化空间中使用OLPP寻找正交基，并将其还原到原始样本空间作为最佳映射矩阵来提取图像块的流形特征得到的SROCC值，可以看出直接使用OLPP（不降维）的性能在4个图像库上均有很大程度的下降，因此使用PCA白化来模拟人眼的去视觉冗余过程是十分必要的.

2.4训练库及训练样本数目的影响

由于最佳映射矩阵是通过训练获得的，因此需要考虑训练样本数目及训练样本库对最终的评价性能的影响，使用的训练样本库如图2和图3所示. 图4给出了使用在图像样本集S2上由不同样本块数目训练获取的最佳映射矩阵来提取流形特征评价图像质量获得的SROCC值与图像块样本数目的关系.其中，图像样本集S1来自于IVC图像库的无失真图像而图像样本集S2来自TOY图像库的无失真图像.

图2　用于OLPP训练的图像集S1，其中的图像均来自IVC的无失真图像Fig.2　The set S1 for OLPP，the images in the set were picked from IVC dataset

图3 用于OLPP训练的图像集S2，其中的图像均来自TOY的无失真图像Fig.3　The set S2 for OLPP，the images in the set were picked from TOY dataset

图4样本图像块数目与SROCC关系Fig.4　The relationship between sample numbers and SROCC

表3 不同的PCA白化降维维数下，MFS在4个图像库上SROCC值Table 3　The SROCC of MFS at different whitening dimensions on four datasets

从图4可知，当样本库图像包含足够多的内容且样本数目足够多时最佳映射矩阵在各个库上的评价性能趋于稳定.整体趋势是随着样本图像块数目的增加，评价性能上升并趋于稳定，本文从测试图像集中随机选择了20000个图像块作为样本进行训练，取得了不错的效果.

另外，表4给出了在相同参数及样本数目条件下在两个训练集图像库上的SROCC值比较，从中可以发现选用不同的训练库得到的性能结果基本相同，这说明所提出算法受训练样本的不同的影响微乎其微.因此本文中的最佳映射矩阵是一个通用的流形特征提取器，一旦通过OLPP训练获取后便可以用于所有图像质量的评价，而不需要每次评价都进行耗时的训练过程.值得注意的是，本文中其他结果均是在S2图像集的基础上获得的.

表4 在两个训练集图像库上的SROCC值比较Table 4　The SROCC of MFS on two training sets

表5ω取不同值时，MFS在4个图像库上的SROCC值Table 5　The SROCC of MFS when ω takes different values

表6　仅考虑流形特征时MFS的评价性能（ω=0）Table 6　The performance when just considering the manifold feature（ω=0）

2.5整体性能与比较

表5中给出了ω取不同值时，本文的MFS准则在4个图像库上的SROCC值；表6则是给出了仅使用流形特征进行图像质量评价得到的SROCC 值.从表6中可知，在仅考虑流形特征（ω=0）时，MFS仍然具有较高的评价性能，在CSIQ图像库上，MFS准则性能最优，在LIVE、TID2013图像库上MFS的评价性能位列第三，而在TID2008图像库上MFS表现较差，位居第五；但MFS准则的平均性能在所有方法中位居第三.显然，所提出MFS准则中的流形特征在图像评价中发挥了很大的作用；而加入亮度分量是对图像评价的一个补充，这是因为在提取流形特征前去除了图像块的均值，因此将亮度分量作为评价指标中的一部分加入了最终的评价公式中.

表7给出每个IQA方法在4个数据库上的4个预测性能指标SROCC、KROCC、PLCC和RMSE，表中对所有IQA方法中指标性能最优的2 个IQA方法以黑体标出.从表7可知，MFS准则在所有图像库上的性能都很好.首先，在CSIQ图像库上，MFS的性能最优，优于其他所有IQA方法.其次，比起其他所有的IQA算法，在最大的两个图像库TID2008和TID2013上的性能较大幅度地优于其他算法，且与VSI算法性能接近.虽然在LIVE库上MFS的性能不是最佳的，但与最佳的IQA方法的评价性能相差甚微.相比之下，MFS之外的一些方法可能在某些库上效果不错但是在其他库上的效果差强人意.例如，VIF和MAD在LIVE具有很好的评价效果，但在TID2008和TID2013上的表现却很糟糕.因此，整体上来说，与其他算法相比，所提出的MFS算法的质量预测结果与主观评价更加接近.另一方面，表7给出的是考虑图像亮度的MFS方法与其他算法的整体性能比较，从中可以看出亮度分量确实对图像质量评价有一定的辅助作用但不是决定性作用.

2.6特定失真上的性能比较

为了更加综合地评判IQA方法预测特定失真引起的图像质量降质的能力，将本文MFS准则与其他对比算法在特定失真下的评价性能进行了测试.选择SROCC作为性能指标，因为SROCC适用于数据点较少的情况而且不会受到非线性映射的影响，当然使用其他的性能指标例如KROCC，PLCC和RMSE也可以得到类似的结论.表8给出了4个图像库中52组特定失真子库的评价结果.

表8中用粗体标识出每个图像库中每种失真类型下的SROCC值前三的IQA方法.可以看出VSI的IQA方法共31次位于前三，而MFS准则共25次位于前三，其次是FSIMc和GSM.因此，可以得出如下结论：总的来说，在特定失真类型下，VSI的表现最优，而MFS紧随其后，其次是FSIMc和GSM.最重要的是，VSI，MFS，FSIMc 和GSM均大大优于其他方法.另外，在最大的两个库TID2008和TID2013上，本文的MFS准则对AGN、SCN、MN、HFN、IN、JP2K、J2TE等失真的评价性能较其他算法更加优异，而在LIVE和CSIQ图像库上则是AGWN、GB两种失真的评价效果最优.针对TID2008和TID2013中的Block、MS和CTC失真，本文的MFS准则的评价性能有待提高.

2.7算法时间复杂度

表9给出了各个IQA方法处理一对384×512（取自TID2013图像库）的彩色图像需要的运行时间.实验是在lenovo台式机上进行的，其中处理器为Intel（R）core（TM）i5-4590，CPU为3.3GHz，内存为8GB，软件平台为Matlab R2014b.从表9可知，MFS具有一个折中的时间复杂度.特别地，它比IFC、VIF、MAD、FSIMc等运行速度更快，但却得到了与其接近甚至更好的评价效果.

表7　11种方法在4个图像库上的整体性能比较（ω=0.8）Table 7　The total performance comparison of 11 IQA indices（ω=0.8）

3　结论

从人眼视觉感知的流形描述的角度出发，本文提出了一种新颖的全参考图像质量评价算法，即流形特征相似度（Manifold feature similarity，MFS）准则.MFS准则的计算过程分为两部分：训练和保真度计算.首先，利用正交局部保持投影算法从自然图像上获取样本块进行训练获得一个通用的最佳映射矩阵.接着计算评价值的两个组成成分：特征相似度和亮度相似度.特征相似度是在结构块的基础上提取流形特征进行计算得到，而亮度相似度则是基于图像块的均值来求取的.最后，将特征相似度和亮度相似度组合获得MFS评价值.为了提高评价的准确性和稳定性，采用了视觉显著和视觉阈值两个策略来去除对于视觉感知不重要的图像块.更重要的是，MFS不仅考虑了流形结构失真同时也考虑了图像亮度变化对图像质量的影响，这使得MFS具有更高的评价准确性也扩大了其对各类失真的评价能力.与VSI利用先验知识对图像进行处理从而构建显著图来作为图像降质的评价依据不同，本文的MFS从图像数据本身出发通过流形学习寻找数据的本质流形特征来进行图像质量评价.从在四个公开的图像库上的实验结果和对比实验表明MFS可以获得比当前权威的评价算法更好的评价性能，评价结果与主观评分具有更高的一致性.

表811种方法在特定失真上的SROCC评价值Table 8　SROCC values of 11 IQA indices for each type of distortions

表9　11种质量评价方法的时间复杂度Table 9　Time cost of 11 IQA indices

进一步的研究将考虑使用更符合人眼视觉注意机制的选块策略来提高图像质量评价的准确性，以及在训练阶段使用更好的更有效率的算法来代替正交局部保持投影算法获取最佳映射矩阵.

References

1 Ma L，Deng C W，Ngan K N，Lin W S.Recent advances and challenges of visual signal quality assessment.China Communications，2013，10（5）：62-278

2 Saha A，Wu Q M J.Utilizing image scales towards totally training free blind image quality assessment.IEEE Transactions on Image Processing，2015，24（6）：1879-1892

3 Wang Zhi-Ming.Review of no-reference image quality assessment.Acta Automatica Sinica，2015，41（6）：1062-1079（王志明.无参考图像质量评价综述.自动化学报，2015，41（6）：1062-1079）

4 Wang Z，Bovik A C，Sheikh H R，Simoncelli E P.Image quality assessment：from error visibility to structural similarity.IEEE Transactions on Image Processing，2004，13（4）：600-612

5 Wang Z，Simoncelli E P，Bovik A C.Multiscale structural similarity for image quality assessment.In：Proceedings of the 37th Conference Record of Asilomar Conference on Signals，Systems and Computers.Pacific Grove，CA，USA：IEEE，2003.1398-1402

6 Zhang L，Zhang D，Mou X Q.RFSIM：a feature based image quality assessment metric using Riesz transforms.In：Proceedings of the 17th International Conference on Image Process.Hong Kong，China：IEEE，2010.321-324

7 Zhang L，Zhang D，Mou X Q，Zhang D.FSIM：a feature similarity index for image quality assessment.IEEE Transactions on Image Processing，2011，20（8）：2378-2386

8 Cheng Guang-Quan，Zhang Ji-Dong，Cheng Li-Zhi，Huang Jin-Cai，Liu Zhong.Image quality assessment based on geometric structural distortion model.Acta Automatica Sinica，2011，37（7）：811-819（程光权，张继东，成礼智，黄金才，刘忠.基于几何结构失真模型的图像质量评价研究.自动化学报，2011，37（7）：811-819）

9 Chandler D M，Hemami S S.VSNR：a wavelet-based visual signal-to-noise ratio for natural images.IEEE Transactions on Image Processing，2007，16（9）：2284-2298

10 Larson E C，Chandler D M.Most apparent distortion：fullreference image quality assessment and the role of strategy. Journal of Electronic Imaging，2010，19（1）：011006

11 Sheikh H R，Bovik A C.Image information and visual quality.IEEE Transactions on Image Processing，2006，15（2）：430-444

12 Sheikh H R，Bovik A C，De Veciana G.An information fidelity criterion for image quality assessment using natural scene statistics.IEEE Transactions on Image Processing，2005，14（12）：2117-2128

13 Zhang L，Shen Y，Li H Y.VSI：a visual saliency-induced index for perceptual image quality assessment.IEEE Transactions on Image Processing，2014，23（10）：4270-4281

14 Liu A M，Lin W S，Narwaria M.Image quality assessment based on gradient similarity.IEEE Transactions on Image Processing，2012，21（4）：1500-1512

15 Seung H S，Lee D D.The manifold ways of perception.Science，2000，290（5500）：2268-2269

16 de Silva V，Tenenbaum J B.Global versus local methods in nonlinear dimensionality reduction.In：Proceedings of the 2002 Advances in Neural Information Processing Systems. Cambridge，MA：MIT Press，2002.705-712

17 Cai D，He X F，Han J W，Zhang H J.Orthogonal Laplacianfaces for face recognition.IEEE Transactions on Image Processing，2006，15（11）：3608-3614

18 Charrier C，Lebrun G，Lezoray O.Image quality assessment with manifold and machine learning.In：Proceedings of the 2009 SPIE 7242，Image Quality and System Performance VI.San Jose，CA：SPIE，2009.

19 Taube J S.Head direction cells and the neurophysiological basis for a sense of direction.Progress in Neurobiology，1998，55（3）：225-256

20 Simoncelli E P，Olshausen B A.Natural image statistics and neural representation.Annual Review of Neuroscience，2001，24：1193-1216

21 Engelke U，Kaprykowsky H，Zepernick H，Ndjiki-Nya P.Visual attention in quality assessment.IEEE Signal Processing Magazine，2011，28（6）：50-59

22 Moorthy A K，Bovik A C.Visual importance pooling for image quality assessment.IEEE Journal of Selected Topics in Signal Processing，2009，3（2）：193-201

23 Zhang L，Gu Z Y，Li H Y.SDSP：a novel saliency detection method by combining simple priors.In：Proceedings of the 20th IEEE International Conference on Image Processing. Melbourne，VIC：IEEE，2013.171-175

24 Sheikh H R，Sabir M F，Bovik A C.A statistical evaluation of recent full reference image quality assessment algorithms.IEEE Transactions on Image Processing，2006，15（11）：3440-3451

25 Ponomarenko N N，Lukin V V，Zelensky A，Egiazarian K，Carli M，Battisti F.TID2008— a database for evaluation of full-reference visual quality assessment metrics.Advances of Modern Radioelectronics，2009，10：30-45

26 Ponomarenko N，Jin L，Ieremeiev O，Lukin V，Egiazarian K，Astola J，Vozel B，Chehdi K，Carli M，Battisti F，Kuo C C J.Image database TID2013：peculiarities，results and perspectives.Signal Processing:Image Communication，2015，30：57-77

27 VQEG.Final report from the video quality experts group on the validation of objective models of video quality assessment［Online］，available：http：//www.vqeg.org/，November 3，2015

王朝云宁波大学硕士研究生.主要研究方向为图像及视频质量评价.

E-mail:wcy 417@126.com

（WANG Chao-YunMaster student at Ningbo University.His research interest covers image and video quality assessment.）

蒋刚毅宁波大学教授.主要研究方向为计算机图像处理，图像与视频信号编码与传输.本文通信作者.

E-mail:jianggangyi@126.com

（JIANGGang-YiProfessorat Ningbo University.His research interest covers computer image processing， image and video signal encoding and transmission.Corresponding author of this paper.）

郁梅宁波大学教授.主要研究方向为计算机图像处理，图像与视频信号编码与传输.E-mail:yumei2@126.com

（YU MeiProfessor at Ningbo University.Her research interest covers computer image processing，image and video signal encoding and transmission.）

陈芬宁波大学副教授.主要研究方向为光通信技术，数字信号处理技术.

E-mail:chenfen@126.com

（CHEN FenAssociate professor at Ningbo University.Her research interest covers optical communication technology，and digital signal processing technology.）

Manifold Feature Similarity Based Perceptual Image Quality Assessment

WANG Chao-Yun1JIANG Gang-Yi1YU Mei1，2CHEN Fen1

Image quality assessment（IQA）aims to use computational models to measure the image quality in consistency with subjective evaluation，and human visual perception characteristics play an important role in the design of IQA metrics. From many researches on human visual perception，it has been found that the cognitive manifolds and the topological continuity can be used to describe the human visual perception，that is，human perception lies on the low-dimensional manifold.With this inspiration and manifold analysis of image，a new IQA metric called manifold feature similarity （MFS）is proposed for full-reference image quality assessment.First，orthogonal locality preserving projection algorithm is used to simulate the brain′s visual processing process to obtain the best projection matrix so that low-dimensional manifold features of images are obtained.And the similarity of the manifold features is used to measure the structure differences between the two images so as to reflect differences in perceived quality and get a manifold features-based image quality index.Then，to consider the impact of brightness on human visual perception，the block mean values of the image are used to calculate the distortion of the image′s brightness and design a brightness-based image quality index.The final quality score is obtained by incorporating these two indices.Extensive experiments on four large scale benchmark databases demonstrate that the proposed IQA metric works better than all state-of-the-art IQA metrics in terms of prediction accuracy.

Image quality assessment（IQA），manifold feature similarity（MFS），orthogonal locality preserving projections，visual perception

10.16383/j.aas.2016.c150559

Wang Chao-Yun，Jiang Gang-Yi，Yu Mei，Chen Fen.Manifold feature similarity based perceptual image quality assessment.Acta Automatica Sinica，2016，42（7）:1113-1124

2015-09-06录用日期2015-12-07
Manuscript received September 6，2015；accepted December 7，2015
国家高技术研究发展计划（863计划）（2015AA015901），国家自然科学基金（U1301257，61271270，61311140262），浙江省自然科学基金（LY15F010005，LY16F010002）资助
Supported by National High Technology Research and Development Program of China（863 Program）（2015AA015901），National Natural Science Foundation of China（U1301257，612712 70，61311140262），and Zhejiang Provincial Natural Science Foundation（LY15F010005，LY16F010002）
本文责任编委王立威
Recommended by Associate Editor WANG Li-Wei
1.宁波大学信息科学与工程学院宁波3152112.南京大学计算机软件新技术国家重点实验室南京210093
1.Faculty of Information Science and Engineering，Ningbo University，Ningbo 3152112.National Key Laboratory of

Software New Technology，Nanjing University，Nanjing 210093