基于特征域奇异值分解的图像质量评价

崔 力

(西北工业大学电子信息学院，西安710072)

浩 明

(西安邮电大学通信与信息工程学院，西安710121)

图像质量评价是图像处理的重要研究内容之一.作为算法性能评判及参数优化的关键指标，图像质量评价对于图像采集、压缩、编码、去噪、增强、水印、认证、存储、合成、复制等相关领域具有重要意义.图像质量评价主要有主观和客观两种方式.考虑到传统的主观质量评价不仅对实验条件有着苛刻的要求，而且实施步骤复杂，不能满足实时性的要求，客观质量评价吸引了更多关注.

根据参考图像存在与否，客观图像质量评价方法可以分为全参考、半参考和无参考3种算法.其中，当前学者对于全参考算法的研究最为深入，并将其分为:①基于物理信号差异的方法，包括常见的均方差(MSE，Mean Square Error)，信噪比(SNR，Signal to Noise Ratio)和峰值信噪比(PSNR，Peak Signal to Noise Ratio)等指标;②基于人眼视觉系统(HVS，Human Vision System)建模的方法.例如，视觉信噪比(VSNR，Visual Signal to Noise Ratio)[1]利用HVS的临界阈值和超阈值视觉感知特点改进SNR，以便更好地吻合人眼视觉感知结果;③基于结构相似性的方法.假设结构信息丢失是造成图像质量下降的唯一原因，此类方法包括了结构相似性度量(SSIM，Structural SIMilarity)[2]和它的多分辨版本(MSSSIM，Multi－Scale Structural SIMilarity)[3];④基于自然场景统计(NSS，Natural Scene Statistics)的方法，包括信息置信度标准(IFC，Information Fidelity Criteria)[4]和视觉信息置信度(VIF，Visual Information Fidelity)[5].

由于上述方法都是采用数学建模的手段来模拟人眼视觉系统的视觉判断功能，他们普遍存在模型参数优化困难以及泛化能力不足的问题.近年来，有学者尝试利用机器学习手段预测图像感知质量.相比于上述数学建模的方法，机器学习不仅能够学习具有任意复杂度的映射关系函数，而且巧妙地回避了HVS中不同特征间的相互影响.文献[6]提出一种联合应用多个机器学习技术的图像质量评价模型，首先将PSNR和SSIM作为图像质量描述参数进行“野点预测”，以便利用支持向量机(SVM，Support Vector Machine)将待测样本分为正常样本和奇异样本两类，随后根据分类的结果选择对应的人工神经网络(ANN，Artificial Neural Network)，最终获得图像质量评价.文献[7]提出一种基于圆形反向传播神经网络(CBPNN，Circular Back－Propagation Neural Network)的图像质量评价方法，首先从待测图像的灰度共生纹理矩阵(GLCM，Gray Level Co－occurrence Matrix)，DCT(Discrete Cosine Transform)域以及局部直方图中提取视觉特征，并利用KS(Kolmogorov－Smirnov)检验从待选特征集合中最终筛选出4个纹理特征，最后将在多个纹理方向上分别训练得到的学习器进行合并，以便完成主观图像质量预测.文献[8]提出一种基于广义回归神经网络(GRNN，General Regression Neural Network)的图像质量评价方法，首先对输入图像进行处理得到如下特征(失真图像的熵和平均梯度和它的相位一致性图的均值和熵)，随后将这些特征输入到GRNN的输入层，并在模式层和加和层进行不断地回归处理，直至获得预期的收敛值，并最终在输出层获得图像质量评价结果.文献[9]提出一种基于奇异值分解(SVD，Singular Value Decomposition)的图像质量预测模型.它首先将输入图像分为固定大小的子块，并利用奇异值分解分别求取它们奇异向量的内积和奇异值的方差作为视觉特征，最终将各个子块上的视觉特征值的均值作为图像的全局特征输入到SVM，以便获得对感知质量的预测.

考虑到奇异向量内积和奇异值方差是两种不同概念(相似度和距离)的度量，本文尝试利用统一的概念度量奇异向量及其奇异值的差异，提出了一种基于特征与奇异值分解的图像质量评价方法，首先通过在多个特征域比较参考和测试图像的特征向量及其特征值差异提取出所需的视觉特征向量，并利用SVM完成图像感知质量的预测.通过利用一种选择性集成回归的方法构建集成学习系统，本文所提出的图像质量预测模型的泛化能力还可以进一步提高.

1 图像质量预测模型

如图1所示，本文提出的图像质量评价预测算法主要由视觉特征提取和感知质量预测两个部分组成.它们分别负责从多个特征域中提取出图像的视觉特征向量以及利用SVM建立有视觉特征到感知质量的数学映射.

图1 图像质量预测模型的工作流程

1.1 视觉特征提取

视觉特征提取主要用于在多个特征域中或者从不同的角度分析参考和测试图像的视觉感知差异.这里，特征域指的是图像本身以及它的梯度和相位一致性.由于梯度和相位一致性分别表征了图像局部的亮度以及相位变化情况，它们构成了表示图像局部结构的最小特征集合.

给定图像 I ，首先利用 S charr模板[10](见图2)分别获得它在水平和垂直方向上的梯度分量(Gx和Gy)，最终将图像整体梯度定义为

考虑到所有对人眼重要的视觉特征都发生在相位信息高度有序的空间位置上[11]，图像的相位一致性定义为

式中，⎿·」代表门限函数，当输入变量小于零时输出为零，其它情况下输出等于输入;An(x)=表示给空间位置x和子带阶数n下的信号幅度，其中en(x)和on(x)分别是将原始图像I与偶对称小波和奇对称小波进行卷积的结果;Δφn(x)和W(x)分别表示统计相位偏移和加权系数;常数T和ε分别用来估计实际的噪音水平以及防止上式中的分母为零.

图2 Scharr梯度检测模板

给定参考和测试图像的特征域表示，首先将其划分为大小相等且互不重叠的若干子块(邻域)，并通过比较局部奇异向量以及奇异值的差异获得图像质量预测所需的视觉特征向量.假定矩阵Bir和Bit分别是参考和测试图像特征域中位于相同位置并且大小为b×b的第i个子块，它们可以分解为

式中，U，V分别是左右奇异向量矩阵.S=diag(s1，s2，…，sb)中奇异值为降序排列，即 s1＞s2＞…＞sb，并呈现指数递减的变化趋势.通过分别比较奇异向量和奇异值的差别，就可以获得本地视觉感知差异度量

式中，N代表图像中本地块的总数.本文中，本地块的大小设为32×32.

1.2 感知质量预测

感知质量预测旨在将描述参考和测试图像视觉感知差异的特征向量输入到SVM，以便完成从视觉特征到主观感知质量的数学映射.SVM[12]是一种在统计学习理论基础上发展出来的新的机器学习方法.相比于传统的基于经验风险最小化原则的ANN，它基于结构风险最小化原则，因此具有更好的抗噪与泛化能力.

作为一种用于回归问题的 S VM方法，nu－SVR(Support Vector Regression)[13]的实质就是根据给定训练数据(x1，y1)，…，(xl，yl)，寻找出从输入特征xi∈Rd到目标值yi∈R的最佳映射函数

式中，W和b分别表示权重向量与偏移量;核函数φ(x)用于将输入特征映射到更高维空间，以便增强其线性可分性.依据结构风险最小化原则，映射函数f(x)必须同时满足:①在所有训练样本上尽量接近目标值;②尽可能保持函数的平坦，以防止过拟合.因此，nu－SVR的目标函数设计如下:

式中，惩罚因子C用来控制经验误差与函数平滑程度之间的平衡;参数ν满足0≤ν≤1.核函数为高斯函数.

2 实验数据

实验数据主要包括了美国cornell大学的A57[14]、法国Nantes大学图像与视频通信实验室的IVC[15]、乌克兰国立空间科学大学的TID2008[16]、日本富山大学知能情报工学科通信研究室的MICT－tomaya[17]、美国Texas大学图像和视频工程实验室的LIVE(Laboratory for Image＆Video Engineering)[18]、美国 Oklahoma 州立大学计算视觉感知与图像质量实验室的CSIQ(Computational Perception＆Image Quality lab)[19]和瑞典Blekinge技术研究所的WIQ(Wireless Imaging Quality)[20]图像数据库.

3 性能分析

不同于传统的图像质量评价算法，本文提出的图像质量预测(IQP，Image Quality Predictor)模型主要利用SVM来完成主观感知质量的预测.表1显示这些模型在A57数据库的平均运行时间.实验平台是:Q9500处理器，4 GB内存，WIN7专业版操作系统，Matlab7.6仿真软件.从表1中可以看出，IQP模型的计算复杂度基本与VSNR算法相当，尽管比PSNR，SSIM和MSSSIM差，但是优于IFC和VIF算法.

表1 图像质量预测模型与传统图像质量评价算法的运行时间比较 s/图像

4 仿真结果

4.1 单个数据库的性能表现

为了公平地比较IQP模型以及传统的图像质量评价算法，本文拟采用多重交叉检验方式来检测上述模型在当个数据库上的性能表现.主要包含3个步骤:①将当前数据库划分为若干等分，每次选取一个等分(测试子集)来检验由其它等分(训练子集)训练所得到模型的性能表现.为了使训练和测试子集具有最大的独立性，首先将这些图像数据库中的参考图像分为大小近似相等的5个或者3个子集，并通过将同一子集内参考图像对应的失真图像也划分为一个集合，以便获得失真图像的对应划分.②利用训练子集完成模型的参数选择及其训练.考虑到传统的图像质量评价算法已经完成了参数优化，这里的模型训练是指利用网格搜索完成IQP模型的最佳参数选取，其基本原理是让参数C，γ和ν按照一定的步长增加，并通过尝试参数空间网格划分上的所有点，最终获得最佳参数取值.③利用测试集合检测训练得到模型的性能表现，并将经过多次测量得到的性能参数的平均值作为当前参数下交叉检验精度.这里，性能参数(相关系数(PLCC，Pearson linear Correlation Coefficient)和均方根误差(RMSE，Root Mean Square Error))主要用来描述经过非线性映射后模型或算法对图像感知质量的预测值和实验测量值(MOS值)之间吻合程度.较大的PLCC表示主观质量预测具有较好的准确性和单调性，较小的RMSE表示主观质量预测具有较好的一致性.

图3显示了本文所提出的IQP模型以及传统的图像质量评价算法(PSNR，SSIM，MS－SSIM，IFC，VIF和VSNR)在7个图像数据库上的性能表现.

图3 图像质量预测模型与传统图像质量评价算法在单个数据库上的性能表现

从图3中可以看出，除了在A57上的性能表现比VSNR稍差外，IQP模型在这数据库上的性能都高于传统的图像质量评价算法.由于VSNR算法主要是利用A57图像数据库来完成模型的参数优化，它在A57上的表现比较优异，而其它数据库上的性能衰减比较明显.考虑到SSIM，MSSSIM，IFC和VIF算法最初都是为LIVE图像数据库而设计的，他们在包含LIVE中相同失真类型的MICT－tomaya图像数据库上仍然表现较好，而在包含许多LIVE中所没有失真类型的TID2008图像数据库上性能表现较差.由此可见，传统图像质量评价算法的突出问题就是由于测试与训练数据内在结构的不一致，他们在测试数据上的表现较差，即泛化能力有所不足.

4.2 跨数据库性能表现

此外，本文也测试了在样本数量最多的3个图像数据库(TID2008，LIVE和CSIQ)上分别训练的IQP模型在其它数据库上的性能表现，如表2所示.这里主要用PLCC表征模型预测值与MOS之间的吻合程度.从表2中可以看出，利用这3个数据库训练所得到的IQP模型在其他图像数据库上都有着较好的表现.由于TID2008数据库中的样本数量远远大于LIVE和CSIQ数据库，利用LIVE和CSIQ训练的模型在TID2008数据库上的性能表现较差.此外，考虑到无线传输过程会带来复杂和不可预测的失真(多种伪影同时存在单个图像中)，这些模型在WIQ数据库上的表现还有待提高.

通过采用一种选择性的集成策略[21]，也可以利用多个SVM构建集成学习器.通过用集成学习器替代SVM，上述IQP模型就变为了图像质量集成预测(IQEP，Image Quality Ensemble Predictor)模型.构建集成学习器的步骤如下:首先利用Bootstrap Sampling方法从现有图像数据库中产生若干训练子集，并在每个训练子集上通过网格搜索完成SVM训练，然后依据他们的泛化精度对这些SVM模型进行排序，计算各子SVM模型的预测结果与期望输出之间的相对和绝对误差，将满足阈值条件的SVM子模型加入集合中，并把出现概率在50%以上的SVM最终用于集成学习器构建.表3显示了在TID2008，LIVE和CSIQ上分别训练的IQEP模型在其它数据库上的性能表现.在所有测试数据库上，IQEP模型的性能都要优于IQP.通过用集成学习器来代替传统的SVM，本文所提出的图像质量预测模型的泛化能力有所提高.

表2 图像质量预测模型的跨数据库性能表现

表3 图像质量集成预测模型的跨数据库性能表现

5 结束语

本文提出了一种基于特征域奇异值分解的图像质量评价方法，首先从输入图像及其梯度和相位一致性图中分别比较本地块的奇异向量和奇异值的差异来提取视觉特征，并利用SVM完成由视觉特征向量到图像感知质量的映射.实验表明:①通过将网格搜索与交叉验证相结合来完成模型参数化，本文所提出的图像质量预测模型的性能要优于传统的图像评价算法;②在图像数量最多的3个数据库上分别训练的图像质量预测模型在其他数据库也有着很好的性能，表现出良好的泛化性;③通过构建集成学习器来代替单个支持向量机，本文所提出的图像质量预测模型的泛化能力还可以进一步提高.

References)

[1]Chandler D M，Hemami S S.VSNR:a wavelet－based visual signal－to－noise ratio for natural images[J].IEEE Transactions on Image Processing，2007，16(9):2284－2298

[2]Wang Z，Bovik A C，Sheikh H R，et al.Image quality assessment:from error visibility to structural similarity[J].IEEE Transactions on Image Processing，2004，13(4):600－612

[3]Wang Z，Simoncelli E P，Bovik A C，Multi－scale structural similarity for image quality assessment[C]//Proceedings of the IEEE Asilomar Conference on Signals，Systems and Computers.2003，2:1398－1402

[4]Sheikh H R，Bovik A C，Veciana G M.An information fidelity criterion for image quality assessment using natural scene statistics[J].IEEE Transactions on Image Processing，2005，14(12):2117－2128

[5]Sheikh R，Bovik A C.Image information and visual quality[J].IEEE Transactions on Image Processing，2006，15(2):430－444

[6]Tong Yubing，Zhang Qishan，Chang Qing，et al.Image quality assessing model by using neural network and support vector machine[J].Journal of Beijing University of Aeronautics and Astronautics，2006，32(09):1031－1034

[7]Gastaldop，Zunino R，Heynderickx I，et al.Objective quality assessment of displayed images by using neural networks[J].Signal Processing:Image Communication，2005，20(7):643－661

[8]Li C，Bovik A C，Wu X J.Blind image quality assessment using general regression neural network[J].IEEE Transactions on Neural Networks，2011，22(5):793－799

[9]Narwaria M，Lin W.SVD－based quality metric for image and video using machine learning[J].IEEE Transaction on Systems，Man，and Cybernetics－Part B，2012，42(2):347－364

[10]Jahne B，Scharr H，Korkel S.Principles of filter design[M].Handbook of Computer Vision and Applications.Academic Press，1999

[11]Kovesi P.Image features from phase congruency[J].Journal of Computer Vision Research，1999，1(3):1－26

[12]Vapnik V N.The nature of statistical learning theory[M].New York:Springer－Verlag，1999

[13]Schaolkopf B，Smola A J，Williamson R C，et al.New support vectoralgorithms[J].NeuralComputation，2000，12(5):1207－1245

[14]Chandler D M，Hemami S S.A57 database[DB/OL].[2012－10－7].http://foulard.ece.cornell.edu/dmc27/vsnr/vsnr.html

[15]Ninassi A，Callet P L，Autrusseau F.Subjective quality assessment－IVCdatabase[DB/OL].[2012－10－7].http://www2.irccyn.ec－nantes.fr/ivcdb/

[16]Ponimarenkon，Lukin V，Zelensky A，et al.TID2008－a database for evaluation of full－reference visual quality assessment metrics[J].Advances of Modern Radioelectronics，2009，10:30－45

[17]Horita Y，Shibata K，Kawa Y Y，et al.MICT image quality evaluation database[DB/OL].[2012－10－7].http://mict.eng.u－toyama.ac.jp/mictdb.html

[18]Sheikh H R，Wang Z，Cormack L，et al.LIVE image quality assessment databas erelease 2[DB/OL].[2012－10－7].http://live.ece.utexas.edu/research/Quality/index.htm

[19]Larson E C，Chandler D M.Categorical image quality(CSIQ)database[DB/OL].[2012－10－7].http://vision.okstate.edu/csiq

[20]Engelke U，Kusuma M，Zepernick H J.Wireless imaging quality(WIQ)database[DB/OL].[2012－10－7].http://www.bth.se/tek/rcg.nsf/pages/wiq－db

[21]Zhang Yu，Wang Wenjian，Kang Xiangping.A regression SVM selection ensemble approach[J].Computer Science，2008，35(4):178－180