基于卡通纹理分解的复合降质图像质量评价*

张飞艳, 张长江

(浙江师范大学 数理与信息工程学院,浙江 金华 321004)

0 引 言

图像是人们获取信息的主要来源，随着智能手机、数字相机的普及，每时每刻都有大量的图像被获取，飞速发展的互联网技术使得这些图像的传输和分享快捷而方便.在图像的获取、传输、处理和显示过程中，一些不可避免的干扰因素往往会导致图像质量的下降，如噪声、模糊、压缩等导致了数据丢失，因此，对图像进行可靠的质量评价是准确认识和更好地利用图像的前提.近年来，图像质量评价(image quality assessment，IQA)已成为图像处理领域中的一个重要研究方向和研究热点.图像质量评价方法一般可分为主观评价法和客观评价法，主观评价由多名观察者对图像质量进行主观打分,常用的打分机制有平均主观得分法(mean opinion score,MOS)和平均主观得分差异法(differential mean opinion score,DMOS).尽管主观评价法是对图像质量的最准确描述，但其工作量大、耗时长,很难进行实际应用；客观评价法是指通过构建数学模型，由计算机计算得到与主观评价值较为一致的图像质量指标，客观评价法应用方便、高效，是人们进行图像质量评价的主要手段[1-3].

根据对参考图像的不同需求，客观图像质量评价方法可分为：全参考法(full-reference，FR)、部分参考法(reduced-reference，RR)和无参考法(no-reference，NR).全参考方法结构相似性(structure similarity，SSIM)的出现[4]，极大地促进了图像质量评价的研究进展，使得算法从传统的基于像素的峰值信噪比(peak signal noise ratio，PSNR)、均方误差(mean square error，MSE)等转变为基于结构的算法，涌现出大量的优秀算法，如SSIM算法的各种改进模型：基于信息权重的SSIM[5]、特征相似性模型(feature similarity，FSIM)[6]、各向异性结构的相似性模型DASM[7]等；考虑人眼视觉特性的模型：基于图像显著性区域的模型[8]、基于感兴趣区域的模型[9]等.在客观图像质量评价方法的应用过程中，参考图像的缺失是一个难以避免的问题，因此，仅需部分参考图像信息的部分参考法和不需要参考图像的无参考评价法，也称盲图像质量评价(blind IQA,BIQA)，逐渐成为研究热点.其中，极具代表性的算法有：基于图像结构模式降质的部分参考评价[10]、盲/无参考图像空域质量评价(blind/referenceless image spatial quality evaluator，BRISQUE)[11]、自然图像质量评价(natural image quality evaluator，NIQE)[12]、基于空间频谱和熵的质量评价(spatial-spectral entropy-based quality index,SSEQ)[13]等.

随着图像质量评价研究的不断发展，研究者致力于探讨更深入、更复杂的图像质量评价问题.德克萨斯大学奥斯丁分校的图像与视频工程实验室近年来先后发布了复合降质图像库LIVEMD、野外真实降质图像库ChallengeDB、高动态范围图像库HDRdatabase，不断挑战现有的图像质量评价算法，探索新的研究方向[14].文献[15]提出了包括复合降质图像的质量评价问题在内的七大挑战，也是图像质量评价发展过程中亟待解决的关键问题.

本文针对复合降质中的模糊噪声复合降质问题进行评价算法的探讨,主要基于以下两点：首先，模糊和噪声导致的质量下降是图像获取、传输和处理过程中最常见的，也是最难以避免的，且图像很容易同时受到二者的影响，因此探索二者的复合降质具有实际应用价值；其次，相对于模糊和JPEG,JPEG2000的复合降质，模糊和噪声对算法赖以建模的图像特征的影响某种程度上具有反向作用，其相互叠加和干扰机制也更为复杂.基于此，本文提出了一种通用模糊噪声复合降质图像评价模型，在对图像进行卡通纹理分解后，分别对模糊和噪声降质程度进行评价，有效地避免了二者的相互干扰；最后，通过汇集策略得到图像的最终质量测度.在LIVEMD图像库中的实验表明，本文算法具有较高的主客观一致性，能够对复合降质图像质量进行准确的评价.

1 基于卡通纹理分解的复合降质图像质量评价

本文建立的评价模型主要有4部分：1)卡通纹理分解；2)基于卡通分量的模糊评价；3)基于纹理分量的噪声强度评价；4)汇集策略的设计.图1为本文算法的流程图.首先，利用卡通纹理分解算法将图像的显著性边缘结构信息和纹理细节信息进行有效区分；其次，利用特征相似性算法对图像的卡通分量进行模糊评价，得到模糊评价因子；然后，利用纹理分量得到噪声强度因子；在对二者进行一致性修正后，结合人眼视觉特性，给出权重参数，最终得到模糊噪声复合降质图像的质量评价指标.

图1 基于卡通纹理分解的复合降质图像质量评价算法流程图

1.1 卡通纹理分解

1.1.1 卡通纹理分解的基本思想

卡通纹理分解是图像分解领域中一个十分有意义的概念，其主要思想是将图像的分段光滑部分和细节纹理部分区分开来，即将图像分解为卡通分量和纹理分量，以更好地对图像进行后续处理.这种图像分解方式已广泛应用于图像压缩、图像分析、图像的超分辨率重建和计算机视觉等领域.图2是利用文献[16]中算法对LIVEMD图像库中的“lakebuilding”图像进行卡通纹理分解的结果.

(a)原始图像 (b)卡通分量 (c)纹理分量图2 “lakebuilding”图像卡通纹理分解

1.1.2 模糊和噪声的分离

图像模糊的评价一般基于图像的显著性边缘，而对噪声的评价往往利用图像的平滑区域，或者说结构信息较少的区域.因此，本文将模糊和噪声复合降质图像进行卡通纹理分解，目的在于利用卡通纹理分解的特性，将图像的显著性边缘结构信息与包含噪声的细节纹理信息区分开来.图3是参考图像和经过模糊和噪声复合降质的“lakebuilding”图像的卡通纹理分解.

由图3(a)和图3(c)的对比可知，分解得到的卡通分量主要保留了图像的显著性结构信息，基本未受噪声的影响；由图3(b)和图3(d)的对比可知，噪声作为细节信息被分解到纹理分量中.

1.2 基于卡通分量的图像模糊评价

对HVS的不断研究表明，人眼对图像的认识主要通过低层次特征来获取，基于此,文献[6]提出了一种以相位一致性为主要特征、以梯度为辅助特征的特征相似性图像质量评价指标(feature simmilarity,FSIM).针对已知参考图像和降质图像，其步骤如下：

1)计算每个像素的相位一致性值，分别得到2幅图像的相位一致性矩阵PC1和PC2.

2)计算每个像素的梯度值，获取2幅图像的梯度矩阵G1和G2.

3)通过式(1)和式(2)计算参考图像和降质图像的相位相似性矩阵SPC和梯度相似性矩阵SG中每个元素的值,进而得到SPC和SG.

(a)参考图像卡通分量 (b)参考图像纹理分量

(c)复合降质图像卡通分量 (d)复合降质图像纹理分量图3 卡通纹理分解对模糊和噪声降质的分离效果

式(1)和式(2)中:T1,T2为正常数，用来增加SPC和SG的稳定性，其取值为T1=0.85,T2=160，分别由PCi(x),Gi(x)(i=1,2)值的动态范围和实验调试共同决定;SPC(x),PCi(x),Gi(x),SG(x)(i=1,2)分别为相应矩阵中同一行、同一列元素的值.

4)通过式(3)计算参考图像和降质图像的相似性矩阵SL中每一元素的值，从而得到SL.

SL(x)=SPC(x)·SG(x).

(3)

式(3)中：SL(x)，SPC(x)，SG(x)分别为相应矩阵中同一行、同一列元素的值.

5)考虑到人眼视觉特性，将表示图像信息相对重要性的相位一致性指标作为权重，最终建立图像的质量评价模型.

式(4)中:SL(x),PC1(x),PC2(x)的含义同上；PCmax(x)=max(PC1(x),PC2(x))；Ω为图像空间.

由算法原理和步骤可知，FSIM指标更注重图像的低层次信息，利用FSIM对复合降质图像的卡通分量进行模糊程度评价，可以在一定程度上忽略细节信息的影响，得到较为准确的模糊强度因子.

1.3 基于纹理分量的图像噪声评价

针对加性高斯白噪声的图像噪声评价算法不断涌现，其中的优秀算法已经能够准确地获取噪声方差，本文利用文献[17]中提出的一种基于图像弱纹理信息的噪声强度评价算法对复合降质图像的纹理分量进行噪声强度评价，算法原理及步骤如下：

1)对加性高斯白噪声，一般有如下表示：yi=zi+ni，其中，yi表示第i个含噪图像块区域，zi为第i个无噪图像块区域，ni表示噪声分量.

2)利用主成分分析，可以得到以下结论：

3)由于自然图像具有冗余性，其协方差矩阵往往是低秩矩阵，因此，λmin(Σz)可以看作0，则噪声强度(noise level，NL)可以由以下计算获得：

4)本文的纹理分量可看作一个弱纹理图像，其图像区域如图2(c)、图3(b)和图3(d)所示，包含大量的平坦区域，都属于低秩图像区域，利用此算法可以有效地获取纹理分量中的噪声强度.

1.4 汇集策略

卡通分量的模糊强度因子和纹理分量的噪声强度因子不具有线性相关性，为了构建复合降质图像的最终质量评价模型，首先需要对二者进行一致性修正.本文利用LIVE2图像库中的模糊和噪声图像的主观评价指标(DMOS)作为参考，依据文献[18]中的拟合公式，将模糊因子和噪声因子通过拟合分别映射到主观评价域,即

(7)

式(7)中:q=(q1,q2,…,q145)为145幅图像的客观评价指标向量；Q=(Q1,Q2,…,Q145)为映射到主观评价域后的向量；ei(i=1,2,3,4)为拟合参数.

实现步骤如下：

1)分别利用FSIM算法和NL算法对LIVE2图像库中的145幅模糊图像、145幅高斯噪声图像进行质量评价，得到客观评价向量qblur，qnoise.

2)结合LIVE2库中给出的DMOSblur和DMOSnoise主观评价向量，使用式(7)进行拟合，分别得到FSIM,NL指标的主客观拟合参数ei(i=1,2,3,4).

3)利用拟合参数，将模糊噪声复合降质图像卡通分量的FSIM指标和纹理分量的NL指标分别映射到主观评价域，得到拟合后指标值FSIMmap和NLmap，此时，二者具有线性一致性.

4)基于人眼在观察图像时更注重于低层次的信息的视觉特性，在线性加权模型中更侧重于模糊指标，建立了基于卡通纹理分解的复合降质图像质量评价模型(cartoon-texture decomposition based multi-distortion index，CTDMDI)：

CTDMDI=w1·FSIMmap+w2·NLmap.

(8)

式(8)中:w1=0.7,w2=0.3，分别为模糊评价指标和噪声评价指标的线性加权值.其取值的理论依据为:在对人眼视觉系统的研究中发现，人眼在感知图像时，其视觉焦点往往在图像的显著性边缘部分，因此，对图像的边缘模糊敏感度较高，而对图像平滑区域及平滑区域的噪声相对感知较弱，在实验与分析部分给出了利用实验选取最优权重的数据表，从另一个方面证实了人眼视觉显著性理论.

2 实验与分析

2.1 复合降质图像库LIVEMD

LIVE实验室于2013年发布了首个复合降质图像质量评价数据库，库中包含15幅标准参考图像，对每幅参考图像分别进行了2种复合降质操作：1)图像在受到模糊降质后，对其进行JPGE压缩，得到复合降质图像；2)图像在受到模糊降质后，再加入高斯白噪声，得到复合降质图像.每种降质类型有3个等级，共得到了225幅模糊JPEG压缩复合降质图像和225幅模糊噪声复合降质图像.库中给出了每幅降质图像的DMOS主观打分值，DMOS值越小，图像质量越好，反之，图像质量越差.在实验中，本文针对225幅模糊噪声降质图像进行了主客观一致性实验.

2.2 最优权重选取实验

实验从平均加权思路开始，分别向增大FSIM算法指标权重、减小NL算法指标权重和减小FSIM算法指标权重、增大NL算法指标权重2个方向进行测试，测试步长为0.10.实验结果如表1所示.为了保证实验的准确性，在可能出现转折点处将步长设为0.05.

表1 权重参数测试实验数据

注:加*部分为本文权重与对应的主客观一致性指标.

由表1可知，将权重设置为：w1=0.7,w2=0.3，既有理论依据，也符合实验测试结果.

2.3 算法评估参数

由于人眼是图像的最终接收者，所以客观的图像质量评价指标在多大程度上与人眼主观判断相一致是评价其有效性与否的一般方法.常用的5个主客观指标一致性评价参数包括：1)皮尔森线性相关系数(Pearson linear correlation coefficient，PLCC)；2)映射到主观评价指标域后的线性相关系数(PLCC after mapping，PLCC(mapping))；3)斯皮尔曼秩相关系数(Spearman rank-order correlation coefficient,SROCC)；4)均方误差(root mean square error,RMSE)；5)绝对平均误差(mean absolute error，MAE).其中，PLCC,RMSE和MAE用于评价算法的准确性，SROCC用于评价算法的单调性.一个优秀的客观图像质量评价算法应具有较高的主客观一致性，即PLCC,PLCC(mapping),SROCC的值接近1，而与主观评价的误差较小，即RMSE,MAE值较小.

2.4 实验与分析

为了更好地说明本文算法对复合降质图像评价的有效性与准确性，本节对其评价性能进行了主客观一致性检验，并与已有的多个优秀算法进行对比.由于部分算法是基于训练的，通常将图像库划分为80%的训练样本集和20%的测试样本集，而样本数量差异巨大的测试样本集难以得到可靠的对比结果.因此，本文共进行了两组对比实验：

对比实验1：测试集为LIVEMD图像库中的225幅模糊噪声复合降质图像，对比算法包括：PSNR， SSIM[4]，FSIM[6]，GMSD[19]，BRISQUE[11]，SSEQ[13]和NIQE[12].其中，PSNR，SSIM，FSIM，GMSD和本文算法CTDMDI均为FR评价算法，BRISQUE，SSEQ和NIQE为NR评价算法.如图4所示.

对比实验2：测试集为随机选取的45幅模糊噪声复合降质图像，即图像库的20%样本，对比算法包括：基于训练的IL-NIQE算法[20]，Pro.算法[21]和GWH-GLBP算法[22].如图5所示.

将所有算法应用于对应的测试集，得到对应的图像客观评价指标，利用图像库中给出的主观评价指标DMOS，使用Matlab拟合工具箱进行拟合，拟合结果如图4和图5所示，主客观一致性评估参数见表2.

图4 图像质量客观评价算法PSNR，SSIM，FSIM，GMSD，BRISQUE，NIQE及本文算法与主观评价DMOS值的拟合散点图(对比实验1)

图5 图像质量客观评价算法IL-NIQE,Pro.,GWH-GLBP及本文算法与主观评价DMOS值的拟合散点图

由图4和表2中的两组对比实验可知，FR评价算法整体上优于NR评价算法，在NR评价算法中，BRISQE，SSEQ算法在非复合降质图像质量评价上表现优异[11，13]，而对模糊噪声复合降质图像则基本不能进行可靠评价，其原因是算法建模采用的特征在模糊和噪声的影响下向2个相反的方向变化，当二者同时存在时，其相互叠加和干扰导致算法基本失去评价作用，文献[23]对此进行了详细的解释.以BRISQE为例，算法用于建模的特征是MSCN(mean subtracted contrast normalized),其计算公式为

表 2 本文算法和对比算法评价性能比较(每个指标中的最优已加*显示)

本文算法通过卡通纹理分解，有效地避免了模糊和噪声对图像特征的相互影响，对图像质量进行了较为准确的评价.从算法评估参数上看，相较于10个对比算法，其准确性和单调性都有较大的提高.对比算法中，NR评价指标Pro.和GWH-GLBP与本文算法具有一定的可比性，但其建模是基于训练的，算法复杂度较高，且针对不同的图像库，算法都需要重新进行训练，才能得到最优评价结果.与之相比，本文算法是基于特征的，不需要进行大量训练，就可以应用于所有的模糊噪声复合降质图像，在实际应用中更加方便.

3 结 语

针对模糊和噪声复合降质图像质量评价建模困难、视觉感知复杂这一问题，本文提出了一种基于卡通纹理分解的复合降质图像质量评价算法.算法利用卡通纹理分解将图像的显著性结构、边缘等大轮廓信息与图像的细节纹理信息区分开来，分别用于模糊程度和噪声强度的评价，同时，结合人眼视觉特性设计汇集策略，得到最佳的评价效果.在LIVEMD图像库上的实验结果表明，本文算法与主观评价结果有较高的一致性，评价的准确性与单调性优于对比算法.本文算法需要参考图像和失真图像，属于全参考质量评价.探索更优的、无参考的复合降质图像质量评价算法，将是下一步的研究目标.