结合结构信息和亮度统计的无参考图像质量评价

沈军民，李俊峰，戴文战

（1.浙江理工大学电子信息工程系，浙江杭州 310018；2.浙江理工大学自动化系，浙江杭州 310018；3.浙江工商大学电子信息工程系，浙江杭州310018）

结合结构信息和亮度统计的无参考图像质量评价

沈军民1，李俊峰2，戴文战3

（1.浙江理工大学电子信息工程系，浙江杭州 310018；2.浙江理工大学自动化系，浙江杭州 310018；3.浙江工商大学电子信息工程系，浙江杭州310018）

基于非下采样Contourlet变换（Nonsubsampled Contourlet Transform，NSCT）子带系数间的结构相关性，本文提出了一种通用的无参考图像质量评价方法.首先，利用互信息分析NSCT子带系数间的相关性，确定出相关性比较强的子带系数；其次，分别计算这些子带系数间的结构信息比较算子，以此作为描述图像结构相关性的统计特征；进而，结合空间域亮度均值减损对比归一化（Mean Subtracted Contrast Normalized，MSCN）系数及其邻域系数的统计特征，分别构造相应的无参考图像质量评价模型和图像失真类型识别模型；最后，在LIVE等图像质量评价数据库上进行了大量的实验仿真.仿真结果表明，评价模型的评价结果与人类主观评价具有非常高的相关性，与当今主流评价算法相比非常具有竞争性.

无参考图像质量评价；非下采样Contourlet变换；结构相似度；亮度统计

1 引言

图像和视频质量评价结果可以用来比较和优化编解码器性能、优化设置图像处理算法的参数及动态调整图像编码参数和信道参数等，无参考图像质量评价由于不需要参考图像的任何信息而获得了国内外学者的广泛关注.

自然图像是在自然环境中利用高质量的摄像设备在可见光下得到的图像［1］，具有边界、纹理、平坦等不同的视觉感知区域，符合一定的分布规律，自然场景统计（Natural Scene Statistics，NSS）分布可以描述自然场景不随内容变化的统计性质.不同类型失真引入自然图像会影响其分布规律，使失真图像的分布产生一定的偏差，故自然图像的质量评价大都采用自然场景统计的方法.目前，基于NSS的无参考图像质量评价方法主要分为两种类型：（1）特定失真类型评价方法，如jp2k［1，2］、jpeg［3～5］及模糊［6～8］等失真类型的评价方法，该类方法只能评价相应失真类型图像，对其它失真类型无法进行评估；（2）通用评价方法，通用评价方法可以同时对多种失真类型图像进行评价.

根据提取的自然场景统计特征，通用无参考图像质量评价方法可分为空间域和变换域两种：（1）空间域评价方法：A Mittal［9］等分别提取图像 MSCN系数的广义高斯分布（Generalized Gaussian Distribution，GGD）模型参数及其水平、竖直、主对角、二次对角四方向领域系数的非对称广义高斯分布（Asymmetric Generalized Gaussian Distribution，AGGD）模型参数作为特征进行质量评价；董宏平［10］等利用互信息对邻近像素间相关性进行描述，并结合多方向和多尺度分析设计提取出一系列互信息特征来对自然图像进行质量评价；L X Liu［11］等提取图像的局部空间熵和谱熵作为特征，构建了两阶图像质量评价模型；Y Zhang［12］等对单个像素值进行逐点统计，对像素对的关系进行成对对数导数统计，并提取这些统计的GGD模型参数作为特征进行质量评价；（2）变换域评价方法：M A Saad［13］等根据定义的平均能量和局部方向能量分别将图像离散余弦变换（Discrete Cosine Transform，DCT）系数划分为3个频率带和3个方向带，进而提取这些频率带和方向带的GGD模型参数作为质量评价特征；A K Moorthy［14］提取了可操纵金字塔（Steerable Pyramid）小波系数的尺度与方向选择性统计、跨尺度和方向关联性统计、空间相关性统计等88个特征，并给出了两阶图像质量评价模型的框架；Y Zhang［15］等提取复数可操纵金字塔小波系数幅值和相对幅值的 GGD模型参数、小波系数相对相位的柯西（Wrapped Cauchy）分布参数及跨尺度相关性统计作为特征进行质量评价；L X Liu［16］等利用curvelet子带系数的AGGD模型参数、子带方向及子带尺度能量分布作为特征进行图像质量评价；贾惠珍［17］等利用学习感知特征和空域自然统计特征相结合的方法来构建图像质量评价模型；Y M Li［18］等利用Shearlet子带系数的振幅均值评价图像质量.

自然图像NSCT分解后的高频方向子带系数依然保持原图像结构信息，而且不会损失图像的结构信息；此外，这些高频方向子带系数间存在相关性，特别是亲戚系数及父子系数间相关性更强.基于此，本文综合考虑NSCT子带系数的相关性及其保持的结构信息，提出了一种无参考图像质量评价方法.该方法利用NSCT子带亲戚系数及父子系数间的结构信息比较算子描述图像结构信息的相关性；进而结合空间域MSCN系数及其邻域系数的统计特征，分别利用支持向量回归机（Support Vector Regression，SVR）和支持向量分类机（Support Vector Classifier，SVC）构建相应的无参考图像质量评价模型及图像失真类型识别模型.在LIVE［19］图像质量评价数据库上的大量实验结果表明，该方法在图像质量评价及失真类型识别方面均取得了非常理想的结果，与目前主流无参考图像质量评价方法相比非常具有竞争性.

2 亮度统计特征分析

D L Ruderman［20］认为图像归一化亮度可以去除零对数对比度的局部平均偏移和标准化对数对比度的局部方差，而且具有单位标准高斯分布特性，可以模拟人类视觉的对比度增益掩盖过程.A Mittal［9］把亮度均值减损对比归一化系数称为MSCN系数，并在此基础上提取亮度统计特征来预测图像的感知质量.其特征提取过程如下：

（1）提取图像MSCN系数及其邻域系数

式中，

C为常数，主要为了避免图像平坦区分母趋向于零时发生不稳定，一般取为1；ω=｛ωk，l|k=-K，…，K；l=-L，…，L｝为二维圆对称的高斯加权函数.

在MSCN系数基础上，A Mittal还构造了水平、竖直、主对角、次对角等4方向MSCN邻域系数.具体计算如下：

（2）提取MSCN系数及其邻域系数的统计特征

用GGD模型拟合MSCN系数^I（i，j）的归一化直方图，并估计该GGD模型的参数（α，σ2）作为其统计特征；分别用AGGD模型拟合四方向邻域MSCN系数H、V、D1及D2的归一化直方图，估计相应AGGD模型的参数作为其统计特征.

A Mittal提取了两个尺度上的36个统计特征，该统计特征不仅考虑了图像亮度的整体分布特性，还考虑了其方向邻域的分布特性，在图像质量评估中取得了比较理想的效果.但在对A Mittal提出的亮度统计特征研究过程中，我们发现：（1）不同自然无失真图像的MSCN系数分布可能具有明显差异，如LIVE数据库中的图像“buildings”与“plane”等，其MSCN系数拟合的GGD模型参数如表1所示；（2）不同失真类型图像或不同失真程度图像的MSCN系数可能具有相近或相同的分布，如LIVE库中的自然无失真图像“cemetry”与差异平均主观评分（Difference Mean Opinion Score，DMOS）为26.8204的“dancers”jpeg失真类型图像等，其MSCN系数拟合的GGD模型参数、相应的失真类型和DMOS如表2所示，DMOS数值越大的图像失真程度越严重.而且，TID2008［21］、CSIQ［22］等图像质量评价数据库中也存在类似情况的图像.针对这些图像，利用亮度统计特征无法正确评估相应图像质量，也无法正确识别图像失真类型.

表1　MSCN系数分布具有明显差异的自然无失真图像

表2　MSCN系数分布相近的不同失真类型或程度图像

自然图像具有很强的结构性，像素之间存在很强的相关性.根据人类视觉掩蔽特性，人眼最为敏感的是图像的轮廓——结构信息，而边缘和纹理是图像结构信息最重要的部分.Z Wang［23］等也认为人类视觉系统的主要功能是提取图像和视频中的结构信息，并结合图像的亮度、结构度和对比度等3个方面的结构信息构建了适用于全参考图像质量评价的结构相似度（Structure Similarity，SSIM）.而且，具有相近或相同分布的不同失真类型图像或不同失真程度图像的结构可能是不同的，可以弥补亮度统计特征的缺陷.受此驱动，本文提出一种结合结构信息和亮度统计的无参考图像质量评价方法.

3 NSCT子带系数间的相关性

3.1NSCT变换

为了克服轮廓波（Contourlet）变换的“混叠”现象并增强其平移不变性和方向选择性，A L Cunha等［24］于2006年提出了NSCT与Contourlet变换不同，NSCT由采用非下采样金字塔滤波器（Nonsubsampled Pyramid Filter Banks，NSPFB）和非下采样方向滤波器组（Nonsubsampled Directional Filter Banks，NSDFB）构成.NSPFB是能实现完全重构的双通道滤波器，采用atrous算法设计，具有平移不变性，其处理后恢复的图像不会出现伪Gibbs现象；NSDFB为二通道的扇形滤波器组，采用迭代方向滤波器组，并对下一级的滤波器采用梅花矩阵进行上采样.由于将下采样变为对相应的滤波器进行上采样，然后再对信号分别进行分析滤波和综合滤波，NSCT不仅具有多尺度、多方向及平移不变性等特点外，还具有保持各子带图像之间尺寸大小相同的优点.而且，经过NSCT变换后的图像系数同时具有稀疏表现性和方向敏感性.

由于NSCT可以充分捕获图像中的具有奇异性的方向信息，而这些具有奇异性的区域往往正是观察者所感兴趣的区域，故将它应用在图像质量评价中，所得评价结果将更符合人眼的视觉特性.

3.2方向子带系数间的相关性

各NSCT方向子带系数不仅具有独立的分布，系数间也存在统计相关性.为了分析不同方向子带系数间的相关性关系，我们根据文献［25］定义各方向子带间的关系——邻域系数、亲戚系数和父子系数，并利用互信息来定量分析这些方向子带系数间的相关性强弱. 表3为LIVE、TID2008、CSIQ等图像质量评价数据库及文献［26］提供的184幅自然无失真图像NSCT各方向子带系数间的平均互信息（互信息通过对NSCT子带系数直接进行计算获得），其中分解尺度为2，且每个尺度均分解成8个细节方向的信息.

表3　NSCT方向子带不同系数间的平均互信息

由表3可知，尺度间和方向间的NSCT的子带系数存在相关性，也就是说子带系数与其亲戚系数、父子系数间具有较强的依赖性；而且由于尺度、位置、方向偏离等原因，父子系数及亲戚系数间的相关性依次减弱.

4 本文无参考图像质量评价方法

4.1失真对子带系数间相关性的影响

为了分析不同失真类型及不同失真程度对图像NSCT各方向子带系数间相关性的影响，文中分别计算了LIVE及CSIQ图像质量评价数据库中所有失真类型图像NSCT方向子带系数间的平均互信息，并通过对同种失真类型图像NSCT亲戚系数、父子系数和其它系数间分别平均获得其相应平均互信息，CSIQ库中各失真类型图像的计算结果如表4所示.

表4　CSIQ库中各种失真类型图像NSCT子带系数间的平均互信息

结合表3和表4可知，针对不同失真类型图像，其NSCT方向子带系数间的平均互信息不仅与无失真自然图像不同，而且各种失真类型之间也存在差异，特别是awgn和fnoise失真类型图像NSCT亲戚系数、父子系数及其它系数间的互信息均大大减小.这表明图像发生失真会改变其NSCT方向子带系数间的相关性，而且不同失真类型对亲戚系数、父子系数和其它系数间相关性的改变方式和程度具有明显差异.因此，可以利用NSCT方向子带系数间的相关性进行图像质量评价.

4.2子带系数间的结构信息统计特征

图像经过NSCT分解后可以得到与原图像大小相同的不同频率的方向子带，这些子带依然保持原图像的基本轮廓，而轮廓是图像最重要的结构信息，NSCT分解不会损失图像的结构信息.根据人眼的视觉特性可知，其最敏感的图像轮廓主要位于中频带，可以利用NSCT分解的不同频率信息提取更符合人眼视觉特性的结构特征.NSCT方向子带系数间存在相关性，故它们所保持的图像结构信息也应该具有一定的相似性；而且，亲戚系数间及父子系数间的相关性均相对比较强，这些系数间所保持的图像结构信息也应具有更强的相似性.基于此，我们认为图像发生失真会改变其NSCT方向子带系数间的结构信息相似性，特别是相关性比较强的亲戚系数和父子系数间结构信息相似性.本文分别提取失真图像NSCT亲戚系数间及父子系数间的结构相似性测度作为图像质量评价的结构信息统计特征，结构相似性测度采用文献［23］提出的SSIM中的结构信息比较算子.亲戚系数间和父子系数间的结构信息统计特征提取过程如下：

（1）失真图像NSCT分解

对大小为M×N的失真图像I进行NSCT分解，可以得到不同尺度、方向的子带系数｛Ci0，Ci，j（i＞i0）｝.其中Ci0为低频子带系数，Ci，j为尺度i上第j个方向子带系数，且Ci0和Ci，j的大小也为M×N.

（2）亲戚系数间的结构信息统计特征

根据定义，相同尺度但不同方向的子带系数为亲戚系数.在所有亲戚系数中，相邻方向的亲戚系数间具有相对更强的相关性，如果考虑所有亲戚系数间的结构信息，会得到大量冗余的统计特征.为了降低评价模型的复杂度和提高运行效率，本文只考虑相邻方向亲戚系数间的结构信息统计特征.方向子带系数Ci，j和其相邻方向亲戚子带系数Ci，j+k（k∈｛-1，1｝）间的结构信息统计特征为：

式中，σCi，jCi，j+k为 Ci，j和 Ci，j+k的协方差分别为Ci，j和Ci，j+k的方差；C1=（K1L）2/2为了避免分母趋向于0时不稳定而设的常数，K1=1，L是图像像素的动态范围.

（3）父子系数间的结构信息统计特征

根据定义，不同尺度但相同方向的子带系数为父子系数，则方向子带系数Ci，j与其父系数Cl，j（l=i-1）间的结构信息统计特征为：

式中，σCi，jCl，j为Ci，j和Cl，j的 协方 差分别为 Ci，j和 Cl，j的方差；C=（K2L）2/2为避免分母趋向于0时不稳定而设的常数，K2=1，L是图像像素的动态范围.

本文对所有图像均进行2个尺度且每个尺度8个方向的NSCT分解，提取的亲戚系数、父子系数间的结构信息统计特征数量分别为16和8，共计24个.图1为LIVE图像质量评价数据库中图像“monarch”在不同失真类型及不同失真程度下的结构信息统计特征.

由图1可知，jp2k、gblur及ff失真类型中图像失真越严重，相应图像NSCT子带亲戚系数及父子系数间结构信息统计特征也就越大；wn失真类型则正好相反，而jpeg失真类型没有类似的规律.此外，同种失真类型但不同失真程度的结构信息统计特征区分非常明显.可见，本文提出的NSCT子带亲戚系数及父子系数间结构信息统计特征不仅可以有效地区分图像的不同失真类型，还可以明显区分图像的不同失真程度，可以用于识别图像失真类型和评价图像客观质量.

4.3结构信息和亮度统计特征

MSCN系数统计特征主要反映图像亮度对比度及

表5　特征提取描述

方向邻域的统计特性，针对具有相似甚至相同MSCN系数分布的不同失真类型及不同失真程度图像，其无法用于评估图像质量和识别图像失真类型.NSCT子带系数结构信息统计特征主要反映子带系数间的高度结构相关性，可以作为MSCN系数统计特征有益的补充，使其更加全面的反映不同失真对图像的影响.如前所述，本文共提取了60个统计特征，特征描述如表5所示.

4.4无参考图像质量评价模型

支持向量机（Support Vector Machine，SVM）是由Vapnik等提出的一种基于统计学习理论的机器学习方法，是建立在VC维理论和结构风险最小原理基础上，根据有限的样本信息在模型的复杂性和学习能力之间寻求最佳折衷.SVM用结构风险最小化代替经验风险最小化，较好地解决了小样本的学习问题；将低维原始空间映射到高维特征空间，将原始空间的非线性问题转化成为特征空间中的高维线性问题；引入核函数方法，巧妙避开了高维空间中的复杂运算，其算法复杂度与样本维数无关.

鉴于SVM在预测和分类方面的良好性能，本文采用SVM构建图像质量评价模型和图像失真类型识别模型，主要借助台湾大学林智仁博士等开发设计的LIBSVM-3.18工具包.LIBSVM-3.18是一个操作简单、易于使用、快速有效的通用SVM软件包，可以在不同平台、多种语言环境下运行，可以解决分类问题、回归问题以及分布估计等问题，提供了线性、多项式、径向基和S形函数四种常用的核函数，详见文献［27］.本文图像质量评价模型和失真类型识别模型分别采用epsilon-SVR回归支持向量机和C-SVC多类分类方法，核函数均采用径向基函数.

5 仿真结果及性能分析

为了检验本文基于结构信息和亮度统计的无参考图像质量评价模型（简记为SILSIQA）的性能，选取LIVE及CSIQ图像质量评价数据库进行测试.测试内容主要包括以下几个方面：（1）图像质量评价模型的预测质量分与主观评价分DMOS间的相关性；（2）图像失真类型分类准确率；（3）图像质量评价模型和图像失真类型识别模型的鲁棒性；（4）计算复杂性分析.

5.1算法与DMOS的相关性

为了与目前主流的基于自然场景统计的无参考图像质量评价方法BRISQUE［9］、MIQA［10］、SSEQ［11］、BLIINDS-Ⅱ［13］、DIIVINE［14］、C-DIIVINE［15］、CurveletQA［16］及 SHANIA［18］等进行公平的比较及避免人为提高算法的性能，本文采用与这些文献相同的测试方法.该测试方法主要步骤如下：

（1）把LIVE数据库随机分成训练图像集和测试图像集，分别占80%和20%，并且这两个图像集中没有任何重复的图像；

（2）利用训练图像集中各图像提取的特征及其相应的DMOS对评价模型进行训练，并用测试图像集中各图像提出的特征来获得其质量预测分；

（3）计算测试图像集中所有图像的质量预测分与其相应DMOS之间的斯皮尔曼等级相关系数（The Spearman’s Rank Ordered Correlation Coefficient，SROCC）及皮尔逊线性相关系数（Pearson’s Linear Correlation Coefficient，PLCC）；

（4）重复（1）、（2）及（3）1000次，选取1000次测试结果SROCC及PLCC的中值作为该算法最终评价结果.

表6和表7为各无参考评价评价方法1000次迭代测试中SROCC及PLCC的中值.SROCC和PLCC均为常用的衡量两个变量相关性的指标，SROCC和PLCC的值越接近于1，表明该算法的质量预测分与相应DMOS相关性越好，图像质量评价的结果也就越准确.

表61000　次迭代测试中各评价方法SROCC的中值

表71000　次迭代测试中各评价方法PLCC的中值

由表6和表7可以看出，本文提出的图像质量评价方法的评价结果与人类主观评价 DMOS具有很高的相关性.从整体评价结果看，本文评价方法高于BRISQUE［9］、MIQA［10］、SSEQ［11］、BLIINDS-Ⅱ［13］、DIIVINE［14］、CurveletQA［16］及SHANIA［18］等绝大多数的无参考评价方法，即使与目前表现最为优良的C-DIIVINE［15］相比，也具有很强的竞争性；从各失真类型评价结果看，相对于其它无参考评价方法，本文评价方法在 jp2k、wn及 ff失真类型评价中优势比较明显.

5.2分类准确率

如4.2部分所述，针对不同失真类型及不同失真程度图像，NSCT子带亲戚系数及父子系数间的结构信息统计特征具有很好的区分能力，故我们认为这些特征应该也可以用来识别图像的失真类型.为了检验这些统计特征识别图像失真类型的效果及与其它的识别方法进行公平的比较，本文采用类似于图像质量评价的测试方法.表8为各算法在LIVE数据库上的测试结果，图2为1000次测试的混淆矩阵，混淆矩阵中每个数值表示行对应失真类型被判为列对应失真类型的概率，同一行的所有数值之和为1.

表8　LIVE图像库1000次迭代测试中分类准确率中值（%）

由表8和图2可知，本文所提取NSCT子带系数结构信息统计特征与MSCN系数统计特征具有很好的识别图像失真类型的效果，不论是整体识别准确率还是各失真类型识别准确率基本上都是最高的.在各失真类型中，识别效果最好的是 wn和gblur，而jp2k、jpeg及ff识别率相对比较低.主要原因：（1）高斯噪声wn会弱化NSCT方向子带系数间的相关性，产生大量的伪边缘，使NSCT子带系数结构信息统计特征大大减小；（2）高斯模糊gblur会减小图像的高频信息，弱化图像的边缘和纹理，使NSCT子带系数结构信息统计特征大大增加；（3）jpeg会出现马赛克失真，产生模糊效应，而ff失真是由图像先经过jp2k压缩后再经过网络传输丢包造成的，ff和jp2k也存在模糊效应，故识别过程中它们之间会出现误判.

5.3模型的鲁棒性

由于本文的无参考图像质量评价模型和图像失真类型识别模型均需要进行训练，那么不同比例的训练和测试图像集会影响相应模型的评价和识别效果.为了分析其对本文评价模型和失真类型识别模型的影响程度，我们把LIVE库中的图像分别按照70%和30%、60%和40%及50%和50%的比例随机分为训练集和测试集，分别采用与5.1和5.2部分类似的方法进行了3组实验.图像质量评价模型的实验结果如表9和表10所示，图像失真类型识别模型的实验结果如表11所示.

表9　不同训练和测试比例情况下的1000次迭代测试的SROCC中值

表10　不同训练和测试比例情况下的1000次迭代测试的PLCC中值

由表6、表7、表9和表10可知，随着训练数据的减少，本文评价模型在整体和各失真类型上的评价结果与人类主观评价DMOS间的SROCC及PLCC出现降低，但降低的程度并不明显.在LIVE图像库中只有50%图像用于训练的情况下，整体评价结果的SROCC 及PLCC依然高达0.937以上，模型评估结果与主观评价间保持很高的一致性.

表11　不同训练和测试比例情况下的1000次迭代测试的分类准确率中值（%）

由表8和表11可知，随着训练数据的减少，本文失真类型识别模型在整体和各失真类型上的识别准确率出现略微降低，但仍然保持比较高的识别准确率.即使在LIVE图像库中只有50%图像用于训练的情况下，本文识别模型的识别准确率仍然达到89.41%，高于80%图像用于训练的BRISQUE［9］、MIQA［10］、SSEQ［11］、DIIVINE［14］、CDIIVINE［15］及CurveletQA［16］等目前主要的算法.

综上可知，本文的无参考图像质量评价模型和图像失真类型识别模型具有比较好的鲁棒性.

5.4计算复杂性分析

在无参考图像质量评价中，一般特征提取所需要花费的时间远大于分类和回归所需时间.故在比较不同评价方法的计算复杂性时，本文只考虑特征提取过程.SILSIQA方法提取特征分为三个步骤：（1）对图像进行NSCT分解；（2）提取NSCT子带亲戚系数与父子系数间的结构信息统计特征；（3）提取MSCN系数的统计特征.在计算复杂性实验中，采用CSIQ数据库中分辨率为512×512的所有失真图像，分别计算每个图像在提取特征的三个步骤所消耗的时间，并分别进行平均作为各个步骤实际所花费的时间，进而计算三个步骤所消耗的时间的百分数如表12所示.

表12　SILSIQA特征提取各个阶段消耗时间所占的百分数

此外，为了比较SILSIQA与其它无参考图像质量评价方法的时间复杂性，我们计算各方法在提取CSIQ数据库所有图像相应特征所消耗的时间，并分别用其平均值作为该方法在提取特征过程中实际花费的时间.所有运算均在联想台式机（dual-core CPU，3.19GHz and 4GB RAM，Windows 7 Pro 32-bit）运行没有优化的matlab程序，计算结果如表13所示.

表135　种无参考图像质量评价算法运行时间比较

由表13可知，SILSIQA方法的计算复杂性明显优于BLIINDS-Ⅱ［13］和DIIVINE［14］，但劣于BRISQUE［9］和CurveletQA［16］.主要原因如下：（1）BRISQUE虽然提取36个空间域统计特征，但提取过程仅进行简单的广义高斯函数拟合，运行效率最高；（2）CurveletQA虽然只有12个特征，但需要进行Curvelet分解和计算方向能量及scalar能量分布等，这些特征的计算需要一定的运行时间；（3）BLIINDS-Ⅱ需要分别提取DCT系数3个频率带和3个方向带的能量等统计特征，而且特征计算过程比较复杂，需要相当长的运行时间；（4）DIIVINE提取的特征数高达88个，而且特征提取过程中包含需要相当长的运行时间的可操纵金字塔分解和结构相似度计算，运行效率最低；（5）SILSIQA提取了60个统计特征，进行NSCT分解和计算NSCT亲戚系数、父子系数间的结构信息统计特征需要比较长的运行时间.

6 结论

研究表明，人类视觉系统的感知特性与自然场景的统计特性是一致对应的，本文结合NSCT域和空间域自然场景统计提出了一种通用的无参考图像质量评价方法.在NSCT域，利用NSCT方向子带亲戚系数和父子系数间的结构相似度描述图像的结构相关性，这些系数间的结构相似度不仅对不同图像失真类型具有很好的区分度，对相同失真类型但不同失真程度的图像仍然具有优良的分辨能力；在空间域，分别提取MSCN系数的GGD模型参数和MSCN邻域系数的AGGD模型参数，这些参数虽然对相同失真类型但不同失真程度的图像区分能力相对较低，但与这些图像的主观质量评价DMOS间相关程度比较高.NSCT域和空间域的统计特征可以互相补充，比较全面的反映各种失真对图像结构等信息的影响，相应的无参考图像质量评价方法在评价效果、分类精度、计算复杂性等方面均取得了比较理想的结果.

［1］H R Sheikh，A C Bovik，L K Cormack.No-reference quality assessment using natural scene statistics：jpeg2000［J］. IEEE Transactions on Image Processing，2005，14（11）：1918-1927.

［2］J Zhang，S H Ong，T M Le.Kurtosis-based no-reference quality assessment of JPEG2000 images［J］.Signal Processing：Image Communication，2011，26（1）：13-23.

［3］B Tomás，Q M Paula.No-reference image quality assessment based on DCT domain statistics［J］.Signal Processing，2008，88（4）：822-833.

［4］S A Golestaneh，D M Chandler.No-reference quality assessment of JPEG images via a quality relevance map［J］. IEEE Signal Processing Letters，2014，21（2）：155-158.

［5］S Corchs，F Gasparini，R Schettini.No reference image quality classification for JPEG-distorted images［J］.Digital Signal Processing：A Review Journal，2014，30：86-100.

［6］A Serir，F Kerouh，A Beghdadi.No-reference blur image quality measure based on multiplicative multiresolution decomposition［J］.Journal of Visual Communication and Image Representation，2013，24（7）：911-925.

［7］A Ciancio，C A Da，et al.No-reference blur assessment of digital pictures based on multifeature classifiers［J］.IEEE Transactions on Image Processing，2011，20（1）：64-75.

［8］R Ferzli，L J Karam.A no-reference objective image sharpness metric based on the notion of Just Noticeable Blur （JNB）［J］.IEEE Transactions on Image Processing，2009，18（4）：717-728.

［9］A Mittal，A K Moorthy，A C Bovik.No-reference image quality assessment in the spatial domain［J］.IEEE Transactions on Image Processing，2012，21（12）：4695-4708.

［10］董宏平，刘利雄.互信息域中的无参考图像质量评价［J］.中国图象图形学报，2014，19（3）：484-492. Dong Hong-ping，Liu Li-xiong.No-reference image quality assessment in mutual information domain［J］.Journal of Image and Graphics，2014，19（3）：484-492.（in Chinese）

［11］L X Liu，B Liu，H C Huang.No-reference image quality assessment based on spatial and spectral entropies［J］. Signal Processing：Image Communication，2014，29（8）：856-863.

［12］Y Zhang，D M Chandler.No-reference image quality assessment based on log-derivative statistics of natural scenes［J］.Journal of Electronic Imaging，2013，22 （4）：043025.

［13］M A Saad，A C Bovik，C Charrier.Blind image quality assessment：A natural scene statistics approach in the DCT domain［J］.IEEE Transactions on Image Processing，2012，21（8）：3339-3352.

［14］A K Moorthy，A C Bovik.Blind image quality assessment：From natural scene statistics to perceptual quality ［J］.IEEE Transactions on Image Processing，2011，20 （12）：3350-3364.

［15］Y Zhang，A K Moorthy，et al.C-DIIVINE：No-reference image quality assessment based on local magnitude and phase statistics of natural scenes［J］.Signal Processing：Image Communication，2014，29（7）：725-747.

［16］L X Liu，H P Dong，H Huang.No-reference image quality assessment in curvelet domain［J］.Signal Processing：Image Communication，2014，29（4）：494-505.

［17］贾惠珍，孙权森，王同罕.结合感知特征和自然场景统计的无参考图像质量评价［J］.中国图象图形学报，2014，19（6）：859-867. Jia Hui-zhen，Sun Quan-sen，Wang Tong-han.Blind image quality assessment based on perceptual features and natural scene statistics［J］.Journal of Image and Graphics，2014，19（6）：859-867.（in Chinese）

［18］Y M Li，L M Po，X Y Xu，et al.No-reference image quality assessment using statistical characterization in the shearlet domain［J］.Signal Processing：Image Communication，2014，29（7）：748-759.

［19］H R Sheikh，Z Wang，et al.LIVE image quality assessment database release 2［OL］.http：//live.ece.utexas. edu/research/quality，2004-08-11.

［20］D L Ruderman.The statistics of natural images［J］.Network Computation in Veural Systems，1994，5（4）：517 -548.

［21］N Ponomarenko，V Lukin，et al.TID2008-a database for evaluation of full-reference visual quality assessment metrics［J］.Advances of Modern Radio Electronics，2009，10：30-45.

［22］E C Larson，D M Chandler.Categorical subjective imagequality CSIQ database［OL］.http：//vision.okstate.edu/ csiq，2004-08-11.

［23］Z Wang，A C Bovik，et al.Image quality assessment：from error visibility to structural similarity［J］.IEEE Transactions on Image Processing，2004，13（4）：600-612.

［24］A L Cunha，J P Zhou，M N Do.The nonsubsampled contourlet transform：theory，design，and applications［J］.IEEE Transactions on Image Processing，2006，15（10）：3089 -3101.

［25］王相海，倪培根，苏欣，等.非下采样Contourlet HMT模型［J］.中国科学：信息科学，2013，43（11）：1431-1444. Wang Xiang-hai，Ni Pei-gen，Su Xin，et al.The nonsubsampled Contourlet HMT model［J］.CIENTIA SINICA Informationis，2013，43（11）：1431-1444.（in Chinese）

［26］A Mittal，R Soundararajan，A C Bovik.Making a‘completely’blind image quality analyzer［J］.IEEE Signal Processing Letters，2013，22（3）：209-212.

［27］C C Chang，C J Lin.LIBSVM：a library for support vector machines［J］.ACM Transactions on Intelligent Systems and Technology，2011，27（2）：1-27.

沈军民 男，1976年6月出生，浙江金华人.2003年和2011年分别在中国计量科学研究院和东华大学获工学硕士和工学博士学位.现为浙江理工大学讲师，主要从事图像质量评价、机器视觉及产品检测等方面的研究工作.

E-mail：sjumi1976@163.com

戴文战 男，1958年8月出生，浙江台州人.1982年、1988年分别在浙江大学、华东理工大学获工学学士、工学硕士学位.现为浙江工商大学教授、博士生导师，主要从事视频图像处理、图像融合与系统工程.

E-mail：dwz@zjgsu.edu.cn

李俊峰（通信作者） 男，1978年8月出生，河南南阳人.2002年、2005年和2010年分别在郑州大学、浙江理工大学和东华大学获工学学士、工学硕士和工学博士学位.现为浙江理工大学副教授、硕士生导师，主要从事视频图像处理与质量评价、图像融合与目标识别等方面的研究工作.

E-mail：ljf2003@zstu.edu.cn

No-Reference Image Quality Assessment Based on Structure Information and Luminance Statistics

SHEN Jun-min1，LI Jun-feng2，DAI Wen-zhan3

（1.Department of Electronic Information Engineering，Zhejiang Sci-Tech University，Hangzhou，Zhejiang 310018，China；2.Department of Automation，Zhejiang Sci-Tech University，Hangzhou，Zhejiang 310018，China；3.Department of Electronic Information Engineering，Zhejiang Gongshang University，Hangzhou，Zhejiang 310018，China）

Based on the correlation between subband coefficients of nonsubsampled contourlet transform（NSCT），a general-purpose no-reference image quality assessment（NR-IQA）method is proposed.Firstly，the correlation between NSCT subband coefficients was analyzed using mutual information and the subband coefficients with strong correlation were determined.Secondly，the structure comparison operator of those subband coefficients were calculated respectively and used to describe the statistics characteristic of image structure information.Moreover，a no-reference image quality assessment model and an image distortion type recognition model were constructed by combining the statistical features of the mean subtracted contrast normalized（MSCN）coefficients and the structural similarity of NSCT coefficients.Finally，a large number of simulation experiments were carried out in the LIVE image quality evaluation database.The simulation results show that this method is suitable for many common image distortion types and correlates well with the human judgments of image quality，and the assessment model is competitive with the nowadays’mainstream evaluation method.

no-reference image quality assessment；nonsubsampled contourlet transform；structural similarity；luminance statistics

TN919.81

A

0372-2112（2016）04-0804-09

电子学报URL：http：//www.ejournal.org.cn 10.3969/j.issn.0372-2112.2016.04.008

2014-08-08；

2015-07-22；责任编辑：李勇锋

国家自然科学基金（No.61374022）；浙江省公益性技术应用研究计划（No.2014C33109）