基于兴趣区域的无参考图像质量评价方法

文继李，丁立新，万润泽，邹桢苹

WEN Jili1,DING Lixin1,WAN Runze1,ZOU Zhenping2

1.武汉大学 计算机学院，武汉 430072

2.武汉大学 经济与管理学院，武汉 430072

1.School of Computer Science,Wuhan University,Wuhan 430072,China

2.School of Economics and Management,Wuhan University,Wuhan 430072,China

1 引言

图像质量评价是当前图像处理领域的一个重要研究方向，分为主观评价和客观评价两大类。客观评价方法相比较于主观评价方法具有简单、实时、可重复、易集成等优势，因此发展十分迅速，成为图像质量评价体系中的热门研究方向[1]。在图像采集、压缩和传输期间，由于种种原因可能会导致加性噪声、模糊和压缩等一些常见的失真。客观图像质量评价算法可以分为以下三类[2]：（1）全参考图像质量评价（Full Reference Image Quality Assessment，FR-IQA）；（2）部分参考图像质量评价（Reduced Reference Image Quality Assessment，RR-IQA）；（3）无参考图像质量评价（Non-Reference Image Quality Assessment，NR-IQA）。全参考图像质量评价算法通过利用原始图像的全部信息来计算原始图像与失真图像之间的感知误差，并综合这些误差获得对失真图像质量的评价[3]。峰值信噪比（Peak Signal to Noise Ratio，PSNR）、结构相似性测度[4]（Structural Similarity Index Measure，SSIM）、特征相似性测度[5]（Feature Similarity Index Measure，FSIM）是全参考图像质量评价中的典型算法。部分参考图像质量评价算法[6]仅利用原始图像的部分信息来估计失真图像的视觉感知质量，它的优势是减小了数据量的传输，不足之处在于对提取的特征十分敏感[7]。参考差分熵[6]和基于结构相似度评价的部分参考图像质量评价方法[8]是最近所提出的算法。最后一类图像质量评价算法是无参考图像质量评价，它一般基于图像统计特性，在无需原始图像信息的情况下给出失真图像质量的评价，大大降低了信息传输量。正是基于此原因这类算法蓬勃发展，受到许多科研人员的关注。

图1 本文方法框架图

近些年来，很多学者尝试构建了很多模型来统计自然图像的特性，并应用到无参考图像质量评价。自然场景统计（Natural Scene Statistics，NSS）已经被证明能很好地模拟人眼视觉系统[9]。NSS在无参考图像质量评价算法中得到成功的应用。如Moorthy等[10]提出基于两步模型的无参考质量评价算法，将NSS模型应用到Wavelet域，从亮度小波系数中提取特征。Saad等[11]成功将NSS模型推广到离散余弦变换域，从DCT域提取统计特征。Liu等[12]将NSS模型运用到Curvelet域，从Curvelet域提取特征。但上述质量评价方法都将图像映射到不同的坐标域，增大了计算复杂度。

现有研究发现，人类视觉系统在处理一个较为复杂的场景时，会首先将其视觉注意力集中在该场景的少数几个对象中，这种处理机制可以令处理能力和容量都有限的大脑对这些显著对象进行优先处理，力求在最短时间内获取场景中的主要信息，此过程称为视觉注意过程。显然，如果能在图像处理和图像分析的过程中，提供上述的感兴趣区域[13]，也能在某种程度上将类似人类视觉系统的处理能力应用到计算机系统之中，在降低图像处理计算量的同时，有效提高计算机对信息处理的效率，因此ROI具有极其重要的应用价值。

基于上述分析，本文提出了一种基于兴趣区域和自然图像统计特性的无参考图像质量评价方法。考虑到人眼观察图像时注意力主要集中在图像的兴趣区域，该方法分别度量失真图像的兴趣区域和非兴趣区域与原始图像在非下采样Contourlet域的偏差，通过赋予不同的权重得到失真图像的质量评分。实验证明该方法可以对JPEG2000、JPEG、高斯噪声、高斯模糊和FastFading等多种失真类型进行质量评价，与主观感知具有良好的一致性，并且不用进行训练。本文算法框架如图1所示。

2 兴趣区域提取

2.1 Itti模型

Itti等[14]在1998年提出了一种兴趣区域算法模型，它将人眼的兴趣区域看成是显著特征像素点的集合，通过找到这些像素点的集合确定出兴趣区域。该模型首先提取亮度、颜色和方向3个视觉特征，运用高斯滤波生成特征金字塔，利用中央-周边差求取特征在不同尺度上的差值，然后对它进行归一化，合成各类特征的显著性特征图，并融合生成显著图，最后利用WTA网络提取出感兴趣区域。图2是Itti模型图。

图2 Itti模型

2.1.1 亮度显著图

设r(t)、g(t)和b(t)分别表示原始图像中的红色、绿色和蓝色通道，其中t表示图像的尺度。将原始图像的尺度设置为0，则亮度特征图的计算公式为：

高斯金字塔的结构非常形象准确地模拟了人眼的多分辨率特性。使用高斯金子特处理亮度图，产生9级金字塔图像。I(σ)表示亮度金字塔图像，其中σ∈{0,1,…,8}，采用中央-周边差算法跨尺度合并计算不同分辨率图像之间的差异来提取图像特征图，亮度特征计算为：

其中，c是非线性尺度空间中表示的高分辨率的尺度因子；s是对应的低分辨率下的尺度；c∈{2,3,4}，s=c+δ，δ∈{3,4}；Θ是中央-周边差算符，表示将I(s)放大到I(c)的尺寸后，两图像对应像素相减，再取绝对值后，产生亮度特征图。将上述特征图进行合并得到亮度显著图，公式为：

其中，⊕表示多个尺度下相应的特征显著图经线性差值调整到同一大小后相加；N(⋅)为分别将各个显著图的显著值标准归一化到(0,1)区间。

2.1.2 颜色显著图

在计算颜色特征图之前，计算亮度图像I中的最大值，当两亮度图像中某个像素小于最大值的1/10时，设置彩色图像的对应点r、g、b值为0。使用下列方式重新创建4个颜色分量：

其中，R、G、B表示标准化后的颜色分量矩阵。使用高斯金字塔分别处理RR、GG、BB、Y，形成4个图像金字塔。RR(σ)、GG(σ)、BB(σ)、Y(σ)分别表示各个金字塔中的图像。同样σ∈{0,1,…,8}。颜色特征计算为：

将上述特征图进行合并得到颜色显著图，公式为：

2.1.3 方向显著图

Gabor滤波器与生物视觉皮层方向选择神经元的感受野脉冲响应相类似。应用Gabor滤波器分别提取{0°,45°,90°,135°}4 个方向的方向特征。用O(σ,θ)表示Gabor金字塔图像，同样σ∈{0,1,…,8}。方向特征计算为：

其中，O(c,θ)和O(s,θ)分别表示方向为θ金字塔中的第c级和第s级金字塔图像。通过Θ算子产生方向特征图。将上述特征图进行合并得到方向显著图，公式为：

2.1.4 综合显著图

将上述亮度显著图、颜色显著图、方向显著图线性相加，得到综合显著图：

2.2 改进的Itti模型

由于传统的Itti模型只考虑了亮度、颜色、方向3个视觉特征，难以提取完整的兴趣区域，本文对传统Itti模型进行改进，加入纹理特征和边缘特征，改进后的Itti模型如图3所示。

图3 改进的Itti模型

2.2.1 纹理显著图

当前的纹理特征提取方法可以分为结构方法、统计方法、模型方法和变换方法。其中Gabor小波是一种重要的基于变换的纹理特征提取方法。该方法借鉴心理生理学的研究成果，模拟了一些方向可选神经元（如简单信元、复合信元）的计算机制，通过把Gabor函数作为小波变换的基函数，来实现方向和尺度不变的特征提取。长期以来，Gabor小波在基于内容图像检索、模式识别和计算机视觉等领域得到了广泛的应用[15]。本文利用Gabor小波提取滤波后图像的纹理特征。纹理特征图可以用式（14）计算。

将上述特征图进行合并得到纹理显著图，公式为：

2.2.2 边缘显著图

图像的边缘是图像特征识别中的重要组成部分，目前已有许多边缘提取算法，诸如Roberts边缘提取算法、Sobel边缘提取算法、Prewitt边缘提取算法等。Candy边缘检测算法不仅可以有效地抑制噪声，而且使用两个阈值检测强的和弱的边缘，如果它们被连接到边缘，那么输出只包含弱边缘。因此，此方法更适合用于检测真实的弱边缘。本文采用Candy边缘检测算法来提取图像的边缘特征。边缘特征图可以用式（16）计算：

将上述特征图进行合并得到边缘显著图，如式（17）所示。

2.2.3 改进后Itti模型的综合显著图

最终得到改进的Itti模型，图像兴趣区域通过5个显著图的线性相加得到，公式如下：

本校为化工原理认识实习提供了充足的资金支持，由化工原理教研室联系实习场所，近几年来，先后联系了青岛市内的化工厂(现已迁至董家口)、青岛双桃精细化工(集团)有限公司(现已迁至平度市)、青岛石油化工厂、青岛污水处理厂(胜利桥)、青岛市中等职业技术学校和校内仿真实习机房等场所.认识实习的学时非常短，只有一周时间，如何在短暂的时间内完成所有的实习任务，并确保认识实习的质量，这是认识实习面临的主要问题；同时，在工厂实习首先必须满足企业安全生产的要求，并且保证学生的安全.

其中，I表示亮度；C表示颜色；O表示方向；T和E分别是纹理和边缘。

如图4所示，（a）为原始图像，（b）是Itti模型提取出的显著图，（c）是改进后的Itti模型提取出的显著图。对于（b）和（c），白色区域代表兴趣区域，黑色区域代表非兴趣区域。白色部分的亮度越高，人眼的兴趣程度就越高。可以看到在加入纹理特征和边缘特征后的Itti模型提取出的显著图更能反映人眼的兴趣区域。

图4 显著图对比

3 基于兴趣区域的无参考图像质量评价方法

3.1 非下采样Contourlet变换

非下采样Contourlet变换（Nonsubsampled Contourlet Transform，NSCT）是Cunha等[16]提出的，NSCT去掉了Contourlet两级变换中的下采样过程，构造了相应的非下采样滤波器，使得NSCT不仅具有多尺度、良好的空域和频域局部特性以及多方向特性，还具有平移不变性，各子带图像之间具有相同尺寸大小等特性，其结构如图5所示。本文采用NSCT对兴趣区域和非兴趣区域进行图像统计特性提取。

图5 非下采样Contourlet变换滤波器组结构图

NSCT对应的滤波带具有更好的频域选择性和规则性，能够得到更好的子带分解，理想的频带分解图如图6所示[17]。假设用I(x,y)表示图像，其中0＜x≤M,0＜y≤N。I通过非下采样塔式滤波器组多尺度分解成L个高频子带和一个低频子带，每个高频子带又被非下采样方向滤波器组（Nonsubsampled Directional Filter Banks，NSDFB）分解成若干个方向的带通子带，从而得到2kl个带通子带图像，其中1＜l≤L。分解方程由下式给出：

其中，C1是低通子带，是由NSDFB分解的带通方向子带。对于每个子带Cj，一个给定像素点(x,y)的频率系数由Cj(x,y)来表示，其中j=2,…,

图6 非下采样Contourlet变换频域分解图

由于非下采样轮廓变换的多尺度分解和方向分解这两个过程是相互独立的，可以将每个频带视为独立的，并从中提取特征。

3.2 图像统计特性提取

早在20世纪80年代，Field就指出自然场景的统计信息与人类大脑皮层细胞的响应呈对数关系[18]。本文通过NSCT将图像分解为3层8个方向共24个子带。拉普拉斯金字塔滤波器和方向滤波器组分别选用“maxflat”塔式分解和“dmaxflat7”方向滤波器组。对于每个子带通过式（20）计算分解子带系数的对数作为特征。

其中，E为子带的特征值；N为每个子带的像素个数；C为子带的系数。

图7 dancers和其5种失真类型子带能量分布图

从图7中可以看出，不同的失真类型会在不同程度上破坏自然图像的能量统计特性，可以通过图像子带能量的变化来反映图像的质量。

3.3 计算距离

Mittal等通过实验分析认为一幅图像的视觉质量可通过计算图像MVG模型和自然图像MVG模型之间的距离度量，通常自然图像的MVG模型是通过统计图像库中无失真的自然图像得到[20]。通过提取原始图像的统计特性，分别计算其与失真图像兴趣区域统计特性和非兴趣区域统计特性的距离获得失真图像兴趣区域和非兴趣区域的质量分数。图像的统计特性采用多元高斯分布（Multivariate Gaussian，MVG）模型[21]。MVG模型公式如式（21）。

其中，(x1,x2,…,xk)表示计算得到的统计特性；v表示MVG模型的均值；Σ表示MVG模型的协方差。距离计算公式如式（22）。

其中，vt和vn分别是失真图像和自然图像MVG模型的均值向量；Σt和Σn分别是失真图像和自然图像MVG模型的协方差矩阵。Quality值越大意味着失真程度越大。通过式（22）分别计算出兴趣区域Q1和非兴趣区域Q2的质量分数，通过式（23）得到失真图像的总分。

其中，λ表示兴趣区域权重值，这里取λ=0.7。

4 实验结果与分析

为了验证本文方法的有效性，在LIVE数据集上进行验证，该数据集通过29幅原始图像经过5种失真处理生成了共779幅失真图像，同时该数据集也提供了DMOS值作为客观图像质量评价的标准。本文使用了两种类型的统计分析方法来验证所提方法是符合人类视觉系统（Human Visual System，HVS）特性的评价指标的。第一种类型的分析方法是评估客观方法预测单调性的斯皮尔曼等级相关系数（SROCC）；另一种类型的分析方法是评估客观方法预测精度的皮尔逊线性相关系数（PLCC）和均方根误差（RMSE）。PLCC和SROCC的值越接近于1表示与人类的视觉感知越一致，RMSE的值越小则表示误差越小，与主观感知越一致。

根据视频质量专家组（Video Quality Experts Group，VQEG）的建议[22]，客观算法对图像质量主观评价的预测值具有一定的非线性，因此，利用客观算法对图像质量评价时首先应当去除这种非线性因素，然后再进行相关性验证。本文选用的逻辑回归方法是：

其中，β1、β2、β3、β4、β5是回归参数；Q和Qp分别是回归前和回归后的预测图像的质量评分。

本次实验硬件环境为Intel酷睿i7处理器和8 GB内存，软件环境使用Windows7操作系统和MATLAB2014b开发环境。表1、表2和表3给出了一种比较成熟的全参考算法PSNR和几种比较先进的无参考算法BRISQUE[23]、NIQE[24]、SSEQ[25]，与本文提出的算法ROI-NR进行比较的结果。从实验结果可以看出，本文算法在单种失真类型上的性能要比PSNR和NIQE算法好，与BRISQUE和SSEQ各有优势。在整体上也要优于PSNR和NIQE算法，并且接近BRISQUE和SSEQ的性能。但是ROI-NR不需要训练，这一点要优于其他两种性能相近的无参考图像质量评价算法。

表1 Pearson线性相关系数（PLCC）

表2 Spearman等级相关系数（SROCC）

图8 客观分数和主观DMOS值拟合曲线

表3 均方根误差（RMSE）

传统的PSNR算法基于像素域对参考图像和真实图像之间的误差进行简单的数字统计。虽然计算简单，物理意义比较明确，但没有考虑到像素间的相关性，不能充分地考虑人眼视觉特性。而ROI-NR算法则充分考虑了图像的自然统计特性，在非下采样Contourlet域提取图像的特征，更加能够反映人眼的视觉特性。NIQE算法通过测量失真图像统计特征与自然图像统计特征之间的距离来预测图像质量，在这一点上和ROI-NR算法一样都不需要训练。但是，NIQE算法在筛选兴趣区域时只考虑了对比度这一个因素，相较于ROI-NR算法综合考虑了亮度、颜色、方向、纹理和边缘5个因素，ROI-NR算法提取出的兴趣区域更能反映人眼特性。综上所述，PSNR算法和NIQE算法的评价效果较ROI-NR算法偏低。

图8给出了本文算法对测试图像预测的质量得分与主观DMOS值对比的散点图，结果显示本文算法与主观感知具有较好的一致性。

5 结束语

本文算法首先对Itti模型进行改进，然后利用改进后的Itti模型提取兴趣区域和非兴趣区域，通过赋予兴趣区域更大的权重来计算失真图像与自然图像在非下采样Contourlet域的统计特性的差异从而获得图像的质量分数。正如实验结果得出的一样，本文算法适用于多种失真类型，与人类主观感知有较好的一致性并且不用训练。但是本文算法对快速衰落失真的评价还有待提高，寻找更有效的兴趣区域提取算法，提高算法性能是下一步的研究方向。