基于可控金字塔的无参考图像质量评价模型

杨玲贤，陈和平，陈 黎

（1.武汉科技大学 信息科学与工程学院，湖北 武汉430081；2.武汉科技大学 计算机科学与技术学院，武汉430081）

0 引 言

图像质量作为评价图像采集、编码压缩和网络传输等各种图像视频处理系统及算法性能的主要指标已成为图像信息工程领域内一项重要的研究课题。图像质量评价包括主观和客观两类评价方法。前者是最直接表征观察者视觉感知的方法，如 MOS （mean opinion score）值，但获得MOS既复杂又费时，且评价过程中的测试图像、人员、观测距离以及实验环境都会影响评价结果，很难直接应用于实时图像处理系统中；后者以设计能准确和自动感知图像质量的计算模型为目标，如均方误差 （mean square error，MSE）、峰值信噪比 （peak signal to noise ratio，PSNR）等。相对于主观质量评价，客观评价方法操作简单、成本低、实时性好，弥补了主观评价方法的不足，可以广泛应用于图像处理。客观评价方法按照是否需要参考原始图像分为3种，即全参考 （full－reference，FR）、弱参考 （reduced－reference，RR）和无参考 （no－reference，NR）。鉴于许多应用场合无法获得参考图像，因此，无参考图像质量评价方法灵活性更强，适用范围更广，更具研究价值。相对于FR和RR，NR的研究仍处于起步阶段，迄今还没有统一的无参考质量评价方法或标准。现有的方法主要分为三类：①针对特定失真的评价：针对特定的类型如分块效应［1］，模糊效应［2，3］，振铃效应［4］等而设计算法；②基于训练学习的评价：此类算法通过学习、训练，在抽取图像特征的基础上建立一个能预测图像质量的模型［5，6］；③基于自然场景影像统计特性的评价模型 （natural scene statistics，NSS）：该方法假定自然真图像是所有可获得图像的一个很小子空间，本身具有一些失真图像所不具有的统计特性并具有理想的质量。通过对未失真自然图像的特性统计，计算失真图像与该统计特性之间的距离即可得到图像的质量评价值。由于图像的失真类型很多且同一图像可能同时具有多种失真，故第一种方法无法对不同的失真建立一个通用模型；第二种方法受限于特征提取及学习的有效性；由于基于NSS的方法进行自然影像的特性统计与图像本身内容无关，与失真图像的畸变类型也无关，从而能为图像的质量评价提供通用的模型［7］。

本文以NSS为基础，依据人眼视觉特性，提出了基于可控金字塔的图像特性统计方法，以LIVE数据库中的参考图像作为特性统计数据源，为无参考图像质量评价建立了一个具有通用性的参考模型。实验结果表明，该模型能够一致评价各种失真类型、各种失真强度的图像质量，且与主观评价方法有较好的一致性。

1 人类视觉系统

人类视觉系统 （human visual system，HVS）是一个高度复杂和非线性的系统，虽然目前对其认识很有限，但也取得了一些研究成果：文献 ［8］分析了HVS的3个显著特性；为使客观评价方法更接近主观感知，文献 ［9］探讨了视觉特点对质量评价的影响，而视觉敏感度带通特性作为HVS最重要的一个特征，可由对比敏感度函数CSF（contrast sensitivity function）来表征。文献 ［10，11］建立了以下的CSF模型

图1 CSF函数特性曲线

2 基于Steerable Pyramid的特征提取

研究显示，人类视觉通道对水平和垂直方向的刺激最敏感而对角方向的敏感性逐渐减弱。该结构特征与多分辨滤波器组或小波分解有很好的拟合性。因此，采用可控金字塔 （steerable pyramid）［12］多分辨滤波器建模可在对图像评价时获得符合主观感知的效果。

可控金字塔变换能独立分解出不同尺度、不同方向的子带信息，可准确地检测出目标的边缘、纹理以及奇异点等特征，且具有平移和旋转不变性，有利于减少图像在处理过程中的失真。频域内的可控金字塔变换分解和重构示意图如图2所示。

图2 可控金字塔分解和重构

其中S（）ω和S＊（）ω分别为原始图像和重构后的图像；H0（）ω、L0（）ω、L1（）ω分别为高通、低通和窄带滤波器，Bk（）ω是方向可控的带通滤波器组；2↑和2↓表示上采样和下采样。其具体过程是选择SP［13］滤波器，将一幅图像通过高通滤波器H0（）ω和低通滤波器L0（）ω分解得到一个高通子带和一个低通子带，低通子带应用k个带通滤波器Bk（）ω和一个低通滤波器后分解为k个带通子带及一个低通子带并下采样，得到可控金字塔各层图像模值。

Moorthy和Bovik的研究发现，高于2个尺度的图像分解未能提高质量评价算法的性能［14］，本文选择了对图像进行2个尺度12个方向上进行分解，如图3所示，是对caps图像进行可控金字塔分解，从而得到24子带Bθs，其中，θ∈｛0°，15°，30°，45°，60°，75°，90°，105°，120°，135°，150°，175°｝ ，s∈ ｛1，2｝。

图3 图像2尺度12方向分解结果

以30°为间隔，其子带系数的分布特征如图4所示。

从图4中可以看出，各个子带系数的分布近似高斯分布。以下通过对文献 ［15，16］提供的 LIVE IQA 和TID2008数据库进行失真图像的子带特征统计，其统计模型描述如下

式中：μ和σ2——分布参数的期望和方差，而γ为分布曲线的形状参数，为满足正态分布，本文γ取值为2。α和β定义如下

图4 部分子带系数分布特征

对自然图像而言，系数分布形式具有上述稳定的模型，而不同类型的失真图像其子带系数则会以不同的方式出现不同程度的偏离，这就为质量评价提供了理论依据。图5显示了参考图像与其对应的五种失真在第二级0°方向上的系数变化。

图5 不同失真的子带分布特征

3 实验结果与分析

本文实验步骤主要分为3部分：①将29幅未失真图像作为训练样本，建立基于NSS的特性分布参考模型；②对失真图像子带特征与参考模型偏离度进行计算；③评价结果的综合分析。实验采用LIVEDatabaseRelease2图库［15］，该图库包含29幅未失真图像，以及具有5种类型共982幅失真图像，包括JPEG2000压缩 （227幅）、JPEG压缩（233幅）、白噪声 （174幅）、高斯模糊 （174幅）和信道快速衰减失真 （174幅）。并利用图库提供的每幅图像的主观评价值DMOS （differential mean opinion score）与本文算法结果进行了对比。

图6给出了本文模型的预测质量值与LIVE数据库DMOS对比散点图，其中，图6 （a），（b），（c），（d），（e）分别是对由JPEG2000压缩、JPEG压缩、白噪声、高斯模糊和快速衰减失真五种原因引起的降质图像子集的客观评价值与DMOS值的对比，其中每种失真类型随机选取150副图像，图6（f）是所有5类失真图像的模型预测值与DMOS的对比结果。由散点图的分布可以看出，本文方法对白噪声和高斯模糊两类失真图像的评价准确度较高，在测量其他单种失真或者多种失真方面也都与主观评价方法有较好的一致性。

4 结束语

图6 不同失真评价与DMOS比较

根据自然图像的自相似和尺度不变性等统计特征，提出一种基于可控金字塔变换的多尺度多方向无参考质量评价模型。在实际评价过程中，根据子带系数对图像质量的影响程度设置权值，并通过计算失真图像在2个尺度12个方向上的子带特征与未失真图像特征模型的偏离程度来度量图像质量，该方法计算简单，且与图像内容，失真类型无关。实验结果表明，本文方法与主观评价结果基本一致。下一步工作将针对减少评价误差和提高算法性能方面进行深入的研究和探讨。

［1］ZHU Jinxiu，SHAO Yongqin，ZHAI Hui.Efficient deblocking filter algorithm based on characteristics of blocks ［J］.Computer Engineering and Design，2012，33 （1）：286－289 （in Chinese）.［朱金秀，邵永琴，翟慧.基于块特性的高效去块滤波算法 ［J］.计算机工程与设计，2012，33 （1）：286－289.］

［2］Parvez Sazzad Z M，Kawayoke Y，Horita Y.No－reference image quality assessment for jpeg2000based on spatial features ［J］.Signal Process：Image Commun，2008，23 （4）：257－268.

［3］Zhu X，Milanfar P.A no－reference sharpness metric sensitive to blur and noise ［C］／／QoMEX，2009：64－69.

［4］FENG X，Allebach J P.Measurement of ringing artifacts in jpeg images［C］／／SPIE，2006：74－83.

［5］Charrier C，Lebrun G，Lezoray O.A machine learing－based color image quality metric ［C］／／3rd Euro Conf Color Graphics，Imaging，Vision，2006：251－256.

［6］Moorthy A K，Bovik A C.A two－step framework for constructing blind image quality indices ［J］.IEEE Signal Process，2010，17 （5）：513－516.

［7］JIN Bo，LI Chaofeng，WU Xiaojun.No－reference image quality assessment based on natural scene statistics and wavelet ［J］.Journal of Image and graphics，2012，17 （1）：33－39（in Chinese）.［金波，李朝锋，吴小俊.结合NSS和小波变换的无参考图像质量评价 ［J］.中国图象图形学报，2012，17 （1）：33－39.］

［8］JIANG Gangyi，HUANG Dajiang，WANG Xu，et al.Overview on image assessment methods ［J］.Journal of Electronics＆Information Technology，2010，32 （1）：219－226 （in Chinese）.［蒋刚毅，黄大江，王旭，等.图像质量评价方法研究进展 ［J］.电子与信息学报，2010，32 （1）：219－226.］

［9］Moorthy A K，Bovik A C.Visual importance pooling for image quality assessment ［J］.IEEE Journal of Selected Topic in Signal Processing，2009，3 （2）：193－201.

［10］MA wenbo，ZHAO baojun，REN Hongliang.A criterion of image quality assessment based on wavelet frequency band partition and CSF property ［J］.Laster ＆Infrared，2007，37（7）：687－690（in Chinese）.［马文波，赵保军，任宏亮.基于小波频带划分及CSF特性的图像质量评价方法 ［J］.激光与红外，2007，37 （7）：687－690.］

［11］Umesh Rajashekar，Ian van der Linde，Bovik A C.Foveated analysis of image features at fixations ［J］.Vision Research，2007，47 （25）：3160－3172.

［12］Michael Unser，Nicolas Chenouard，Dimitri Van De Ville.Steerable pyramids and tight wavelet frames in L2i（）d［J］.IEEE Transactions on Image Processing，2011，20 （10）：2705－2720.

［13］Rabbani H.Image denoising in steerable pyramid domain based on a local Laplace prior［J］.Pattern Recognit，2009，42 （9）：2181－2193.

［14］Moorthy A K，Bovik A C.Blind image quality assessment：From natural scene statistics to perceptual quality ［J］.IEEE Transactions on Image Processing，2011，20 （12）：3350－3364.

［15］Sheikh H R，WANG Z W，Cormack L，et al.LIVE image quality assessment database release 2 ［EB／OL］.http：／／live.ece.utexas.edu／research／quality，2006.

［16］Ponomarenko N，Lukin V，Zelensky A，et al.Tid2008－a database for evaluation of full reference visual quality assessment metrics ［J］.Advances of Modern Radioelectronics，2009（10）：30－45.