基于频率、空间和方向的图像质量评估

徐漫飞

(西安电子科技大学CAD研究所，陕西西安 710071)

图像是人类感知和机器模式识别的重要信息源，其质量对所获取信息的充分性和准确性具有决定性作用。然而图像在获取、压缩、处理、传输、存储和显示过程中会有不同程度和类型的失真。如何在视频传输、字符识别、安全监控、医学等领域建立有效的图像质量评价机制具有重要意义。

传统的图像质量评价方法分为主观质量评价和客观质量评价。由于人眼视觉系统(HVS)是图像处理的终端，所以合理的图像质量评价方法是主观评价方法。然而，主观评价需要组织观察者对失真图像进行评分，劳动强度增加、费时费力，且不能直接应用于图像处理系统中，随时改善图像处理算法。客观评价方法采用数学模型计算失真图像和原始图像的相似度，得到评价结果，具有简单、便于内置于图像处理系统中的优点。

传统的客观评价方法均方误差(MSE)和峰值信噪比(PSNR)，是对整幅图像进行误差综合，该方法表达简单、计算方便，但不符合人的主观感受。图像最终接受者是人，所以好的图像评估方法应考虑人眼视觉系统(HVS)的特性。现有的将HVS与图像余弦变换［1］和图像质量评价结合的方法。还有从空间距离、空间频率、图像尺寸对比度变化及对比度掩盖效应等方面考察图像失真情况，提出了基于失真模型［2］的图像质量评价方法。Wang［3］等认为人眼视觉系统的主要功能是提取图像和视频中的结构信息，提出结构相似度(SSIM)的图像质量评价方法，SSIM计算简单、易于实现。但SSIM是在空间域提出的，将其推广应用在HWD变换域，对HWD域的图像处理有重要的指导意义。文中对HWD域图像的结构特性进行了深入的研究提出了基于频率、空间和方向的图像质量评估方法(SSO_IQM)。

1 图像结构相似度(SSIM)

Wang Zhou等人认为自然图像的像素之间存在很强的相关性，这种相关性表现为图像的高度结构性，人眼在观察一幅图像时首先提取的是图像的结构信息，人眼对一幅降质图像质量好坏的判断更多的是对结构信息失真的判断，所以可以通过对降质图像与原图像结构信息的比较得到一个对该降质图像的质量评分，该评分能很好地近似主观评分。SSIM方法包括亮度、对比度和结构3个方面。设原始图像块为，待评价图像块为，则它们的结构相似性的模型定义为

其中，

μR、μT为图像 R、T 的均值，反映图像的亮度信息;σR、σT为图像R、T的方差，反映图像的对比度信息;σRT为R、T的相关系数，反映其结构信息的相似性。C1，C2，C3均为较小的正数，是为避免分母为零或接近于零而造成不稳定，参数α＞0，β＞0，γ＞0。一般取α=β=γ =1，C1=(K1L)2，C2=(K2L)2，C3=C2/2，L 是像素的动态范围。

2 HWD变换

Eslami等提出了一组新的小波变换与方向滤波器组相结合的图像变换方法HWD［4］。该方法首先对图像进行小波变换，然后对各子带进行md(md＜L，L为小波分解级数)级方向滤波器组分解，根据各细节的不同选用不同的滤波器，得到相应的方向信息。同时对最精细尺度上的系数使用DFB和改进型DFB来增加小波分解的方向性特征。改进型DFB是通过对图像从垂直和水平方向进行分锯，构成VDFB和HDFB这两个方向滤波器组。根据使用的滤波器组的不同，HWD又可以被分为HWDI和HWD2，方向滤波器频率划分如图1所示。

图1 方向滤波器频率划分

(1)HWDl。1)对子波变换后的对角方向子带进行DFB分解。2)对子波变换后的水平方向子带进行HDFB分解。3)对子波变换后的垂直方向子带进行VDFB分解。

(2)HWD2。1)对子波变换后的对角方向子带进行DFB分解。2)对子波变换后的水平方向子带进行VDFB分解。3)对子波变换后的垂直方向子带进行HDFB分解。

图像经3级HWD1或HWD2分解后的结果如图2所示，前者在纹理检索效果优于后者，但会造成块效应，折中考虑，采用HWD2变换处理图像。

图2 图像HWD分解

3 SSO_IQM

根据人眼倾斜效应［5］，人眼对水平和垂直方向分量的敏感度与对角方向分量的敏感度不同，把人眼的这种特性与客观图像质量评估方法结合起来，提出基于频率、空间和方向的图像质量评价方法。对图像进行HWD变换后，将SSIM直接用于各HWD分解频带，用频带相关性图加权各频带的结构相似度得到局部质量，然后对不同方向的局部质量求加权和得到整幅图像的结构相似度，该权值由粒子群优化算法确定，SSO_IQM的具体运算步骤如下:

Step1分别对M×N尺寸的源图像和失真图像进行3级HWD变换，得到36个子带，记为Rhwd(u，v，i)和 Thwd(u，v，i)，其中，u=1，2，…，M，v=1，2，…，N，i=1，2，…，36。

Step2计算源图像和失真图像子带的结构相似图 Si(u，v)，i=1，2，…，36，以及子带间的相关图 αi(x，y)，得到局部图像质量为

其中，WSi=αiSi。

Step3同一尺度上的水平子带和垂直子带的权值与对角子带的权值不同，用粒子群优化算法计算该权值 ωi，i=1，2，…，7，求加权和得到整幅图像的结构相似度，如下式所示

根据SSO_IQM的定义，SSO_IQM值越大表示图像质量越好。

4 实验结果与分析

采用数据库LIVE，TID，CSIQ进行仿真实验，图库中还给出了所有失真图像的主观差异评分(Difference Mean Opinion Scores，DMOS)，描述的是主观评分(Mean Opinion Scores，MOS)和满分100分的差值，因此DMOS越大表示图像质量越差，DMOS越小表示图像质量越好，且 DMOS的取值范围为［0，100］。

图3给出了SSO_IQM相对于主观评分的散点图，图中的每个点代表图像，不同的颜色代表不同的失真类型，纵轴坐标表示主观评分，横轴坐标表示SSO_IQM得到的客观评分，黑色实线是用回归函数拟合主观评分和SSO_IQM客观评分的结果。可以看出，散点紧密的围绕在拟合曲线周围，说明所提方法与主观评分的一致性，验证了SSO_IQM的有效性。

图3 SSO_IQM与主观评估的对应分布

比较了SSO_IQM 相对于 PSNR，SSIM，MS－SSIM，IW－SSIM，VIF，VSNR，PSNR －HMA，DWT －SSIM 的性能，利用非线性回归条件下的相关系数(PLCC)作为评价图像质量的指标，PLCC值越高说明客观评价方法与DMOS相关性越好，实验结果如图4所示。本文所提算法SSO_IQM和VIF性能优于其他质量评估方法，虽然SSO_IQM算法性能没有大幅度提高，但这属正常范围，因为这些用于比较质量评估方法本身，已实现了良好的评估效果，要在此基础上再实现更大超越还需进一步研究。

图4 各评估方法的PLCC性能比较

5 结束语

将空间域图像质量评价方法结构相似度SSIM推广到HWD变换域，结合人眼视觉倾斜效应和粒子群优化算法，提出基于频率、空间和方向的图像质量评估方法SSO_IQM。由于充分利用了人眼高度自适应窄带刺激这一特点，SSO_IQM取得了更好的评判效果，从实验结果可以看到，SSO_IQM在各方面都优于SSIM。将本文所提方法SSO_IQM用于3D图像质量评估是下一步的研究方向。

［1］杨军，刘藻珍，王寅龙.基于人眼视觉特征的图像质量评价模型［J］.弹箭与制导学报，2003，23(2):59－62.

［2］DAMERA －VENKATA N，KITE T D，GEISLER W S，et al.Image quality assessment based on a degradation model［J］.IEEE Trans on Image Processing，2000，4(4):636 －650.

［3］WANG Z，BOVIK A C，SHEIKH H R，et al.Image quality assessment:from error visibility to structural similarity［J］.IEEE Trans.Image Process，2004，13(4):600 －612.

［4］ESLAMI R，RADHA H.New image transforms using hybrid wavelets and directional filter banks:analysis and design［C］.IEEE International Conference Image Process，2005:733 －6.

［5］LI B，PETERSON M R，FREEMAN R D.Oblique effect:a neural basis in the visual Cortex［J］.J.Neurohpysiol，2003，90(1):204－217.