基于小波分析的图像稀疏保真度评价

陈 勇 樊 强 帅 锋



基于小波分析的图像稀疏保真度评价

陈 勇*樊 强 帅 锋

(重庆邮电大学工业物联网与网络化控制教育部重点实验室 重庆 400065)

该文针对传统的图像质量评价方法无法有效模拟人类视觉系统(HVS)存在的不足，提出基于小波分析的加权稀疏保真度(Weighting Sparse Fidelity, WSF)图像评价算法。算法以模拟人类视觉系统的神经网络为切入点，对图像进行一阶小波分解得到4个不同方向的子带图像，然后将子带图像分成8×8大小的图像块，采用快速独立分量分析(FastICA)的方法对各个图像块进行训练并提取图像特征检测矩阵，根据特征检测矩阵计算各子带图像块的稀疏特征值并建立稀疏保真度质量评价模型。在此基础上，根据细节信息的不同对低频子带图像进行区间划分并设置视觉权重，使之更加接近人眼的主观视觉。实验中对LIVE库中所有图像进行算法验证，其结果表明，所提方法能很好地对各种失真类型的图像进行评价。基于小波分析的稀疏保真度评价算法能够有效模拟人类视觉系统的多频特性和视觉皮层感知机制，弥补现有图像质量评价方法在此方面的不足。

图像质量评价；稀疏保真度；独立分量分析；视觉加权；主客观一致性

1 引言

随着信息技术的不断发展，人们越来越多地依靠图像进行传输。图像在编码、压缩和传输等处理过程中会产生不同形式、不同程度的失真。因此，针对失真图像质量评价的研究具有重要的现实意义[1,2]。

图像评价分为主观与客观评价。主观评价以人眼的主观感知作为评价标准；客观评价又可分为无参考和有参考。无参考图像质量评价主要针对一些具体失真的图像，如压缩失真的无参考图像质量评价[3]、模糊失真[4]等；有参考图像质量评价通过定量描述失真图像与参考图像的差别来衡量失真图像的质量。峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)和均方根误差(Mean Squared Error, MSE)是常用的有参考图像质量的评价方法，若PSNR越大，MSE越小，表明图像质量越好。Wang等人[5]从视觉心理学角度出发采用模拟人类视觉系统(Human Visual System, HVS)的策略，提出了基于结构相似度(Structural SIMilarity, SSIM)的图像质量评价方法。该方法通过对比原始图像与失真图像的亮度、对比度和结构等3个局部特征的相似程度来评价图像质量，其效果优于PSNR和MSE方法。由于未考虑到人类视觉系统的多频特性，因此，Sheikh等人[6]采用小波域高斯混合模型对图像进行建模，提出了视觉信息保真度(Visual Information Fidelity, VIF)准则。VIF在度量图像局部失真上有一定的进展，但缺乏可靠的计算模型。在综合信息量与最优感知权值之间的关系的基础上，文献[7]提出了信息量加权结构化相似度(Information Weighting for SSIM, IW-SSIM)图像质量评价方法。此外，Zhang等人[8]提出了一种基于低层视觉特性相似的评价模型特征结构相似度(Features SIMilarity index, FSIM)评价算法。文献[9]采用稀疏编码的方法从视觉神经网络的角度进一步研究人类视觉特性。文献[10]基于上述思想把多维独立分量分析(Independent Component Analysis, ICA)方法用于自然图像处理；文献[11]通过ICA算法提取视频帧的运动数据进而评价视频质量；文献[12]将彩色图像R, G, B等3个空间的图像块简单地拉伸为1维列向量，然后采用ICA算法对多个列向量进行训练与分析，但缺乏对像素空间特性的考虑。

本文基于稀疏编码的思想，通过小波变换将图像分解到不同频率的子带空间，然后采用快速独立分量分析(FastICA)方法提取图像的特征检测矩阵，在此基础上根据各子带图像的不同频率特性提取相应的稀疏特征值计算图像的局部稀疏保真值。此外，结合人眼对图像不同部分的感知差异对图像进行区间划分并设置不同的加权值，得到了加权稀疏保真度(Weighting Sparse Fidelity, WSF)评价方法。实验中采用LIVE数据库验证本文算法，其结果表明与HVS的一致性优于相关文献方法的效果。

2 基于ICA的图像稀疏保真度

2.1 独立分量(ICA)分析

2.2 图像特征检测矩阵提取

小波分析应用于信息处理领域，类似于人类系统的多通道滤波模型。在图像处理中采用小波分解方法对图像信号进行不同尺度的滤波处理。

图1 小波变换示意图

按照上述算法进行分离训练，直到算法收敛，可得到白化空间的特征检测矩阵。而原始空间的特征检测矩阵则可由式(11)得到：

2.3图像稀疏保真度

2.4视觉加权的稀疏保真度

2.4.1视觉加权的引入 通过式(15)求取图像的均值稀疏保真度，但并未考虑图像中不同区域的细节差异对图像主观视觉的影响。为反映图像中不同细节区域在失真过程中的变化与人类主观视觉的关系，本文根据模糊程度递增从图像库CSIQ (Computational Perception and Image Quality Lab)选取了如图2(a)~图2(d)所示的4幅图像。本文随机选取图中3块细节信息明显不同的区域A, B, C(如图2中方框)并计算图像均值稀疏保真度，其中，A区域的细节信息最多，B次之，C最少。由此说明，在同一幅图像中人眼对不同部分的主观感知取决于该区域细节信息的丰富程度。因此可按照细节信息的不同对图像进行分区，考虑到分区过多带来的复杂性和不确定性，本文将图像分为3个区间，并对每一个区间设置不同的加权值。

图2 ‘boston’ 3块区间在不同失真条件下的变化

2.4.2图像区间的划分 图像的区间划分理由与步骤：

(2)根据边缘图像块中非零值的个数不同可将图像分为平滑、普通纹理和高纹理3个区间。区间划分可通过引入两个阈值参数和来确定。边缘图像块中非零值的个数小于的区域为平滑区；纹理区分为普通和高纹理区。普通纹理区为非零值个数大于小于的区域；高纹理区为非零值个数大于的区域。

(3)根据图像块的不同区间设置不同的视觉加权值。其中，平滑区域所含细节信息过少，加权值为0；普通纹理区也是图像块最集中的区域，加权值为；高纹理区细节信息最多，其加权值为。

2.4.3视觉加权图像稀疏保真度 对于每一组待测图像块及其对应的参考图像块，首先将参考图像块分为3个区间，设置不同的视觉加权值，则该失真图像的加权稀疏保真度(WSF of Image, IWSF)为

2.4.4区域划分参数的确定 本文对LIVE数据库[13]中的图片进行测试，确定参数,和与评价函数的性能指标Spearman等级相关系数(SROCC)之间的关系。测试发现的取值对图像的区间划分影响不大，但由于,与评价函数的性能关系必须由已知的参数确定，因此，可先在0~1之间选取一个的初始值，建立参数,与评价函数的性能指标SROCC之间的关系如图3所示，SROCC值越大则的性能越好。当SROCC取得峰值点时，参数,可得到最佳值分别为0, 25。根据,的最佳值可建立参数与SROCC之间的关系如图4所示，当= 0.8时，SROCC可得到峰值点。因此，当,,时，的评价性能为最好。

图3 参数, 与SROCC关系

图4 参数b与SROCC关系

3 实验结果与分析

3.1评价数据库选择

为了全面地评价本文算法对图像各种失真类型的评价效果，采用美国TEXAS大学视频工程实验室的LIVE图像数据库[13]提供的图像作为测试图像。该数据库包含了982幅图像，涵盖了5种失真类型：JP2K(JPEG2000), JPEG(JPEG), WN(White Noise), GBLUR(Gauss BLUR)和FF(Fast-Fading Rayleigh channel model)。各种失真类型均由29幅标准参考图像经过人工处理得到。该数据库提供了所有图像的主观差异评分值(DMOS)，其值越小图像的主观观测质量越好。考虑到客观评价与主观视觉的非线性关系，采用文献[14]中的Logistic函数进行线性补偿如式(17)所示：

3.2拟合图分析

选用PSNR, SSIM[5], VSNR[15], IW-SSIM[7], IFC[16], VIF[6], FSIM[8]和SFF[12]等方法作为本文算法的对比算法。其中，FSIM是在考虑相位一致性对图像结构的影响的情况下提出的基于底层视觉特性的特征结构相似度评价方法；IW-SSIM则是分析信息量与最优感知权值之间的关系的基础上提出的一个基于信息加权的结构相似度模型；VIF主要从信息通信和共享的角度解决图像质量评估问题；IFC则是从信息保真度的角度衡量图像质量。图5为上述各评价算法与DMOS的拟合曲线图。

图5 客观评价算法与DMOS的拟合曲线

分析可知，PSNR(如图5(a))和SSIM(如图5(b)) 明显比其他几种方法更为发散；在DMOS<40即图像失真不太严重时，IW-SSIM(如图5(d))和FSIM(如图5(g))的拟合曲线散点分布与拟合曲线接近，但当图像失真较为严重时(即DMOS>40)，散点分布趋于发散；包括本文算法(图5(i))的其余方法(如图5(f))均能够在一定程度上与主观感知一致性吻合。

3.3 客观数据分析

试验选用Pearson线性相关系数(Linearly Correlation Coefficient, LCC), Spearman等级相关系数(SROCC), Kendell等级相关系数(Kendell Rank Correlation Coefficient, KRCC)，均方根误差(Root-Mean-Square Error, RMSE)，平均绝对误差(Mean Absolute Error, MAE)等算法评价指标。其中，LCC, SROCC, KRCC等值越大，RMSE, MAE越小，表示被评价算法的性能越好。

(1)算法的性能比较： 由表1分析可知，本文所提算法的LCC, SROCC和KRCC等3个指标的值最大，而RMSE和MSE等最小，说明本文算法在主观与客观的一致性方面好于其他几种对比算法。

表1算法的性能比较

(2)失真类型对比分析： 为了进一步对比各评价方法对不同失真类型的图像评价效果，本文选择LIVE图像数据库中JP2K, JPEG, WN, GBLUR和FF等5种不同失真类型的图像库进行测试。表2给出了上述9种算法针对5种不同失真类型下的LCC, SROCC, KRCC, RMSE和MAE的值。为便于比较需特别说明：对每种类型的失真，分别用粗体标出各评价指标最好的前3种，并将其中评价指标最优的数据用下划线标出。

表2分类失真图像测试

3.4算法复杂度分析

测试试验平台：AMD速龙2处理器，2 GB内存，WIN7专业版操作系统，Matlab7.0仿真软件。从表3可以看出，本文算法处理时间相比于PSNR, SSIM, SFF有所增加，但评价效果远优于上述算法；与评价效果较为接近的IW-SSIM, VIF, IFC, FSIM等算法相比，本文算法在评价过程中特征检测矩阵环节只需训练一次，其结果可作为一个常量来分析与调用，因而降低了运算的复杂度，实时性得到提高。

表3算法运行时间测试(s/图像)

4 结论

本文从稀疏保真度的角度模拟人类视觉系统的视觉皮层感知机制，提出了加权稀疏保真度(WSF)评价方法。该算法选用小波变换将图像分解到多个不同频率特性的子带空间，并采用快速独立向量分析的方法提取各子带空间的稀疏特征值，针对各子带图像对主观视觉的不同重要性，建立模拟人类视觉系统的皮层感知机制以及多分辨率特性的模型。实验证明，本文算法能够有效提高现有算法在模拟人类视觉感知特性方面存在的不足，具有一定参考价值。

参考文献

[1] 蒋刚毅, 黄大江, 王旭, 等. 图像质量评价方法研究进展[J]. 电子与信息学报, 2010, 32(1): 219-226.

Jiang Gang-yi, Huang Da-jiang, Wang Xu,.. Overview on image quality assessment methods[J].&, 2010, 32(1): 219-226.

[2] 陈勇, 李愿, 吕霞付, 等. 视觉感知的彩色图像质量积极评价[J]. 光学精密工程, 2013, 21(3): 742-750.

Chen Yong, Li Yuan, Lü Xia-fu,.. Active assessment of color image quality based on visual perception[J]., 2013, 21(3): 742-750.

[3] 郭迎春, 于明, 朱秋明. 基于子带相似性分析的 JPEG2000 图像无参考质量评价[J]. 电子与信息学报, 2011, 33(6): 1496-1500.

Guo Ying-chun, Yu Ming, and Zhu Qiu-ming. No reference image quality assessment based on subbands similarity and statistical analysis for JPEG2000[J].&, 2011, 33(6): 1496-1500.

[4] Vu P V and Chandler D M. A fast wavelet-based algorithm for global and local image sharpness estimation[J]., 2012, 19(7): 423-426.

[5] Wang Z, Bovik A C, Sheikh H R,.. Image quality assessment: from error visibility to structural similarity[J]., 2004, 13(4): 600-612.

[6] Sheikh H R and Bovik A C. Image information and visual quality[J]., 2006, 15(2): 430-444.

[7] Li C and Bovik A C. Content-partitioned structural similarity index for image quality assessment[J].:, 2010, 25(7): 517-526.

[8] Zhang L, Zhang D, and Mou X. FSIM: a feature similarity index for image quality assessment[J]., 2011, 20(8): 2378-2386.

[9] 李柯蒙, 邵枫, 蒋刚毅, 等. 基于稀疏表示的立体图像客观质量评价方法[J]. 光电子激光, 2014, 25(11): 2227-2233.

Li Ke-meng, Shao Feng, Jiang Gang-yi,.. An objective quality assessment of stereoscopic image based on sparse representation[J]., 2014, 25(11): 2227-2233.

[10] Bell A J and Sejnowski T J. An information-maximization approach to blind separation and blind deconvolution[J]., 1995, 7(6): 1129-1159.

[11] Saad M A and Bovik A C. Natural motion statistics for no-reference video quality assessment[C]. IEEE International Workshop on Quality of Multimedia Experience, San Diego, CA, USA, 2009: 163-167.

[12] Chang H W, Yang H, Gan Y,.. Sparse feature fidelity for perceptual image quality assessment[J]., 2013, 22(10): 4007-4018.

[13] Sheikh H R, Wang Z, Cormack L,.. LIVE image quality assessment database release 2[OL]. http://live.ece.utexas. edu/research/quality. 2014.4.

[14] VQEG. Final report from the video quality experts group on the validation of objective models of video quality assessment [OL]. ftp://ftp.its.bldrdoc.gov/dist/ituvidq/Boulder_VQEG _jan_04/VQEG_PhaseII_FRTV_Final_Report_SG9060

E.doc, 2003.

[15] Chandler D M and Hemami S S. VSNR: a wavelet-based visual signal-to-noise ratio for natural images[J]., 2007, 16(9): 2284-2298.

[16] Sheikh H R, Bovik A C, and De Veciana G. An information fidelity criterion for image quality assessment using natural scene statistics[J]., 2005, 14(12): 2117-2128.

Sparse Image Fidelity Evaluation Based on Wavelet Analysis

Chen Yong Fan Qiang Shuai Feng

(&,,,400065,)

To overcome the limitations of traditional image quality assessment methods, which are not well consistent with subjective human evaluation, a quality assessment algorithm of Weighting Sparse Fidelity (WSF) based on wavelet analysis is proposed. The arithmetic simulates nerve network of Human Vision System (HVS) as research point, the image is decomposed with wavelet into four-sub band images, which are divided into blocks at size of, then using Fast Independent Component Analysis training (FastICA) method to train the image blocks. Then, each image block sparse character matrix is extracted to calculate the sparse feature fidelity of the image and build the sparse fidelity quality evaluation model. On this basis, the image is divided into a plurality of interval according to the different details of the visual image information and a visual weight is set in each section, which can be consistent with subjective human evaluation. The experiment results on LIVE database show that the proposed method has a good evaluation of all kinds of distortion types and is highly consistent with human subjective evaluations. The proposed algorithm can effectively simulate the weighted visual cortex of the human visual system perception mechanisms, which compensates for deficiencies of existing image quality assessment methods.

Image quality assessment; Sparse feature fidelity; Independent Component Analysis (ICA); Human visual weighted; Consistency between subjective and objective evaluations

TN911.73

A

1009-5896(2015)09-2055-07

10.11999/JEIT150173

陈勇 chenyong@cqupt.edu.cn

2015-01-30收到，2015-05-05改回，2015-06-26网络优先出版

国家自然科学基金(60975008)和重庆市教委科学技术研究项目(KJ1400434)资助课题

陈 勇： 男，1963年生，教授，研究方向为图像处理与模式识别.

樊 强： 男，1989年生，硕士生，研究方向为图像处理.

帅 锋： 男，1990年生，硕士生，研究方向为图像处理.