基于CSF和仿射重建模型的噪声图像质量评价

崔光茫,冯华君,徐之海,李 奇,陈跃庭

(浙江大学 现代光学仪器重点实验室,浙江 杭州 310027)



基于CSF和仿射重建模型的噪声图像质量评价

崔光茫,冯华君,徐之海,李 奇,陈跃庭

(浙江大学 现代光学仪器重点实验室,浙江 杭州 310027)

针对无参考噪声图像质量评价问题,提出基于视觉对比度敏感函数(CSF)和仿射重建模型的噪声图像质量评价方法.引入CSF对待评价噪声图像进行滤波,利用图像分块技术,建立基于最优化问题求解的仿射重建模型,得到图像信号成分,估计出残差信号图像.计算各分块的噪声强度点分布,选取噪声强度点数量分布最多的区间,最终的噪声图像质量评价算子由该强度区间内的所有强度点的均值计算得到.在LIVE、TID2008及CSIQ数据库上开展评价算法主客观一致性评估实验,与其他几种评价算法进行对比,比较算法客观评价性能的表现.实验结果表明,提出的算法具有很好的准确性和主客观评价一致性.

噪声图像质量评价; 对比度敏感函数(CSF); 仿射重建模型; LIVE数据库

随着数字成像系统及多媒体影像技术的发展,光学数字图像逐渐成为存储信息的重要方式.数字图像在传输、显示、压缩等过程中图像质量容易受到噪声、模糊、块效应等因素的影响,降低了信息的有效性.图像质量评价(image quality assessment,IQA)对于图像处理算法性能优劣和系统参数优化指标的选择有着重要的意义,Bovik等[1-5]在该领域开展了大量深入的研究.其中,主观图像质量评价是最直观可靠的图像质量评价方法,但需要花费大量的时间和人力成本,评价人员需要一定的专业背景,不适用于实际的系统应用.近年来,客观图像质量评价方法成为该领域的主要研究内容.

根据所需信息量的多少,图像客观评价算法可以分为全参考图、半参考图和无参考图质量评价方法[1].其中,半参考图评价算法只用单幅失真图像就能够得到最终的图像评价结果,在实际应用中往往难以获取参考图像,该类图像评价算法在这样的应用场合有着重要的实用意义.近年来,Saad等[6-8]提出一些适用于各类失真类型的通用无参考图像评价方法,同时更多的算法设计针对于某种特定失真类型,常见的失真包括JPEG压缩退化、模糊退化、噪声退化等.对于压缩退化类型的图像,Suthaharan等[2-3,9-10]提出对应的评价算法来评估因图像压缩算法而引起的图像退化程度.此外,Narvekar等[4-5,11]提出很多有效的清晰度评价算子,对由模糊引起的图像失真进行清晰程度的评价.噪声是图像退化中重要的因素,通常图像噪声被简化认为是加性高斯白噪声,基于此种噪声模型,Pastor等[12-14]提出一些图像噪声估计方法.噪声估计算法往往忽略了人眼视觉系统对噪声图像的主观敏感程度,不能很好地评估噪声图像质量对于观测者的主观感受.目前很少有针对噪声图像的无参考客观评价算法提出.

本文基于视觉对比敏感函数和仿射重建模型,提出针对噪声图像的无参考图像质量评价方法.将噪声图像进行视觉对比敏感函数滤波,滤波图像反映了人眼视觉对不同频率内容的响应差异；利用图像分割算法,结合仿射模型求解噪声图像信号,从而估计残差信号图像；从噪声残差信号图像中得到图像噪声强度点分布,选取噪声强度点数量分布最多的区间并计算其中所有噪声强度点的均值,从而得到最终的噪声图像质量评价结果.

1 视觉对比度敏感函数滤波

人眼是各种成像链路中图像质量最终的感知者,可以称为最复杂的图形图像处理系统.目前,针对人眼视觉系统(human visual system, HVS)尽管没有一个全面、深入的理论认识,但生理学及心理学在这方面已经取得了一系列的发现,建立了多种HVS模型,模拟了视觉感知的显著特性,主要包括视觉敏感度带通效应、视觉非线性特性以及视觉多通道及掩盖效应.其中,视觉对比度敏感函数(contrast sensitivity function, CSF)表征了HVS视觉敏感度带特性,反映了HVS对于不同空间频率下的对比敏感程度差异,由于CSF能够结合主观视觉感受,已经被应用到很多图像质量评价方法中[15-16].学者们提出了多种CSF模型,虽然各种模型有着不同的形式,但基本上都认为人眼对比敏感度是空间频率的函数,并具有带通滤波器的特性.本文采用Miyahara等[17]提出的CSF模型,表示如下：

CSF(w)=1.5exp(-σ2w2/2)-exp(-2σ2w2).

(1)

图1 对比度敏感函数特性曲线Fig.1 Characteristic curve of contrast sensitivity function

由图1的CSF特性曲线形状可以看出,CSF曲线在中频区域处的对比敏感度最大；在低频和高频区域,敏感度明显下降.当空间频率>15(周期/(°))时,HVS的对比敏感程度几乎变为零.

定义输入的待评价噪声图像为G,如图2(a)所示.对图像G进行CSF滤波,得到滤波后的图像I：

I=G⊗CSF.

(2)

滤波图像I如图2(b)所示,结合了人眼基于内容的敏感性特征,反映了人眼视觉对不同频率内容的响应差异,体现了HVS对噪声图像的主观感受能力,使得最终的评价结果能够更加接近于主观感知.

2 噪声图像仿射重建模型

2.1 噪声图像分割

图像中不同强度区域所表现的噪声特性是不同的,图像分割算法可以根据图像内容将其分为若干近似强度分块,对各自分块中的噪声水平分别进行评估.该研究采用分水岭图像分割算法[18]对CSF滤波后的噪声图像进行近似区域分割,分割后像素相近区域被分至同一分块,各分割块大小相当、互不相交.对于滤波图像I,定义处理得到的分割块集合为Ψi,则两者关系可以表示为

I=∪iΨi.

(3)

式中：i为总的分割块数目,∪ 为图像块并集.同时各个分块区域无交叉,即Ψi∩Ψj=∅ (当i≠j).图像分割结果如图3(a)所示.

2.2 仿射信号重建模型

噪声图像包含了图像信号成分和图像噪声及信号残差成分,如何实现信号图像和噪声残差图像的有效分离,是对噪声图像质量进行评价的关键.仿射信号重建技术通过图像信号最优化问题求解,得到仿射重建矩阵,从而重建得到图像信号成分,实现了噪声残差图像的有效获取.

对于2.1节得到的任意图像区域分割块Ψ,仿射重建模型可以描述为如下形式的最优化问题：

(4)

(5)

式中：L∈R3×m为坐标矩阵,第一行为纵向坐标,第二行为横向坐标,第三行全为1,每一列对应一个像素的空间位置,与图像I相对应.

此时的惩罚方程可以简化表示为

(6)

最优化问题可以表示为

(7)

(8)

令式(8)中倒数置零,则有

LTΦL-LTI=0.

(9)

为了求解Φ,可将式(9)转换为矩阵方程BXC=D的最佳逼近问题：

(10)

利用线性代数中的矩阵最佳逼近问题的求解方法,该方程的最小二乘解为

X=B+DC+.

(11)

式中：B+和C+分别为B和C的广义逆矩阵.

由此可得式(9)中Φ的最小二乘解为

(12)

式中：LT为矩阵L的转置矩阵,L+为矩阵L广义逆矩阵.图像I的仿射重建信号Isig(见图3(b))可以表示为

Isig=Φ*×L.

(13)

图3 图像仿射重建模型结果Fig.3 Result of image affine reconstruction model

2.3 噪声强度点分布估计

噪声残差信号图像如图3(c)所示,可以由滤波噪声图像I和仿射重建的信号图像Isig来估计得到：

Ires=I-Isig.

(14)

残差图像中各分块的残余信息表征了该区域的噪声水平,一个分割块能够估计出一个对应的噪声强度点,计算残差图像各分块区域的噪声标准差,可得图像噪声强度分布图.一般来说,图像噪声强度在一定标准差范围内分布,将整个分布范围等分为若干小的噪声强度区间.在实验中,定义标准差区间步长为0.01,绘制出类似于噪声强度直方图的分布情况,如图4所示.图中，I为噪声强度，N为噪声强度点数量.噪声强度点分布图中统计了不同噪声强度区间内分布的噪声强度点个数,反映了图像噪声的分布特性.

图4 噪声强度点分布Fig.4 Distribution of noise intensity samples

3 噪声图像评价算子

在残差信号图像中,包含了噪声成分和部分残余信号成分,反映到整个噪声强度点分布情况中来看,分布数量最多的区间内的强度点即属于噪声成分,而其他分布的区间认为是残余信号成分.噪声成分的强度是评价噪声图像质量的重要指标,考虑噪声强度点数量分布最多的区间中的所有强度点均值,可得如下所示的评价算子：

(15)

式中：Nmax为噪声强度点数量分布最多的区间中噪声强度点总个数,V(i)为该噪声区间的估计噪声强度点标准差.

为了使得噪声图像的评价数值在一个合适的区间范围内,最终的评价算子通过对数操作算子得到噪声评价算子：

NoiseMetric=-10×log M.

(16)

整个算法的实施流程图如图5所示.

图5 噪声图像评价算法流程图Fig.5 Flowchart of assessment method for noisy images

4 实验结果及分析

由美国TEXAS大学视频工程实验室提供的LIVE (Laboratory for Image and Video Engineering)图像数据库[19]是通用的图像质量评价库,被广泛应用于图像质量评价算法性能评估[20-21].LIVE数据库由982张参考图像及失真图像组成,图像失真类型涵盖了JPEG压缩失真、JPEG2000压缩失真、高斯模糊失真、高斯白噪声噪声失真以及Rayleigh衰落(fast fading,FF)通信模型下的JPEG200比特流传输误差失真.LIVE库提供了对应失真图像的主观差异评分数值(difference mean opinion score,DMOS),用以测试图像评价方法主客观一致性的优劣.在实验中,将其中174幅高斯白噪声图像用来评价提出的噪声图像评价算法的性能.图6中显示了数据库中部分的噪声失真图像.

图6 LIVE数据库部分噪声图像Fig.6 Sample noisy images on LIVE data base

采用Ferzil等[22]描述的图像客观质量评价结果与图像主观评分值的关系模型,将这些噪声图像的评价数值与对应的DMOS分数值进行拟合,可得如下所示的拟合方程：

(17)式中：β1、β2、β3、β4分别为须拟合得到的模型参数,DMOSp为由NoiseMetric预测得到的主观差异评价数值.实验中估计的模型参数数值为：β1=-5.940 2,β2=1.082×103,β3=-65.092 9,β4=28.422 8.算法评价点分布及拟合曲线如图7所示.

利用式(17),可由算法噪声图像质量评价值NoiseMetric得到预测主观评价值,预测评价值DMOSp与主观评价值DMOS的关系如图8所示.

图7 评价算法计算结果及拟合曲线Fig.7 Assessment algorithm results and fitting curve

图8 预测主观评价值和主观评价值关系Fig.8 Relationship between predicted subjective scores and subjective scores

从图8可以看出,由本文方法预测得到的主观评价数值和LIVE数据提供的主观评价数值有很好的一致性.为了更加客观地评价算法性能,引入几种量化的客观评价指标来评价算法的优劣,包括均方根误差(root mean squared error,RMSE)、Pearson线性相关系数(linear Pearson’s correlation coefficient,CC)以及Spearman等级相关系数(Spearman’s rank ordered correlation coefficient ,ROCC).

(18)

CC指标表征了算法的线性程度,CC评价值越大越好,具体定义如下：

(19)

ROCC主要侧重于表现预测模型的单调性,指标值越大表明算法单调性越好.ROCC的具体计算方法如下：

(20)

式中：RXi、RYi分别为预测主观评价值和主观评价值分别按由小到大或由大到小的顺序排序后，对于第i个评价值在各自序列中的序号.在实验中,比较2种全参考图图像质量算法的结构相似度(structural similarity index metric,SSIM)[23]和峰值信噪比(peak signal to noise ratio, PSNR)以及2种针对通用失真类型的无参考图像质量评价方法BIQI(blind image quality index)[24]和BLIINDS(blind image integrity Notator using DCT statistics)[6].各种算法的客观性能评价结果如表1所示.其中,BIQI和BLIINDS评价算法的数据引用文献[8]的数据. Moorthy等[8]提供了BIQI和BLIINDS算法针对LIVE数据中的所有失真图像类型的评价数据,本文只选取其中的噪声失真图像性能评价结果数据作为比较.

表1 几种图像质量评价算法LIVE数据的评价性能结果

从表1的比较结果可以得到,2种全参考图评价方法PSNR和SSIM的性能会优于无参考图的评价方法,但是该类算法有着明显的应用局限性,在很多无法获取参考图像的实际应用场景中不能有效适用.在比较的几种无参考图像质量评价算法中,本文算法针对噪声图像建立的评价模型,各项性能指标均优于适用于通用失真的BIQI和BLIINDS方法.本文提出方法的性能表现比较接近前2种全参考图像评价算法.综合来看,本文所建立的噪声图像模型算法更加适用于无参考图应用场景下的噪声图像评价,具有很好的主客观一致性和准确性能评估表现.为了更好地验证算法的适用性,在TID2008数据库和CSIQ数据库上进行算法的性能评估.TID2008(Tampere Image Database 2008)数据库[25]由25幅参考图像及1 700幅失真图像组成,包括17种失真类型；CSIQ (categorical image quality database)数据库[26]包含了6种类型的失真图像,共有30幅参考图像和866幅失真图像.选取2个图像数据库中的高斯白噪声失真图像来验证算法性能.利用上述的RMSE、CC和ROCC 3种客观评价指标来评估算法表现,TID2008数据库和CSIQ数据的具体比较结果分别如表2、3所示.

表2 TID2008数据库评价结果

表3 CSIQ数据库评价结果

从表2、3的比较结果可以看出, PSNR算法对于2个数据库的评价都有着很好的指标性能.本文方法和其他2种全参考图像质量评价算法相比,评价指标稍差,但各项数据比较接近.与适用于通用失真的BIQI算法比较来看,本文方法的评价有着较优异的评价结果.考虑到本文算法没有利用任何参考图信息,直接从噪声图像中计算得到评价数值,在TID2008和CSIQ图像数据库上的表现较优异,该算法具有广泛的适用性,能够满足噪声图像的质量评价需求.

5 结 语

噪声图像质量评价是图像处理分析领域的一个重要的问题,现有的图像噪声估计算法往往忽略了人眼视觉对于噪声图像的敏感特性.本文的创新之处在于,将视觉敏感函数和信号仿射重建模型引入噪声图像质量评价方法中,建立无参考的噪声图像质量评价模型,提出噪声图像评价算子.在LIVE数据库和TID2008及CSIQ图像数据库上对算法进行准确性和主客观一致性评估实验,并与其他几种图像质量方法进行比较.实验结果表明,采用本文提出的算法能够对无参考图的噪声图像进行有效的评价,具有很好的主客观一致性和准确性.本文所述的算法模型框架对其他的图像质量评价方法有着重要的应用价值和启发意义.下一步的工作是优化算法的计算效率,优化程序,加速算法的运行速度,使其能够满足实时在线系统的要求.

[1] BOVIK A C, WANG Zhou. Modern image quality assessment [M]. New York: Morgan and Claypool, 2006．

[2] SUTHAHARAN S. No-reference visually signifcant blocking artifact metric for natural scene images [J]. Signal Processing, 2009, 89(8): 1647-1652．

[3] MARZILIANO P, DUFAUX F, WINKLER S, et al. Perceptual blur and ringing metrics: application to JPEG2000 [J]. Signal Processing: Image Communication, 2004, 19(2): 163-172．

[4] NARVEKAR N D, KARAM L J. A no-reference image blur metric based on the cumulative probability of blur detection (CPBD) [J]. IEEE Transactions on Image Processing, 2011, 20(9): 2678-2683．

[5] CHEN Ming-Jun, BOVIK A C. No-reference image blur assessment using multi-scale gradient [J]. EURASIP Journal on Image and Video Processing, 2011, 2011(1): 1-11．

[6] SAAD M A, BOVIK A C, CHARRIER C. A DCT statistics-based blind image quality index [J]. IEEE Signal Processing Letters, 2010, 17(6): 583-586．

[8] MOORTHY A K, BOVIK A C. Blind image quality assessment: from natural scene statistics to perceptual quality [J]. IEEE Transactions on Image Processing, 2011, 20(12): 3350-3364．

[9] BARLAND R, SAADANE A. Reference free quality metric for JPEG-2000 compressed images [C]∥ International Symposium on Signal Processing and its Applications. Australia: IEEE, 2005, 1:351-354.

[10] TONG Hang-hang, LI Ming-jing, ZHANG Hong-jiang, et al. No-reference quality assessment for JPEG2000 compressed images [C]∥Proceeding of IEEE International Conference on Image Processing. Singapore: IEEE, 2004, 5: 3539-3542．

[11] 张天煜,冯华君,徐之海,等. 基于强边缘宽度直方图的图像清晰度指标[J]. 浙江大学学报：工学版,2014, 48(2): 312-320． ZHANG Tian-yu, FENG Hua-jun, XU Zhi-hai, et al. Sharpness metric based on histogram of strong edge width [J]. Journal of Zhejiang University: Engineering Science,2014, 48(2): 312-320．

[12] PASTOR D. A theoretical result for processing signals that have unknown distributions and priors in white Gaussian noise [J]. Computational Statistics and Data Analysis, 2008, 52(6): 3167-3186．

[13] JIANG Ping, ZHANG Jian-zhou. Fast and reliable noise estimation algorithm based on statistical hypothesis tests [C]∥Visual Communications and Image Processing.San Diego : IEEE, 2012:1-5．[14] LIU Xin-hao, TANAKA M, OKUTOMI M. Noise level estimation using weak textured patches of a single noisy image [C]∥19th IEEE International Conference on Image Processing. Orlando: IEEE , 2012: 665-668．

[15] KARUNASEKA S A, KINGSBURG N G. A distortion measure for blocking artifacts in image based on human visual sensitivity [J]. IEEE Transactions on Image Processing, 1995, 4(6): 713-724．

[16]张量,王怡影,明军,等. 基于掩盖效应图像质量评价方法的研究[J]. 合肥工业大学学报：自然科学版,2013, 36(6): 696-699． ZHANG Liang, WANG Yi-ying, MING Jun, et al. Research on image quality evaluation method based on masking effect [J]. Journal of Hefei University of Technology: Natural Science, 2013, 36(6): 696-699．

[17] MIYAHARA M, KOTANI K, ALGAZI V. Objective picture quality scale (PQS) for image coding [J]. IEEE Transactions on Communications, 1998, 46(9): 1215-1226．

[18] VINCENT L, SOILLE P. Watersheds in digital spaces: an efficient algorithm based on immersion simulations [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1991, 13(6): 583-598．

[19] SHEIKH H R, ZHOU Wang, CORMACK L, et al. LIVE image quality assessment database release 2 [EB/OL]. [2006-03-15]. http:∥ live.eoe.utexas.edu/research/quality/．

[20] 王宇庆,朱明. 评价彩色图像质量的四元数矩阵最大奇异值方法[J]. 光学精密工程,2013, 21(2): 469-478． WANG Yu-qing, ZHU Ming. Maximum singular value method of quaternion matrix for evaluating color image quality [J]. Optics and Precision Engineering, 2013, 21(2): 469-478．

[21] 王勇,王宇庆,赵晓晖.图像质量客观评价的复数矩阵结构相似度方法[J].仪器仪表学报, 2014, 35(5): 1118-1129． WANG Yong, WANG Yu-qing, ZHAO Xiao-hui. Objective image quality assessment based on complex matrix structure similarity [J]. Chinese Journal of Scientific Instrument, 2014, 35(5): 1118-1129．

[22] FERZIL R, KARAM L J. A no-reference objective image sharpness metric based on the notion of just noticeable blur (JNB) [J]. IEEE Transactions on Image Processing, 2009, 18(4): 717-728．

[23] WANG Zhou, BOVIK A C, SHEIKH H R, et al. Image quality assessment: from error visibility to structural similarity [J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612．[24] MOORTHY A K, BOVIK A C. A two-step framework for constructing blind image quality indices [J]. IEEE Signal Processing Letters, 2010, 17(5): 513-516．

[25] PONOMARENKO N, LUKIN V, ZELENSKY A, et al. TID2008: a database for evaluation of full-reference visual quality assessment metrics [J]. Advances of Modern Radioelectronics, 2009(10): 30-45．

[26] ERIC C L, DAMON M C. Most apparent distortion: full-reference image quality assessment and the role of strategy [J]. Journal of Electron Imaging, 2010, 19(1): 143-153．

Image quality assessment method for noisy images based on CSF and affine reconstruction model

CUI Guang-mang, FENG Hua-jun, XU Zhi-hai, LI Qi, CHEN Yue-ting

(StateKeyLaboratoryofOpticalInstrumentation,ZhejiangUniversity,Hangzhou310027,China)

An image quality assessment method based on contrast sensitive function (CSF) and affine reconstruction model was proposed for no-reference noisy image quality assessment. The visual contrast sensitivity function was introduced to apply the filtering process for noisy image. The image segmentation algorithm was utilized and the affine reconstruction model was applied to solve the optimal problem. Then image signal was obtained and the residual signal image was estimated from the input image and the signal image. The noise intensity sample of each block was calculated to select the interval with the most noise samples falling in. The final noise image assessment metric was obtained by the mean value of all the noise intensity samples belonging to the selected interval. Experiments were conducted on LIVE, TID2008 and CSIQ image data base in order to evaluate the subjective and objective consistency of the proposed method. The objective performances were assessed compared with other image quality assessment methods. Experimental results illustrate that the presented algorithm has a good performance on accuracy and subjective and objective consistency．

quality assessment on noisy images；contrast sensitive function(CSF)；affine reconstruction model；LIVE data base

2014-12-10. 浙江大学学报(工学版)网址： www.journals.zju.edu.cn/eng

国家自然科学基金资助项目(61178064).

崔光茫(1989-)，男，博士生，从事光学成像、图像质量评价等的研究.ORCID：0000-0002-1997-6084. E-mail：nycgm@163.com 通信联系人：冯华君，男，教授，博导.ORCID：0000-0002-5606-6637. E-mail：fenghj@zju.edu.cn

10.3785/j.issn.1008-973X.2016.01.021

TP 391

A

1008-973X(2016)01-0144-07