基于人类视觉系统的特征相似性图像质量评价*

孙彦景 刘东林 谢新新 王艳芬

(中国矿业大学 信息与控制工程学院，江苏 徐州 221116)

基于人类视觉系统的特征相似性图像质量评价*

孙彦景 刘东林 谢新新 王艳芬

(中国矿业大学 信息与控制工程学院，江苏 徐州 221116)

为克服现有特征相似性(FSIM)图像质量评价算法对图像信息无序部分及边缘信息度量能力的不足，利用人类视觉系统的内在推导机制，提出基于人类视觉系统的特征相似性图像质量评价算法HFSIM.该算法采用自回归预测模型分解并解读图像内容的预测部分和无序部分；联合FSIM与边缘结构相似性算法度量预测部分，采用多尺度峰值信噪比(PSNR)度量无序部分的衰减情况，最后根据噪声能量融合图像信息预测部分与无序部分的评价结果得到图像质量评价.在6个公开基准数据库上的实验结果表明，该算法与人类主观感知具有高度的一致性，且在各类型失真图像的评价上具有较好的性能．

图像质量评价；人类视觉系统；内在推导机制； 特征相似性；边缘结构相似性

近年来，随着对人类视觉系统(HVS)的深入了解，很多研究者认识到HVS的特性会影响人们对图像的感知[1]，并结合图像质量评价做了大量的研究工作.Damera- Venkata等[2]提出了噪声质量检测模型(NQM)，证明了非线性的NQM是一种比线性测量方法更好的视觉质量评价方法；Watson[3]提出利用离散余弦变换(DCT)与小波变换(WT)将图像分解到频域，针对HVS与频率的关系设计了相关模型；Wang等[4]提出了结构相似度( SSIM)，认为人眼视觉的主要功能是提取场景中的结构信息，人类视觉系统能高度自适应地实现这一目标.人眼对图像的理解主要根据图像中的底层特征，大多数现有的基于HVS的评价模型仅根据某一种图像特征进行评价，这些模型往往无法有效地提取人类感兴趣的不同特征点.

文献[5]发现，不同频率下傅里叶级数的相位一致性与人眼观察到的图像特征相一致.相位一致性不受对比度的影响，对比度会影响图像的质量.Zhang等[6]提出了特征相似性算法(FSIM),选取相位一致性信息作为主要特征提取出人类感兴趣的底层特征，该算法在评价图像质量时更好地与人的主观保持一致.然而FSIM算法对图像失真的变化程度，特别是对图像边缘信息的变化程度并不敏感[7]，因此对边缘信息比较丰富的图像评价效果不理想.另外，FSIM算法在评价与图像内容相关的失真类型时表现较好，而在评价与图像内容无关的失真类型时表现一般.

人类视觉系统利用一套内在推导机制(IGM)对输入的视觉信息进行解读[8]，积极地预测、解读输入场景的信息并且最大可能地避免输入场景的无序部分.文献[9]提出基于IGM的立体图像质量评价算法，获得较好的效果.文献[10]采用贝叶斯预测模型，将图像分解为与图像内容相关并且影响人类对图像解读的预测部分以及与图像内容无关只影响视觉舒适度的无序部分，预测部分仅采用结构特征进行度量，并没有考虑其他特征带来的影响.

综上，针对FSIM算法对图像边缘信息不敏感以及对图像信息无序部分度量能力的不足，结合边缘结构相似性算法(ESSIM)[11]提出一种基于人类视觉系统的特征相似性算法(HFSIM).

1 基于内在推导机制的自回归预测模型

人类视觉系统通过内在推导机制预测输入信息[12].输入信息中的有序部分容易被准确地预测并被大脑解读，而无序部分具有复杂的结构及不确定内容，人类视觉系统在感知无序的图像信息时往往只是提取大体信息而忽略具体细节.

采用以贝叶斯条件概率为基础的自回归(AR)预测模型模拟人类视觉系统的内在推导机制对图像感知与理解的过程，能够有效地预测信息[13]，实现对输入场景的认知与解读.

(1)

对式(1)两边取对数得到：

(2)

(3)

I(Xij;Xpq)-H(Xpq)

(4)

式中，I(Xij;Xpq)为Xij与Xpq之间的互信息[14]，作为AR算法中的系数用于预测图像信息内容.

图1 HVS的内在推导机制

2 HFSIM图像质量评价算法

基于内在推导机制的自回归预测模型的特点，在分离图像信息的过程中考虑人类视觉感知图像的机理，以揭示大脑对输入场景的感知过程.在此模型下，提出一种基于人类视觉系统的HFSIM算法.

HFSIM算法总框图如图2所示，采用AR预测模型对输入图像进行预测、分解，然后对分解后的两部分分别进行度量，利用均方误差(MSE)将度量后的两部分进行加权融合，从而获得图像的客观质量.

图2中，Ir、Id分别是参考图像与失真图像.算法1中，AR预测模型模拟内在推导机制对输入信息的感知过程，预测出视觉所能感知的预测部分，分离出不影响人类解读的无序部分.图像的预测部分包含图像的主要视觉信息，其失真程度严重影响人对图像内容的解读，对这部分的度量显得尤为重要.

图2 HFSIM算法框图

算法4中，根据分布在预测部分和无序部分的噪声能量，利用MSE计算两部分的权重，将预测部分和无序部分进行融合，获得图像的客观质量.HFSIM算法详述如下所示.

Procedure：输入参考图像Ir与失真图像Id

算法1

{∥基于自回归预测算法的内在推导机制的图像分解

for(i，j)∈Ir或Id

(5)

式中，S(Xij)表示以Xij为中心像素的邻近区域，大小为20*20，Xpq为S(Xij)区域中Xij的周围像素，ε为加性白噪声，Cpq为互信息归一化系数：

(6)

end

}

算法2

(7)

(8)

}

{∥预测部分边缘图的获取

for 每个高通滤波矩阵Gi(i=1，2，3，4)，Gi为4个方向上(0°、45°、90°、135°)的边缘滤波器[16]:

(9)

(10)

(11)

其中，gk为4个方向的梯度值，k为4个方向上的滤波器，*为卷积符.

end

}

(12)

}

(13)

}

算法3

∥在多尺度内，利用ωi′表征PSNR的权重系数；

(14)

end

}

算法4

(15)

根据噪声能量在两部分所占的比重来确定α与β的值：

(16)

其中MSEd、MSEp为失真图像中两部分的噪声强度，特别地，β=1-α.

}

endprocedure

3 算法仿真分析

3.1 算法有效性验证

将HFSIM与FSIM进行比较，验证HFSIM的有效性.结果如图3所示.

图3 HFSIM算法有效性验证

大部分基于HVS的评价模型没有考虑到具体失真类型的特性，这些算法度量出的结果与人类视觉往往不太一致.内在推导机制可以有效地滤除白噪声，所以人类视觉对白噪声带来的干扰容忍性较强.由图3可知，图像(d)的MSE(84.32)与图像(g)的MSE(90.57)相差不大，但与图像(g)相比，图像(d)具有更好的感知质量.如图3中(e)、 (f)、(h)、(i)所示，算法将图片分解成预测部分和无序部分再进行分别度量后得出待测图像质量结果.如图3(d)噪声能量主要分布在无序部分(f)(MSE=27.51)中，而预测部分(e)占得很少(MSE=1.43)；图3(g)中的噪声能量很多被分到预测部分(h)中(MSE=32.48)，结合两部分的度量结果HFSIM算法预测出(d)和(g)两幅图的客观值分别为0.97和0.96，两幅图的主观评分(MOS)分别为4.91和4.53，算法结果与主观感受相一致.FSIM算法预测出的(d)和(g)两幅图的客观质量分别为0.95和0.98,与主观感知相反.

3.2 算法性能指标

在A57、IVC、TID2008、Tomaya-MICT、LIVE与CSIQ这6个公开数据库测试数据集上进行实验以验证算法的性能.客观数据与主观评分的预测存在一定的非线性关系，这种非线性很容易补偿，在测试和检验中都允许这样的非线性映射将这些算法的输出转变为与差异主观评分(DMOS)或者MOS相类似的值.本实验选用式(17)5个参数的logistic函数进行非线性补偿[10]：

Q(h)=γ1logistic(γ2,(h-γ3))+γ4h+γ5

(17)

(18)

其中，h表示客观算法的质量估计，参数γ1-γ5是映射值Q(h)与主观质量评分之间差值的平方和最小的参数，采用Matlab中的fminuch函数求解获得.

采用皮尔森线性相关系数(PLCC)、均方根误差(RMSE)、斯皮尔曼秩相关系数(SROCC)以及肯德尔相关系数(KRCC)4个参数指标比较算法的性能[8].利用PLCC、RMSE来计算预测的准确性，SROCC、KRCC作为预测单调性的度量.其中，PLCC、SROCC、KRCC越大，模型的预测质量值与主观评分的相关性越好，RMSE越小模型的预测误差越小.

3.3 实验结果与分析

3.3.1 总体性能比较

在6个公开图像数据库上对HFSIM算法性能进行总体分析，并与目前性能较优的4种全参考评价模型(IGM[10]、FSIM[6]、ADM[17]与IW-SSIM[18])进行对比，4种模型的PLCC、SROCC、KRCC和RMSE值如表1所示.

表1 算法在6个基准数据库上的性能

由表1可以看出，HFSIM算法在各类数据库上都表现出较好的性能：在A57数据库上算法性能最好；在LIVE、TID2008、IVC、MICT、CSIQ数据库上性能较好且接近最佳性能.

3.3.2 单调性比较

为了验证HFSIM在不同失真类型上的性能，给出所选数据库上所有失真类型的SROCC.由于A57数据库中图像数目较少，所以选取图像数目或失真类型较多的LIVE、CSIQ、TID2008、MICT、IVC五大数据库.数据结果如表2所示.

表2 每类失真类型下的SROCC

由表2可以看出，在LIVE数据库上，HFSIM算法模型在jp2k-comp、awgn、blur、jp2k-trans-error这4种失真类型上性能最好，在jpeg-comp失真类型上接近最好性能.在CSIQ数据库上，在jpeg-comp及contrast失真上表现最好，在jp2k-comp及1/fnoise上与最好的算法接近；TID2008数据库的17种噪声中，在awgn、awgn-color、jp2k-comp、jpeg-trans-error 4种失真类型表现最好，在spatialcorr-noise、high-fre-noise、impulse noise、quantization noise、gblur、denoising、jpeg-comp、jp2k-comp、block-distortion、contrast这10种噪声上HFSIM算法的性能接近最好性能，在剩下的3种噪声类型上与最好的算法性能很接近；在MICT中，HFSIM在jp2k-comp失真类型上效果较好，在jpeg-comp失真类型上接近最好的性能；在IVC数据库上，HFSIM算法在jp2k-comp失真类型上性能最好，在jpeg-comp、blur、jpeg-lc和lar失真类型上与其他算法的性能接近.因此，HFSIM算法的性能总体上优于相关算法，与主观感知质量一致性较高.

图4示出了文中提出的算法模型根据MICT、IVC和TID2008数据库给出的MOS以及A57、LIVE和CSIQ数据库给出的DMOS在这6个公开图像数据库上进行评价的结果.由散点图4(a)-(d)可知，在A57、IVC、LIVE和MICT数据库上，散点图的聚合度很好；而在图4(e)、(f)中，仅在CSIQ和TID2008数据量较大的数据库上，散点图的聚合度较好.结果表明所提算法评分与主观评分有很高的一致性，能准确评价图像质量，预测精确度较高，单调性较好.

图4 HFSIM算法在6个数据库上的散布图及拟合曲线

Fig.4 Scatter plots and fitted curves of HFSIM algorithm on six databases

3.3.3 算法复杂度比较

为了验证HFSIM算法复杂度，根据图像处理方式的不同将算法分为两类进行对比说明.FSIM、ADM、IW-SSIM、HFSIM、IGM算法在所有数据库上的平均使用时间分别为0.805、0.357、0.943、24.913、26.945 s.

FSIM、ADM、IW-SSIM算法对图像进行整体处理，因此时间较短、算法复杂度较低，但是由前面指标可以看出其整体效果欠佳.HFSIM和IGM算法模拟人类视觉系统对图像的解读过程，采用将图像分解的方式对图像质量进行度量，HFSIM在处理方式相同的情况下有效降低了算法的复杂度.HFSIM算法在所有数据库上平均处理时间为24.913 s，IGM平均处理时间为26.945 s.HFSIM比IGM每幅图像处理时间平均减少了2 s，效率提高了7.5%.本实验在Inter酷睿i5- 4590 3.3GHz的硬件环境下进行，软件平台为Matlab R2015.

4 结语

根据贝叶斯大脑理论，针对FSIM图像质量评价算法对边缘信息的识别能力以及图像无序部分度量能力的不足，提出了HFSIM算法.HFSIM算法充分利用人类视觉系统的IGM机制将图像分解为无序部分和预测部分.对分解后的预测部分采用FSIM与ESSIM相结合的算法进行度量，利用多尺度PSNR指标计算图像分解后的无序部分，最后根据噪声能量分布进行加权融合获得图像的客观质量.实验结果表明，HFSIM算法与人类主观感知具有高度的一致性，且在6个公开数据库各类型失真图像的评价上整体优于相关算法.

[1] 丰明坤，赵生妹，邢超. 基于视觉显著失真度的图像质量自适应评价方法 [J]. 电子与信息学报，2015，37(9):2062- 2068． FENG Ming- kun，ZHAO Sheng- mei，XING Chao. Image quality self- adaptive assessment based on visual salience distortion [J]. Journal of Electronics and Information Technology，2015，37(9):2062- 2068.

[2] DAMERA- VENKATA N，KITE T D，GEISLER W S，et al. Image quality assessment based on a degradation mo-del [J]. IEEE Transactions on Image Processing，2000，9(4)：636- 650.

[3] WATSON A B. Visually optimal DCT quantization matrices visually optimized for individual images [C]∥Proceedings of Symposium on Electronic Imaging：Science and Technology. San Diego： International Society for Optics and Photonics，1993：202- 216．

[4] WANG Z，BOVIK A C，SHEIKH H R，et al. Image quality assessment：from error visibility to structural similarity [J]. IEEE Transactions on Image Processing，2004，13(4)：600- 612．

[5] LIU Z，LAGANIRE R. Phase congruence measurement for image similarity assessment [J]. Pattern Recognition Letters，2007，28(1)：166- 172．

[6] ZHANG L，ZHANG L，MOU X，et al. FSIM：a feature similarity index for image quality assessment [J]. IEEE Transactions on Image Processing，2011，20(8)：2378- 2386．

[7] 苗莹，易三莉，贺建峰，等.结合梯度信息的特征相似性图像质量评估 [J].中国图象图形学报，2015，20(6)：0749- 0755． MIAO Ying，YI San- li，HE Jian- feng，et al. Image quality assessment of feature similarity combined with gradient information [J]. Journal of Image and Graphics，2015，20(6)：0749- 0755．

[8] GU K，ZHAI G，YANG X，et al. Using free energy principle for blind image quality assessment [J]. IEEE Tran-sactions on Multimedia，2015，17(1)：50- 63.

[9] ZHENG K，YU M，JIN X，et al. New reduced- reference objective stereo image quality assessment model based on human visual system [C]∥Proceedings of 3DTV- Confe-rence：The True Vision- Capture，Transmission and Display of 3D Video (3DTV- CON)，2014. Moffett Field∶IEEE，2014：1- 4．

[10] WU J J，LIN W S，SHI G G. Perceptual quality metric with internal generative mechanism [J]. IEEE Transactions on Image Processing，2013，22(1)：43- 54．

[11] 杨春玲，陈冠豪，谢胜利. 基于梯度信息的图像质量评判方法的研究[J]. 电子学报，2007，35(7)：1313- 1317． YANG Chun- ling，CHEN Guan- hao，XIE Sheng- li. Gradient information based image quality accessment [J]. Journal of Acta Electronica Sinica，2007，35(7)：1313- 1317．

[12] ZHANG X，LI X，FENG Y，et al. Image fusion with internal generative mechanism [J]. Expert Systems with Applications，2015，42(5)：2382- 2391.

[13] RAAM C N V，BHAVANI K L. Image quality assessment by using AR prediction algorithm with internal generative mechanism [J]. International Journal of Computer Science and Mobile Computing，2014，8(3)：774- 787．

[14] GAO D，HAN S，VASCONCELOS N. Discriminant sa-liency，the detection of suspicious coincidences，and applications to visual recognition. [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，31(6):989- 1005．

[15] PONOMARENKO N，LUKIN V，ZELENSKY A，et al. TID2008—a database for evaluation of full- reference vi-sual quality assessment metrics [J]. Advances of Mo-dern Radioelectronics，2009，10：30- 45．

[16] HUYNH- THU Q，GHANBARI M. Scope of validity of PSNR in image/video quality assessment [J]. Electro-nics Letters，2008，44(13):800- 801．

[17] LI S，ZHANG F，MA L，et al. Image quality assessment by separately evaluating detail losses and additive impairments [J]. IEEE Transactions on Multimedia，2011，13(5)：935- 949．

[18] WANG Z，LI Q. Information content weighting for perceptual image quality assessment [J]. IEEE Transactions on Image Processing，2011，20(5)：1185- 1198．

Feature Similarity Image Quality Assessment on the Basis of Human Visual System

SUNYan-jingLIUDong-linXIEXin-xinWANGYan-fen

(School of Information and Control Engineering, China University of Mining and Technology, Xuzhou 221116, Jiangsu, China)

As the existing image quality evaluation methods of feature similarity (FSIM) is inefficient in image information uncertainty measurement and edge information detection, a novel algorithm named HFSIM is proposed on the basis of the internal generative mechanism of human visual system (HVS). In this algorithm, the auto-regressive (AR) model is employed to decompose distorted images, and the original image is decomposed into two portions, one is the predicted portion and the other is the disorderly portion. By combining FSIM with edge structural similarity (ESSIM) algorithm, the predicted portion of image is measured, and, by employing the multi-scale peak signal-to-noise ratio(PNSR), the distortion of the disorderly portion is measured. Finally, the overall image quality score is obtained according to the above-mentioned measured results of the predicted and the disorderly portions.It is found from the experiments on six public benchmark databases that the proposed algorithm is highly consistent with human perception, and that it possesses high performance in the assessment of different types of distorted images.

image quality assessment; human visual system; internal generative mechanism; feature similarity; edge structural similarity

2016- 06- 17

国家自然科学基金资助项目(51274202)；国家自然科学基金青年基金资助项目(51504255,51504214)；中国矿业大学中央高校基本科研业务费专项资金资助项目(2013RC11)；江苏省科技成果转化项目(BA2012068)；江苏省自然科学基金资助项目(BK20131124)；江苏省自然科学基金青年基金资助项目(BK20130199)；江苏省产学研前瞻性联合研究项目(BY2014028- 01)；江苏省重点研发计划项目(BE2015040)；重庆市教委科学技术研究项目(KJ1501030)；中国矿业大学重大项目培育专项(2014ZDPY16) Foundation items: Supported by the National Natural Science Foundation of China(51274202)，the National Natural Science Foundation of China for Young Scientists (51504255, 51504214)，the Transformation Program of Scientific and Technological Achievements of Jiangsu Province of China(BA2012068)，the Natural Science Foundation of Jiangsu Province of China(BK20131124), the Natural Science Foundation of Jiangsu Province of China for Young Scientists(BK20130199), the Perspective Research Foundation of Production Study and Research Alliance of Jiangsu Province of China(BY2014028- 01) and the Fundamental Research and Deve-lopment Foundation of Jiangsu Province(BE2015040)

孙彦景(1977-)，男，博士，教授，主要从事图像处理、无线传感器网络和信息物理系统研究.E-mail:yjsun@cumt.edu.cn

1000- 565X(2017)03- 0011- 09

TN 919.8

10.3969/j.issn.1000-565X.2017.03.002