视觉显著特征融合的图像评价

摘  要：针对视觉显著（visual saliency index，VSI）图像质量评价的不足，通过引入人眼的感知特性，提出了一种视觉特征融合（visual saliency feature pooling，VSFP）的评价方法。VSFP方法首先对失真图像的灰度特征进行评价，作为能量补充信息，然后基于人眼的中央凹生理特性对图像局部特征评价进行加权融合，最后基于回归方程对多特征评价进行自适应融合。实验表明所提方法明显提高了VSI方法的评价性能。

关键词：图像质量评价;特征融合;视觉中央凹;回归方程

中图分类号：TP391.41        文献标识码：A 文章编号：2096-4706（2019）07-0080-03

Abstract：Aiming at the shortcomings of visual saliency index（VSI）for image quality assessment，an assessment method called visual saliency feature pooling（VSFP）is proposed by introducing the perceptual characteristics of human eyes. Firstly，the VSFP method evaluates the gray level features of distorted images are assessed and viewed as energy supplement information. Secondly，the local features assessment is pooled with the weights based on the physiological characteristics of the central foveal of the human eye. Finally，the multi-features assessment is adaptively pooled based on the regression equation. Experiments show that the assessment performance of the proposed method is significantly improved compared to VSI method.

Keywords：image quality assessment;feature pooling;visual foveal;regression equation

0  引  言

当前，随着图像信号在日常生活中的应用普及，人们提出了越来越高的视觉感知体验需求，因此，图像质量评价方法的研究具有重大的现实意义[1，2]。相对于主观评价方法，客观评价方法由于具有计算机建模的一系列优点而成为了重要的研究和应用方向。峰值信噪比（Peak Signal to Noise Ratio，PSNR）方法在现实中具有最广泛的应用领域，但各项评价指标水平低下。近些年提出的结构相似度（Structural Similarity，SSIM）方法[3]则明显提高了PSNR方法的性能水平并成为了目前的研究热点。其中，视觉显著（Visual Saliency Index，VSI）方法[4]在理论上提出了较大的创新，首次将视觉显著模型用于图像质量客观评价算法中，并将图像梯度作为第二特征信息融入评价算法中。然而，通过理论分析和实验验证，发现VSI方法存在如下不足：

（1）没有考虑图像灰度特征的信息失真，这将导致评价结果无法准确判断图像的背景失真情况;

（2）利用视觉显著视图作为权重对局部评价进行了加权融合，但是这种加权算法并没有提高VSI方法的评价准确度指标水平;

（3）对视觉显著评价和梯度特征评价采用了局部乘积的融合策略，但这种融合策略对于整体评价性能的改进效果非常不明显。

针对VSI方法的上述不足，通过引入人眼的主观感知特性，本研究提出了一種改进的VSFP融合评价方法，VSFP方法引入灰度特征信息来改进图像背景失真的评价效果，并基于人眼主观感知和回归方程对评价视图进行深度融合，最后通过实验分析了所提方法的评价性能，并与VSI方法进行了比较。

1  VSFP方法原理

VSFP方法原理可以用图1描述，通过将人类视觉系统的视觉显著、中央凹和自适应等特性引入图像质量客观评价，VSFP方法包括了视觉显著评价、梯度评价和灰度评价三个要素，实施过程分为特征评价和加权融合两个阶段，具体包括以下步骤：

（1）基于视觉显著模型[4]获得失真图像质量的视觉显著评价视图V（i，j）;

（2）基于梯度特征[5]获得失真图像质量的梯度特征评价视图G（i，j）;

（3）基于SSIM算法[3]获得失真图像质量的灰度评价评价视图L（i，j）;

（4）基于中央凹生理特性对V（i，j）、G（i，j）和L（i，j）分别进行局部加权融合，依次获得对应的视觉显著评价V、梯度评价G和灰度评价L;

（5）基于自适应特性构造回归方程算法，然后对V、G和L进行融合，获得失真图像质量的客观评价结果VSFP分值。

1.1  评价视图原理

根据VSI方法的原理，本研究采用的视觉显著评价视图V（i，j）算法如下：

式中Vx（i，j）、Vy（i，j）分别为参考图像和失真图像的视觉显著测量视图，ζ为调节公式稳定的常数。

根据GSM方法[5]的原理，本研究采用的梯度评价视图G（i，j）算法如下：

式中Gx（i，j）、Gy（i，j）分别为参考图像和失真图像的梯度测量视图，ζ作用同公式（1）。

根据SSIM方法[3]的原理，本研究采用的灰度评价视图L（i，j）算法如下：

式中Lx（i，j）、Ly（i，j）分别为参考图像和失真图像的灰度測量视图，ζ作用同公式（1）、（2）。

1.2  评价视图局部加权融合

根据人类视觉系统的中央凹生理感知特性，本研究提出的局部评价视图加权融合算法如下：

式中τ（i，j）为中央凹生理函数，[J，I]为图像大小。

1.3  特征评价融合

根据人类视觉系统的自适应感知特性，本研究基于回归方程设计了融合算法，获得失真图像质量的客观评价结果VSFP分值如下：

式中，，参数γ11、γ12、γ21、γ22取值详见表1。

2  实验分析

本实验采用了该领域权威的LIVE图像质量评价数据库，实验结果如表1所示。

表1数据反映出本研究所提VSFP方法相对VSI方法取得的改进效果体现在：

（1）对于JPEG2000类型失真图像的评价，VSFP方法的RMSE和SROCC指标取得了较为明显的优势;

（2）对于JPEG类型失真图像的评价，VSFP方法的PLCC和SROCC指标取得了明显的优势;

（3）对于WN和Gblur两个类型失真图像的评价，VSFP方法的RMSE和PLCC指标取得了明显的优势;

（4）对于Fast fading类型失真图像的评价，VSFP方法的RMSE、PLCC和SROCC三项指标均取得了明显的优势。此外，所提VSFP方法的优势还体现在对于失真图像的整体ALL评价上，RMSE、PLCC和SROCC三项指标相对VSI方法均取得了明显的优势。综上分析，所提VSFP方法相对VSI方法取得了改进效果。

3  结  论

针对VSI图像质量客观评价方法的缺点，通过引入人眼视觉系统的一系列感知特性，对VSI方法中的评价视图局部加权融合和多特征融合等算法进行了改进，并融入了图像灰度特征评价信息。实验表明所提方法相对VSI方法取得了明显的改进效果。

参考文献：

[1] 王勇，王宇庆，赵晓晖.图像质量客观评价的复数矩阵结构相似度方法 [J].仪器仪表学报，2014，35（5）：1118-1129.

[2] Guo Yingchun，Hao Yuting，Yu Ming.Image retargeting quality assessment based on content deformation measurement [J].Signal Processing：Image Communication，2018，67：171-181.

[3] Wang Z，Bovik AC，Sheikh HR，et al.Image Quality Assessment：From Error Visibility to Structural Similarity [J].IEEE Transactions on Image Processing，2004，13（4）：600-612.

[4] Zhang L，Shen Y，Li H.VSI：A Visual Saliency-Induced Index for Perceptual Image Quality Assessment [J].IEEE Transactions on Image Processing，2014，23（10）：4270-4281.

[5] Liu Anmin，Lin Weisi，Narwaria M.Image quality assessment based on gradient similarity [J].IEEE Transactions on Image Processing，2012，21（4）：1500-1512.

作者简介：王赛娇（1977-），女，汉族，浙江人，讲师，硕士，研究方向：计算机视觉，人工智能。