利用边缘相似度的光场图像质量评价

田 钰 曾焕强 邢 露 符 颖 蔡灿辉

(华侨大学信息科学与工程学院，厦门市移动多媒体通信重点实验室，福建厦门 361021)

1 引言

与传统成像不同，光场成像突破了简单将三维场景投影在二维平面的局限性，通过记录光辐射在传播过程中的四维位置和方向信息，实现了多视角成像、三维重建、全对焦成像、深度估计等多种成像应用。然而，在获取、处理、压缩、存储、传输和渲染的过程中，光场图像(Light Field Image，LF image)会产生图像失真效应，从而影响光场图像处理与分析系统性能。因此，构建一个能够快速准确地反应人眼对于光场图像质量的主观感知度的光场图像客观质量评价模型至关重要。

随着信息化时代的到来，数字图像处理技术得到了飞速的发展并广泛应用于生活中，图像质量评价[1](Image Quality Assessment，IQA)能够直观反映出图像质量的好坏，因此成为图像处理领域不可或缺的部分。图像质量评估主要分为两大类：主观质量评价和客观质量评价。人类作为图像的最终接受体，主观质量评价需要在特定的测试环境、测试设备、测试时间和距离下，要求一群测试人员观看一组测试数据并依照自己的直观感受对其进行打分，从而得到最终的主观感知分数。虽然主观质量评价能够真实地反映出人类视觉系统特性(Human Visual System，HVS)，但在实际应用中耗时费力，不易实现[2]。而客观质量评价则是根据人类视觉感知系统特性建立一个与主观感知吻合的数学模型，利用该模型判断图像质量，得到一个客观质量分数。考虑到实用性，本文旨在于研究针对光场图像的客观图像质量评价方法。

峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)和均方误差(Mean Square Error，MSE)是最经典的质量评价算法，然而它们仅仅考虑逐个像素间的差异，而未考虑像素间的相关性。为此，研究人员在设计图像质量评价算法过程中进一步考虑了人类视觉系统。由于人眼对图像中的结构信息较为敏感，Wang[3]等人提出了结构相似性算法(Structure Similarity，SSIM)。随后，在SSIM的模型框架上，引入了多尺度计算，提出了多尺度下的结构相似性算法(Multiscale SSIM，MSSIM)[4]。梯度包含着很多视觉信息，利用梯度信息能够反映出图像结构和对比度的变化，Liu[5]等人提出了基于梯度相似性算法(Gradient Similarity，GSIM)，Xue[6]等人根据图像梯度局部质量图的变化延伸到图像整体进行质量预测，提出了梯度幅值相似性偏差(Gradient Magnitude Similarity Deviation，GMSD)。Zhang[7]等人基于人类视觉系统(HVS)主要根据其低层特征理解图像的特点，提出了一种新的全参考IQA特征相似度(Feature Similarity，FSIM)指标。考虑到人类视觉的近阈值和超阈值特性，Chandler[8]提出了一种基于人类视觉的近阈值和超阈值特性来量化自然图像视觉保真度的有效算法(Visual Signal-to-Noise Ratio，VSNR)。该算法包括利用基于小波的模型检查失真的对比阈值、基于感知对比度的低级视觉特性和全局优先级的中级视觉特性。

尽管在过去几十年中，学术界已经提出和发展了各种IQA算法模型，但它们被用于评估自然图像、屏幕图像、多曝光图像等。由于不同的图像类型具有不同的特征，因此它们并不适合直接评估光场图像。目前针对光场图像质量评价方法研究也涉及较少。为此，本文提出了一个面向光场图像的质量评价方法，分别从空域和频域两个方面计算光场图像边缘相似度，进而融合得到一个边缘相似度图。具体地，在空域上，提取参考光场图像和失真光场图像的梯度幅值并计算其空域边缘相似性；在频域上，采用Gabor滤波器分别提取参考光场图像和失真光场图像边缘信息并计算频域边缘相似性。接着采用基于频域边缘强度的池化策略对边缘相似度图进行权重计算从而得到图像质量评价分数值。实验结果表明，本文所提方法能够较好地描述人眼对于光场图像质量的主观感知度。

2 利用边缘相似度的光场图像质量评价方法

根据光场采集方式的不同，光场图像可分为微透镜光场图像和子孔径光场图像。本文研究主要针对于微透镜光场图像的质量评价。

图1 光场图像及其局部放大图Fig.1 LF image and its partial enlarged region

图2 利用边缘相似度的光场图像质量评价方法流程图Fig.2 Flowchart of LF image quality assessment model using edge similarity

图1为微透镜光场图像及其局部放大的示意图，其中(a)和(c)分别为参考光场图像和HEVC压缩后的光场图像，(b)和(d)为各自对应的局部放大图。如图1(a)所示，微透镜图像从宏观上来看与常规图像没有太大区别，但从它的局部放大图(b)中，我们可以看到光场图像由许多微透镜单元组成，而且每个微透镜所对应的宏像素均覆盖了若干个探测器像元。对比参考光场图像和失真光场图像的局部放大图，即(b)和(d)，我们可以发现失真光场图像结构边缘信息丢失较为严重。因此，考虑到人类视觉系统对边缘信息相对敏感的特性，我们结合光场图像的特点，提出了基于边缘相似度的光场图像质量评价算法。具体算法流程如图2所示，相应算法细节将在以下小节详细介绍。

2.1 空域边缘相似度

本文所提算法分别从空域和频域提取边缘信息来有效的评估光场图像质量。

在空域处，由于人眼对图像局部结构信息较为敏感，而梯度能够较好的反应图像局部结构变化。因此，本文首先利用水平和垂直方向滤波器模板分别对参考图像和失真图像进行卷积，从而得到了水平和垂直方向上的梯度图，通过梯度图计算各自的梯度幅值图，即为空域边缘图，最后结合失真图像和参考图像的空域边缘图得到空域边缘相似度图。

为了减少计算复杂度，本文算法采用的滤波器水平方向模板hx和垂直方向模板hy的如下：

(1)

其中，x和y分别表示水平和垂直方向。

对于给定的参考光场图像r和失真光场图像d，Ix和Iy分别为图像与梯度算子hx和hy卷积所得水平与垂直方向上的梯度图，即：

Ixr=r⊗hxIyr=r⊗hy

(2)

Ixd=d⊗hxIyd=d⊗hy

(3)

空域边缘图Gr和Gd计算如下：

(4)

(5)

因此，空域边缘相似度图计算如下：

(6)

其中，T1=1000为通过实验所得的稳定系数，目的在于保证Grads的稳定性。

2.2 频域边缘相似度

绝大多数哺乳动物的视觉皮层简单细胞的二维感知域模型可以被二维Gabor函数很好地拟合，在提取图像局部特性和频域信息方面具有良好的特性[9-10]。因此对于频域边缘信息的提取，我们首先构建给定波长和角度的偶Gabor滤波器Even和奇Gabor滤波器Odd：

(7)

(8)

其中，σ为方差，λ为波长。

其次，利用偶Gabor滤波器和奇Gabor滤波器分别对参考图像和失真图像进行分解，得到参考图像幅值Eimr和Oimr，以及失真图像幅值Eimd和Oimd。计算公式如下所示：

Eimr(x,y)=Even⊗r(x,y)

(9)

Eimr(x,y)=Odd⊗r(x,y)

(10)

Eimd(x,y)=Even⊗d(x,y)

(11)

Eimd(x,y)=Odd⊗d(x,y)

(12)

则对应的参考光场图像和失真光场图像频域边缘图如下所示：

(13)

(14)

在得到参考光场图像和失真光场图像的频域边缘图Aimr(x,y)和Aimd(x,y)后，计算它们之间的频域相似度图Gabors：

(15)

其中，T2=10为通过实验所得的稳定系数，目的在于保证Gabors的稳定性。

2.3 基于频域边缘强度的池化策略

为了更加合理、准确地描述光场图像边缘相似度，我们融合空域边缘相似度Grads和频域边缘相似度Gabors得到边缘信息相似度：

Gs(x,y)=[Grads(x,y)]α·[Gabors(x,y)]β

(16)

α和β分别是用于调节空域上边缘信息和频域上边缘信息重要性的两个参数。对于图像而言，我们假设在空域上的边缘信息和频域上的边缘信息重要性相同，因此本文算法将α和β均设置为1[11]。

如上所述，在得到边缘相似度图后，本文算法通过对边缘信息相似度图采用基于频域边缘强度的池化策略进行权重计算得到最终的评价分数。计算公式为：

(17)

其中Wmap(x,y)=max{Aimr(x,y),Aimd(x,y)}为频域边缘强度，M，N为光场图片的宽和高。

3 实验结果和分析

为了证明本文所提算法的有效性，我们使用已公开的SMART[12]通用数据库进行验证。该数据库总共包含16张参考图像和256张失真图片。其中，256张失真图像由4种失真类型的4个失真等级组成。这4种失真类型分别由以下四种常见的压缩方法引入：JPEG压缩(JPEG)、JPEG2000压缩(J2K)、HEVC帧内编码压缩以及稀疏集和视差编码(Sparse Set and Disparity Coding，SSDC)[13]。图3为SMART数据库下16张参考图像。由于目前没有专门用于评价光场图像质量的客观算法，因此本文将所提算法与一些经典的图像质量评价算法做比较，其中包括SSIM[3]，MSSIM[4]，GMSD[5]，PSNR，GSS[11]，FSIM[7]，SCDM[14]，VSNR[8]。为了检验算法性能的优劣，需将主观实验得到的主观分数与客观算法评估结果进行比较。然而客观分数和主观分数之间的关系是复杂且非线性的，因此，在进行比较之前需使用回归函数将每个算法的预测分数非线性的映射到与主观平均意见值相同的同一尺度上。通常采用5参数的Logistic[15]非线性回归函数：

(18)

其中，o表示客观算法的预测质量分数，a1、a2、a3、a4、a5为进行拟合优化的参数。

图3 SMART光场图像质量评价数据库Fig.3 SMART LF image quality assessment database

评价指标失真类型PSNRSSIMMSSIMGMSDFSIMGSSSCMDVSNRProposedPLCCJPEG0.62650.47030.41810.65200.60430.46610.64280.28670.6975J2K0.80020.74180.72190.83010.74560.55110.74490.57520.8056HEVC0.77760.70420.57550.74730.65040.46300.76800.67730.8045SSDC0.65110.68060.59440.61550.69450.45400.58910.49490.7221Overall0.66250.64270.56460.62250.55800.38760.61170.35560.7244SROCCJPEG0.61190.47390.47340.63360.64390.51040.65300.29350.7243J2K0.81380.76310.76430.84810.83140.62710.81550.63590.8239HEVC0.81970.77370.74710.77480.81760.49060.79930.74470.8167SSDC0.72460.70970.70790.69640.68320.55820.64050.57390.7524Overall0.70530.63340.51140.52260.51330.45850.53020.56130.7537KROCCJPEG0.42560.32740.32840.44150.45040.34030.46730.21430.5179J2K0.61810.57140.56050.64680.62800.43250.60620.45140.6329HEVC0.61310.56450.53080.55850.59920.33730.46730.53080.6012SSDC0.50990.53870.53470.50100.50400.39090.44150.38690.5605Overall0.50170.44990.35760.36750.35120.31010.36410.38570.5538RMSEJPEG1.04871.18701.22181.01981.07161.18991.03031.28850.9637J2K1.28811.43831.48401.19591.42921.78951.43081.75431.2706HEVC1.79212.02372.33101.89402.16512.52641.82552.09711.6929SSDC1.23691.19391.31051.28421.17251.45201.31691.41611.1274Overall1.59811.63451.76091.66981.77051.96681.68781.99411.4708

拟合后通常采用Pearson线性相关系数(Linear Pearson Correlation Coefficient，PLCC)、Kendall秩相关系数(Kendall Tau Rank Correlation Coefficient，KROCC)、Spearman等级相关系数(Spearman Rank Order Correlation Coefficient，SROCC)和均方根误差(Root Mean Squared Error，RMSE)估计客观质量评价模型性能。其中，PLCC、SROCC、KROCC的取值范围在[0，1]之间，值越接近于1证明主观分数与客观分数的一致性越高，客观算法性能越好，RMSE的值则越小越好。我们将表1中每种失真类型下性能最好的两个算法标粗，整个数据库下性能最好的算法加粗标红。通过比较表格中PLCC，SROCC，KROCC，RMSE四个性能估计指标可以看出：(1)与仅从空域角度分析图像的客观质量评估模型(如GSS、PSNR、SSIM、MSSIM)相比，本文算法分别从空域和频域角度捕捉图像边缘信息，能够更加稳定准确地反映图像质量；(2)JPEG、J2K、HEVC、SSDC四种失真类型在一定程度上造成光场图像边缘信息的丢失，导致光场图像质量退化，评估这四种失真类型下的光场图像，本文方法具有针对性的提取边缘信息，因此，实验结果相对较好；(3)由于本文所提方法特别考虑了光场图像的结构特性，因此与其他图像质量评估方法相比能够更准确地描述光场图像质量。

4 结论

考虑到光场图像复杂的结构特性，本文提出了一种利用边缘相似度的光场图像质量评价模型。该算法将频域和空域上提取的光场图像边缘相似度进行融合后得到边缘相似度图，随后利用频域边缘强度的池化对边缘相似度图进行权重计算并得到最终图像质量评价值。通过实验可知，本文所提算法能够更加准确地反应人类视觉特性对于光场图像的主观质量判定。