基于视网膜采样模式的图像质量评价

任原媛, 张选德

(陕西科技大学 电子信息与人工智能学院, 陕西 西安 710021)

0 引言

目前，图像处理系统已被广泛地应用于军事、治安监控、社会管理等领域[1].实际应用中，成像通常在非受控条件下进行，这使得成像的质量无法保证.但是，成像质量对于图像处理系统的整体性能具有决定性影响.因此，在图像处理系统中引入IQA模块，对成像质量进行监测和控制，对于改善系统性能具有重要意义.巨大的应用需求促使IQA成为近年来图像处理领域备受关注的问题.

总体而言，IQA可分为通用图像质量评价和面向特定应用场景的图像质量评价.通用图像质量评价不考虑具体应用场景，以观测图像在色彩、对比度等方面与理想的真实图像之间的可被感知的差异为评价依据.面向特定应用场景的图像质量评价包括人脸图像质量评价[2,3]、医学图像质量评价[4,5]、超分辨图像质量评价等[6,7]，这类图像质量评价需考虑特定应用领域对于图像质量的要求.此外，根据评价过程中有无真实图像(Ground truth)作为参考，IQA又可分为全参考评价、部分参考评价和无参考评价.本文讨论通用全参考图像质量评价.

全参考IQA算法通常采用两阶段框架，如图1所示.第一阶段通过局部特征相似性来度量局部图像质量，第二阶段对局部图像质量谱(Local Quality Map,LQM)进行池化得出最终的质量评分.现有的全参考IQA算法大都聚焦于第一阶段的研究[8-11]，而第一阶段的关键在于构造能够反映HVS感知过程的特征.

图1 全参考IQA的两阶段框架

图像信息源于灰度或色彩在空域的变化，参考图2所示，这要求特征需依某种方式来描述(度量)图像在空域的灰度或色彩变化.IQA研究的开山之作结构相似性指数(SSIM,Structure SIMilarity)[12]由亮度相似性、对比度相似性、结构相似性三部分构成，度量了局部灰度变化的“剧烈”程度；边缘强度相似性(ESSIM,Edge Strength SIMilarity)[13]中定义的边界强度，度量了两个垂直方向上灰度变化的差异；哈尔感知相似性指数(HaarPSI,Haar Perceptual Similarity Index)[14]中采用小波分解的高频分量来度量图像的多尺度变化.梯度是度量变化的基本工具，也是大部分IQA指标的基本构件[15-17].

(a)纯黄色图像 (b)纯灰色图像图2 两幅不能呈现信息的纯色图像

上述度量变化的特征应用于IQA均能取得较好的评价效果，但这些特征并未考虑HVS的感知特性.事实上，应用于IQA的特征至少需考虑三个方面：(1)反映HVS的感知特性；(2)通过度量灰度或色彩在空域的变化来描述图像信息；(3)具有较弱的鲁棒性，即对于退化比较敏感.基于这种认识，本文根据视网膜采样模式设计了一种多尺度的、度量图像局部各向异性灰度变化的特征(简称为RSPD)，然后基于RSPD相似性设计了一种全参考IQA算法.在公开数据集上的实验验证了算法的有效性.

1 视网膜采样模式

视网膜是人类接收视觉信息的第一站，也是人类视觉系统的重要组成部分.神经节细胞是视网膜的主要组成部分，这种细胞负责对照射到感光细胞的光线强度(亮度)进行响应.神经节细胞与感光细胞存在“单线联系”，如图3所示.简单来说，光信号进入感光细胞，多个感光细胞通过中间细胞与一个神经节细胞进行连接，进而产生动作电位[18].视觉系统通过对动作电位信号进行处理而产生视觉.由此看出，神经节细胞对于人眼视觉的形成有着不可或缺的作用.

图3 神经节细胞在人眼视觉形成中的角色[18]

根据视网膜中神经节细胞的分布，将视网膜分为三大区域：中央凹(Fovea)、副中央凹(Para)、中央凹周(Peri)，如图4所示.

图4 人类视网膜的区域图

神经节细胞在视网膜的中央凹区域分布密集，而在中央凹周区域分布稀疏，由视网膜中心向外呈指数级减少，如图5所示.

图5 人类视网膜神经节细胞的密度分布[18]

视网膜的基本结构和神经节细胞的分布决定了视网膜独特的采样模式，即HVS的感知模式，如图6(a)所示.其中每个圆心代表一个神经节细胞，而圆代表与该神经节细胞相连的感光细胞所在的区域，圆半径的大小反映了感受野的大小.不难看出，中央凹区域的神经节细胞分布相对较密集，感受野相对较小.因此该区域的感知分辨率较高，即能感知到小尺度的精细结构；而中央凹周区域的神经节细胞分布相对较稀疏，感受野则相对较大.因此该区域的感知分辨率较低，仅能感知到较大尺度的粗略结构[19].采用视觉科学的说法，观察者凝视点中心附近的高分辨率视觉可称为“中央凹视觉”，而远离凝视点、分辨率逐步降低的视觉则称为“外围视觉”.著名的二进制鲁棒不变可伸缩关键点(BRISK,Binary Robust Invariant Scalable Keypoints)[20]描述符正是基于视网膜采样模式构建的.但BRISK具有较强的鲁棒性，而IQA问题要求使用对于退化较为敏感的(鲁棒性较弱)的特征.因此，不能直接将BRISK应用于IQA.由于视网膜独特的采样模式决定了人眼(HVS)观测环境中的某一点时该点和其周围区域的采样规律，即该点及其附近以最高空间分辨率采样，从凝视点开始随距离的增加，采样分辨率迅速下降；而IQA问题研究的重点，就是构造合理的特征来模拟HVS的感知模式.故本文将基于视网膜采样模式，构建适用于IQA问题的特征描述符.

注意图6(a)中采用重叠的圆形网格.若基于圆形网格设计特征，则需要利用插值算法来估计亚像素(Sub-pixel)的值，计算复杂度较高.为了避免使用插值，简化计算，这里利用正方形区域代替圆形区域.将图6(a)所示的模式简化为图6(b)所示的模式.

(a)视网膜采样模式 (b)本文简化的视网膜采样模式图6 视网膜采样模式及简化图

假设HVS观测一幅图像时，聚焦于第 个像素点处.将图6(b)的正中心块记作R①(i)，在R①(i)周围，采用了三种尺度的感受野，分别标记为①、②、③.不同尺度的感受野，反映了自中心径向向外，神经节细胞依次减少，感受野越来越大，感知的分辨率越来越低.将R①(i)周围的标记为①的区域记为R①(i;j)，j=1,2,…,8；类似地，将标记为②、③的区域记为R②(i;j)、R③(i;j)，j=1,2,…,8.记标记为①、②、③的正方形区域的边长分别为k1、k2、k3.另外，R②(i)表示以R①(i)为中心的尺度与R②(i;j)一致的块；同样地，R③(i)表示位于中心的尺度与R③(i;j)一致的块.

2 基于视网膜采样模式的图像质量评价算法

2.1 RSPD特征

梯度是分析学中最基本的概念，也是度量变化的基本工具.由于梯度特征被证明在IQA中十分有效，这里根据视网膜采样模式，构造一种类似于梯度的、多尺度的、度量各个方向变化的特征RSPD(Retina Sampling Patterns Guided Descriptor).记被观测的图像为f，则f可被视为离散的二元函数.首先考虑第①个尺度上的变化，利用以下方式来度量中心块与周围8个①尺度块之间的差异：

∂①(i;j)=

j=1,2,…,8

(1)

式(1)中：K①表示尺度与R①(i)一致的高斯核，而|·|1表示1-范数.类似地，中心块与②、③尺度块之间的差异分别用式(2)、(3)度量：

∂②(i;j)=

j=1,2,…,8

(2)

∂③(i;j)=

j=1,2,…,8

(3)

高斯核K①、K②、K③的方差分别用σ1、σ2、σ3表示.将∂①(i;j)、∂②(i;j)、∂③(i;j)，j=1,2,…,8级联成24维的行向量：

RSPD(f;i)=[∂①(i;1),…,∂①(i;8),∂②(i;1),…,∂②(i;8),∂③(i;1),…,∂③(i;8)]

(4)

称这个向量为f在i位置处的RSPD特征.

注意RSPD与梯度的不同之处.首先，梯度仅度量水平和垂直两个方向的变化，而RSPD度量八个方向的变化；其次，梯度仅度量单尺度(像素级)的变化，而RSPD度量多尺度的变化，且度量变化的方式与视网膜的采样模式相吻合.

2.2 基于RSPD相似性的图像质量评价指标

RSPD特征依照视网膜采样模式构建，反映了人眼聚焦于图像中的某一点时，提取的局部信息.这里利用RSPD相似性构建全参考IQA指标，记参考图像为f,对应的退化图像为g.假定f与g均包含N个像素，像素以i索引.f与g在i处的RSPD特征分别为RSPD(f;i)和RSPD(g;i).这里，RSPD(f;i)、RSPD(g;i)均为24维的行向量，参考(4)式.将f与g在i点处的视网膜采样模式引导的描述符相似性(RSPD-SIM,Retina Sampling Patterns guided Descriptor SIMilarity)定义为：

RSPD-SIM(f,g;i)=

(5)

式(5)中：cov(·,·)表示协方差，σ2(·)表示方差，而C为常数.

将每一点处的相似性的平均值作为总体IQA指标，有：

(6)

式(6)中：RSPD-SIM中包含一个参数C.首先，引入C可避免分母为零，保证数值上的稳定性；其次，C也可被视作尺度因子，不同大小的C值会导致不同RSPD-SIM分数.

3 数值实验

3.1 基准数据集与参数

为了全面分析RSPD-SIM的性能，在TID2008[21]、TID2013[22]、LIVE[23]、CSIQ[24]、KADID-10K[25]共5个公开数据集上进行实验，这5个数据集的基本参数如表1所示.

表1 数据集基本参数

算法性能用主客观评分的一致性来评价，而这种一致性通常用SROCC(Spearman Rank Order Correlation Coefficient)、KROCC(Kendall Rank Order Correlation Coefficient)、PLCC(Pearson Linear Correlation Coefficient)和RMSE (Root Mean Squared Error) 4个数量指标来度量.其中SROCC和KROCC度量主客观评分“序”的一致性，而PLCC和RMSE度量预测的准确性.SROCC、KROCC和PLCC值越高，表示算法性能越好；而RMSE值越低，表示算法性能越好.

本文算法需设定参数k1、k2、k3、C、σ1、σ2、σ3.为确定这些参数的值，在TID2008的前8幅参考图及对应的17×4×8=544幅退化图上进行实验，经验地选参数k1、k2、k3、C、σ1、σ2、σ3的值分别为3、9、17、100、0.7、150、300.

实验中，不同参数值的选取严格遵循控制变量的原则.以参数C为例，数据集TID2008上部分不同C值对算法性能的影响呈现在表2中.

表2 TID2008上不同C值对RSPD-SIM算法性能影响

可以看出，C值在一定范围内变化对实验结果和实验性能的影响较小.尽管如此，需经验地选择使算法性能最优的参数值C=100作为最终的参数值.

3.2 算法评价性能

参与对比的传统算法有PSNR、SSIM、MS-SSIM[26]、FSIM[27]、ESSIM、MS-FSIM[28]、SUMMER[29]、RVSIM[30].MS-SSIM、MS-FSIM分别是SSIM和FSIM算法的多尺度版本.实验中对比算法均采用作者公布的代码和文献中报道的参数.

表3列出了9种不同的全参考IQA算法在5个数据集上的总体评价结果，每个数据集上排名前两位的数量指标以黑色加粗字体显示.从表中可以看出，RSPD-SIM的性能平均优于其它参与比较的算法.同时，RSPD-SIM性能略优于FSIM、MS-FSIM等用到梯度特征的算法，这是因为FSIM、MS-FSIM用到的梯度特征仅度量图像在每个像素点处的水平和垂直两个方向的变化，而RSPD-SIM则考虑八个方向的变化.在TID2013数据集中，SUMMER的性能明显优于RSPD-SIM，这是因为TID2013中含有颜色失真，而RSPD-SIM是针对灰度图构建的，未考虑颜色失真，其总体评价性能自然低于针对彩色图像构建的SUMMER.

表3 不同IQA算法在LIVE、CSIQ、TID2008、TID2013和KADID-10K数据集的实验结果比较

为了比较这些IQA算法针对特定失真类型的性能，这里在TID2008上，计算各IQA算法在17种失真类型上的SROCC系数，并将结果呈现在表4中.其中每种失真类型排名前两位的SROCC值加粗显示.从表中可看出，RSPD-SIM在绝大多数失真类型上都能获得较好的评价性能.对于空间相关噪声(SCN)、JPG传输错误(JGTE)、JPG2K传输错误(J2TE)和模式噪声(NEPN),RSPD-SIM的评价性能显著地优于参与比较的其他算法.

表4 不同IQA算法在TID2008数据集单一失真性能(SROCC)的比较

文献[31]提出了一种从视网膜过程中学习模型的全参考IQA方法，从不同频段提取的特征模拟了HVS的功能，并利用了机器学习技术模拟了人脑的机制.文献[31]提出的IQA算法属于IQA领域具有代表性的将传统和统计学习方法相结合的全参考IQA算法.在TID2008、CSIQ、LIVE三个数据集上将[31]中提出的DOG-PSNR、DOG-PSNRC和DOG-FSIM与本文提出的RSPD-SIM进行性能对比，结果呈现在表5中.由表可以看出，本文提出的全参考IQA传统算法与文献[31]中提出的将传统方法和统计学习方法相结合的全参考IQA算法相比也是相当有竞争力的.

表5 DOG-PSNR、DOG-PSNRC、DOG-FSIM与本文提出算法RSPD-SIM的实验结果比较

图7给出了6种评价算法在数据集TID2008上的客观值与主观值之间的散点图.纵轴代表平均意见分数(Mos,Mean Opinion Score ),即人类对每幅图片的主观评分的均值；横轴表示客观算法评价分值.图中的实线代表Mos和客观算法评价分值之间的非线性拟合曲线，散点越靠近拟合曲线说明算法性能越好.从图7中可以看出，RSPD-SIM相较于其它5个算法散点图更加集中，能取得与主观评价更好的一致性.

(a)ESSIM (b)PSNR (c)SSIM

表6记录了不同的IQA模型在拥有3 000幅大小为512×384图片的数据集TID2013中的平均计算时间.由表可以看出，算法RSPD-SIM的时间复杂度在参与比较的所有算法中占据一定优势.尤其是与近几年知名的IQA算法FSIM、DOG-PSNR、DOG-PSNRC和DOG-FSIM相比，RSPD-SIM以较低的计算复杂度实现了相对来说更为优异的算法性能.

表6 TID2013上10种IQA模型的计算时长比较

续表6

4 结论

本文的贡献在于：第一，对现有全参考IQA算法中使用的特征进行了梳理和分析，指出这些特征的共同之处在于“按某种方式描述图像的局部灰度变化”；第二，基于人类视网膜的采样模式，构造了一种描述图像局部多尺度灰度变化的特征RSPD；第三，基于RSPD相似性设计了一种全参考图像质量指标RSPD-SIM.RSPD以视网膜采样模式为基础，能够描述图像局部各个方向上的灰度变化，且具有多尺度特性.在公开数据集上的实验表明，RSPD-SIM能获得很好的评价效果.