融合人眼掩蔽效应和图像梯度的块效应评价方法

王 杰， 王禹博， 朱晓东， 任向阳

(郑州大学 电气工程学院，河南 郑州 450001)

0 引言

JPEG是广泛应用的图像压缩方式[1]，原理为分块离散余弦变换(DCT).在压缩时，图像会丢弃一些对图像质量影响不大的高频分量，导致恢复后的图像块边界出现不连续的跳变，即块效应(如图1所示).

图1 “woman”块效应对比图 Fig.1 Comparision blocking artifact for “woman”

根据对原始图像的依赖程度，块效应评价算法主要分为：全参考(FR)、部分参考(RR)和无参考(NR)评价方法.FR和RR主要是将原始图像和退化图像之间的差异进行量化，并将量化结果作为评价指标.常见的评价指标有结构相似度指标(SSIM)、感知相似度指标(PSIM).PSIM是Gu等[2]综合考量图像的多尺度梯度、色彩信息以及视觉感知统计信息来评价图像质量.这两个指标的优点在于运算时间短，但是在多数的实际应用中，原始图像的信息都是无法获取的.

相比FR、RR，NR因不需要原始图像信息而被大量的学者所研究.根据图像中存在的失真类型数目不同，NR算法分为特定失真块效应评价算法和非特定失真块效应评价算法.针对非特定失真的块效应评价算法进行研究时，Liu等[3]利用图像局部空间的光谱熵特征，采用支持向量机(SVM)来训练得到的特征，得到图像质量预测模型(SSEQ).当图片仅存在块效应失真时，这种方法可用于图像块效应评价，但是由于处理的图像失真种类较多，会影响到对图像块效应的评价.针对特定失真的块效应评价算法进行研究时，Ryu等[4]利用局部小波系数和显著性的边缘分布信息(MDCS)来评价图像中的块效应，这种方法能够实现对块效应的准确定位.但是由于忽略了人类视觉系统(HVS)的特性，评价结果不能很好地与人类主观评价保持一致.针对上述算法的不足，王璐烽等[5]认为，图像块效应不仅能反映在图像的真实结构上，也能反映在图像的伪结构上，因此提出利用图像伪结构并结合HVS的亮度特性的算法，采用SVM训练该特征得到块效应评价模型(BAML).由于HVS系统的特性有许多，如何合理地将其结合到块效应的评价算法中是当前研究的重点和难题.

笔者提出了一种无参考的特定失真图像块效应评价算法.首先，基于图像块边界处像素点的梯度信息直方图，测量发生块效应边界的位置和强度；然后，结合人眼对图像纹理和亮度的掩蔽效应，得到图像块效应评价指标.该方法简单高效，与人类主观评价具有较高的单调一致性.

1 算法描述

本文算法流程如图2所示.首先,根据图像块边界处像素点梯度值，对边界发生块效应的位置以及强度进行检测，得到图像块效应映射图.第二，对图像的亮度掩蔽效应和纹理掩蔽效应进行检测.依据图像块的DCT系数，将图像块B分为平缓块(W)、纹理块(T).基于人眼对不同图像块的失真敏感性存在差异的特点，对图像纹理掩蔽效应进行检测；亮度掩蔽效应的检测是通过计算图像块的背景亮度来完成的.第三，采用非线性的方法将图像的纹理和亮度掩蔽效应叠加起来得到图像综合掩蔽效应图.最后，将图像的块效应映射图和综合掩蔽效应图可视化结合起来，得到与HVS感知相一致的图像显著性块效应映射图，并使用Minkowski[6]方法计算得到块效应的综合评价指标.笔者主要以图1(b)为例进行算法说明.

图2 本文算法框图 Fig.2 The algorithm block diagram

1.1 图像块效应映射图

目前，图像中发生块效应的边界主要是依据图像块边界两侧的两个像素点灰度值的变化实现检测[7-8]，但是这种方法无法检测到跨度超过两个像素点的灰度值变化.笔者利用图像块边界像素点的梯度来反映边界灰度值变化情况,选择常用的Sobel(3×3)算子计算图像梯度.

假设P为原始图像处理后的梯度映射图，P(α,β)表示横坐标为α、纵坐标为β的像素点；M×N表示选定的图像块尺寸，定义以下符号：

(1)

式中：a、b是图像块索引；i、j是块(a,b)内像素点索引.

JPEG压缩采用8×8的DCT，因此式(1)中M、N都取为8.笔者仅以水平块边界为例进行详细的算法说明，垂直块边界采用相同的处理方式.

(2)

其中，1≤i≤6.

图3 “woman”块效应对比图 Fig.3 Comparison chart of blcking artifacts for "woman"

1.2 图像的纹理掩蔽效应

根据图像DCT的原理，可以将图像块B分成W和T. HVS对纹理区的掩蔽效应要强于平缓区.根据DCT的特点，将8×8图像块DCT后的系数划分成如图4所示的4个指示性区域[9]，分别用符号S(黑色区域)、L (蓝色区域)、R(红色区域)和Y(黄色区域)表示.笔者用区域R和Y的DCT域能量作为图像块的分类指标,图像块B的分类如下：

式中：B表示横坐标为a、纵坐标为b的图像块；ER(a,b)、EY(a,b)分别表示B在对应区域R、Y的DCT域能量；阈值Er为DCT域能量阈值，取960.

图4 图像块DCT系数指示图 Fig.4 Image block DCT coefficient indicator

分类完成后，采用结合尺度因子的线性归一化方法计算图像块的纹理掩蔽效应：

(3)

式中：ET(a,b)为B的纹理掩蔽能量；EJ(a,b)=ER(a,b)+EY(a,b)，代表B的交流能量；Emin和Emax为整幅图像中所有纹理块的交流能量最小值和最大值；t为尺度因子，取2.25.

如图5(a)所示为“woman”纹理掩蔽效应图，从中可以发现,“woman”的帽子以及围巾部分，显示出了较强的纹理掩蔽效应；图像背景以及“woman”的肩膀等图像的平滑区域部分不存在纹理掩蔽效应.

图5 “woman”掩蔽效应图 Fig.5 Masking map for "woman"

1.3 图像亮度掩蔽效应

文献[10]表明，图像中较亮或者较暗的区域会有较强的亮度掩蔽效应，而亮度适中的区域对应的亮度掩蔽效应相对较弱. 为了更加符合HVS的特点，笔者计算图像块边界处像素点的亮度掩蔽效应时，对文献[10]中的方法进行改进，将块边界相邻的两个图像块DCT变换后的区域S的DCT域能量均值作为图像的背景能量，具体计算如下：

(4)

式中：EL(a,b)为图像块B的亮度掩蔽能量;EZ(a,b)=[ES(a,b)+ES(a+1,b)]/16, 表示B的背景能量.其中，ES(a,b)、ES(a+1,b)为图像块B以及相邻的图像块在S区域的DCT能量.

如图5(b)所示，“woman”中亮度值较大的帽子、围巾以及亮度较暗的眼睛部分显示出了较强的亮度掩蔽效应.

1.4 图像块效应的强度估计

因为同一个图像块同时存在纹理和亮度两种掩蔽效应，笔者采用式(5)所示的方法进行两种掩蔽效应的结合，得到图像块的综合掩蔽效应：

EO(a,b)=λ×ET(a,b)+EL(a,b)-

ξ×min{λ×ET(a,b),EL(a,b)}，

(5)

式中：EO(a,b)、EL(a,b)、ET(a,b)分别为B的综合掩蔽能量、亮度掩蔽能量、纹理掩蔽能量；λ为纹理掩蔽效应的权重系数，取10；ξ为增益衰减因子，ξ∈(0,1)，取0.3.

笔者采用可视化的方法将图像块效应映射图与综合掩蔽效应结合得到图像显著性块效应，具体方法如下：

(6)

其中，1≤i≤6.

对比图3(b)和图6有助于理解可视化结合方法.如果直接利用图3(b)进行图像块效应的评价指标计算，会与HVS感知有较大的偏差.采用HVS感知图像块效应时，对于“woman”的帽子以及围巾部分的块效应是不敏感的，如果把它们同“woman”的背景部分看成同等权重进行块效应计算是不合理的.相比于图3(b)的效果，在结合人眼掩蔽效应之后，可以获得与HVS感知一致性更高的图像块效应映射图，如图6所示.

图6 “woman”显著性块效应映射图 Fig.6 Noticeable blocking artifact map for “woman”

笔者采用了Minkowski[6]方法对整幅图像所有图像块计算，得到水平和竖直两个方向的Sa,b(i),进行求和得到图像的块效应评价指标Q：

(7)

式中：A、B表示图像共有A行和B列个像素点；θ=2～4，称作Minkowski指数[6]，主要突出Sa,b(i)中的较大的数值，从而更符合HVS对于块效应更强的边界关注度更高的特点，本文中θ=2.

2 试验结果分析

为了验证笔者提出的算法性能的优劣，在图像质量评价数据库IVC[11]、LIVE[12]、TID 2008[13](表1)中，进行9种图像块效应评价算法的对比.

9种算法为全参考图像质量评价的PSNR(峰值信噪比)、PSIM[2]算法以及常用的无参考块效应评价算法，如BRISQUE[14-15]、SSEQ[3]、JQS[16]、SHMCD[17]、MDCS[4]、BAML[5]、NBM[7].

表1 图像质量评价数据库

笔者主要对比图像块效应评价指标与人类对图像质量的主观评价分数之间的SROCC[18](spearman秩相关系数)和KROCC[18](kendall秩相关系数)，这两个指标主要反映的是算法预测的单调性，取值范围在[0,1].其取值越接近1，表明算法的单调性越高，对应的评价性能越好.

表2给出了不同算法在3个数据库中的性能指标，对最优的评价值进行加粗处理.可以看出，本文算法获得了非常好的性能指标(由于BRISQUE、BAML和SSEQ算法使用LIVE图片进行训练，因此得到的评价指标没有实际意义，在表格中用“训练”代表)，尤其是在IVC和TID2008数据库上SROCC分别为0.950 8、0.942 1，KROCC分别为0.794 4、0.788 1.纵向来看，本文算法在3个数据库上都取得了最优的性能指标，并且远远高于全参考评价算法以及非特定的无参考块效应评价算法，相对特定失真的块效应评价算法JQS、SHMCD、NBM、MDCS、BAML也有不同程度的提升.这说明本文算法对于图像块效应的评价性能是非常有效的，与人类主观感知具有较高的单调一致性.

3 结论

对于图像块效应的评价，大多数算法都是在一种变换域(空域或者DCT域)上对图像进行分析.笔者提出的算法结合了图像在两种变换域上的信息，利用空域上的梯度信息获得图像块效应映射图，并利用DCT域上信息获得了HVS对图像的掩蔽效应，进而对块效应做出评价.通过在多个图像数据库中的仿真，发现该算法的评价结果与主观质量评价具有高度的单调一致性，比当前的主流块效应评价算法有了明显的提升.考虑到整个算法没有复杂的转换，且不需要原始图像，因此该算法可以用在无参考的图像质量评价体系中，对图像增强或者图像质量优化的参数选择有指导意义.

表2 算法性能指标对比