基于梯度方向分布的图像质量评估及其应用

齐 欢 申维和 陈 曦 张洪源 崔广涛

1.北京宇航系统工程研究所，北京 100076 2.空间物理重点实验室, 北京 100076 3.北京航天自动控制研究所 北京100854

图像质量评估技术是其他各类图像处理技术的基础。对于图像处理的各阶段来说，在提出一种新的处理算法之后必然要对算法的有效性、可靠性以及实时性等进行评定。只有准确地评估图像的质量才能对图像处理算法的性能做出合理的判断。

人类视觉系统感知到的图像受干扰程度与被观测图像内容的特点有关，主要表现在图像的对比度和结构规则度2个方面[1]。其内在原因是人类在观测图像时图像的内容对图像中的干扰存在掩膜效应。本文利用方向梯度直方图的信息熵描述图像结构的规则度，比较图像空间域灰度值得到与原始图像亮度的相似性，通过对方向梯度直方图标准化突出重点区域对图像质量变化的贡献，提出了一种感知相关的全参考图像质量评估算法。在LIVE库[2]上的实验表明，本文算法与主观评估的一致性较高，性能明显优于其他同类算法。另外，由于建立方式的优点，应用前景广泛，适用于压缩的卫星图像解压后质量和灾区受灾情况评估等领域。

1 方向梯度直方图

方向梯度直方图(Histograms of Oriented Gradients, HOG)[3]能够有效描述图像的局部特征。设计之初是为了建立用于行人检测的描述人体形状的特征描述子。HOG特征描述子的基本思想是图像的局部梯度或边缘方向可以用来刻画图像中目标的外观和形状。该特征描述子在行人检测方面取得了很好的效果，并被广泛应用于目标检测与识别领域。图像的HOG描述子的计算步骤如图1所示。

图1 图像的方向梯度直方图计算流程

对于给定的图像，为消除光照、阴影等对图像或视频中行人检测的影响，首先对图像进行Gamma/色彩标准化。然后，再计算图像的梯度。实验发现，行人检测的效果对梯度计算方式较为敏感，其中最简单的一维检测算子可以得到最好的检测效果。接着将图像划分为若干个单元格，并以梯度大小为权值统计每个单元格内像素的方向梯度直方图。最后将多个单元格合并为一个图像块，并在图像块上进行对比度标准化操作。因为最后一步进行了对比度标准化， Gamma/色彩标准化对检测结果的改善效果不明显，因此在实际应用中通常省略Gamma/色彩标准化步骤。

2 图像质量的表示

2.1 图像结构的规则度

图像受到干扰影响后其结构信息会发生变化[4]，进而影响图像结构的规则度。图像的HOG描述子能够体现图像中目标的外观和轮廓[3]。对于纹理密集而不规则的图像区域(结构不规则区域)，梯度方向各异，每个像素的方向比较均匀地分布于方向梯度直方图的各区间内；对于平坦区域以及梯度方向一致的边缘区域(结构规则区域)，图像像素的梯度方向一致性较强，集中于方向梯度直方图内同一方向范围内。

本文利用HOG描述子描述图像的结构信息。为了更加细致、准确地描述图像所有细微的结构信息，将HOG算法进行了调整。首先，利用prewitt算子计算图像中所有像素的梯度大小和梯度方向。然后，将0°到180°均匀划分为3个方向区间，即[0°，60°]、[61°，120°]和[121°,180°]。最后，以图像中的每个像素为中心划定3×3的图像邻域，针对每个邻域区域，以每个像素梯度的大小作为权值统计落入每个方向区间内像素的个数，得到以图像中每个像素为中心的邻域区域的方向梯度直方图。

信息熵是信息论中的重要概念。随机变量的不确定程度越大，其信息熵越大。本文利用每个方向梯度直方图的熵描述局部图像结构的规则度。

人类视觉系统对图像中梯度变化较大的区域更加敏感，并且该区域通常包含图像的重点目标，而重点目标的变化比背景区域变化对图像质量的影响更大[5]。如果直接利用干扰图像和原始图像局部区域梯度方向分布的相似度衡量干扰图像的质量，当重点目标所在区域梯度方向分布的变化程度远小于背景区域梯度方向分布的变化程度时，干扰图像的质量可能会被过估计。在求取每个局部区域的方向梯度直方图之后，利用所有图像块的直方图加权频数总和对每个直方图进行标准化，标准化后的频数作为直方图各方向区间的概率，通过此概率计算直方图的熵得到标准化方向梯度熵图[6]。方向梯度直方图的标准化可以有效解决图像各区域重要性不同的问题。

为了计算相对于原始图像，干扰图像的结构规则度的变化，需要计算干扰图像的梯度方向熵图与原始图像的梯度方向熵图的相似度

(1)

式中，Ex和Ey分别为原始图像和干扰图像梯度方向的熵图；C是为了避免分母为0的常数，这里取C=0.001。

图2给出了5幅受到不同干扰的图像，从上至下依次为白噪声图像、高斯模糊图像、快衰落图像、

JPEG2000和JPEG图像，每幅图像的右侧依次对应其熵图和结构规则相似度图。白噪声给图像加入了紊乱的信息；高斯模糊干扰减少了图像的信息量；快衰落和JPEG2000图像中存在模糊和振铃现象；JPEG干扰向图像引入了假边缘和模糊干扰。从图中可以看出，各干扰图像的标准化方向梯度熵图可以体现图像受到各类干扰后信息的变化。从结构规则相似度图中可以看出，对于白噪声图像，图像中天空区域与原始图像相似性更小，其他纹理密集的区域相似性更大。相反，对于其他存在模糊现象的干扰图像，纹理密集区域的相似性更小。这恰恰反映了人类视觉系统对图像干扰感知的特点。

图2 不同干扰图像的标准化熵图和结构规则相似度图

2.2 图像的亮度相似性

图像亮度的变化是影响图像质量的重要因素[8]，而图像结构规则度并不能体现出图像亮度上的干扰。因此，本文通过以下方式计算干扰图像与原始图像在亮度上的相似性，用以补充结构规则度相似性的不足

(2)

式中，Ix和Iy分别是原始图像和干扰图像的灰度值；l是图像灰度值的动态范围，对于8bit灰度图像，l=255。

3 基于梯度方向分布的图像质量评估

图像结构规则度和亮度信息从不同方面刻画了图像质量的变化，两者相互补充。将干扰图像和原始图像的结构规则相似度图与亮度相似度图结合即可得到干扰图像与原始图像质量的相似程度。由于结构相似性图与亮度相似性图的取值范围相同，因此质量相似图可以通过将两种相似图直接相加的方式得到。

Qs(i,j)=a·S(i,j)+(1-a)·Ls(i,j)

(3)

式中，a为调整结构规则度和亮度对图像质量作用大小的权值参数。由于图像中目标的结构能够体现图像传达的主要信息，因此，在本文算法实现中，取a=0.8。

为了使得算法计算得到的客观分数与主观分数之间有更好的线性关系，将质量分数变换到对数域

Q=logaQ

(4)

根据经验，当a<1时可以得到更好的质量评估性能，文中a=0.5。

4 实验结果与分析

为评定所提算法与人类视觉感知结果的一致性，本文利用LIVE主观评估数据库进行客观算法与主观评估的相关性验证实验。LIVE数据库包含29幅RGB彩色原始图像以及5种类型干扰图像：白噪声(White Noise, WN)、高斯模糊(Gaussian Blur, GB)、快衰落(Fastfading, FF)和JPEG2000(JP2K)和JPEG。GB、FF干扰图像各145幅、JP2K干扰图像169幅和JPEG干扰图像175幅。利用斯皮尔曼等级相关系数(Spearman rank-order correlation coefficient, SROCC)和皮尔逊线性相关系数(Pearson linear correlation coefficient, PLCC)衡量客观算法的图像质量分数与主观评估DMOS之间的单调性和准确性。

将本文算法与5个同样通过比较干扰图像与原始图像相似评估图像质量的客观算法：SSIM[3]、IWSSIM[7]、ESSIM[8]、GSIM[9]和GMSD[10]比较。SSIM比较图像结构的相似度评估图像的质量；IWSSIM将各区域的互信息量作为SSIM质量图合并的权值；ESSIM通过边缘强度的相似度衡量图像的质量变化；GSIM和GMSD通过计算梯度的相似度评估图像的质量，其中GSIM将梯度相似度与亮度相似度结合得到质量分数，GMSD利用图像各区域梯度相似性差异的大小评定图像的质量。表1和2分别列出了利用各算法计算数据库中图像质量的客观分数与图像主观DMOS的SROCC和PLCC。表中既给出单一类型干扰图像的相关系数，也给出了数据库中所有干扰图像混合在一起的相关系数。

表1 客观算法在LIVE库上的SROCC比较

表2 客观算法在LIVE库上的PLCC比较

表1和2中将评估效果最好的算法结果进行了加粗。从结果可以看出，无论SROCC还是PLCC，本文所提算法在多数类型干扰图像上的实验结果均优于其他算法。特别是在所有干扰图像混合情况下，本算法表现出最好的性能，是一种与主观评估更加接近的客观算法，完全可以满足实际应用的需求。

5 图像质量评估的应用

图像是人类表达和传递信息的主要媒介之一。图像处理技术在日常生活、工业以及航天等领域占据了重要地位。图像质量的客观评估是图像处理流程中各阶段技术的基础。性能优良的图像质量评估算法对于推动其他图像处理技术乃至整个图像应用领域的发展起到关键性的作用。下面举例介绍本文算法的相关应用。

5.1 卫星图像压缩回传后的质量评估

各类成像技术不断发展，所获取的卫星图像尺寸和精度都大大增加，在实时性要求和现有传输方式与存储硬件的限制下，获取的图像必须先经过某种方式的压缩，然后传输到地面，再通过地面接收端对其进行解压缩从而获取成像目标的情况。 虽然目前图像压缩技术取得了一定的进步，但在解压后不可避免地会使图像出现干扰，直接影响了图像的质量，进一步影响图像的应用，因此基于图像质量对压缩算法进行评估和选择是提高图像应用效果的关键。

传统方式通常采用均方误差(Mean Square Error, MSE)和峰值信噪比(Peak Signal to Noise Ratio, PSNR)评估压缩算法的性能。这种评估方式仅对简单的加性干扰(如加性高斯白噪声)类型图像有较好的评估效果，对于其他大多数干扰图像的评估结果与人眼感知的一致性较差。特别地，在压缩图像中通常包含依赖于图像内容的干扰(如JPEG、JP2K压缩标准)，MSE和PSNR评估压缩图像的效果并不理想。对于地面接收端，通常由人对图像内信息进行判读和理解。因此，压缩图像质量的客观评估效果应适应于人类视觉系统对图像质量的感知。本文所提的图像质量评估算法充分考虑了人类视觉系统的特性。因此，其对图像质量的评估结果与主观评估的一致性很高。尤其对于JPEG和JP2K两种压缩图像，与人类感知分数的相关系数高达0.98及0.96以上。通过以上分析可知，本文算法适用于卫星图像压缩解压后的质量评估，可以根据评估效果选择最佳压缩算法或者改进压缩算法，大大提高了图像的应用效果。

5.2 灾区受灾情况评估

地震、洪水和台风等自然灾害时有发生，不可避免地威胁财产和人身安全。第一时间对受灾情况进行评估，对于指导灾后救助至关重要。通过比较受灾前后的卫星图像，快速判断房屋、桥梁等毁坏情况，进而判断出受灾最为严重的地区。人工对图像的判读最准确[11]，但是通常需要花费较长的时间，并且每个人之间存在一定的差异，不便于自动、实时地评估多个区域的建筑受损效果。传统的图像变化检测方法通常直接计算图像的差别[12]，如差值或者比值，评估结果与人工判读差异较大。由于受灾前后的图像质量存在一定差异，利用本文算法通过评估毁损后图像的质量可以有效地评估建筑毁损的严重程度。本文算法将图像中目标的结构信息作为评价图像质量的重要标准，因此其在提取毁损前后图像中的重点目标以及着重评估重点目标的质量变化方面有着更为优秀的表现。

虽然在进行算法效果验证时，采用的是普通光学图像。但是由于本文算法主要是基于图像的结构建立，与图像类型的特点无关。因此，同样适用于遥感图像或雷达图像的质量评估。

6 结论

就结构规则度和亮度信息对图像质量的影响进行了深入探讨，提出了一种基于图像梯度方向分布的全参考图像质量评估算法，并介绍了该算法在实际工程中的应用。在LIVE数据库上的实验表明，本文算法无论在单调性还是准确性上均优于其他同类型算法，与人眼感知更加一致。此外，由于建立方式上的优点，该算法拥有广阔的应用前景。