一种彩色图像质量评价方法

曹 欣， 李战明， 胡文瑾

1.兰州理工大学电气工程与信息工程学院，兰州730050

2.西北民族大学数学与计算机科学学院，兰州730000

图像质量评价在图像和视频处理中具有重要作用.根据参考图像的可用性，图像质量评价方法可分为3 类：全参考（full-reference,FR）、部分参考（reduced-reference,RR）和无参考（no-reference、NR）.FR 需要失真图像和完整的参考图像，RR只需要失真图像和部分参考图像，NR 仅使用失真图像.本文重点讨论全参考图像的质量评价算法.传统的全参考图像质量评价算法诸如均方误差[1]（mean squared error,MSE）和峰值信噪比[2]（peak signal to noise rate,PSNR）均基于像素域，因计算简单、物理意义明确而被广泛使用.然而，它们只是单纯从数学角度出发，通过测量失真图像和参考图像像素点之间的差异获得图像质量评价得分，而没有考虑到人类视觉系统特性，因此其评价结果并不可靠.文献[3]提出了结构相似性算法（structural similarity index,SSIM），它是通过图像中的亮度、对比度和结构信息这3 个局部特征来度量图像的失真情况的.该算法在实现效率、评价准确率上具有很好的鲁棒性，但是在提取特征时对人眼感兴趣程度不同的图像区域没有突出差别，而是将子块的结构相似度简单地取平均得出整幅图像的结构相似度，因而存在一定的局限性.文献[4]提出了特征相似性算法（feature similarity index,FSIM），根据图像的特征点经过傅里叶变换后在不同频率上具有一致相位的性质，将相位一致性和梯度特征相结合得到质量评价算法.FSIM 算法在评价与图像内容相关的失真类型时效果非常好，但因为对图像边缘信息的变化不够敏感，所以针对边缘信息比较丰富的图像评价效果一般.文献[5]根据图像信息损失会改变图像梯度幅值的特点，提出了梯度幅度相似度偏差（gradient magnitude similarity deviation,GMSD）算法，它是通过计算参考图像和失真图像的梯度幅值之间的差异来获取测试图像的质量分数的，该算法实现效率较高，但是稳定性一般.文献[6]提出了对称特征相似度法，它是将FSIM 与对称相位一致性相结合，利用Sobel 算子计算梯度幅值进而得到图像的相似性.但该方法仅仅对比较尖锐的图像边缘特征和高斯模糊图像具有较高的敏感性.目前大多数算法都是对整幅图像提取边缘特征，而忽略了不同区域结构特征对人眼视觉的影响，于是文献[7]提出了基于视觉感知和颜色结构相结合的图像质量评价算法.该算法引入了颜色结构和视觉感知阈值，设计了一种新的图像质量评价框架，首先在RGB颜色空间和灰度域中提取结构信息，以获得失真图像的颜色和结构的变化，然后利用最小的结构系数量，借助视觉感知阈值去除人眼不能感知到的视觉系数，能够捕获失真图像的颜色结构变化，测量失真图像与参考图像之间视觉感知系数的比例差异以获得图像质量评分.该算法只是在彩色图像的基础上进行边缘特征提取，忽略了图像的颜色相似性.

本文提出的全参考图像质量评价算法根据人眼的视觉系统提取亮度分量、色调和饱和度，通过亮度分量卷积Scharr 算子得到图像的结构特征，然后结合灰度图像的边缘特性得到一种客观图像质量评价算法.实验结果表明：该方法可以充分利用彩色图像的色度、饱和度和亮度信息，同时提取亮度边缘和灰度图像边缘，从而能够更完整地提取出图像的边缘信息，与其他被广泛使用的图像质量评价算法相比，该算法评价结果与主观评价结果具有更高的一致性.

1 基于HSV 色彩空间和边缘特征的图像质量评价

人眼的视觉系统是世界上最好的图像处理系统，人眼对图像的感知是基于结构和颜色的特征.图像的结构信息集中在轮廓部分，即边缘像素的集合.边缘是指图像中灰度发生急剧变化的区域边界，它是图像中最基本的特征，也是分析理解图像的基础.图像边缘信息的改变意味着图像基本内容或结构的改变，因此图像的边缘是评价图像质量的重要因素，在对图像信息的理解中发挥重要的作用.在彩色图像中，比较接近人眼的色彩感知空间是色调、饱和度和亮度空间.其中色调和饱和度统称为色度，色调是色度特征的一个主要属性，表示颜色的具体色相；饱和度则指的是颜色的纯度，即该色调下的纯色混合多少比例的白光能得到这种颜色.而亮度是指画面的明亮程度，用来反映人类的主观明亮感觉，亮度分量大多包含细节信息.本文选择HSV 色彩空间来分析彩色图像的质量.

1.1 颜色特征的提取

根据人眼视觉对颜色的感知方式，本文采用了HSV 色彩空间对图像进行处理和识别，它比RGB 色彩空间更符合人的视觉特性.在图像处理中大量算法也可采用HSV 色彩空间.该空间从人的视觉系统出发，用色调（hue）、饱和度（saturation）和亮度（value）来描述色彩.HSV 色彩空间和RGB 色彩空间是同一物理量的不同表示法，其转换关系为

式中，V为亮度分量，H和S为色度通道，max 和min 分别为R、G、B的最大值和最小值.考虑到H分量和S分量代表色彩信息，因此将色调和饱和度同时处理，以便更好地表征由颜色失真引起的图像质量下降.

原始图像和失真图像之间的颜色相似性可以定义为

式中，Hr、Sr分别为参考图像的色调和饱和度，Hd、Sd分别为失真图像的色调和饱和度.其中常数T2和T3旨在确保当分母接近0 时CHS的稳定性.

1.2 边缘特征的提取

由于人眼对图像边缘非常敏感，梯度幅度可以准确地提取图像的边缘信息[8]，故本文采用梯度算子来检测边缘.常用的提取边缘的梯度算子如Sobel 算子、Prewitt 算子、Scharr 算子均为一阶微分算子.其中Sobel 算子和Prewitt 算子虽然对噪声具有一定的抑制能力，但检测结果会出现虚假边缘.Scharr 算子是对Sobel（使用小的卷积和求解梯度角度）的优化，计算速度极快，且在小噪声情况下对噪声的平滑性能优于Sobel 算子和Prewitt 算子，故本文采用Scharr 算子提取结构特征.Scharr 滤波器在x方向和y方向可定义为

1.2.1 亮度通道边缘特征的提取

通过亮度分量V与Hx和Hy的卷积运算实现亮度通道边缘特征的提取，从而得到原始图像亮度通道的梯度幅值Gr,V和失真图像亮度通道的幅值Gd,V为

式中，⊗为线性卷积算子，Vr为参考图像的亮度分量，Vd为失真图像的亮度分量.

原始图像和失真图像的梯度幅度相似度GV为

式中，引入常数T1是为了确保分母不等于0.

1.2.2 灰度图像边缘特征的提取

亮度分量的边缘提取只检测出了亮度变化缓慢的地方，而忽略了亮度变化强烈的地方，如图1（b）所示.为了充分利用图像中的边缘信息，需进一步对灰度图像结构特征进行提取，如图1（c）所示，以同时检测出亮度变化强烈和缓慢的区域.通过Hx和Hy分别与参考图像Rgray和失真图像Dgray进行卷积提取出灰度图像的边缘特征，原始图像的梯度幅值Gr,gray和失真图像的梯度幅值Gd,gray分别为

原始图像和失真图像的梯度幅度相似度Ggray为

式中，常数T2用来确保分母不等于0.

图1 边缘特征对比图Figure1 Comparison of edge features

1.3 质量融合

根据中心像素及其周围像素的相对特性，视觉显著性（visual saliency,VS）模型能反映出局部区域对HVS 的“显著性”.本文所定义的视觉显著性模型VSDSP结合了以下3 个前提条件：1）HVS 检测视觉场景中的显著对象可以通过带通滤波建模，2）HVS 对图像中心的变化敏感，3）HVS 更注重暖色而不是冷色.VSDSP定义为

式中，FSDSP（x）、DSDSP（x）、CSDSP（x）分别表示模型的3 个先验.

基于边缘特征将图像分割为边缘强烈变化区域和缓慢变化区域，在这些区域中只考虑了结构相似性,而在边缘扩展区域中需要利用颜色相似性作为补充.结合汇聚策略，边缘强烈变化区域、缓慢变化区域和边缘延伸区域的质量评估分别为

最终的图像质量评分为

HVS 对图像的感知是基于结构和颜色的特征，轮廓区域是边缘像素的集合，因此图像的重要结构信息集中在这个区域.强变区域和缓变区域在评价中都起主要作用，因此a、b的值较大，且都等于0.4，边缘扩展区域的权重c取0.2.

2 实验部分

在LIVE数据库上进行对比实验，以验证本文所提方法的合理性和有效性.参与比较的图像质量评价算法有PSNR[2]、MSE[1]、FSIM[4]、SSIM[3]、信息量加权SSIM（IWSSIM）、GMSD[5]、视觉信息保真度（visual information fidelity,VIF）、最明显失真（most apparent distortion,MAD）、视觉显著性诱导指数（visual saliency induced,VSI）、高斯尺寸混合（Gaussian scale mixture,GSM）模型、信息保真度准则（information fidelity criterion,IFC）、UIQ（universal image quality index）.

2.1 测试指标

首先利用本文提出的算法计算客观图像质量得分FUSE，然后根据数据库中每幅失真图像的人工评价结果DMOS 值评估两者的相关性.此相关性指标由视频质量专家组[9]（video quality experts group,VQEG）提出，分别为皮尔森线性相关系数（Pearson linear correlation coefficient,PLCC）、肯德尔相关系数（Kendall's rank correlation coefficient,KROCC）、斯皮尔曼相关系数（Spearman's rank correlation coefficient,SROCC）、均方根误差（root mean square error,RMSE）.SROCC 和KROCC 预测符合主观分数相对大小的单调性，其值越接近于1，表明算法的预测单调性越好.计算PLCC 和RMSE 指标，需要先进行非线性回归分析，再计算PLCC 和RMSE.PLCC 表示以最低的误差水平预测主观分数的能力，其值越接近于1 表示算法的精确性越高；RMSE 表征非线性拟合的准确度，RMSE 值越小说明拟合得越好，当RMSE值为0 时，说明主客观图像完全一致.非线性回归采用logistic 回归函数[10]，公式为

式中，β1、β2、β3、β4和β5是回归模型的参数.

2.2 对比测试实验

为了检验本文所提算法（FUSE）的性能，选择在LIVE 数据库上进行对比测试.表1和2列出了各评价方法在LIVE 数据库不同失真类型上的PLCC 及SROCC 指标，表3列出了各方法在LIVE 数据库上的整体性能.

表1列出本文算法和其他9 种算法在LIVE 数据库上的PLCC 指标，并将排名前三的算法以黑体突出显示.可以看出，本文算法在LIVE 数据库所有失真类型上都获得了较好的效果.其中在BLUR、FF 失真上本文算法性能优于其他算法，尽管在JP2K、JPEG、WN 失真方面的性能没有达到最佳效果，但相比于其他算法均有一定提升.比如在JP2K、JPEG 失真上，所提算法预测性能与性能最好的MAD 算法最大相差0.007；因为WN 失真引入不同程度的白噪声，而本文算法利用Scharr 对边缘进行提取，所以对数据库中噪点密集的图片细节提取能力存在欠缺，导致本文算法在该类失真方面的性能比PSNR 算法略差.从以上各失真类型评价结果来看，相对于其他全参考质量评价方法，本文算法在各失真类型评价中的表现均较好.

表1 图像质量评价指标PLCC 对不同失真类型的性能比较Table1 Performance comparison of image quality assessment index PLCC to different distortion types

表2列出了本文算法和其他9 种算法在LIVE 数据库上的SROCC 指标，并将排名前三的算法以黑体突出显示.可以看出，本文算法在大多数失真类型上都取得了理想的效果，虽然对个别失真类型评价结果稍有偏差，但总体上对JP2K、BLUR、FF 类型的失真评价结果较好.在JPEG、WN 类型失真上表现不佳的主要原因如下：1）JPEG 会在图片物体的周围出现亮边，在色调均匀的区域出现色斑、色块等现象，同时会减小图像的高频信息；2）高斯噪声WN会产生大量的伪边缘，使图像的结构特征大大减小，故本文所提算法在识别这两类失真类型时会出现误判，导致预测性能有所下降.但是相比SSIM、MS-SSIM、FSIM、GSM、MAD、VSI等绝大多数全参考评价方法，本文算法的优势比较明显.

表2 图像质量评价指标SROCC 对不同失真类型的性能比较Table2 Performance comparison of image quality assessment index SROCC to different distortion types

表3列出了本文算法和其他7 种算法在LIVE 数据库上的整体性能表现，并将排名前三的算法以黑体突出显示.从黑体标注可以看出，在LIVE 数据库整体性能测试上本文算法取得了比其他算法更好的性能.首先PLCC 指标和SROCC 指标高于大多数算法，说明本文所提算法具有更高的精确性.其次KROCC 指标居于靠前位置，RMSE 指标相对其他算法也比较小，说明客观预测值与人眼主观观测值之间误差小.综合以上分析，表明本文所提算法的整体性能较好.

表3 图像质量评价指标在LIVE数据库上的性能比较Table3 Comparison of image quality evaluation index on LIVE database

为了更直观地体现本文算法预测效果，利用LIVE 数据库所得客观质量评价分数与主观质量评价分数拟合散点图.图2给出了不同全参考图像质量评价方法散点图.

图2中X轴表示不同算法的客观质量评价分数，Y轴表示LIVE 数据库附带的主观质量评分，每一个点代表一幅失真图像，散点越集中说明客观评分与主观评分之间的一致性越好.从拟合结果可以看出：与传统的UQI 算法、PSNR 算法相比，基于人类视觉感知特性改进的SSIM 算法、GMSD 算法评价结果相对较好，而基于颜色特征的FSIM 算法及本文所提FUSE算法取得了比其他所有算法更好的性能.

图2 图像质量评价算法在LIVE 数据库上的散点分布图Figure2 Scatter plots of image quality evaluation algorithm on LIVE database

3 结 语

考虑到颜色和边缘对人类视觉的影响，本文提出了一种基于颜色和边缘的图像质量评价算法.首先提取亮度、色度和饱和度；然后将亮度和梯度算子进行卷积从而得到亮度变化强烈的边缘特征；最后提取灰度图像的边缘特征，两次边缘特征的提取使检测到的边缘信息更加丰富全面.利用LIVE 数据库对本文算法进行了验证，结果表明：本文算法所得客观图像质量评价与主观评价具有较好的一致性，是一种有效的图像质量评价方法.