联合结构与纹理特征的无参考图像质量评价方法

夏雨蒙， 王永芳， 叶 鹏

(1. 上海大学 通信与信息工程学院 上海 200444； 2. 上海先进通信与数据科学研究院 上海 200444)

0 引言

信息化时代，人们所接受的信息大多为视觉信息.图像和视频作为视觉信息的重要载体，是信息化时代的基本元素，具有直观、高效等优点.因此，利用图像信息直接或间接地反映客观世界，成为众多研究领域不可或缺的一种手段.在图像的采集、处理、传输、存储以及显示等过程中，由于物理成像系统、处理算法、传输方法和储存设备等不够完善，会给图像带来不同程度的失真和退化.主要包括：① 图像采集失真.主要是由于图像采集设备不够完善造成的，例如在拍摄过程中出现散焦现象、曝光不均匀或者人为产生的机械抖动等.② 图像编码失真.图像编码一般是有损编码，往往产生模糊效应、块效应、振铃效应等不利于图像质量的现象.③ 图像的传输及处理失真.主要是指在传输过程中会造成图像信息的丢失等[1].目前，图像质量评价已经在图像和视频编码、数字水印[2]、不等错误保护、去噪[3]、图像融合等领域得到了广泛的应用，图像质量的退化会影响人们对信息的提取和理解.因此，对图像进行合理的评价具有重要意义.

早期常用的图像客观质量评价方法是均方差误差方法[4]和峰值信噪比方法[5]，但其评价结果并不能准确地反映出图像的退化情况.人类视觉系统(human visual system, HSV)可以从自然图像的可视区域内获取结构信息，故可以利用结构信息的改变来感知图像失真的情况，结构相似度的评价方法[6]就是其中一种经典的方法，但它无法对图像中位移、旋转等非结构失真进行有效运作.文献[7]提出一种基于自然场景统计(natural scene statistics, NSS)的对比度失真图像无参考评价算法，其利用对比度失真的图像与NSS模型的偏差程度，得到似然特征以反映出图像质量的变化.实验结果表明，NSS模型在处理对比度失真图像方面取得了优良的效果，但NSS模型提取出的特征量会受到图像内容的影响，从主观感知一致而内容不一致的图像中提取的统计特征可能差别很大，会造成评价结果不准确.文献[1]提出一种基于显著性和奇异值分解的模糊图像质量评价算法，从人眼感知系统出发，获得图像的显著性图和奇异值分解清晰度图，将两者进行融合，获得图像最终的质量分数，该算法能够有效地消除冗余信息，提高评价准确度，但计算复杂度较大.文献[8]利用局部视觉特征对失真信息进行建模，提出了一种无参考模糊图像质量评价方法，该方法计算比较简单，而且在LIVE图像库中5种失真类型上均具有良好的性能，但其只针对模糊类型图像具有较好的性能.本文提出了一种联合结构与纹理特征的无参考图像质量评价方法，在2个混合失真图像数据库上的实验结果表明，所提出算法的性能优于已有的质量评价算法.

1 联合结构与纹理特征的无参考图像质量评价方法

图像失真有多种类型，大部分质量评价算法是针对某一特定类型的失真，例如压缩、噪声、模糊和对比度失真等，但在实际应用中，图像总是产生混合失真.HSV对图像结构信息变化敏感，灰度共生矩阵方法提取的纹理特征能够有效地反映失真后图像纹理的变化情况，将两者进行结合可以得到更准确地反映图像失真情况的融合特征.因此，本文针对混合失真图像，提出一种基于结构与纹理特征融合的无参考图像质量评价方法.首先，提取图像的特征包括结构特征和纹理特征，提取结构特征采用了梯度域的局部二值模式(gradient domain based local binary pattern, GLBP)[9]，提取纹理特征采用了灰度共生矩阵方法，然后将得到的结构特征和纹理特征融合，采用支持向量回归(support vector regression, SVR)[10]方法，将图像特征映射到质量分数，获得无参考图像质量评价模型.

1.1 基于多尺度的梯度加权直方图的结构特征提取

局部二值模式(local binary pattern，LBP)算子[11]是模式识别领域中应用非常广泛的边缘检测算子.相比于传统的边缘检测算子，LBP算子能够提取出更细致的边缘信息.对LBP算子进行改进得到GLBP算子，用GLBP算子提取混合失真图像的结构信息.图像的梯度计算有很多种算子，选用相对简单的P算子来计算图像的梯度.通过图像和P算子的卷积公式计算失真图像的梯度等级，公式如下：

(1)

式中：“*”表示卷积运算；px和py分别表示横向和纵向的P算子模板；I(x,y)和g(x,y)分别表示失真图像和对应的梯度强度.

每一个像素点的GLBP定义为

(2)

式中：P为周围像素的个数；R为中心像素与周围像素之间的距离；gc和gi分别表示中心像素和邻域像素的梯度值.P取8，R取1.s(·)的表达式为

(3)

GLBP描述了图像中心像素点和周围像素点的关系，这些图像的局部结构模式可以有效地描述不同失真原因引起的图像混合失真.但是，当设置P为8时，上述GLBP计算后产生的结果有28种，这种情况下进行统计的计算量非常大，此外它只覆盖了一个固定半径范围内的小区域，为了适应不同尺度的特征，并达到灰度和旋转不变性的要求，采用具有旋转不变性的均匀GLBP算子，可以表示为

(4)

其中：

(5)

式(5)定义了均匀性，u是均匀尺度，它的计算是逐比特进行的，即二进制序列从0到1、从1到0的跳变不超过2次.旋转不变性表现在GLBP通过计算中心像素和周围像素梯度值的差，生成一个二值序列来描述边缘，而二值序列中0和1的相对位置并不会因为图像的旋转而产生变化.通过上述优化过程，旋转不变的均匀GLBP只含有P+2种模式.GLBP模式并不是保持不变的，当图像产生失真时，它会从一种模式向另一种模式转换，这样GLBP就能更有效地描述不同失真对图像的影响.图1列出了一张原始图像以及其产生混合失真之后的GLBP图像，显然，混合失真使得图像的结构信息严重丢失.

图1 原始图像、失真图像及其对应的GLBP图像Fig.1 Pristine image,distorted image and their corresponding GLBP images

图2 原始图像与失真图像梯度加权直方图的比较Fig.2 Comparison on gradient weighted histogram of pristine and distorted image

获得失真图像的GLBP图像后，使用梯度加权直方图来表达图像的结构特征.权值由像素点的梯度值代表，实验中P取8，所以一共有10种GLBP模式，对梯度图中具有相同模式的像素点的梯度幅值进行统计，即可得到梯度加权直方图.图2为原始图像与失真图像梯度加权直方图的比较.可以看出，失真前后的梯度加权直方图不同，这也证明了GLBP对结构信息描述的有效性[12].人眼在评价图像质量时，会受到观察条件的影响，人眼感受到的图像失真与观察距离及图像分辨率都有关系[8].因此，对原始图像进行了4次下采样，获得5个尺度上的图像并进行结构信息提取，以获得图像更多的细节信息，然后产生了5个不同尺度上的梯度加权直方图，得到总共50维的图像结构特征.

1.2 基于灰度共生矩阵的纹理特征提取

灰度共生矩阵[13]可以分析灰度图像的局部模式，反映了图像的灰度在方向、幅度和局部领域上的分布特性.通过计算灰度图像上保持一定距离的2个像素点的相关程度，这里的相关程度为联合概率分布情况，可以得到灰度共生矩阵.一幅尺寸为M×N的图像I的灰度共生矩阵可以表示为

(6)

式中：(Δx,Δy)表示偏离像素点(p，q)的距离；G是一个二维矩阵，每一个元素代表着保持一定距离和角度的两个像素联合出现的概率.这个二维矩阵并不能很好地描述一幅图像的纹理特征，因此在图像处理中应用灰度共生矩阵时，往往采用二次统计量[14]，本文应用到以下4个统计量.

(1)能量

(7)

能量又称为二阶矩，如果灰度共生矩阵中的元素值都相等，则能量趋近于零. 能量越大，表示图像纹理越粗；能量越小，表示图像纹理越细.

(2)信息熵

(8)

信息熵表示图像拥有的信息量，纹理特征也属于一种信息量的表达.当一幅图像没有纹理特征时，图像的信息熵为零.

(3)惯性矩

(9)

惯性矩主要反映了灰度图像的空间分布差异.惯性矩越大，图像纹理沟纹越深；惯性矩越小，图像纹理沟纹越浅.

(4)相关性

(10)

相关性反映了图像灰度的局部相似度.当灰度共生矩阵中一行或者一列元素均匀相等时，相关性值就越大；若元素间相差很大时，那么相关性值就越小.

通过灰度共生矩阵可以提取出0°、45°、90°、135°方向上的上述4个特征类型，经过一系列实验获取最佳纹理特征.

2 实验结果与分析

为了验证所提出的无参考图像质量评价算法的有效性，在2个混合失真图像数据库MDID2013[15]和MLIVE[16]上进行质量评价.将数据库分为训练集和测试集两个部分.实验中，每一个数据库中80%的图片作为训练集，剩下20%的图片进行测试.重复实验1 000次，得到图像质量评价的性能指标，取中值作为最终结果.选用3个常用的指标来衡量算法的性能，分别是皮尔逊线性相关系数(PLCC)、斯皮尔曼秩相关系数(SRCC)和标准误差(RMSE).PLCC和SRCC值越趋近1，表明这个算法的性能越好.而RMSE值越小，表明算法的性能越好.在计算PLCC和RMSE值之前，要对预测所得的分数进行非线性回归，公式如下：

(11)

表1列出了MDID2013数据库上的实验结果，对本文算法和当前几种主流的评价算法的性能进行了比较.实验结果表明，本文算法的性能优于其他算法.表2和表3分别给出了MDID2013数据库上4个纹理特征和方向纹理特征的性能比较.可以看出，惯性矩在4个纹理特征中性能最好；在方向纹理特征方面，90°方向上的惯性矩与结构特征相融合，取得了最佳的性能.

表1 MDID2013数据库上的性能对比Tab.1 Performance comparison on MDID2013 dataset

表2 MDID2013数据库上4个纹理特征的性能对比Tab.2 Performance comparison of four texture features on MDID2013 dataset

表3 MDID2013数据库上方向纹理特征的性能对比Tab.3 Performance comparison of different orientation texture features on MDID2013 dataset

表4列出了MLIVE数据库上的性能对比结果. 可以看出，本文算法的性能优于其他算法，算法的SRCC和PLCC值高于其他算法，而RMSE值明显下降.表5和表6分别给出了MLIVE数据库上4个纹理特征和方向纹理特征的性能比较.从表5可以看出，相关性对MLIVE数据库的影响最大.从表6可以看出，4个方向的纹理特征性能相似. 对4个方向上的相关性进行平均值计算后，将相关性平均值与结构特征融合，取得了最佳的性能.

表4 MLIVE数据库上的性能对比Tab.4 Performance comparison on MLIVE dataset

表5 MLIVE数据库上4个纹理特征的性能对比Tab.5 Performance comparison of four texture features on MLIVE dataset

表6 MLIVE数据库上方向纹理特征的性能对比Tab.6 Performance comparison of different orientation texture features on MLIVE dataset

3 结论

通过提取图像的结构特征和纹理特征，本文提出了一种针对混合失真图像的无参考质量评价方法.在MDID2013和MLIVE混合失真图像数据库上的实验结果表明，本文算法优于现有的无参考图像质量评价算法，且与主观图像质量具有较高的一致性.在图像质量评价领域，混合失真图像的无参考质量评价在今后的研究中仍然会是一个热点和难点，下一步的研究工作是应用深度学习来进一步提高混合失真图像无参考质量评价算法的性能.