基于码书的雾天图像质量评价方法研究

李从利， 陆文骏， 石永昌， 孙晓宁

（新星应用技术研究所，安徽 合肥 230031）

基于码书的雾天图像质量评价方法研究

李从利， 陆文骏， 石永昌， 孙晓宁

（新星应用技术研究所，安徽 合肥 230031）

近年来，无参考图像质量评价发展迅速，但是对雾天图像质量进行评价的无参考算法还鲜有报道。该文提出了一种基于码书的无参考雾天图像质量评价算法。目的是使该方法评价雾天图像质量的结果与人类主观感知相一致。寻找能反映雾天图像质量的特征，运用这些特征构建码书，然后用码书对训练图像进行编码得到训练图像的特征向量，最后用这些向量与训练图像的主观评分进行回归得到雾天图像质量评价模型。该方法在仿真的雾天图像库中进行了测试，结果表明：Pearson线性相关系数和Spearman等级相关系数值都在0.99以上。并与经典的无参考算法NIQE和CONIA方法进行了比较，优于这些算法，能够很好地预测人对雾天图像的主观感知。

雾天图像；图像质量；评价方法；无参考；码书

雾是一种极其常见的天气现象，由于它对可见光具有吸收和散射作用，使得图像的对比度及纹理细节等退化的比较严重。雾等级的划分可根据国标GB/T 27964-2011分为5个等级。轻雾：能见度在1～10 km之间；大雾：能见度在0.5～1.0 km之间；浓雾：能见度在200～500 m之间；强浓雾：能见度在50～200 m之间；特强浓雾：能见度小于50 m。

随着经济的发展，环境污染日益严重，导致雾霾天气频发，这影响了交通和人们的出行，因此对雾天图像质量评价有着迫切的需求。目前对雾天图像的评价主要集中于对去雾后的图像进行评价[1-2]，这些算法的主要目的是用来评价去雾清晰化的效果。直接对含雾图像进行质量评价，目前这方面研究还鲜有报道。直接的客观评价雾天图像质量对于雾的实时预报、去雾算法的研究等具有重要意义。本文的目的是寻找一种能有效评价雾天图像的方法，目前学者们在这方面的研究较少，主要有3个原因：①雾的随机性与流动性，导致雾是一种不同于其他失真的“特殊失真”；②由于雾的特殊性，寻找用于表示其特征比较困难；③现有的图像质量评价数据库不包含此类失真。考虑到上述原因，本文选取了混合特征以及码书方法来构建雾天图像质量评价算法。雾天图像质量评价在图像处理中有着重要的意义，它给雾天图像的处理如：去雾、增强等奠定了重要的基础。

无参考图像质量评价是一类不需要任何图像的先验知识（即参考图像）去评价失真图像的一类算法。雾天图像由于其无法获得参考图像，因此对其评价只能使用无参考图像质量评价方法。无参考图像质量评价可以划分为：基于特定失真和不基于特定失真两类方法。基于特定失真的方法，即这类无参考算法评价的失真类型是已知的。例如：Wang等[3]提出了专门用于评价JPEG失真的算法。Sheikh等[4]提出了基于自然场景统计(natural scene statistics, NSS)的算法用来评价JP2K失真。但是在绝大部分情况下图像的失真类型是未知的，很难确定它适用于以上的哪一种无参考算法，这就限制了这些算法的应用范围。不基于特定失真的方法，即这类算法评价的失真类型是未知的，是通用的无参考图像质量评价算法。同样也可以将它分为两类：OA-DU，OU-DU。OA-DU是指这类算法在训练过程中需要训练图像的主观评分，例如：BIQI[5]，BRISQUE[6]，CBIQ[7]，CONIA[8]等。OU-DU是指这类算法不需要训练图像的主观评分。例如：QAC[9]及 NIQE[10]算法。QAC算法虽然没有用到图像的主观评分，但是它利用全参考算法FSIM给出训练图像的客观评价结果，这相当于给训练图像构造出了“主观评分”，该算法的好处是不需要利用现有的图像质量评价数据库中的图像进行训练，可以将训练图像的范围进行拓展。NIQE算法所选取的训练图像都是无失真的参考图像，通过训练相当于构造了一个“参考图像”，它的训练图像也可以不从已有的图像质量评价数据库中选取。这类算法的好处是不依赖数据库，适应性强。

前面提到的CBIQ，CONIA，QAC算法都是利用构建码书进行评价的无参考算法，可见基于码书的方法在图像质量评价领域已经得到了成功的应用。本文首次将构建码书的方法引入到雾天图像质量评价领域，提出了基于码书的雾天图像质量评价方法，该方法将雾看成一种失真。选取码书方法的原因：①码书能够很好地表示图像的特征，它最早出现于矢量量化中，近年来被引入到图像分类以及质量评价中，取得了很好地效果。本文使用它对雾天图像进行特征编码并用于质量评价；②对图像进行分块相比于整幅图像能够提取更多的图像信息，同时它也是目前图像质量评价算法的主流做法之一，码书正是在图像分块提取特征基础上构建的；③用码书对图像进行编码使得特征维数要明显高于图像块提取的特征（码书编码特征在本文中为1000维，而直接提取特征为39维），所以能够更好地刻画图像的失真。

1 雾天图像特征分析

雾对图像的影响非常复杂，主要影响可分为三类：①雾浓度增大，使得原有的很多信息被掩盖了；②雾给图像带来了一些附加信息；③雾失真与图像原有信息相结合衍生出了一些新的信息。所以雾不同于以往的任何一种失真，且目前现有的图像质量评价数据库中均未包含雾失真。

图 1中给出了最新的无参考算法 CONIA和NIQE对雾天图像的评价结果（样本获取见3.1节）。

图1 不同算法评价雾天图像曲线（图中将两种方法的结果进行了归一化）

从图1中可以看出这两种无参考算法在对雾天样本图像进行评价时，结果均不随着雾浓度的增加呈现单调性变化趋势，这与人的主观观测不一致，因为经典的质量评价算法无法很好适应雾天特征的变化，不能较好地评价雾天图像的质量。

上面提到“雾失真”不同于常见的失真，究竟它影响了图像的那些特性，从图2中可以明显看出雾浓度增加图像的对比度、梯度都在发生明显降低。说明雾对图像的对比度和梯度影响都比较大。但是雾对图像质量影响是一种综合的影响，很难具体刻画。

图2 图像对比度、梯度变化图

选取自然场景统计特征主要依据是：雾对自然场景的破坏可以从一幅图像的自然场景统计特征保留多少信息加以衡量，这是一种基于信息多少的特征与失真类型无关。

Mittal等[6]在2012年提出的BRISQUE算法中使用了 MSCN系数来表示图像的自然场景统计特征：

式中，i ∈ 1 , 2,3,…,M , j = 1, 2,3,…,N,M, N分别代表图像的高度和宽度；(i,j)为MSCN系数；是一个稳定参数。

图4中可以看出，随着雾浓度的增大，曲线向里面收缩，说明自然场景统计特征能很好地反映雾天图像质量的下降。

先前对自然场景统计的研究表明广义高斯分布(general Gaussian distribution, GGD)可以有效地获得自然图像及其失真图像的系数变化如式(4)：

其中， Γ( ·)为以下函数：

GGD的两个参数(α ，β )，可以用文献[11]中的方法进行有效估计。式(4)中的系数相对来说是一种有规律的分布，但是失真改变了这种分布，这种改变可以通过计算4个方向（上、下、左、右）上的相邻系数乘积得到。相邻系数乘积可以用不对称的广义高斯分布(asymmetric generalized Gaussian distribution, AGGD)来进行拟合：

AGGD的参数(γ ,βl,βr)，可以被文献[12]中的方法有效地估计。

分布的均值也是参数之一：

通过提取4个方向16个参数，再加上GGD的两个参数形成18个参数，本文总共在两个尺度上进行提取，共形成一个由36个参数组成的特征向量。

图3 自然图像与非自然图像MSCN系数统计图

图4 不同雾浓度MSCN系数

2 算法架构

图5给出本文的算法流程，即：特征选取、码书构建和编码、特征向量提取、支持向量回归训练。码书的构建方法，本文参考了 Ye等[8]提出的CONIA算法，下面分4个部分对算法过程进行描述：局部特征提取、码书构建、局部特征编码、特征pooling。

图5 本文的算法流程图

2.1 局部特征提取

自然图像具有多尺度性，失真会在不同尺度上改变图像的结构信息。当自然图像在两个以上尺度提取信息时，提取的信息量将不会产生明显变化，所以本文在选择2个尺度（一个尺度是图像的原始尺度，另一个尺度是下采样之后图像尺度）上提取图像的特征。在每一个尺度上提取 18维特征，总共形成36维的特征向量。用这36维的特征刻画图像的自然场景统计特征。本文中使用的特征为自然场景统计与对比度、梯度、亮度混合特征，特征的维数为39维（简称为混合特征）。

将图像分成B×B大小的块，在每一个块中提取分块图像的混合特征形成一个特征向量，整幅图像形成其中，F1,… ,Fn表示每一个小块中提取的混合特征，且都为列向量。

2.2 码书构建

2.3 局部特征编码

上节提到了编码方式对最后算法的结果会产生较大地影响，当下主流的编码方式有4种：hard编码、Soft编码、SC编码和LLC编码。其中前两种是较早提出的经典编码方式，后两种是最新提出的编码方式。而本文选择了经典的Soft编码，主要是Coates和Ng[13]指出：最新的编码方式不一定有最好的效果，而且Soft编码与其提出的一种最优编码策略相似，后面实验部分会给出选取此编码方式与其他编码方式的对比。编码的具体过程如下：

计算局部特征与码字之间的距离使用dot-products。用 sij表示第i个局部特征向量 xi与第j个码字 Dj之间的相似度 si,j= xi·Dj，这样图像局部特征编码可以表示为：

这里的相似度有正反两个相似分量，这样使得它们的识别度增加，提高了特征向量进行识别性。

2.4 特征pooling

最大值pooling：

这里ψmax用来求取为矩阵C在每一行中的最大值∈ R2k，它的第i个元素可以用式(10)来表示：

本文将 用于回归训练。

3 实验结果与分析

3.1 雾天图像库

目前国际上还没有建立雾天图像质量评价的数据库，为了对算法进行训练以及实验验证，本文建立了专门针对雾天图像的质量评价数据库。数据库选用了美国TEXAS大学LIVE库中的29幅参考图像，对每一幅图像利用Photoshop cs4软件对其从0～95%按照 5%的浓度间隔进行加雾，这样对于每一幅参考图像就形成1幅参考图像和19幅失真图像。这样整个雾天图像质量评价库中含有 29幅参考图像，551幅失真图像，总共580幅图像。本文将每一幅图像的雾浓度值作为其DMOS值。其中的80%用于训练，大约460幅，20%用于测试，大约120幅。

3.2 实验结果

本文中将图像分成96×96的小块，码书大小选取为500。采用的回归方式为支持向量回归(support vector regression, SVR)，为了评价实验结果，并引入了两个相关系数即斯皮尔曼等级相关系数(Spearman rank order correlation coefficient, SROCC)和皮尔逊线性相关系数(Pearson linear correlation coefficient, PLCC)分别用来衡量算法的单调性和准确性。表1给出了在雾天图像库上的评价结果。

SROCC和PLCC的计算如式(11)～(13)：

di表示第i幅图像的主观评分与客观评分的差值。

式(12)中 βi为用来拟合的参数。式(13)中的 si是第i幅图像的主观评分。

表1 5种无参考算法在雾天图像库上的结果对比

3.3 实验分析

第1种算法是基于码书的方法，它使用的特征为 ZCA特征，此特征不能很好地反映雾天图像特性，并且其在现有的图像质量评价数据库上（数据库不包含“雾失真”）进行训练，所以它的评价结果准确性较低。第2、3种算法是直接使用自然场景特征在现有的图像质量评价数据库上进行训练的方法，可以看出虽然它们的评价结果高于CORNIA算法，但是准确性相比于本文算法较差。第4种算法是对无失真自然图像进行训练，取所有无失真图像自然场景统计特征的平均值作为一个参考标准，将失真图像的自然场景统计特征与其求取距离来表示失真图像的质量，在求取平均值过程中会产生误差，所以评价效果较本文结果偏低。

3.3.1 码书大小影响

这里选择了大小为：50、100、200、300、400、500、1000的码书，它们在图像库中的表现如图 6所示。从图中看出当码书尺寸大于500的时候算法性能不会再提升。因此在本文中将码书大小定为500。

图6 码书大小的影响

3.3.2 编码方式影响

码书的编码方式对最后的评价结果影响较大，本文选取了3种编码方式进行对比：hard-assignment coding, LLC-assignment coding[16]和Soft-assignment coding。其中第1和第3种编码是较早提出的两种编码，第2种编码是最近提出的一种新编码方式。本文选取了3个指标即SROCC，PLCC和算法时间进行了比较。对比时选取的码书大小都为 500。对比结果见表2。

表2 不同编码方式的结果对比

从上表中可以看出Soft-assignment coding从综合指标上来看是最好的，所以本文采用这种编码方式。

4 结 论

本文提出了一种有效地基于码书的无参考雾天图像质量评价算法，它比一些经典的无参考算法在评价雾天图像方面效果好。本算法选取了最能反映雾天特性的自然场景统计特征，并且选用了分块提取特征构建码书的方法来提高算法的性能。在构建码书以及编码过程中选取了最优的码书大小以及最优的码书编码方式。该算法在雾天图像库中获得了与主观感知相一致的结果。算法较好地解决了雾天图像质量评价问题，为解决雾天问题提供了参考依据。下一步的目标是进一步寻找更能反映雾天图像质量的特征，使算法能更准确地评价雾天图像的质量。

[1] 郭 璠, 蔡自兴. 图像去雾算法清晰化效果客观评价方法[J]. 自动化学报, 2012, 38(9): 1410-1419.

[2] 李大鹏, 禹 晶, 肖创柏. 图像去雾的无参考客观质量评测方法[J]. 中国图象图形学报, 2011, 16(9): 1753-1757.

[3] Wang Zhou, Sheikh H R, Bovik A C. No-reference perceptual quality assessment of JPEG compressed images [C]//IEEE International Conference on Image Processing, New York: IEEE Conference Publications, 2002: I-477-I-480.

[4] Sheikh H R, Bovik A C, Cormack L. No-reference quality assessment using natural scene statistics: JPEG2000 [J]. IEEE Trans on Image Process, 2005, 14(11): 1918-1927.

[5] Moorthy A K, Bovik A C. A two-step framework for constructing blind image quality indices [J]. IEEE Trans on Signal Process, 2010, 17(5): 513-516.

[6] Mittal A, Moorthy A K, Bovik A C. No-reference image quality assessment in the spatial domain [J]. IEEE Trans on Image Process, 2012, 21(12): 4695-4708.

[7] Ye Peng, Doermann D. No-reference image quality assessment based on visual codebook [C]//IEEE International Conference on Image Processing, Brussels: IEEE Conference Publications, 2011: 3089-3092.

[8] Ye Peng, Kumar J, Kang Le, Doermann D. Unsupervised feature learning framework for no-reference image quality assessment [C]//International Conference on Computer Vision and Pattern Recognition, IEEE Conference Publications, 2012: 1098-1105.

[9] Xue Wufeng, Zhang Lei, Mou Xuanqin. Learning without human scores for blind image quality assessment [C]// International Conference on Computer Vision and Pattern Recognition, Portland: IEEE Conference Publications, 2013: 995-1002.

[10] Mittal A, Soundararajan R, Bovik A C. Making a‘completely blind’ image quality analyzer [J]. IEEE Signal Processing Letters, 2013, 20(3): 209-212.

[11] Pascal F, Bombrun L, Tourneret J Y, Berthoumieu Y. Parameter estimation for multivariate generalized Gaussian distributions [J]. IEEE Trans. Signal Processing, 2013, 61(23): 5960-5971.

[12] Lasmar N E, Stitou Y, Berthoumieu Y. Multiscale skewed heavy tailed model for texture analysis [C]//IEEE International Conference on Image Processing, Cairo: IEEE Conference Publications, 2009: 2281-2284.

[13] Coates A, Ng A Y. The importance of encoding versus training with sparse coding and vector quantization [C]// International Conference on Machine Learning (ICML), Washington, 2011: 921-928.

[14] Liu Lingqiao, Wang Lei, Liu Xinwang. In defense of soft-assignment coding [C]//IEEE International Conference on Computer Vision, Barcelona: IEEE Conference Publications, 2011: 2486-2493.

[15] Yang Jianchao, Yu Kai, Gong Yihong, Huang T. Linear spatial pyramid matching using sparse coding for image classification [C]//IEEE Conference on Computer Vision and Pattern Recognition, Florida: IEEE Conference Publications, 2009: 1794-1801.

[16] Wang Jinjun, Yang Jianchao, Yu Kai, Lv Fengjun, Huang Thomas, Gong Yihong. Locality-constrained Linear coding for image classification [C]//IEEE Conference on Computer Vision and Pattern Recognition, San Francisco: IEEE Conference Publications, 2010: 3360-3367.

Research on Foggy Image Quality Assessment Based on Codebook

Li Congli, Lu Wenjun, Shi Yongchang, Sun Xiaoning
(New Star Research Institute of Applied Technology, Hefei Anhui 230031, China)

In recent years, no-reference image quality assessment has developed rapidly. However, algorithm about foggy image quality assessment has nearly reported. Our paper proposes an algorithm of foggy image quality assessment based on codebook. The goal of our paper is made our assessment consequence consistence with human opinion scores. Our method is to search the feature that can reflect foggy image quality, structure codebook using this feature, acquiring feature vector by encoding the training images using the codebook, the last, going the regression between the feature vector and the human opinion scores of the training images. Our algorithm have tested on foggy image database, the result shows that PLCC and SROCC both exceed 0.99 and is better than no-reference image quality assessment algorithm of NIQE and CONIA, our algorithm can predict perception of foggy image.

foggy image; image quality; evaluation methodology; no-reference; codebook

TP391.41

A

2095-302X(2014)06-0876-07

2014-05-09；定稿日期：2014-07-09

安徽省自然科学基金资助项目(1208085MF97)

李从利(1973-)，男，安徽蚌埠人，副教授，硕士。主要研究方向为图像质量评价、显著性检测。E-mail：lcliqa@163.com