一种时间优化的全参考图像质量评价算法

朱丽娟

(湖北文理学院，湖北襄阳441053)

1 引言

图像质量评价是图像处理系统中算法性能优劣和参数优化的重要参考，已经成为工业界和学术界的持续关注的热点。图像质量评价可以分为主观评价方法和客观评价方法两类［1］:主观评价方法通过实验设计，使用人的主观感受对图像进行评价，存在费时、复杂、不易嵌入应用的缺点;而客观评价方法采用算法对图像质量进行评价，具有方便、快捷，易于解析和嵌入等优点，是当前研究的主流。

客观质量评价方法又可以分为全参考，半参考和无参考三类［2］，其中全参考算法发展最成熟。根据算法采用的技术路线，全参考方法可分为基于误差统计量的算法和基于HVS(人眼视觉系统)模型的算法两大类［3］。前一类算法主要有均方误差(MSE)、峰值信噪比(PSNR)等，这类算法的缺点是仅注重评价失真图像和参考图像之间的差异，并没有考虑这些差异对人的视觉感知的影响，因而和主观评价值之间有较大的误差;而后一类算法［4－10］通过对HVS的某些底层特性进行建模，大大提高了图像质量预测的准确度。文献［5］提出了比较图像结构上的相似程度而不是差异的结构相似算法(SSIM)，具有计算方便、评价性能较高的优点，已经在图像增强，超分辨率重构等领域中广泛采用;同时在SSIM算法的基础上，出现了一系列改进算法［6－10］，它们综合模拟了 HVS的各项特性，能够较好地保证主客观评价的一致性，但大都存在算法复杂、运算量大的不足。

随着图像评价技术在红外图像压缩［11］，激光主动成像［12］等领域的应用，在保证图像质量评价算法准确度高的同时，也对算法复杂度和处理时间提出了新的要求。针对这种需求，在标准SSIM的算法框架上，提出一种加速的全参考图像质量评价算法。

2 结构相似性评价算法

文献［5］利用人眼视觉系统能高度自适应的提取场景中的结构信息，提出了结构相似性评价(SSIM)算法，算法包括亮度项l(x，y)，对比度项c(x，y)和结构项s(x，y)这三个部分信息的比较，其表达式分别为:

式中，μx和μy表示图像X，Y方向的灰度均值;σx和σy表示图像X，Y方向的灰度方差;σxy表示灰度协方差;C1，C2和C3是为了避免公式中分母为零而添加的常数。

利用以上三项信息，可以得到评价模型为:

式中，α，β，γ为各部分的相关性权重系数。

对图像进行质量评判时，通常采用多尺度技术把图像划分为几个重叠或不重叠的子块，对每一块利用公式(4)进行评分计算，最后得到整幅图像的评分为:

3 基于优化技术的加速算法

由于SSIM算法计算复杂、运算量较大，难于应用于对实时性要求较高的场合，因此提出基于优化技术的加速算法，对SSIM算法进行改进。

3.1 亮度项的优化计算技术

SSIM算法中亮度项的计算公式(公式(1))只含有均值项的计算，利用积分图像技术［13］可以对亮度项的计算进行加速。

积分图像是一种用于快速计算图像窗口的灰度值总和或灰度均值的一种图像中间表示，计算效率高，应用广泛。积分图像中任意一点的像素值ii(x，y)可以用图1(a)所示的原始图像相应阴影区域的灰度值总和表示，即:

其中，p(x，y)为原始图像中点(x，y)的像素灰度值，ii(x，y)可以用下面公式迭代计算得到:

其中，s(x，y)表示一列的积分，并且 s(x，－1)=0，ii(－1，y)=0。求积分图像只需扫描原图像所有像素一遍，计算量很小。

图1 积分图像的定义和计算原理

图1(b)所示的窗口W的灰度值总和，对于任意大小的窗口，均可以用积分图像中的4个相应点(x1，y1)，(x2，y2)，(x3，y3)和(x4，y4)计算得到，即窗口的灰度值总和为 ii(x4，y4)+ii(x1，y1) － (ii(x2，y2)+ii(x3，y3))。

使用积分图像加速技术，SSIM中的亮度项的计算量将大大减少。设窗口尺寸为n×n，对于窗口的均值计算，使用高斯加权窗的标准的SSIM算法需要n2次乘法和(n2－1)次加法。而提出的积分图像计算方法仅需要3次加法和1次减法。这样每次窗口计算的计算减少量为save=n2(乘法)+(n2－4)(加法)－1(减法)。而计算一幅长宽为w×h为图像，图像中含有的窗口数为wn=(w－n+1)(h－n+1)，总的计算减少量为save×wn。因此使用积分图像，SSIM的亮度项的计算量将大大减少。

3.2 对比度项和结构项的优化计算技术

由公式(2)、公式(3)可知，对比度项和结构项含有方差项的计算，计算代价较高。本文使用梯度幅值计算［14］来代替方差项的计算，进而对算法进行加速。

使用Roberts算子来产生梯度图像，得到图像的梯度逼近表示为:

设图像的维度为 Nx×Ny，则公式(2)和公式(3)的计算公式变为:

其中，μGxGy和 μGx的表达式如公式(12)，(13)所示，而μGy和μGx的表达式类似。

利用以上公式，可以得到加速的结构相似性评价(Speed Up SSIM，)公式如下:

其中

由于公式(15)为多尺度评价算法，需要采用高斯窗口和图像块进行子采样得到，为了降低计算复杂度，采用8×8的整数窗口来逼近高斯窗。整数窗口的模板如图2所示。

图2 8×8整数窗口

4 实验结果和讨论

为了验证算法的质量评价性能，采用LIVE图像质量评估数据库作为算法的仿真图像。LIVE图库选取了29幅原始彩色图像，5类共982幅失真模拟图像，提供了每幅图像的主观评价分DMOS(Differential Mean Opinion Score)，作为客观质量评价比较的标准。本实验采用峰值信噪比(PSNR)和结构相似度(SSIM)，和本文提出的 SUSSIM-l(仅优化亮度项)，SUSSIM-f(全优化)进行性能指标的对比，实验环境为Intel Core 2 Duo 2.6 GHz，Windows操作系统。

性能度量指标采用Pearson相关系数(CC)与Spearman等级相关系数(SROCC)［5］，两个指标绝对值越接近于1，表明主客观评价间的一致性越好。不同指标的性能指标如表1所示。

表1 算法的性能指标

从表1的数据可以看出，标准SSIM和本文改进算法，明显优于PSNR，这是由于算法本身集成了人眼视觉系统的结构性特征的原理。而本文算法的相关系数数值和标准SSIM算法的数值非常接近，也即本文改进算法的客观评价能力与标准SSIM相比，基本没有损失。

为了验证算法的加速能力，采用LIVE视频质量评估数据库作为仿真视频。采用每秒处理的视频帧数(f/s)，作为评价指标，得到几种算法的数据表2所示。

表2 算法的速度指标

从表2中的数据可以看出，本文算法(SUSSIM-f)的比标准的SSIM提高了168%。本文算法的处理速度是SSIM算法的2.68倍。

综合表1和表2的数据，从性能/运行时间这个指标看，本文算法具有图像质量评价能力较强，算法具有复杂度低，计算效率高的优点，适合于对实时性有较高要求的场合。

5 结论

本文提出了一种时间优化的结构相似性图像评价算法，并在LIVE图像库和视频库上进行了仿真实验，算法在评价一致性上和SSIM算法非常接近，而计算效率上是SSIM算法的2.68倍。算法虽然只对SSIM进行了加速和改进，但是算法的基本思想可以运用到其他的以SSIM为基础的改进算法上来进行加速，提高计算效率。

［1］Seshadrinathan K，Soundararajan R，Bovik，et al．Study of subjective and objective quality assessment of video［J］．IEEE Trans．Image Process，2010，19(6):1427 －1441．

［2］Jieying Zhu，Nengchao Wang．Image quality assessment by visual gradient similarity［J］．IEEE Trans．Image Process，2012，21(3):919 －933．

［3］Jiang Gangyi，Huang Dajiang，Wang Xu，et al．Overview on Image quality assessment methods［J］．Journal of Electronics＆ Information Technology，2010，32(01):219 －226．(in Chinese)

蒋刚毅，黄大江，王旭，等．图像质量评价方法研究进展［J］．电子与信息学报，2010，32(01):219 －226．

［4］E C Larson，D M Chandler．Most apparent distortion:Fullreference image quality assessment and the role of strategy［J］．Journal of Electronic Imaging，2010，19(1):1 －21．

［5］Wang Z，Bovik A C，Sheikh H R，et al．Image quality assessment:from error visibility to structural similarity［J］．IEEE Trans．Image Process，2004，13(4):600 －612．

［6］G Chen，C Yang，S Xie．Gradient-based structural similarity for image quality assessment［C］//Proc．of IEEE Int．Conf．Image Process，2006:2929 －2932．

［7］Li C，Bovik A C．Three-component weighted structural similarity index［C］//Proc．of SPIE Conference on image quality and system performance，Jan 19 – 22，2009，San Jose，California．

［8］M P Sampat，Z Wang，S Gupta，et al．Complex wavelet structural similarity:a new image similarity index［J］．IEEE Trans．Image Process，2009，18(11):2385 －2401．

［9］C Li，A C Bovik．Content-partitioned structural similarity index for image quality assessment［J］．Signal Process，2010，25(7):517 －526．

［10］ Z Wang，Q Li．Information content weighting for perceptual image quality assessment［J］．IEEE Trans．Image Process，2011，20(5):1185 －1198．

［11］ Gao Xuhui，Dong Yi，Qi Meng．Quality evaluation of impressed infrared images［J］．Laser ＆ Infrared，2008，38(10):1063 －1065．(in Chinese)

高旭辉，董怡，祁蒙．红外图像压缩质量评价研究［J］．激光与红外，2008，38(10):1063 －1065．

［12］ Dai Dede，Sun Huayan，Han Yi，et al．Image quality assessment of laser active imaging system［J］．Laser＆ Infrared，2009，39(9):986 －990．(in Chinese)

戴得德，孙华，韩意，等．激光主动成像系统目标图像质量评价参数研究［J］．激光与红外，2009，39(9):986－990．

［13］ Porikli F．Integral histogram:a fast way to extract histograms in Cartesian spaces［C］//Proc．of IEEE Int．Conf．Computer Vision and Pattern Recognition，2005，1:829－836．

［14］ Renting L，Zhaorong L，Jiaya J．Image partial blur detection and classification［C］//Proc．of IEEE Int．Conf．Computer Vision and Pattern Recognition，2008，1 －8．