基于双向过滤法的块效应下无参考图像质量评价
2020-06-22杨文飞
马 璐,杨文飞
(1. 宿州职业技术学院 计算机信息系,安徽 宿州 234000;2. 南京大学 电子科学与工程学院,江苏 南京 210023;3. 宿州学院 外国语学院,安徽 宿州 234000)
在对图像进行处理的过程中,为了保存更多的图像信息,也为了占用更少的内存空间,需要进行图像压缩处理,在图像压缩处理过程中必然会产生图像信息的丢失,称之为图像失真[1]。图像质量评价(image quality assessment,IQA)逐渐成为衡量图像质量的重要指标,其中结构相似性(structural similarity,SSIM)是比较有代表性的全参考质量评价方法[2]。SSIM 是目前公认准确性较高的评价方法,其主要原理是从图像的亮度、对比度和图像结构3 个方面进行组合定义SSIM 指数,该方法的优点是计算相对简单、容易理解并且适合不同场景,同时准确度相对较高;其缺点是要假定场景物体的结构信息与光的强度等之间是独立的、互不受影响,而实际中却存在相关性,所以SSIM 指数存在一定的误差。
目前,基于无参考图像质量评价的研究有多种。如Kirenko 等[3]先通过Sobel 算子对图像边界进行判断,再对相邻像素进行归一化梯度计算,估算出块边缘的强度。Li 等[4]提出将从失真图像中提取的感知相关图像特征指数作为新的索引方法,该方法优点在于不需要对主观判断评分进行收集与训练,缺点是在不同的图像数据库下效果并不理想。郑江云等[5]利用块边界之间像素灰度差异值创建模型得到评价值。程姗等[6]利用直方图提取图像的边界,同时利用LBP 得到图像纹理信息特征,由此共同得出失真图像融合特征。李博文等[7]采用图像显著性建立编码字典,通过稀疏矩阵系数与FV 向量构建评价模型进行评价,虽然该方法对显著性图像有不错的评价能力,但对图像的要求有许多的局限性。
针对块效应下无参考图像的评价方法既可以从空间域中入手,也可以通过转换到频域上进行处理,如果从频域入手进行研究能够很好地解决边缘的真实性,且可以有效地进行统计;缺点是对数学要求比较高,多种转换交错使用难以理解,同时增加了计算成本。通过空间域进行研究,对边界信息分析与提取比较简单,容易理解和操作,但不足之处在于真实边界与所产生的块效应假边界混合在一起,分辨出因块效应所生成假边界是难点。综上所述,本文提出以空间域和频域相结合的方式,利用其各自的优点进行互补来对图像中的边界进行识别,然后利用边界特征统计出块效应强度。
1 评价方法原理
通过空间域对块效应下无参考图像进行评价主要是利用图像的边界提取信息,然后统计像素信息特征,从而反映出图像受块效应污染强度大小进行评价。虽然该方法比较简单、易懂,但块效应下的图像边界易出现混淆。
块效应强度和图像之间的关系[5]表现为:
1)图像在经过DCT 压缩后会产生许多矩形模块。
2)块效应强度越强,所产生的矩形模块越多,边界所受干扰越大。
依据这个特征,提出一种双向过滤法(bidirectional filtration)。第一步先通过空间域对原始图像进行一次边界检测及提取,由于检测和提取过程中人为因素的影响,有时并不能很好地对弱边界进行合理划分;第二步按照块模块特征同时利用变换域把空间域转换到频域中,过滤掉弱边界频率,保留有效边界信息特征。该方法能准确找出图像边界信息特征,有效解决图像边界问题。
1.1 通过空间域寻找边界
通过空间域对图像边界进行初步定位,再运用图像处理找出边界,利用图像梯度提取边界特征,虽然Robert 算子、Sobel 算子和Laplacian 算子等能够提取边界特征,但它们容易受噪声干扰,定位效果不理想。本文在Canny 边缘检测基础上进行改进,不使用高斯滤波器运算,而利用Sobel 算子进行过滤,同时对其进行改进增加倍数,建立新的内核:
其中Sx、Sy分别为X方向与Y方向计算出的图像梯度强度大小,然后得出图像梯度强度大小S和方向θ:
然后在Non- maximum Suppression 中规定方向进行抑制,如图1 所示。
图1 边缘抑制方向图Fig. 1 Direction diagram of edge suppression
由上式得出方向θ是梯度变化最强的方向,沿着梯度方向寻找像素点局部最大值,比较它前面和后面的梯度值进行,从而获得清晰边缘,块效应所产生的假边界逐渐被消除,保证极大削弱假边界存在可能性。
1.2 通过非下采样Contourlet 变换[8](NSCT)
上一步得出的图像通过NSCT 在Contourlet 变换技术上进行改进,NSCT 由两个步骤所构成:
1)通过原始图像对其进行NSP 操作,得到分解后的分析子带见图2。
图2 二维子带图Fig. 2 Diagram of two dimensional subband
2)该子带通过方向滤波器进行多次滤波(NSFB),见图3。
图3 非下滤波组构造图Fig. 3 Construction diagram of non-lower filtering group
选取阈值范围大小,获取最终边界位置。此时所呈现出图像的边界位置被认为是真边界。
2 构建评价模型
由原始图像中边界像素统计集L1与经过双向过滤法得出的边界像素统计集L2得到评价值Q:
利用块效应边缘灰度值通过均方差运算得到客观评价值。因大多数对块效应的图像质量评价都是以块边缘像素灰度的差异进行分析得到,找到区域并提取有效区域,所以对区域内的图像边界进行扫描,通过原始图像得到块边界的灰度值F(i,j),同时可以得到F(i,j+ 1)。求其均方差为
同理对经过双向过滤法得到的边界得到像素集F1(i,j),求其均方差为
式中,i和j分别是该区域内的行和列,M和N分别是区域总行数和总列数。通过公式(1)得到Q评价值,若Q= 0,表示块效应不存在,图像质量很好;若Q> 0,表示块效应存在,其值的大小确定了块效应的强弱。L2值越小、差值越大表明Q值越大,块效应越严重;L2值越大、差值越小表明Q值越小,则块效应越弱。
3 实验测试与分析
公共数据库主要使用LIVE 数据库与TID2013 数据库,为了说明该方法的普遍性与鲁棒性,分别从每个数据库中挑选出20 个压缩图像进行测试。这40 个图像都存在块效应污染,同时这40 个图像还有在不同压缩比率下生成的300 多个图像,为了从直观上表明该方法的有效性,建立了评价值Q与DMOS的散点图,并与SSIM 方法[9]进行对比,图像质量评价结果的优劣一般通过MOS或DMOS表示。由图4 可知,通过SSIM 方法散点图与相对Q 模型比较发现本文建立的平均值散点更加集中,独立点少,评价效果较好。
从LIVE 图像质量评价数据库中选取图像进行比较。该算法对LIVE2 JPEG 子库图像的性能评价结果见表1,在TID2013JPEG 子库图像的性能评价结果见表2。评价指标为线性相关系数(linear correlation coefficient,LCC)和秩相关系数[10](Spearman's rank ordered correlation coefficient,SROCC),分别预测算法的准确性。
图4 不同算法散点图Fig. 4 Scatter plots of different algorithms
表1 L IVE2 JPEG 子库图像的性能评价Tab. 1 Performance evaluation of L IVE2 JPEG sublibrary image
表2 TID2013JPEG 子库图像的性能评价Tab. 2 Performance evaluation of TID2013JPEG sublibrary image
本文所选择的是从LIVE 与TID2013 公共数据库中随机挑选的压缩图像,对评价方法而言具有一定的普遍性。由表1 和表2 可知,基于双向滤波法的评价模型得出的评价值Q与SSIM 模型进行对比,无论是LCC值还是SROCC值都要比传统的SSIM值略高,且对于TID2013 数据库中的图像差距更大,说明本文方法更可靠。
4 结语
本文提出了一种基于双向过滤法的块效应下无参考图像质量评价方法,该方法以空间域和频域相结合的方式,利用其各自的优点进行互补来对图像中的边界进行识别,然后利用边界特征统计出块效应强度。该方法能准确找出图像边界信息特征,有效解决图像边界问题。实验测试结果表明,与SSIM 模型相比,该方法对块效应下的无参考图像的评价结果更加有效与准确。模型具有一定的鲁棒性。