抗噪高清图像清晰度评价算法的研究
2019-11-01张腾腾雷静思
张腾腾 雷静思
摘要:监控摄像机的图像在夜晚黑白模式下噪点较多,为解决在高噪声下清晰度评价函数效果差的问题,首先提出一种使用斜条形窗口的条形区域选择方法大幅度缩减高清图像的运算量,之后提出一种使用清晰度评价因子来修正Laplace算子检测结果的清晰度评价算法。该算法首先对图像进行均值加权滤波,在缩小图像尺寸的同时进行降噪处理,对滤波后的图像进行Laplace算子清晰度计算,获取其清晰度值,之后使用像素区间比例因子和归一化邻近差值两种计算方法对滤波后的图像进行处理得到清晰度评价因子,使用该因子对清晰度值进行修正。仿真实验表明,其在高噪声下仍能具有快速良好的评价效果。
关键词:图像清晰度评价;条形窗口;清晰度评价因子;均值加权滤波;Laplace算子
中图分类号:TP391.41 文献标识码:A 文章编号:1007-9416(2019)07-0117-05
0 引言
由于集成电路和数字化的高速发展,高清图像已经越来越多的被人们所接受。在视频监控行业中,高清4K分辨率已经得到快速的应用,但随着图像数据的迅速增加清晰度评价算法计算时间也不断增加。降低计算时间的方法主要通过采用高性能专用处理器、简化清晰度评价函数以及选择合适的清晰度评价窗口。
传统的图片窗口选择算法有固定区域选择算法[1]和自适应窗口选择算法[2],前者主要使用一个或者多个固定窗口来选择图片区域,其都具有一个特点,即窗口为方形或者圆形等大片局部图像窗口[1],对于4K分辨率的图片来说,在很大一片区域中图像有可能是不存在物体细節的,即方形或者圆形窗口中是均匀单一的背景,即使使用512*512像素范围也有可能出现细节成分少的情况,这将不利于图像清晰度检测。后者主要通过全图检测后自动选择评价窗口,此法更不可取,因为对于4K分辨率的图像来说全图检测计算将会消耗大量时间。清晰度评价函数必须具有高灵敏性、单峰型和抗干扰性[6],传统的清晰度评价函数有基于灰度值计算的函数[2-6],其特点是计算速度快,但易受噪声影响,变换域[1,4,6]针对大图片计算量大,但抗噪效果好。对于噪声的抑制有两种方法[7],第一种使用噪声检测和噪声消除的方法进行去噪处理,第二种是使用滤波方式进行降噪处理,由于只针对部分图像处理,故相比较去噪而言,降噪处理更为合适,滤波效果会在一定程度上削弱细节成分,但这种削弱是整体性的,即无论图片是否清晰都减少了细节成分。
1 斜条形窗口选择方法
在4K图像处理中,由于场景复杂,当物体较大时,其在图像中将会占据一定区域的像素,这就会导致传统窗口选择区域中不含细节或者细节较少[2]。为了防止传统的圆形、方形等集中块式窗口选择方法产生的以上问题,本研究使用条形分散式窗口方法,但由于图像物体一般为水平或者垂直分布,故使用倾斜的条形区域尽可能分散窗口。为防止一个窗口带来的误判断,本研究使用3个斜条形窗口进行评价,如图1窗口选取图。
图1中图片尺寸为2160*3840,图1中左图中的黑色条形框为本研究所使用窗口,其水平位置位于1/4至3/4处,即从地540行至1620行,垂直中心位置分别位于1/4、1/2、3/4处,倾斜角为45度,上图中右图为窗口内容图,每个大小为1080*102,三个窗口总尺寸为1080*306,窗口图像的获取只需要在YUV数据中选择Y分量固定区域内的数据即可。在多种噪声下分别使用斜条形窗口选择算法和中心窗口法,以及全图处理方法进行效果比较,场景使用图1所示场景的41张逐渐聚焦的连续聚焦图片序列如图2所示。
清晰度评价函数选用Laplace算子函数[3],其算子定义如右:
计算公式如右:
在无噪声下,所有窗口选择方法的归一化评价函数都比较理想,但在有噪声下,如图3所示本研究所提算法最接近全图处理的效果。实际的运行时间三条形窗口与五区域方法时间一样为0.468秒,而中心窗口为0.499秒,全图检测为12.745秒,全图处理速度是使用三条形窗口算法的速度的27倍之多。由于所选窗口为全图的4%,大大降低了所要处理的数据量,故极大的降低了处理时间。图3同时也表明,使用Laplace算子作为清晰度评价函数易受噪声影响,稍微有点噪声,就会造成在高度离焦下评价函数值异常升高。
2 修正的Laplace算子梯度函数
由于Laplace算子是基于梯度的检测方法[3],其对于噪声非常敏感,稍有噪声就会造成清晰度评价函数异常,经对含有噪点的模糊图像和含有噪点的清晰图像的分析发现,噪声的存在会加大相邻像素差值,对于4K分辨率的图像来说,相邻像素改变量很小,只有在图像清晰时的边缘才会出现大的跳动,故可以通过滤波方式进行降噪,滤波降噪有很多方法,在文献[8]中将滤波与边缘检测相结合获得了较好的效果,依照该思路本文采用局部均值滤波并加权的方式来减小噪声的影响。
2.1 均值加权滤波
均值加权滤波原理是对图像3*3的小块进行取平均值,之后利用其左侧,上侧,左上侧相邻处理结果乘以不同系数进行加权,从而获得一副更小尺寸的滤波图片,原理框图如图4所示。
滤波后的图像数据量比原图像小了9倍,且由于使用均值滤波,使得图片变得稍微模糊了,而从数据上来看,均值加权滤波后的数据更趋近于整个图像的平均值,此平均值可以通过将所有像素值累加后除以像素个数得到,记为,在滤波后对计算结果累加即可得到。
数据分布上来说,由于滤波后像素值处于最小值0附近和最大值255附近的值减少,处于整个图片的平均值像素附近的值增加,故可以使用像素区间比例因子来反映图像清晰度。
2.2 像素区间比例因子
通过以上均值加权滤波的方法将图片缩小且进行降噪处理后,像素值将会向平均值靠近,这时候对每个像素值进行区间统计,而区间统计时需要将的像素值划分为多个区间段进行统计,本研究使用利用整个图像的平均值将0-255划分为5个区间段,如下所示:
区间一:,区间二: ,区间三:,区间四:,区间五:。其中,使用该方法进行像素区间分段,主要考虑在不同环境下,图片的整体亮度不一样,使用平均像素来进行自适应分区能减少由于画面整体偏亮或者整体偏暗导致在某一区上统计值发生异常,若,则令。对不同区间统计结果分别记为,其中为第一个区间的统计值,为第五个区间的统计值。则像素区间比例因子的计算方法如下:
其中,为像素区间比例因子,为调节因子,由于图片像素值集中于平均值,故的值最大,若图像清晰则会减小,而其与值会增加,尤其是和会增加,通过计算不同区间的比例来反映图片的清晰度,并利用调节因子对两者比例值进行调节而获得最终的像素区间比例因子。滤波后的图像噪点对其影响非常小了,但如果直接使用Laplace算子进行检测,依旧会在波峰出现波动为了使图像具有更好的高灵敏性和全局单峰性,提出使用归一化邻近差值作为清晰度评价因素之一。
2.3 归一化邻近差值
由于图像相邻像素差值可以反映图像的局部清晰度,如果图片局部差值过大,一方面可能是由于图像变清晰导致,另一方面也可能是由于噪点突然变多引起,考虑到噪点在正常使用中不会突然变化,故可以使用归一化邻近差值记为来反映图片的清晰度。在实际场景中,图像较为清晰的时候,其值较大,而在图片模糊的时候其值较小,但在高度模糊时,由于亮度增加,其值会反常上升的异常状态,故可以采用将归一化邻近差值与像素区间比例因子相乘得到一个清晰度评价因子,记为,利用此评价因子对Laplace算子检测结果进行修正,即:
2.4 算法流程说明
基于以上算法的说明,本研究提出使用修正的Laplace算子梯度函數作为清晰度评价函数,为缩小数据量本研究采用斜条形窗口来增加窗口中所含的细节成分,整个算法流程图,如图5所示。
3 实验与分析
在MatlabR2017a平台上进行编程实现本文算法,实验选取由自研4K高清网络摄像机在白天六种场景下不含噪声的图像序列,通过在图像中添加均值为0,方差不等的均匀分布的随机噪声来进行抗噪效果分析。限于篇幅,以下给出了效果最差的场景下归一化评价函数比较图。
其中加入的噪声方差分别为0、0.01、0.05、0.1、0.5,使用等像素个数的中央区域窗口选择方法,且使用均值滤波后分别使用Laplace算法和快速DCT变换算法与本文算法进行比较,如图6所示。
在场景一下(37张图像),效果最差,本文算法在噪声方差小于0.1时,归一化评价函数具有较好的单峰性且由较高的灵敏性,而对比算法在噪声大于0.05时已经不具有良好的单峰性。但是本算法当噪声高于0.1时,也会出现性能不好,这是由于图片噪声较多,已经导致图像细节成分严重丢失,对于夜晚或者红外模式下的图片噪声效果比较接近噪声方差介于0.05志0.1的均匀高斯噪声,能够满足实际场景需要。当噪声超过0.1后已经严重影响到图片的局部细节成分,故必须使用去噪算法才能获得较好的清晰度评价效果,但由于由于目前去噪算法处理图片尺寸较小,不能满足窗口要求,故而采用本文所提出的均值加权滤波进行降噪处理。
由不同处理算法运行时间可知,本算法平均每张运行时间小于0.08秒,而使用均值滤波的Laplace算法平均每张运行时间约为0.15秒,而使用均值滤波的快速DCT算法平均每张运行时间约为0.32秒,在速度上本文所提算法较快。
4 结语
本文首先提出一种使用倾斜的条形区域作为检测窗口的条形窗口选择方法,该方法使用三个倾斜条形窗口作为聚焦窗口使用,能在缩少数据的同时保留更多的细节成分。为进一步缩小处理数据,本文提出均值加权缩小滤波方法,该方法通过对图片进行一次循环、两次计算进行滤波,在达到二次滤波效果的同时缩小图像尺寸,之后对滤波图片进行计算归一化邻近差值、像素区间比例因子和Laplace清晰度评价值,利用归一化邻近差值和像素区间比例因子构建清晰度评价因子实现对Laplace清晰度评价值得修正,从而实现较好的抗噪性能。但依旧在某些场景下效果不是很好,可以考虑使用较好的去噪算法对图像进行恢复后再计算其Laplace算子清晰度,但要求其去噪运行时间要足够的短,否则将会造成整个清晰度计算时间变长,这将是本研究未来的一个研究方向。
参考文献
[1] Feng Quan,Han Ke,Zhu Xiuchang.A New Auto-focusing Method Based on the Center Blocking DCT[M]. Fourth International Conference on Image and Graphics(ICIG 2007),Sichuan,2007.
[2] 田文利.基于图像清晰度评价函数与自动取窗对焦的目标视觉调焦算法[J].微型电脑应用,2017,33(9):75-79.
[3] Liu Shuxin,Liu Manhua,Yang Zhongyuan.An image auto-focusing algorithm for industrial image measurement[J].EURASIP Journal on Advances in Signal Processing,2016(1):70.
[4] 孙红利,冯旗,董峰.图像清晰度评价算法研究[J].传感器与微系统,2017,36(2):67-70.
[5] 项魁,高健.自动对焦过程中图像清晰度评价算法研究[J].组合机床与自动化加工技术,2019(1):52-55.
[6] 薛万勋,卞春江,陈红珍.基于点锐度和平方梯度的图像清晰度评价方法[J].电子设计工程,2017,25(8):163-167.
[7] 易三莉,郭贝贝,马磊.改进的模糊推理规则图像边缘检测算法[J].计算机工程与应用,2016,52(12):180-183.
[8] 李忠海,金海洋,邢晓红.整数阶滤波的分数阶Sobel算子的边缘检测算法[J].计算机工程与应用,2018,54(4):179-184.