基于模糊均差的低照度图像平滑去噪方法

罗丹

(电子科技大学成都学院， 计算机学院, 成都 611731)

随着互联网技术的不断发展，人们对图像质量的要求也在不断提升。任何图像在成像后都会存在一定量的噪声，一定程度上影响了图片的整体质量。经研究和实验发现，弱光条件下的图像很难实现快速成像，导致弱光环境下的图像在生成之后的噪声影响远大于其他环境下的成像。针对低照度环境下的图像去噪处理，俞炜平等[1]提出渐进式重建网络的低照度图像去噪方法，构建联合增强与去噪的低照度图像数据集和渐进式图像增强网络，自适应处理4种光照程度的低照度图像；级联多个U-Net网络，通过全局亮度校正模块增强网络拟合能力；采用像素级别的重建损失以及对抗损失进行网络训练，实现图像去噪增强。但该方法通过全局增亮进行去噪，面对高倍数图像时去噪效果不佳。曹红燕等[2]采用剪切波变换与基于Retinex理论的融合算法对低照度图像进行去噪。分解六角锥体颜色模型HSV(hue, saturation, value)空间的V分量为高通和低通子带；改进基于贝叶斯萎缩的自适应阈值算法对高通子带去噪；改进自适应局部色调映射算法提高低通子带对比度；通过非下采样剪切波变换(non-subsampled shearlet transform,NSST)逆变换对图像进行白平衡处理，完成图像增强。但该方法面对数据集中的低照度图像数据，去噪效果不佳。白瑞君等[3]改进图像去噪训练网络的第2～16层，降低网络参数量；对网络底层的语义信息进行特征融合，完成图像去噪增强。该方法对图像原信息的保留效果不佳，处理后的图像质量较低。

基于以上方法在面对高倍数或数据集中图像时去噪效果不佳的不足，现提出一种基于模糊均差的去噪方法。采用Sobel梯度同时检测图像边缘水平和垂直两个方向的梯度信息；采用大津算法(Nobuyuki,OTSU)阈值分割法将图像分为平坦区域和细节区域；创新性地对区域图像进行模糊均差处理，以代替传统噪声标准差估计方法，获得低照度更为合适的标准差；采用小波域处理方法对图像进行平滑软阈值去噪，进行图像重构，实现低照度图像的平滑去噪，为互联网图像处理技术发展提供理论支持。

1 基于模糊均差的低照度图像的去噪方法

1.1 低照度图像分割方法

在自然界中，图像成了人们获取信息最直接的方式，图像的类型和颜色就决定了图像的整体质量。但是在低照度环境下，图像成像后的颜色会大大受到影响，并且在低照度的影响下，图像对内容的采集也会受到影响，而信息量的减少就增加了我们从图像中获取信息难度[4-6]。低照度图像中显现出来的前背景两区域之间的差距较大，主要体现在低照度下的噪声导致两区域之间的亮度特性出现混淆，因此在针对低照度图像处理中，首先需要就低照度图像的前背景进行图像分割处理。而进行图像分割处理的目的就在于区分开目标区域和背景区域，主要的处理方式是对两区域的像素进行分析。因为在面对低照度图像时，就需要利用像素的梯度模值来量化各点的亮度变化，并且在像素梯度模值下进行图像分割，得到的效果更好也更容易操作[7-9]。

对低照度图像采用阈值分割方式进行分割，采用Sobel梯度来检测图像边缘信息，在Sobel梯度下的边缘检测算子可以同时检测水平和垂直两个方向的梯度信息，因此具有很好的检测效果[10]。对于检测得到的边缘信息进行阈值分割，研究中将采用OTSU阈值分割算法来对图像进行二值化，其算法原理见图1所示。

图1 OTSU阈值分割算法原理Fig.1 Principle of OTSU threshold segmentation algorithm

图1中显示，OTSU阈值分割法主要是以聚类为核心思想进行图像分割，首先将图像的灰度值分成两个灰度级，这两个灰度级之间的灰度值具有最大差异。在两个灰度级内部划分中，需要将灰度值最接近的点做集合。其次利用方差的计算方式寻找合适的灰度级，将低照度图像划分为背景和前景两个部分，实现图像目标区域和背景区域的分割。而根据阈值分割算法的描述，通过寻找类间方差最大值来得到最优阈值，所以在对低照度图像进行去噪处理中的前背景分割中，首先计算图像中的前背景均值，图像背景均值计算式为

(1)

式(1)中：T为图像所有像素的最优阈值；w0为背景像素点在整个图像中的占比；k0为背景部分像素点的梯度模值；p(k0)为背景图像梯度模值在整个图像梯度模值中所占的比例。对背景部分进行均值计算之后，还需要对目标区域即前景部分进行均值计算，公式为

(2)

式(2)中：w1为前景区域即目标部分的像素点占整个图像像素点的比例；m为整个图像的最大梯度模值；k1为前景部分像素点的梯度模值；p(k1)则为前景部分的梯度模值在整个图像梯度模值中的占比。据此，通过计算低照度前背景两部分的均值，可以得到图像中均值，公式为

u=w0(T)u0(T)+w1(T)u1(T)

(3)

式(3)中：计算图像中均值的方式是通过将前景区域的像素占比w0(T)与其均值u0(T)相乘，然后叠加上背景上的像素点w1(T)和均值u1(T)之间的乘积结果，最终得到低照度图像的整体均值u。此外，图像背景和前景目标区域两类像素之间的方差定义则可以表示为

G(T)=w0(T)[u0(T)-u]2+

w1(T)[u1(T)-u]2

(4)

式(4)中：G(T)则表示前景和目标区域部分像素的方差，因此也可以借此得到图像的最佳阈值，公式为

(5)

根据式(5)的最佳阈值计算方法，就能够将低照度图像中的背景和目标前景区域进行分割。同时根据方差的计算方法得出两区域像素灰度级的分布均匀性，方差值越大，低照度图像中背景和目标前景区域的差别就越大。而在图像分割算法处理下，就能够将低照度图像分为平坦区域和细节区域。

1.2 模糊均差及去噪方法

在研究1.1节中，利用阈值分割算法实现了低照度图像的图像分割，并且按照最大类间方差将分割后的图像分为了平坦区域和细节区域。并且从阈值计算公式的获取中可以看出，阈值确定期间，会受到噪声标准差的影响，但是在图像获取中，估计出的标准差一般难以反映真实的标准差[11-13]。因此为了估计出更好的噪声标准差，本次研究在图像分割基础上，对区域图像进行模糊均差处理，以此代替传统较为普通的噪声标准差估计方法。在低照度图像分割处理基础上，对分割后的图像进行模糊均差处理的主要方法见图2所示。

图2 噪声模糊均差估计流程Fig. 2 Noise fuzzy mean square estimation process

图2中显示，针对输入的低照度图像，首先利用1.1节提出的Sobel梯度来检测图像边缘信息，之后利用OTSU阈值分割法来按照图像灰度值分级，对图像进行分割处理，处理成平坦区域和细节区域。然后单独对平坦区域和细节区域分别进行相应的模糊均差处理，而进行模糊均差处理的原理在于图像中的像素灰度值的变化原因可能存在模糊性，一方面可能由于噪声加入导致像素灰度值出现变化，另一方面可能由于图像本身的信息出现变动，导致像素灰度值发生变化，因此基于两种原因的单独作用或者协同作用，需要借此模糊性进行模糊均差操作[14-15]。最后，针对平坦区域和细节区域不同的模糊均差处理，得到两区域的噪声标准差，再利用两区域的噪声标准差进行结合计算，得到低照度图像的总噪声标准差。

在图像分为平坦区域和细节区域之后，利用图像的灰度值可以将模糊均差定位为

(6)

在模糊均差方法计算下，可以得到低照度更为合适的标准差，基于标准差的计算结果，研究中采用小波域处理来对图像进行平滑去噪[16]。由于本次研究中已经通过相关计算过程能够求取得到低照度图像的最佳阈值，所以借助小波域处理能够很好地实现图像去噪。而利用小波域处理对低照度图像进行去噪的整体流程见图3所示。

图3中显示，小波域处理首先对图像进行层数分解，减少噪声量，也减少噪声标准差。随后在每个分解层中各确定一个噪声标准差，其中每一层上的小波系数都是有取上一层的小波系数近似值，原因在于确保模糊估计噪声标准差和真实噪声标准差之间更为接近。而在图像处理中，面对受到细节干扰估计出来的标准差，就需要对其标准差进行大小判别，对偏大和偏小的标准差进行相应处理[17-18]。最后在最终层中的不同方向进行软阈值去噪，就能够以此进行图像重构得到平滑去噪后的图像。

图3 低照度图像的小波域处理流程图Fig. 3 Wavelet domain processing flow chart of low illumination image

2 基于模糊均差的低照度图像去噪实验

2.1 模糊均差算法有效性分析

首先为了充分了解模糊均差方法的有效性，通过训练测试方式来进行。为模糊均差的测试设置一个内含5 000张短时曝光图像和5 000张长时曝光图像作为低照度图像数据集。其中数据集中的图像分别由室内和室外图像构成，各个图像的照度存在明显差异。搭建实验环境如表1所示。

表1 实验环境软硬件配置设计Table 1 Software and hardware configuration design of experimental environment

如表1中所示，本实验将基于Ubuntu16.04系统，在TensorFlow框架中进行算法测试，测试中将时间调整为120 h。并且根据数据集中的图像的特征，分别测试室内和室外低照度图像和不同放大倍数图像的去噪效果，结果见图4所示。

如图4中所示，随着放大倍数的增加，模糊均差的去噪效果从100倍的82.3%增加到了300倍时的92.1%。以上结果显示，利用模糊均差来对低照度图像进行处理的过程中，可以实现图像的良好去噪，并且随着图像放大倍数的增加，模糊均差的处理方法去噪效果反而得到了一定量的提升。也就进一步说明，模糊均差在处理低照度图像时，并不会受图像倍数的影响，同时在面对倍数提升后，算法的适应能力得到提升，对更高倍数的图像去噪效果也能够很快恢复理想状态。将处理后的图像进行质量评价，结果如表2所示。

表2中显示，将图像质量以差、一般和很好来进行评价。针对室内低照度图像的处理结果评价中，较差的图像仅占总图像数量的0.16%，质量评价为一般的图像占总数量的19.26%，质量达到很好的图像数量占比达到了80.58%。在室外低照度图像的处理结果中显示，仅有0.24%的图像被评价为质量较差，而17.48%的图像处理结果被评价为质量一般，剩余82.28%的图像经处理后的最难评价达到了很好的状态。因此从算法测试中可以看出，面对数据集中大量的低照度图像数据，模糊均差能够对图像的噪声标准差进行估计，并利用图像的噪声标准差实现图像的去噪处理，得到的图像质量满足基本要求。对于算法的去噪性能，最主要是通过对算法在信号处理效果进行分析。本次研究中利用模糊均差算法对某模拟噪声信号进行处理，结果如图5所示。

图4 不同放大倍数下低照度图像测试结果Fig.4 Low illumination image test results under different magnification

表2 室内外低照度图像去噪效果分析Table 2 Analysis of indoor and outdoor low illumination image denoising effect

如图5中所示，原始信号是一条平滑的曲线，当往信号中添加噪声之后，就产生了大量的毛刺。针对具有毛刺的模拟信号，采用模糊均差算法进行去噪处理，从得到的去噪信号曲线形状可以看出，曲线上的毛刺得到了大量的减少。并且可以看出，信号的整体变化趋势并未受到算法处理的影响，说明模糊均差在一定程度上去掉了信号中的噪声影响，同时不改变原有信号中所包含的信息。为了更直接地了解到模糊均差算法在去噪过程中对信号信息保留效果，通过其信号损失变化来具体分析，同时将模糊均差算法和传统算法以及目前较为优秀的算法进行比较，结果如图6所示。

图6中显示，随着信号处理时长的增加，带有噪声的信号逐渐被各种算法去噪处理，并且随着时间的增加，信号的损失值也在逐渐降低。但是从信号比较中可以看出，模糊均差算法处理下的信号损失在前期下降速度明显快于其他算法，并且其最终稳定的损失值也明显低于其他算法。由此可知在对信号进行去噪处理中，模糊均差可以较快实现噪声去除，并且造成的信息损失也最少。

图5 模拟信号去噪效果Fig.5 Analog signal denoising effect

图6 算法处理下信号的损失变化Fig.6 Signal loss variation under algorithm processing

2.2 模糊均差算法应用效果分析

为了更好地验证算法的去噪效果，研究中通过设置对照试验来分析模糊均差法的优异性。在实验中，通过分析低照度图像中的噪声组成，设计随机产生的噪声，将模糊均差和传统的噪声标准差估计算法进行对比测试，得到的噪声标准差如图7所示。

如图8所示，两种算法在对低照度图像处理后得到的峰值信噪比都在噪声水平的变化前提下，呈现下降趋势。但是从两种算法的变化中也可以发现，模糊均值算法在噪声水平较低时就具有更高的峰值信噪比，并且随着噪声水平的增加，其峰值信噪比下降速度也低于传统估计算法。将算法性能测试中的各种算法进行对比分析，对真实信号进行去噪处理，将噪声水平控制在50%，获得的图像结构相似性和峰值信噪比如图9所示。

图7 不同噪声标准差估计算法对比结果Fig.7 Comparison results of different noise standard deviation estimation algorithms

图8 不同噪声标准差估计算法去噪效果对比Fig.8 Comparison of denoising effects of different noise standard deviation estimation algorithms

图9 多算法去噪性能比较Fig.9 Comparison of denoising performance of multiple algorithms

图9(a)是个算法处理噪声水平在50%以下的低照度图像得到的图像结构相似性值，从以往研究内容来讲，结构相似形的值越小，表示图像失真越小。所以从图9(a)中可以看出，模糊均差算法在图像去噪处理中得到的结构相似性值最小，并且和其他算法存在明显的差距，也就表明模糊均差算法处理图像对图像失真的影响最小。图9(b)是多种算法在对低照度图像进行去噪处理后得到的图像峰值信噪比结果，从图中可以看出，模糊均差算法处理下的图像平均峰值信噪比大小达到了27.97 dB，明显高于其他算法得到的峰值信噪比。综上，模糊均差算法在低照度图像处理中的整体性能较好。

图10 低照度图像实际去噪效果分析Fig.10 Analysis of actual denoising effect of low illumination image

图10(a)以及图10(c)分别表示该运动场中的室外物体和室外环境，可以看出经过长时间曝光，得到的室外图像表现为低照度状态。图10(b)是室外物体经过模糊均差平滑去噪处理之后得到的结果，可以看出，该物体经过去噪处理，其亮度得到了较为明显的提升，并且图像中的部分细节区域经过放大后并未出现较大的噪声，仍然较为清晰。图10(d)是该运动场室外环境经过模糊均差去噪处理后得到的图像，同图10(b)类似，在经过处理后的图像亮度得到了明显的提升，同时各区域内的图像经过倍数放大后，仍然能够保持较为清晰的状态。

3 结论

图像在人们了解外界事物信息中的作用极为重要，因此如何保持图像质量达到人们需求也就非常重要。本次研究从低照度图像出发，利用图像分割对低照度图像进行初步处理，并分析处理后图像中背景和目标信息之间的均值，利用均值模糊估计来实现图像的去噪处理。结果中显示，经测试，模糊均差算法能够针对数据集中的大量图片进行处理，并且得到的图像质量满足基本要求。此外在算法对比分析中，模糊均差对噪声标准差的估计中准确率和广泛性都高于传统噪声标准差估计算法，且模糊均差的峰值信噪比最低也在30%以上。在实际应用中，对低照度图像的处理中，也可以很好地实现噪声去除，并提升图像亮度，减少信息获取难度。综上，针对低照度图像的噪声，利用模糊均差的方法对噪声标准差进行估计，以此实现低照度图像的去噪处理是有效的。本次研究中仅利用峰值信噪比来进行图像质量评价，因此虽然证明了算法的优越性，但是对于图片整体质量的变化并未过多探讨，这也是下一步研究需要重点关注的内容。