深立井井壁图像的卷积神经网络去噪方法

2019-06-13贾晓芬郭永存柴华荣赵佰亭黄友锐

西安交通大学学报 2019年6期

贾晓芬,郭永存,柴华荣,赵佰亭,黄友锐

(安徽理工大学省部共建深部煤矿采动响应与灾害防控国家重点实验室,232001,安徽淮南)

我国约有2.95万亿吨煤炭资源深埋在1 km以下,占煤炭资源总量的53%[1]。随着社会经济的不断发展,在21世纪的煤炭开采中,我国将有大批矿井转入深部开采[2]。深井的高温高湿环境加上盐碱水的侵蚀,井筒井壁砼会被慢慢地腐蚀。井壁承受的井筒周围岩浆、泥浆膨胀引起的环压会引起井壁上出现炸裂、鼓包等破损。必须及时检测、修复破损才能有效保证井筒安全,防止井壁破裂的发生。

图像是人类获取、表达和传递信息的重要手段,人类获取的外界信息中,约75%来自视觉[3]。美国哈佛商学院的最新研究数据表明,人的大脑接受的外部信息中约83%来自视觉。图像含有丰富的信息,已经成为人类获取知识和数据的重要来源,井壁图像能很好地传递井壁上出现的缺陷信息。图像在采集、形成与传输的过程中,会引入噪声导致图像质量的下降[4]。复杂的深井环境必然导致获取的井壁图像中含有噪声,要想利用井壁图像实现缺陷的分类、预测,必须先去噪。本文结合井壁图像特点提出一种卷积神经网络(CNN)去噪模型(ELU-CNN)。

1 井壁图像去噪

立井多为钢筋混凝土井壁,井壁图像背景简单,主要包括法兰盘和砼,井壁检测的主要目的是检测砼上出现的裂缝,它是导致井壁破裂的主要因素。井壁裂缝一般有横向、纵向、块状和网状裂缝,表现为连续的线条型,由线段组成,具有一定的方向性。井壁裂缝颜色相对于背景的颜色较深,呈暗色特征,对应的图像像素值较小。深井环境复杂,井壁上的灰尘、腐蚀、高温高湿引起的水雾等因素都会降低图像质量且增加去噪的难度。

利用图像处理检测井壁缺陷的研究较少,没有专门针对井壁图像去噪的方法,但是图像去噪的思路相通、目的一致,只是不同应用领域的图像具备不同特征。好的去噪方法应该具有通用性,可以处理不同背景、不同类型的含噪图像。现有文献中的去噪方法多利用标准图像测试去噪效果,实际图像中含有的噪声并不单一,难以评估噪声水平和类型,其去噪的难度远高于去除标准图像上加入的已知噪声。因此,结合实际应用设计出具有普适性的去噪方法才是研究的根本。

高斯噪声和椒盐噪声是两种最常见的图像噪声,前者服从高斯分布,严重影响图像质量,受到学者们关注。经典且被广泛认可的去除高斯噪声的方法,例如BM3D[5]、WNNM[6]、CSF[7]和TRND[8]等方法均取得了很好的去噪效果,但需要手动修改参数。为了解决上述问题,研究者开始利用CNN方法进行图像去噪。例如,Zhang等提出了DnCNN去噪模型,将深层次的网络体系结构、残差学习算法和批量归一化应用到图像去噪中[9],在此基础上Zhang又提出FFDNet模型实现盲高斯去噪[10];Isogawa等将软收缩与deep-CNN结合,提出了SCNN高斯去噪模型[11]。

CNN去噪方法[9-11]能够有效地利用图像的全局特征,使去噪效果得到明显提高,但随着网络深度的加深,CNN方法提取的特征越来越高级,会逐层丢失大量的低级特征。CNN的层越低提取的低级特征越原始,例如颜色和边缘线条等;高层提取的则是纹理细节等高级特征。为了更好地提取井壁图像中组成裂缝的线条及呈现裂缝开裂程度的纹理特征,本文利用跳跃连接将低级特征传递到高层与高级特征合并,提出了ELU-CNN井壁图像去噪模型。

2 ELU-CNN去噪模型

2.1 模型结构

图1 ELU-CNN去噪模型

2.2 特征提取模块

井壁图像中的噪声无法准确衡量,应用ELU-CNN模型实现去噪的关键是充分提取井壁图像中的各种特征信息并传递到模型的输出端。受稠密连接[12]的启发,设计了特征提取模块,它能充分利用网络的不同卷积层提取的不同特征信息。FEM模块中包含5个卷积层和4个激活层,激活层的激活函数为ELU。每个FEM的输出由其第1、3、5共3个卷积层的输出及ELU-CNN模型的第1个卷积层的输出串联融合而成。

图2 ReLU与ELU函数

常用的激活函数有sigmoid[13]、tanh[14]和ReLU[15]等,其中ReLU函数的应用最广泛。ELU[16]是改进型的ReLU函数,如图2所示,超参数α取0.5,ELU融合了sigmoid和ReLU函数的特性,右侧线性部分能够缓解梯度消失,左侧软饱和性能使其对输入噪声更具鲁棒性。ELU的输出均值接近于零,收敛速度会更快。

2.3 数学模型

(1)

图1所示ELU-CNN的数学模型如下,其中第1个卷积层的输出为

(2)

(3)

式中:ELU()是激活函数,超参数α>0;xj和ωj分别表示式(2)中计算L1时局部感受野(3×3滤波窗口)内的图像像素值和对应的权重系数。第2个特征提取模块的输入为

F2I=ELU(F1O)

(4)

(5)

(6)

(7)

F2O=concat[L7,L9,L11,L1]

(8)

式中:concat[]表示串联融合。第3个特征提取模块的输入为

F3I=ELU(F2O)

(9)

(10)

(11)

ELU-CNN模型获得式(11)的噪声信息Γ后,

3 仿真实验

3.1 数据集和模型训练

为了验证模型的去噪效果,训练ELU-CNN和ELU-CNNB两个模型,分别实现在标准图像上去除已知浓度的高斯噪声和对实际图像的盲去噪。选用400幅180×180像素的灰度图像构造训练集。通过对400幅图像进行随机翻转、任意角度旋转后按照步长10裁剪成40×40像素的图像,形成ELU-CNN模型的训练集。以相同的方法将旋转后的图像裁剪成50×50像素的图像块,形成ELU-CNNB模型的训练集。实验环境是Keras,在CPU Intel(R) Core(TM)i5-8300H CPU2.30 GHz的PC上进行,利用Nvidia 1050 Ti GPU加速。

标准图像测试选用的测试集为Berkeley的68幅图像的BSD68图像集[9-10]及如图3所示被广泛使用的12幅图像的set12图像集,其中图3a～图3g分辨率均为256×256像素,图3h～图3l分辨率均为512×512像素。在实际图像上测试时选用深立井的井壁图像。

图3 set12图像集中的12幅图像

3.2 标准图像的高斯去噪比较及分析

训练ELU-CNN模型时的参数设置为:每64个样本更新一次模型参数,迭代次数e=50,超参数α=0.1,Adam作为优化器,初始学习效率是0.01,每10个e后学习效率降低一半,每个e训练2 000步。在标准图像中加入浓度σ=(15,25,35,50,75)的高斯噪声后,利用ELU-CNN模型与BM3D[5]、WNNM[6]、CSF[7]、TRND[8]、DnCNN-S[9]、FFDNet[10]和SCNN[11]7种被高度认可的方法比较去噪效果。

表1给出了在BSD68上的测试结果,粗体表示最高的峰值信噪比(设为rPSNR)。显然,4种CNN去噪方法的rPSNR远高于BM3D、WNNM、CSF和TRND方法,在各种噪声浓度下,ELU-CNN模型均获得了最高的rPSNR。σ=(15,25)时,DnCNN-S方法的rPSNR高于FFDNet方法,在高浓度σ=(35,50,75)时,FFDNet方法的去噪性能超越了DnCNN-S方法。

表2给出了ELU-CNN模型及各种去噪方法对图3的12幅图像的测试结果,可以看出,不同噪声水平下,ELU-CNN模型在大多数图像上都获得最高的rPSNR,且均获得了最高的平均rPSNR。DnCNN-S和FFDNet两种网络去噪模型获得了较好的去噪结果,σ=(15,25)时,前者表现优秀,σ=(35,50,75)时后者获胜,尤其对Parrot和Lena两幅含有弧形特征的图像表现优异,均略胜ELU-CNN模型。对House和Barbara两幅由规则和重复性结构组成的图像,ELU-CNN模型并不能总是获得最高的rPSNR,而WNNM是一种非局部相似性去噪方法,它针对具有规则和重复纹理的图像去噪具有优势。基于非局部相似性的方法通常在具有规则和重复结构的图像上去噪效果更好,而基于学习的方法通常在具有平滑区域或不规则纹理的图像上产生更好的结果[17]。表2的结果与文献[16]的理论相符。综合表1、2的客观指标可知,ELU-CNN模型具有较好的去噪效果。

表1 BSD68图像集上不同方法的平均峰值信噪比对比

表2 set12图像集上每幅图像的峰值信噪比

图4给出了在set12图像集的Couple图像上随机加入σ=25的高斯噪声后,不同方法对其去噪后的局部放大结果。由图4可知:CSF和TNRD方法的视觉效果最差,门框的左侧竖直边缘和墙面上的横向纹理均模糊不清;BM3D、WNNM和DnCNN-S方法的纹理细节有所改善,对边缘保护能力有所提高,但并不理想;FFDNet方法呈现出了边缘的轮廓,视觉效果较好;ELU-CNN模型获得了最好的去噪效果,能清晰地体现线条纹理,对线条特征的保护能力较强,并能很好地呈现出图像的轮廓特征。

(b)噪声图

(c)BM3D方法(rPSNR=29.72 dB)

(d)WNNM方法(rPSNR=29.82 dB)

(e)CSF方法(rPSNR=29.46 dB)

(f)TNRD方法(rPSNR=29.71 dB)

(g)DnCNN-S方法(rPSNR=30.12 dB)

(h)FFDNet方法(rPSNR=30.18 dB)

(i)FLU-CNN方法(rPSNR=30.25 dB)

3.3 井壁图像盲去噪

ELU-CNNB模型的超参数α=0.05,其他的参数设置与ELU-CNN模型相同。图像获取、传输时有多种噪声来源,无法准确估计实际噪声图像的噪声水平,且真实噪声图像对应的干净图像也是未知的,无法衡量去噪后的客观指标。为了验证去噪效果,在井壁图像上加入高斯噪声,通过去噪后的视觉图像衡量ELU-CNNB模型的盲去噪效果。

图5给出了ELU-CNNB模型对含不同浓度高斯噪声的井壁图像去噪的结果,可以看出,各幅图像在去除噪声的同时,均很好地保留了井壁上的裂缝、腐蚀、破损及法兰盘等特征信息。ELU-CNNB模型在保护图像纹理特征的同时,能很好地保留图像中的线条特征,是一种有效的盲去噪模型,可以用于实际井壁图像去噪,为井壁裂缝检测、定位等工作做好铺垫。

(a)噪声图

(b)去噪结果

图5 ELU-CNNB方法对含高斯噪声井壁图像的去噪结果

大雾伴有小雨的实际天气,接近井下高温高湿的自然环境,此环境下拍摄混凝土路面的图像来模拟含水雾的井壁图像,加入σ=(15,25,50)的高斯噪声后,使用ELU-CNNB模型和DnCNN-B[9]方法去噪,结果如图6所示,其中σ=50时噪声图里的方框内显示的是原图的放大结果。由图6可以看出,低噪声时两者的去噪效果相当,在高噪声浓度σ=50时,圆圈内的裂缝在原图中往上延伸,ELU-CNNB模型很好地保留了此特性,DnCNN-B方法丢失了这条向上延伸的线条特征。可见,在深立井的井壁图像上,ELU-CNNB模型的去噪效果较好,能有效去除井壁图像中含有的各种浓度的高斯噪声,同时很好地保留井壁的破损特征,从而为缺陷检测奠定了基础。

3.4 运行效率

CPU运行时间是衡量去噪方法优劣的重要方面。表3给出了不同方法对加入σ=25的高斯噪声的图像去噪需要的CPU运行时间。分辩率为321×481像素(BSD68)、256×256像素(set12)和512×512像素(set12)的图像是3幅标准图像,640×480像素的图像是井壁图像,对应盲去噪的运行时间。显然,3种CNN去噪方法的运行速度高于BM3D、WNNM、CSF和TRND方法。与DnCNN-S和ELU-CNN模型相比,FFDNet方法的网络深度最浅,运行时间最短,但盲去噪时对纹理的保护能力稍弱。ELU-CNN模型没有获得最好的去噪效率,但是能够满足井壁图像去噪的需要,也可以使用高性能的GPU来提高去噪效率。

4 结论

井壁是深立井的咽喉,井壁图像去噪是对井壁缺陷实现自动检测的关键步骤。本文提出的ELU-CNN模型是一种全卷积网络模型,除最后一个卷积层外的每个卷积层均用64个大小为3×3的滤波器提取不同类型、不同层次的特征。模型中的5个特征提取模块FEM与跳跃连接的结合能够将浅层提取的低级图像特征传递到高层,保证充分提取输入图像中的噪声特征,确保模型通过端到端的训练后有效建立输入和输出之间的非线性映射。含噪图像中的噪声包含的信息量远小于信号的信息量,残差学习的引入使得训练后的模型学习到的是噪声,能够降低模型的学习困难。激活函数ELU的软饱和特性及输出均值接近于零的特性,能够提高模型的鲁棒性、加速模型收敛。