CGAN网络在去除图像雨雪痕迹中的应用

杨继明, 丁世宏

(江苏大学电气信息工程学院, 江苏 镇江 212013)

实现自动化操作是集装箱码头建设的发展趋势, 这一自动化发展离不开图像处理和识别技术．码头的地理位置特殊,雨雪天气尤为常见,恶劣的天气常常会遮挡图像的重要目标特征,干扰图像识别或分类．对此, Barnum等[1]提出基于频率分析的图像除雨雪痕迹算法,可对视频图像进行实时处理,但去除效果并不理想; Wang等[2]提出基于导向滤波的图像除雨雪痕迹算法; Huang等[3]提出基于自适应的算法用于图像去噪; Fu等[4]针对除雨迹算法提出了基于深度卷积神经网络(convolutional neural networks, CNN)的构架,但去除效果和图像细节上仍有待改进．

生成对抗网络(generative adversarial networks, GANs)是当下深度学习领域的重要研究方向．GANs由生成式模型(generator)和判别式模型(discriminator)两部分组成,通常使用判别器(discriminator)引导生成器不断训练,直到判别器无法分辨出数据来自生成器还是训练集样本．GANs训练的过程本质上是生成器和判别器通过相互竞争和学习实现两者共同提升的过程．许多学者基于GANs提出的衍生网络结构也极大地丰富了GANs体系:Du等[5]基于深度卷积神经网络,将有监督学习的CNN与无监督学习的GANs相结合;Deng[6]基于GANs提出的图像超分辨率技术能满足由低分辨率图像生成高分辨率图像的需求．GANs虽然在理论上能够训练任何一种生成器模型,但实际上难度较大,而且由于没有预先建模,整个模型的自由度过高,当图像较大、像素较多时生成的结果可控性会降低．条件生成式对抗网络(conditional generative adversarial nets, CGAN)[7]在一定程度上解决了该问题,CGAN在训练的同时加入标签作为限制手段,在训练过程中给网络提供更多的信息,指导网络的训练过程,可以生成高质量、细节清晰的图像．去除图像雨雪痕迹的难点在于去除的同时要保证图像色彩不发生偏差．对此,本文拟以CGAN为网络框架,应用改进的感知损失函数算法,去除码头集装箱图像中的雨雪痕迹．

1 网络结构

CGAN的训练方式采用交替迭代训练．首先训练判别器模型,然后训练生成器模型,最后使两者达到动态平衡．当生成器生成的图片通过判别器判别的结果接近0.5时,即判别器无法判断图片来自生成器还是原始数据集时,表明训练(纳什平衡)完成．

图1 生成器网络结构Fig.1 Structure of generator network

图2 判别器网络结构Fig.2 Structure of discriminator network

1.1 生成器与判别器

本文将输入的图像转入特定的域中并分成雨雪痕迹和图像本体两部分, 然后将图像本体从新域返回到原始域中, 故需要对称的生成器网络结构．本文设计的生成器结构如图1所示, 卷积层使用了批标准化(batch normalization, BN)和PReLU激活函数,相比于ReLU函数, PReLU函数收敛速度更快,在网络中表现更好;卷积层后设置若干转置卷积层, 并使用跳跃连接(skip connection, ⊕)[8]的方式使整个网络易于收敛和训练; 最后设置Tanh函数．生成器的参数设置为通道数M, 步长为1．为保证卷积后的图像大小不变, 可以适当地用0填充缺少的像素以保持特征图的尺寸．判别网络模型结构如图2所示, 首先使用带有PReLU函数的卷积层, 通道数为N; 再设置一组采用批标准化函数的卷积层, 以及一系列使用批标准化和PReLU函数的卷积层; 然后设置一组单通道的卷积层; 最后使用Sigmoid函数输出判别结果．

1.2 损失函数

2 试验与结果

2.1 试验设置

本试验的测试平台是Ubuntu16.04 LTS, Tensorflow1.4.0, Anaconda3-4.2.0, Python3.5版本．在码头现场采集800张晴天条件下的图像, 统一裁剪为256×256像素后, 使用Photoshop软件批量加入多样性的雨线、雪痕等极端天气特征, 因此每张含有雨线或雪痕的图像都有对应的正确标注图像．将600张处理后的图像用作训练集,另外200张用作测试集．设置训练批尺寸为5,迭代次数为20万次,学习率为10-3．设置损失函数中参数x1=x2=1,x3=0.005．生成器和判别器模型的通道数分别设为M=64和N=48．生成器中的过滤器大小为3×3, 步长为1,填充值设为1;判别器中的过滤器大小为4×4,步长为2,填充值设为1,其中填充是指用“0”适当填充缺少的像素以保持特征图的尺寸．迭代训练时,先固定生成器的结果为0, 训练判别器; 然后,固定判别器再训练生成器,完成一个迭代周期的训练．重复上述迭代过程,以期达到生成器和判别器的均衡．

2.2 结果分析

图3展示了基于CGAN算法过程中捕捉到的雨线和雪痕特征．如图3所示,本算法对雨线和雪痕的特征捕捉较精确,因此能够对图像进行有效处理．同时, CGAN算法具有良好的适应性,能在同一框架中实现除雨线和雪痕的功能,应对不同恶劣天气条件的影响．本文将CGAN算法与卷积网络算法[4]、先验算法[10]的图像除雨雪痕迹效果进行比较,结果如图4所示．由图4可见,先验法的算法仅去掉了部分雨线和雪痕,仍有较多的雨雪痕迹未能去除;卷积网络算法保留了原始图像的清晰度,去除了图像中大部分的雨雪痕迹,但是在图像的亮度以及对比度上与原图之间存在一定差异;相比之下,CGAN算法去除了图像中大部分的雨线和雪痕,同时也较好地保留了图像背景,生成图像的亮度和色彩与原始图像基本一致,效果优于基于卷积网络和基于先验法的算法．

图3 基于CGAN的算法对雨线(a)和雪痕(b)特征的捕捉Fig.3 Capture of rain(a) and snow(b) features based on CGAN