基于FMLNet 的光学成像雨（雾）信息自主消除算法*

李廷锋，李 涵

（1.郑州职业技术学院，郑州 450121；2.河南大学软件学院，河南 开封 475000）

0 引言

随着神舟十二号载人航天顺利着陆、神舟十三号载人航天成功发射，各类珍贵的图像信息在各大媒体频频出境。然而，航天发射和回收任务中，通过运载火箭以及无人机获取的光学图像易受雨雾的影响导致成像质量下降。在户外条件下拍摄的光学图像，往往会受到雨（雾）气象的影响，从而改变图像视场，阻碍或扭曲需要拍摄的内容［1］。雨（雾）气象使得光学成像视场的可见性下降，雨（雾）成像往往会丢失大量的视场特征及细节信息，影响计算机视觉方面如目标检测、目标跟踪和图像识别等任务的性能。因此，雨（雾）信息消除已成为图像处理方面的一个重要步骤，近年在光学成像、模式识别和计算机视觉等领域得到了广泛关注。

近年来，针对光学成像雨（雾）消除需求，涌现了各种各样的算法［2-6］，但大多都是只针对雨纹消除或除雾的，能够同时运用于两种场景的算法还较少。例如，文献［7］针对雨图中背景误判和雨痕残留问题，加入网络训练的雨线修正系数，构建选择卷积网络，提出一种基于自适应选择卷积网络深度学习的单幅图像去雨算法，自适应地选择不同卷积核对应维度的信息，进一步学习、融合不同卷积核的信息，从而改进了现有雨图模型、提高了网络的表达力，能够更精确地描述图像像素受到雨线的影响。文献［8］为了能够有效去除图像中的雨水信息，提出了一种基于残差块网络的海面图像去雨算法，将两种类型的残差块网络相结合，用于提取有雨图像的深层次信息，进一步缩小图像目标函数噪声值，获得更清晰的去雨图像。文献［9］为解决传统暗通道不适用于大面积天空区域、容易造成去雾图像失真的问题，利用改进的二维Otsu 图像分割算法，建立暗亮通道融合模型，采用基于视觉感知的亮度/颜色补偿模型对图像进行修正，提出了一种结合暗亮通道先验的远近景融合去雾算法，使得复原的图像更加清晰、细节信息和结构更加明显，更适于人眼观察。文献［10］将深度图作为图像透射率的引导，采用残差网络学习高频雨痕特征，引入条件生成对抗网络对图像局部细节进行精细化修复，设计了一种基于先验知识的三阶段单幅图像去雨雾框架，提出了一种新型单幅图像去雨雾方法，从而能将雾浓度各异和雨分布变化情况下的图像恢复至细节丰富的干净视场图像。

为了能够同时应对图像雨纹消除和除雾需求，本文探索了一种将特征提取、多尺度映射、局部极值以及非线性回归处理相结合的雨（雾）信息自主消除网络（FMLNet）架构，即能进行图像雨纹消除又能进行图像去雾处理，让图像恢复至细节丰富的干净场景图，使图像复原度更高、视觉效果更好。

1 光学成像中的雨（雾）信息建模

1.1 雨（雾）图层建模

首先，构建雨（雾）图像模型：

式中，F 为光学成像的雨（雾）图像；B 为图像视场图层；R 为雨（雾）信息图层。

在式（1）的基础上，将雨（雾）图像视为一个双信号分离问题，即：给定观测值F，如何依靠图像视场图层B 和雨雾信息图层R 的独特特性将其分离。针对式（1）现有的除雨（雾）方法存在以下两个不足：其一，图像中R 的信息密度未必均匀，这意味着一些区域可能比其他区域拥有更密集的雨（雾）信息，从而导致很难用统一的稀疏性假设来对雨（雾）信息图层建模。其二，在不区分雨（雾）区和非雨（雾）区的情况下，直接对式（1）采取信号分离会导致非雨区的过度平滑。

为了进一步弥补这些不足，在式（1）的基础上构建一种广义雨（雾）模型：

式中，I 为二进制值，其中“1”表示雨（雾）区域，“0”表示无雨（雾）区域。

1.2 光学成像中的雨（雾）积聚

对式（2）引入与雨（雾）图像模型捕获区域相关的雨（雾）条纹。从光学成像的照片来看，雨（雾）图像的形成可认为是由不同颗粒度水滴降落轨迹积累而形成的。当空间水滴颗粒很小且大量时，便形成了雾气；当光学成像空间雨滴颗粒较大时，便在图像视场中呈现降雨气象，再当雨滴密集度较高时便形成大雨气象。

光学成像空间中，当水滴较大、雨水蓄积密集时，个别雨滴轨迹将无法清晰辨别。这种雨滴的大量积累，造成了视场图像的整体遮蔽、模糊效果，其视觉效果便与雾相似。

为同时适用雨、雾气象，基于Kosc-hmieder 模型［1］创建一种新的降雨（雾）模型：

式中，每一组Rt都是一层有相同方向的水滴条纹；x为图像视场点位置；t 为水纹层数指数；s 为最大水纹纹层数；A（x）为视场光照情况；α 为光线透射率，即视场雨、雾成分。

视场光照情况A（x）描述了没有散射并到达相机的光照情况。将A（x）定义为：

式中，d（x）为视场点到相机的距离；β 为大气散射系数。

将式（4）与式（3）结合，可获得α 与F（x）的正相关关系：

在实际远距离的光学成像中，d（x）可以是一个相对较长的距离但并不能无穷大，否则将使视场光照传输A（x）非常低。相对于依赖式（5）获得光线透射率α，采取以下规则将能够更稳定地估计α：

由此，基于式（3）可以生成比式（1）更能代表降雨或起雾视场的合成图像，并以此来训练神经网络模型。

2 雨（雾）信息消除FMLNet 网络

如图1 所示，构建一种将特征提取（feature extraction）、多尺度映射（multi-scale mapping）、局部极值（local extremum）以及非线性回归（non-linear regression）处理相结合的图像雨（雾）自动消除网络（FMLNet）。图中，16 Conv3×5×5 代表3 通道大小为5×5 的16 阶卷积滤波器，4 Maxout 4×1×1 代表采用四特征向量表示的前馈非线性激活函数，MaxPool 代表最大池化。

图1 雨（雾）信息消除FMLNet 网络结构Fig.1 FMLNet network structure of eliminating rain（fog）information

2.1 特征提取

针对雨或雾消除问题，现有的方法提出了各种假设，并基于这些假设在图像雨（雾）信息密集处提取暗通道、色相视差、颜色衰减等相关特征。雨（雾）相关特征提取其实质相当于用适当的滤波器对输入的雨（雾）图像进行卷积处理，然后再进行非线性映射。受颜色通道中那些与雨（雾）相关特征信息处理的启发，本文采用Maxout 激活函数［14］作为对图像信息降维的非线性映射。多层感知器或CNN 神经网络通常采用一种前馈非线性Maxout 激活函数，通过对k 个仿射特征映射进行像素最大化操作来获得新的特征映射。基于此，设计了FMLNet 的第1 层网络：

2.2 多尺度映射

文献［15］对多尺度特征去除雨（雾）的有效性进行了有效证明，是实现尺度不变性的有效方法。例如，GoogLeNet［16］在初始架构中使用了不同大小滤波器并进行卷积处理，从而更好地解决了输入图像的对齐问题。鉴于这些成功的多尺度特征提取，本文在FMLNet 第2 层网络采取并行卷积操作，在卷积滤波器中采取3×3、5×5 和7×7 三种尺度，其输出模型为：

2.3 局部极值

为了实现空间不变性，Ilan 等人提出将复杂细胞的空间整合特性用一系列池化操作来进行描述［17］。依据经典CNN 神经网络结构，为克服局部敏感问题，对每个像素考虑邻域最大值，对FMLNet 的第3 层网络使用了局部极值运算处理：

式中，Ω（x）是一个以x 为中心的g3×g3邻域，且第3 层输出尺寸为n3=n2。

经典CNN 网络中的最大池化通常会降低特征图谱的分辨率，此处的局部极值运算将被密集地应用到图像中的每个特征图谱像素，从而能够在保持分辨率的同时便于图像视场的恢复。

2.4 非线性回归

Sigmoid 和ReLU 是最常用的非线性激活函数。但是，Sigmoid 存在消失梯度现象，致使收敛速度较慢且局部最优值较差。为了避免这一问题，学者提出了具有稀疏表示的ReLU。然而，ReLU 是为分类问题而设计的，不完全适合图像消除与恢复问题。特别是当用于神经网络最后一层时，ReLU 的处理规则是针对小于0 的值进行控制，这样容易造成溢出。为此，如图1 所示，本文采用一种双边矫正线性单元（BReLU）作为激活函数以克服上述限制。BReLU 作为一种新的线性单元，承接Sigmoid 和ReLU 特性，可以很好地兼顾双边约束和局部线性。基于BReLU，将FMLNet 第4 层网络设计为：

式中，W4={W4}为包含一个n3×g4×g4大小的滤波器；δ4={δ4}为偏差；tmin，max为BReLU 的边际值，其中，tmin=0、tmax=1。

根据式（10），可以将该激活函数的梯度可表示为：

3 图像雨（雾）信息自主消除

上一节所构建的FMLNet 网络可以理解为雨（雾）检测和自动训练的级联，以渐进式检测和消除图像视场中的雨（雾）信息，并能够很好地恢复图像视场的可见度。

为实现这一效果，该网络首先检测图像视场中的雨（雾）区域，以进一步明确雨（雾）的消除区域。然后，在不丢失图像视场局部细节信息的情况下，利用更多的图像视场信息以有效解决图像的对齐问题。最后，通过局部极值和非线性回归实现对雨（雾）的自主消除。

3.1 雨（雾）信息检测与参数估计

根据式（3），对于给定的雨（雾）图像F，其目标是估计B、R 和I。由于参数估计问题所特有的不确定性，通常采用最大后验概率进行估计：

式中，Pb（B）、Pr（R）和Pi（I）分别是对B、R 和I 的先验信息。其中，对于B 和R 的先验信息包括图像纹理分解［12］和一些数据驱动的相关特征信息［13］。

具体来说，我们认为，从非遗的行动者到非遗的“自觉”行动者，民俗学者可以扮演如下两种角色，这是其他人无法替代的。

对于深度神经网络，可从大量的训练数据中学习B、R 和I 的先验信息，并隐式嵌入到网络模型中。在FMLNet 网络中，利用特征提取网络提取雨（雾）图像F，根据F 来预测B、R 和I，这意味着对图像视场中雨（雾）信息的检测、估计和消除过程是一个连续的过程：I 通过对F 卷积进行估计；R 通过图像信息M 与I 级联的卷积进行预测；B 通过［F，I，R，F-RI］级联的卷积进行预。

通过计算F 与B 的差值，生成残差图像T（·）。循环雨（雾）检测与去除工作如下：

式中，εt为预测误差，且在每次迭代t 中通过更新Fi和Bt获得。

估计过程中，虽然估计的It和Rt没有直接被转换到下一个递归过程中，但它们的正则化损失实际上为学习T（·）提供了强有力的侧面信息。于是，可将最终的估计表示为：

式中，Γ 为总迭代次数。

3.2 FMLNet 网络训练

用Prr（·）、Prs（·）和Pbg（·）训练FMLNet 网络用以生成式（2）中的二进制估计I，使用Θ 集体代表所有网络的参数，生成基于输入雨（雾）图像F 的雨（雾）信息映射R 和背景图像B。

FMLNet 网络为式（15）中的损失函数L（Θ）引入了一个额外的时间变量t，并给出L（Θt，t），其中L（Θ0，0）=L（Θ0）。当t＆gt;1 时，L（Θt，t）=L（Θ），L（Θ）分别用Fi，t和Θt 替换Fi和Θ，其中Fi，t由式（16）对初始Fi进行第t 次迭代生成。于是，对于训练T（·）的总损失函数Liter为：

4 实验分析

通过与现有算法进行比较，以证明本文所提算法对图像雨（雾）信息自主消除的有效性。

在训练数据方面，由于缺乏大规模的数据集可用于图像雨（雾）信息消除的训练及评估，从互联网上收集的图像中抽取了1 000 张，运用式（3）模型添加不同强度的雨（雾）信息，生成多样化的训练集。例如，图2 为合成的降雨场景图像，依据式（3）中的，设置不同的水纹层数指数，可以像图2（b）和图2（c）那样合成不同密度的降雨图像。

图2 降雨图像场景合成Fig.2 Precipitation image scene synthesis

在测试数据方面，采用光学成像数据集：一个是Li S 等收集的185 张真实世界的降雨图像［18］，另一个是Li S 等发布的34 张降雾图像［19］。

下页图3 对比显示了FMLNet 网络与经典神经网络在降雨信息提取阶段的效果，随着非线性回归与特征提取的结合使用，FMLNet 网络能够更好地提取降雨区域及相关结构，使其与经典神经网络具有较为明显的应用差异。

图3 FMLNet 网络与经典神经网络对降雨信息提取的效果比对Fig.3 Comparison of rainfall information extraction effect between FMLNet network and classical Neural Network

将本文提出的算法与GCANet［20］、RESCAN［21］和SPANet［22］这3 种最新算法进行比较。所有算法都使用已发表文献中指定的源代码和默认参数。采用峰值信噪比（PSNR）和结构相似指数测度（SSIM）来对结果进行评价［23］。其中，PSNR 值越高，表明在雨（雾）图像中消除雨（雾）信息的性能越好；最接近1 的SSIM 值越大，说明原图与雨（雾）信息消除图像的视场信息保留性越高。如表1 所示，对比了不同算法针对同一图像的雨（雾）信息消除的平均评价值。从表1 中可以看出，本文算法在所有测试数据中获得的PSNR 和SSIM 值最大，反映了本文FMLNet 网络具有较好的鲁棒性和通用性。

表1 不同算法的PSNR 和SSIM 值Table 1 PSNR and SSIM values of different algorithms

除了定量指标评价的结果外，分别对降雨图像和降雾图像进行了雨（雾）信息消除的视觉观察比对。对于不同算法的处理图，能够直观地区分图像雨（雾）消除的视觉差异。如图4 所示，GCANet 在信息消除的图像中留下了许多明显的降雨条纹；RES CAN 在比较中主要显现的缺点是使得原图的颜色像素下降，除雨后仍有一些条纹残留。显然，SPANet和本文算法能够针对不同的降雨图像去除绝大部分雨纹。

为了评估同一算法对除雾应用的有效性，同样分别运用上述GCANet、RESCAN 和SPANet 算法对降雾图像进行处理。下页图5 展示了4 组真实光学成像图像示例，尽管GCANet、RESCAN 和SPANet 大致实现了除雾效果，但在不同的空间和细节中，它们都在一定程度上残留雾的痕迹并在某种程度上加重了原图色彩的对比度。特别是，在雨纹消除效果上本文算法相似的SPANet 算法，在除雾应用中却存在明显不足。因此，通过对比可以看出，本文算法无论是在雨纹消除还是在除雾方面，对图像视场细节和颜色的还原均具有较好的表现。

图5 除雾效果算法比对Fig.5 Algorithm comparison of defogging effects

5 结论

本文提出了一种基于FMLNet 的光学成像雨（雾）信息自主消除算法。在传统的雨（雾）关特征和雨（雾）信息消除算法的启发下，将特征提取、多尺度映射、局部极值以及非线性回归处理相结合，设计了一种新的雨（雾）信息自主消除网络（FMLNet），使得非线性回归以及特征提取与经典神经网络具有明显的不同。在网络第1 层，Maxout 单元被证明与先验方法相似，能够更有效地学习雨（雾）信息的相关特征。在网络最后一层，尝试了新的激活函数BReLU 来代替ReLU 或Sigmoid，从而保持了光学图像的双边约束和局部线性恢复。此外，对雨（雾）图像模型引入光线透射率，在不同的颜色通道和空间分布中具有更强的适应性。通过真实图片测试和算法比对表明，本文算法能够满足雨纹消除和除雾应用需求，相比目前算法具有一定的对比优势。在未来研究中，将进一步把FMLNet 网络应用到半/无监督场景和其他一些低视力任务中。