基于视觉注意力和深度随机配置网络的高速公路团雾认知

陈克琼，安加喜，布天瑞，刘 伟

(合肥学院 先进制造工程学院，安徽 合肥 230601)

高速公路发生团雾气象时，团雾内部能见度低，且团雾位置极易随大气的漂移发生移动，从而造成车辆行驶区域能见度的突变而对道路行车安全产生严重威胁[1]。随着信息技术的迅速发展，采用光谱分析、图像处理、神经网络等技术方法实现雨雾气象监测受到了广泛关注[2-6]。文献[2]建立了一维参数化雾模型(Parameterized Fog Model, PAFOG)并且与三维的天气研究和预报建模系统相融合，实现了对雾的识别，并建立了有效的道路交通大雾预警系统；文献[3]基于雾图像多特征分析，提出了一种反向传播神经网络(Back Propagation, BP)神经网络分类方法以实现水面雾气象现象监测；文献[4]集成全球移动通信系统、全球定位系统和地理信息服务等技术，建立了高速公路雨雾检测预警系统；文献[5]给出了团雾信息检测、传输与保存的云计算模型；文献[6]基于团雾中水凝物的散射特性分析，给出了基于水凝物激光散射性的团雾检测系统。然而，我国高速公路位置、地形多样复杂，团雾现象的发生与大气、海拔、地形等环境因素密切相关，传统的雨雾气象分析方法难以对瞬息万变的高速公路团雾现象实现实时精准检测，以至于无法为在高速公路中高速行驶的往来车辆提供实时有效的预警与引导信息，因此，对高速公路团雾实时精准检测具有十分重要的理论与实践应用价值。

近年来，深度学习在环境科学中得到了广泛的应用[7-9]。文献[7]使用空间卷积神经网络(Spatial Convolutional Neural Networks, SCNNs)网络对不同浓度的雾图像FoggyCULane数据集进行训练，有效提高雾天车道线检测识别率；文献[8]模仿人类认知方式，结合迁移学习和闭环控制的思想，给出了一种基于动态交错组卷积的雾气等级智能认知方法。文献[9]基于遗传算法和反向传播神经网络(BP)人工神经网络，构建雾气象预测模型。在传统深度神经网络中，伴随着网络结构的深入和分支的增加，能够由浅入深提取图像特征信息，但其在各特征层次中对于图像信息的提取广度是不变的，因而对于图像局部信息处理不尽如人意。人脑在识别事物时，往往将注意力聚焦于关键局部信息，从而实现快速准确的认知。视觉注意力机制能够基于问题域在特定特征层次中突出表征特定关键信息，从而扩充普通卷积神经网络的学习能力[10-12]。因而，在高速公路团雾认知模型的特征表征过程中加入视觉注意力机制，能够提高图像特征的表征能力，提高认知模型性能。

深度随机配置网络(Deep Stochastic configuration networks，DeepSCN)在相关约束条件下选取网络权值和阈值，以实现递增式学习机制，在模型实时性、有效性要求高的应用中具有优越性能[13-17]。针对团雾生成时复杂的气象环境造成的团雾检测效率和精度难以满足要求等问题，结合认知科学中人脑对于视觉区域中特定部分的集中关注机制，本文提出了一种基于视觉注意力机制和深度随机配置网络的高速公路团雾认知方法。首先，采用图像通道转换和高斯模糊滤波方法对输入的路面图像进行预处理，获得归一化的高速路面样本图像集合。其次，提出了基于视觉注意力机制的团雾图像深度特征空间构建方法，以构建多层次差异化团雾气象特征空间表征模型。最后，构造了基于深度随机网络的高速公路团雾等级分类器，以获取具有强泛化能力的快速高准确率分类机制。最后，基于上述方法，开展了大量实验，通过数据与结果分析，验证了本文方法对于实时性、稳定性要求较高的高速公路团雾气象等级认知的可行性与优越性。

1 基于视觉注意力机制和深度随机配置网络的高速公路团雾认知模型

为有效实现高速公路团雾气象的快速准确认知，本文提出的基于视觉注意力机制和深度随机配置网络的高速公路团雾认知模型如图1所示。模型由训练层和认知层两层结构构成，各层的结构与功能为：

1.1 训练层

图1 基于视觉注意力机制和深度随机配置网络的高速公路团雾等级快速认知模型

训练层包括团雾图像预处理、基于视觉注意力机制的团雾图像深度特征空间构建、基于深度随机配置网络的团雾等级分类器构造。对于输入的原始训练团雾图像样本集合，采用颜色空间转换与高斯模糊滤波预处理，构造高质量、归一化的训练团雾图像样本空间；通过在CNNs中融入视觉注意力机制，以构建具有可区分细节信息的团雾图像的深度特征空间；构造深度随机配置网络分类器，以获取全局逼近的训练样本图像的团雾等级认知结果，为认知层测试团雾图像的团雾气象等级提供分类认知匹配准则。

1.2 认知层

认知层包括待认知样本深度特征空间获取和团雾等级分类认知。基于训练层给出的团雾图像深度特征数据结构，获取测试团雾图像样本空间的同维度特征表征模型；基于训练层给出的团雾气象等级分类匹配准则，获取测试样本的团雾等级实时认知结果。

2 基于视觉注意力机制和深度随机网络的高速公路团雾认知算法

2.1 高速公路团雾图像预处理

高质量的输入图像样本集合能够有效提高后续高速公路团雾分类认知模型的准确性。本文采用图像通道转换和高斯模糊滤波方法[18-19]，对采集的高速公路团雾图像样本进行预处理。

首先，将采集的高速公路团雾原始图像由RGB域转换至HSV域表征，以获取更为直观的HSV空间图像F(x,y)={H(x,y),S(x,y),V(x,y)}以增强得团雾颜色的通道对比度。其次，通过高斯模糊滤波计算构造归一化的输入图像样本空间，以降低噪声干扰。

由此，由上述方法对输入的原始高速路面图像进行变换、滤波预处理，可分别构造高质量、归一化的高速路面训练团雾图像样本集合U={U1,…,UN}和测试团雾图像样本集合Y={Y1,…,Yn}.

2.2 基于视觉注意力机制的团雾图像深度特征空间构建

图2 基于注意力机制的卷积神经网络结构

CNNs在团雾检测方面具有很好的自学习能力，但传统网络在特定层次中提取图像信息时往往是一次性无差别全部获取，这与人类利用一系列部分瞥见并选择性地关注显著部分从而更好地捕捉视觉结构的视觉机理有一定差距。视觉注意力机制可以有效关注关键信息，同时抑制非必要特征，从而增加特征空间表达能力[10]。本文采用卷积注意力模块(Convolutional Block Attention Module，CBAM)并融合于CNNs网络中，以增强高速公路团雾图像可区分性。基于残差网络(Residual Network，ResNet)模型，本文的基于视觉注意力机制的团雾图像深度特征提取模型输入为经由滤波变换预处理后的高速路面训练团雾图像样本，在不改变网络基本结构的前提下，在每两个卷积块之间添加一个CBAM模块，将一副图像分解成通道和空间两个维度，并分别从两个独立维度依次加入注意力权重，并获得优化的特征空间输出到下一个卷积块作为输入，其模块结构如图2所示。

基于文献[10]，采用先通道模块后空间模块串行连接方式，以实现更高的特征覆盖度。假设已知由上一残差模块获取的输入特征图空间T∈RC×H×W，则经由CBAM模块提取的具有注意力权重的输出特征图空间可基于式(1)获得。

(1)

其中，Fc(T)∈RC×1×1是1维通道注意力特征函数，FS(T′)∈R1×H×W是2维空间注意力特征函数，T′是通道注意力输出特征图空间，T″是最终优化输出的团雾特征图空间，⊗是逐元素乘积运算。

这里，通道注意力特征图空间由共享网络聚合输入特征空间的最大池化和平均池化空间获得，空间注意力特征空间由两个池化运算聚合特征图的通道信息并经由标准卷积运算获得，如式(2)所示。

(2)

由此，对于分别输入的训练和测试团雾图像样本集合U、Y，经过相同的基于注意力机制的可分别获得高速路面图像团雾气象信息的优化表征C=[C1,…,CZ,Ud]和K=[K1,…,KZ]，其中，Ci和Ki分别为对训练样本和测试样本构建的Z维具有注意力显著表征的优化特征向量之一，Ud为训练样本真实决策属性向量，即大雾的等级标签。

2.3 基于DeepSCN的团雾等级分类器构造

为改善Softmax分类对于高速公路团雾认知网络分类不精确、泛化能力差且处理速度慢的不足，本文采用DeepSCN网络构造团雾等级分类器[20]，通过在约束条件下自适应选取网络权值和偏移量参数实现全局逼近，从而增强分类模型的泛化性能。

基于所构建的高速路面团雾气象特征空间C作为输入，可基于式(3)构建DeepSCN网络作为团雾等级分类器获得训练模型参数。

(3)

在随机配置网络中，网络参数会自适应变化从而优化权重和偏移量，SCN分类器具有极强的适应能力。对第λ个基函数wλ和aλ进行取值时，需要通过如下约束条件：

(4)

(5)

由此，在具有最大隐含层节点数Lmax和可容忍误差ε的约束条件下，基于式(3)(4)(5)可在训练中通过逐步增加网络节点数，直至满足学习误差条件时停止训练，并获得最终的团雾等级分类器模型和训练样本类别标签。继而，对于输入的测试样本的Z维优化高速路面图像团雾气象特征空间K=[K1,…,KZ]，与分类器模型进行分类匹配，则可获得测试样本最终的团雾等级输出向量On。

3 实验与结果分析

为了验证本文模型的可行性与有效性，从行车记录仪上读取6000张不同高速公路路面的图像构建不同浓度等级的输入团雾图像样本库，依据团雾对交通行车的影响程度，构建样本库包括无雾(能见度大于一千米)、轻雾(能见度二百米到一千米之间)、浓雾(能见度低于二百米)三种不同浓度的团雾等级。部分团雾原始图像如图3所示，原始图片尺寸为309×169，通道数为3。文中进行的对比实验均为从6000张高速路面图像样本中采用随机抽样的方式，以75%：25%的比例，分别构造训练集和测试集，以保证实验样本的随机性和实验数据的可靠性。

图3 部分原始图像样本

本文模型所选深度神经网络模型为ResNet50结构，学习率lr=0.002，迭代次数Epoch=2900，批大小Batch_size=32，sigmoid激活函数，DeepSCN网络隐含层节点数Lmax=1000，容忍误差ε=0.01且η基于[1,5,10,20,30,40,50]自适应选取最优值。所有实验与仿真结果均来自飞浆paddlepaddle2.0.2, GPU V100, python3.7, 16G显存的深度学习平台和Windows10系统平台。

图4所示为部分不同等级团雾输入图像的预处理结果。由图4可知，与原始图像比较，HSV空间可以非常直接的表现色彩的亮度、颜色以及明亮程度，从而便于实现色彩间的比较。另外，高斯模糊滤波也在一定程度上降低了噪声对图像质量的干扰，预处理后的样本图像尺寸为224×224。

图5所示为2900次迭代过程中，基于相同的输入图像样本和相同的分类器，在ResNet50网络中加入CBAM模块对于系统性能的影响。由图5可知，在本次实验中，随着迭代次数的增加，ResNet50和ResNet50+CBAM网络对团雾等级的认知精度不断增加，最后趋于稳定，这说明两种网络模型都具有较好的分类性能。加入CBAM模块的ResNet50对高速公路团雾图像的认知精度远远大于ResNet50本身的认知精度，其中ResNet50_CBAM最高认知精度达到94.91%，而ResNet50对高速公路团雾图像的最高精度在90%，可见加入注意力机制的卷积神经网络对高速公路团雾图像的认知精度有明显的提升，这是由于注意力机制的加入有效提高了特征覆盖面，在层次化特征碎片获取的时候增加了特定的关注部位，同时抑制了一些无关冗余的信息。

图4 部分不同等级输入图像预处理结果

图5 不同深度神经网络模型的识别率对比图

图6所示为2900次迭代过程中，基于相同的输入图像样本和相同的ResNet50+CBAM网络，分别采用本文的DeepSCN和传统的softmax两种分类机制时，对高速公路团雾等级认知的迭代次数与方差的关系对比。样本方差描述了不同迭代次数模型预测值与均值间的离散程度，由图6可知，随着迭代次数的增加，采用两种分类机制的系统方差均逐渐减小，最后趋于稳定。同时，DeepSCN分类器的迭代方差远小于softmax分类器的迭代方差，这说明基于DeepSCN的网络分类器对于高速公路团雾等级分类效果的稳定性更具有优势。

图6 不同模式分类器的方差对比图

为了表明本文方法的优越性，本文以相同的训练样本和测试样本为输入进行对比实验，比较了本文方法与本文的ResNet50+CBAM深度神经网络与softmax分类、ResNet50深度神经网络与本文的DeepSCN、ResNet50深度神经网络与softmax分类模型对于高速公路团雾等级认知的系统性能，所有实验均以相同的训练样本和测试样本空间进行，所有实验结果均以平均识别率和标准差的形式表达。对比实验结果如表1所示。

表1 不同算法性能对比

从表1可以发现，本文所提出的基于视觉注意力机制和深度随机网络的高速公路团雾等级认知方法相较于其他方法具有更优的性能，平均认知精度达到97.60%，且算法结果的随机性也更低。与传统的感知系统比较，具有注意力机制的认知算法普遍提升3%～7%。视觉注意力机制和卷积神经网络系统能迅速对不同浓度团雾的提取特征空间，并压缩特征内部的冗余信号，从而构建具备多层次差异性的特征空间。与此同时，还构造了快速识别的随机配置网络分类器映射输入单一特征空间到输出高速公路团雾浓度等级，实现对高速公路团雾图像快速认知识别。

4 结论

本文提出了一种基于视觉注意力机制和深度随机网络的高速公路团雾等级认知方法，该检测方法只需要普通摄像机采集的高速公路团雾图像，可以是本文中的行车记录仪采集的图像，也可以是公路两边的固定摄像头采集到的图片，能够满足系统实时性、准确性的要求。本文方法的主要优势是通过在传统卷积神经网络中加入注意力机制，以能够在较低的特征层次中获取更深层次的团雾图像表征结果，从而有利于后续的团雾等级分类机制构建。另外，DeepSCN的运用在较大程度上降低了神经网络由于随机选取初始权值和偏置所导致的结果随机性，使系统具有更高的稳定性与泛化性能。本文主要讨论了本文模型对于高速路面图像中团雾等级的认知，对于其他具有实时性预警要求的气象现象，如沙尘暴、浮尘、扬沙等的有效认知，具有较高的推广价值。