基于DCP-Imp CycleGAN CenterNet去雾算法的交通标志检测

2023-10-12霍爱清冯若水胥静蓉

无线电工程 2023年10期

霍爱清，冯若水，胥静蓉

(西安石油大学电子工程学院，陕西西安 710065)

0 引言

道路交通标志检测是智能驾驶的热门研究方向[1-2]。近年来由于环境污染使城市雾霾天气频发,雾霾天气不仅对日常出行造成严重不便,同时也对交通标志的检测造成干扰,使检测结果容易出现误检、漏检现象。对于这个问题的解决思路主要分为2种:一种是联合去雾和检测算法,生成端到端的去雾检测模型,如Li等[3-4]、陈琼红等[5]分别提出将不同检测模型与AODNet[3]进行结合,但该类方法对去雾结果过度依赖而影响检测的效果。另一种是先去雾后检测的无关联方法,如陈秀新等[6]通过有雾先验知识优化和判别学习对图像去雾还原,使检测精度和泛化能力皆有提高;Tanwar等[7]基于对大气模型的重构,通过轻量级CNN得到较好的识别效果。

上述2种思路首要解决的都是对去雾效果的优化问题。目前常用的传统去雾算法有DCP[8]、AODNet和EPDN[9],以及其他不同的方法[10-11]。传统去雾算法存在去雾后图像颜色有偏差且失真的问题。基于深度学习的去雾算法虽然能有效提高清晰化效果[12-13],但仍会存在一定雾霾残留。

针对小型交通标志的检测,基于深度学习的检测模型已被广泛使用,如SSD[14]、EfficientNet[15]、M2Det[16]、FPN[17]和Faster-RCNN[18]等,在复杂环境下基于锚框的算法会引入大量超参数,使训练速度大幅下降。相较之下anchor-free的CenterNet[19]算法更适合雾天环境的检测任务,故本文还将以CenterNet为框架进行进一步优化,以实现去雾后的交通标志检测。

综上,本文提出了一种无关联的DCP-Imp CycleGAN(Dark Channel Prior-Improve Cycle-Consistent Generative Adversarial Network)融合去雾算法,主要工作如下:

① 采用DCP和CycleGAN结合的方式,对图像进行去雾清晰化;

② 针对去雾后图像质量不高的问题,将对抗网络输出的图像进行感知融合,使图像更趋近真实;

③ 对检测网络CenterNet中残差卷积模块进行轻量化操作,并引入注意力机制CBAM以及FPN特征融合来提高对小型交通标志的检测性能。

1 改进算法

1.1 DCP-Imp CycleGAN融合去雾算法

在交通标志检测前先对图像进行预处理操作,对图像进行去雾还原。如图1所示,DCP算法存在无法适应高亮区域而导致去雾后图像整体偏暗的问题,去雾效果不理想。

(b)DCP去雾后图1 暗通道先验法去雾结果Fig.1 Results of dehazing by dark channel prior method

而循环一致性生成对抗网络(Cycle-Consistent Generative Adversarial Network,CycleGAN)存在优化成对数据集的弱监督训练优势,故本文将DCP嵌入到CycleGAN网络中,从而提高去雾图像分辨率及纹理信息恢复质量,解决DCP算法存在色差导致的不真实问题。为此本文提出了DCP-Imp CycleGAN融合去雾算法,该算法框架如图2所示。

图2 DCP-Imp CycleGAN算法框架Fig.2 DCP-Imp CycleGAN algorithm framework

该算法将DCP算法嵌入到改进的CycleGAN框架中,通过不断学习更新产生与原始图像高度相似的图像,保留图像中高质量的纹理信息,并将细化后的图像进行感知融合,从而得到更清晰真实的图像。主要流程如下:

① 输入待处理的有雾图像Ireal到DCP中,获得透射图TDCP和初步去雾图像JDCP,并由RT和RJ两个网络对其分别精细化处理,将结果与大气光值A通过构建的关系式得到模糊图像Irec。

② 通过CycleGAN网络进行成对的数据集优化训练。不断学习更新精炼网络RT,以提高模糊图像Irec和输入图像Ireal的相似度,使输出的精细化透射图Tref得到适当细化。另一个精细化网络RJ通过鉴别器D来更新,将精细化去雾图像Jref与准备好的自然无雾样本Jreal进行对抗学习,进行真伪判别,来获得更自然的无雾图像Jref。

③ 将前2步获得的模糊图像Irec、精炼化图像Jrec和自然无雾图像Jref输入到感知融合模块中,通过权重分配处理,输出最终的去雾图像Jfused。

1.1.1 CycleGAN网络结构优化

为降低参数量并提高分类质量,本文针对原CycleGAN网络中的主干网络RJ以及判别器D分别进行改进。RJ的结构共由9个残差块组成,为避免大量残差计算而影响对抗学习的速度,将残差块中第一个3×3卷积改为一个3×3的空间卷积和一个1×1卷积,这样可以确保网络参数量的降低,再通过引入串行空洞卷积扩大感知,使细节特征得到保留,其空洞率设为2、2、2、4、4、4。图3为改进前后的残差块示意。

(a)原残差块

(b)改进后残差块图3 改进前后残差模块结构Fig.3 Residual module structure before and after improvement

鉴别器D是对抗学习的关键部分,负责图像的真伪判断,即判断精细化去雾图像Jref和自然无雾图像Jreal之间的相似度。为了在保留原始输入图像空间信息同时还能进一步提高分类性能,本文使用全卷积网络作为鉴别器,其网络结构如图4所示。

图4 鉴别器D的结构Fig.4 Structure of discriminator D

前4个卷积块由卷积核大小为4×4的卷积层、实例归一化层和LeakyReLU激活函数组成;添加了一个4×4×1的卷积层,经过一个Sigmoid激活函数层;最后进行一个0-1的真伪判断,输出1则为真实图像,0为重建图像。

1.1.2 感知融合模块

在保证能见度的情况下,感知融合模块是通过给对抗性学习生成的Jrec和Jref分配合适的权重,在保证能见度的情况下,获得二者融合后更自然真实的图像。其中权重的分配计算通过自然图像Ireal,与Jrec、Jref的相似度图计算而形成的真实性指标确定。

为了得到合适的相似度图,采用高斯颜色空间LMN的广义梯度幅值(Gradient Modulus,GM)和色度信息(Chrominance information of the LMN color space,ChromMN)两个特征来进行度量。根据图像质量评价(Image Quality Assessment,IQA)研究表明,GM是通过YIQ颜色空间的Y通道(即亮度通道)进行计算,而ChromMN是指LMN颜色空间的M和N通道。因此,为了得到GM,将彩色图像由RGB空间转换为YIQ颜色空间并保留Y分量如式(1)和式(2)所示:

Y=0.299R+0.587G+0.114B,

(1)

(2)

式中:x表示像素点,Gx(x)和Gy(x)表示Y通道处的水平方向和垂直方向的偏导数。

LMN颜色空间的M和N通道计算式为:

M=0.30R+0.04G-0.35B,

(3)

N=0.34R-0.60G+0.17B。

(4)

通过计算与GM和ChromMN这2个特征的相似性来评估去雾图像的真实性。将2幅相似图像的GM值分别用G1(x)和G2(x)表示,则像素x处的广义梯度相似性SG(x)和色度相似性SC(x)可定义为[20]:

(5)

(6)

式中:C1、C2是一个正常数以避免无效运算,此处C1取值160,C2取值130。

同时考虑SG(x)、SC(x),则总的相似度SGC(x)为:

SGC(x)=SG(x)·[SC(x)]α,

(7)

式中:α为用来调整GM和ChromMN相似性的重要参数,实验中设为0.4。

(8)

经softmax后,Wref(x)+Wrec(x)=1。

由精细化处理后的去雾图像Jrec是一个清晰但不符合大气散射物理模型的图像,为了得到更理想的效果,由文献[21]中的Koschmieder定律(式(9),图2中Eq1)重新构建另外一个清晰无雾图像Jrec。最后,将Jref和Jrec分别与相对应的权重融合,获得最终结果Jfused:

(9)

Jfused=Jref⊙Wref+Jrec⊙Wrec。

(10)

1.2 DF-CenterNet算法优化

针对CenterNet网络对小型目标检测精度不高、网络参数量过大的问题,本文提出了DF-CenterNet (Depthwise Separable Convolution and Feature Pyramid Network-CenterNet)改进算法,主要从残差模块和特征融合两方面对CenterNet进行改进,DF-CenterNet的整体框架如图5所示。

图5 DF-CenterNet模型框架Fig.5 DF-CenterNet model framework

由图5可知,DF-CenterNet模型框架主要由主干特征提取网络Backbone、特征融合网络FPN及热图Heatmap三部分组成。本文将原CenterNet中的残差块替换为改进后的D-Conv Block,并引入CBAM注意力机制提高对有效信息的提取能力;在特征融合部分结合FPN网络进行网络结构设计,将浅层的小目标特征与深层特征堆叠,以减少细节纹理的丢失;使目标位置直观地反映在Heatmap中。

1.2.1 残差模块优化

ResNet50作为CenterNet的特征提取网络,主要由封装后的残差卷积块(Conv Block)和身份卷积块(ID Block)组成,而残差块的大量使用会导致计算量大幅增加。因此首先对其进行了轻量化改进,改进后的D-Conv Block结构示意如图6所示。

图6 D-Conv Block结构Fig.6 Structure of D-Conv Block

采用深度可分离卷积替换原始残差块中的第二个3×3卷积层,以减少过大的参数量堆积;同时在激活函数的选择上,考虑到ReLU函数会存在激活无效的问题,在D-Conv Block中选用Mish函数作为激活函数,从而避免激活值过大导致函数饱和。

为了使网络更专注有效信息,增强对小型交通标志的检测,本文引入了轻量级卷积块注意力机制(Convolutional Block Attention Module,CBAM)[22],如图7所示。

图7 CBAM示意Fig.7 Schematic diagram of CBAM

CBAM包含通道注意力(Channel Attention Mo-dule,CAM)和空间注意力(Spatial Attention,SAM)两个子模块,分别在通道和空间维度进行特征关注。输入特征设为F∈RC×H×W,通过CAM的一维卷积MC∈RC×1×1后与原输入特征残差相乘,再将CAM的输出结果传入SAM并进行二维卷积MS∈R1×H×W,将输出结果与残差相乘,得到2次特征细化提取后的结果。其整体过程描述如下:

F′=MC(F)⊗F,

(11)

F″=MC(F′)⊗F′。

(12)

1.2.2 FPN特征融合

CenterNet模型将主干网络提取到的特征层进行3次反卷积,得到大小为128 pixel×128 pixel、通道数为64的特征层,再将其传递到检测模块进行关键点预测。而伴随网络的加深,目标的细节纹理信息存在丢失情况,在预测时使用单一的深层特征信息是造成小尺寸交通标志检测精度不高、甚至漏检的主要原因。因此本文借鉴了FPN的网络构建,将ResNet50中的ID Block层特征进行通道调整作为FPN的特征,记为图5中{C2、C3、C4、C5}。经过3次上采样以及特征堆叠的方式,将深层的语义信息与浅层高分辨率的信息进行特征间信息融合,以增强对小型标志的检测能力。

2 实验及分析

2.1 数据集

本文的实验数据包括:去雾实验用BeDDE数据集进行训练并用自制数据集(500张有雾图像、200张无雾图像)进行测试;检测实验采用CCTSDB数据集,共计15 734张包含不同天气和道路的自然场景下的交通标志图像,训练集和测试集按9∶1划分,图像尺寸为512 pixel×512 pixel,使用LabelImg进行图像标注,并将标注数据分为三大类目标:指示标志、禁止标志、警告标志。

2.2 实验环境

本文在实验阶段的环境平台为CPU:Intel Corei7-10875H,单显卡GPU:NVIDIA GeForce RTX 2060 6 GB,通过PyTorch深度学习框架搭建模型,并基于CUDA10.1 和 Cudnn7.6.0来完成GPU的加速运算。实验中共设置100个epoch,batchsize大小设为4,采用梯度下降法加快模型收敛速度,学习率经25个周期进行一次更新,分别为0.001、0.005、0.000 1、0.000 5。

2.3 实验评价标准

本文对于去雾效果的评估采用结构相似度(Structural Similarity Index,SSIM)及峰值信噪比(Peak Signal to Noise Ratio,PSNR)两个参数[23]。

SSIM是常用的图像评价指标,从亮度、对比度和结构三方面来综合度量图像的相似性。其中SSIM取值[0,1],大小与图像相似度呈正相关。

SSIM计算表达为:

(13)

PSNR是基于对应像素点的误差评价,其计算表达为:

(14)

式中:MSE为图像的均方误差,MaxI为图像可能的最大像素值,PSNR单位dB,取值越大则表示保真程度越高。

本文对于目标检测实验采用平均精确度均值mAP、参数量(M)和FPS三项指标进行评估。

2.4 实验结果

2.4.1 DCP-Imp CycleGAN融合去雾实验

本文将DCP初步去雾的图像和准备好的有雾图像输入到循环对抗网络进行训练,学习并更新对应的权重,使用感知融合模块融合相似性图像实现图像的去雾清晰化。

为了验证本文去雾算法的可行性,将DCP-Imp CycleGAN融合去雾算法与DCP、AODNet以及EPDN进行了实验对比。图8为不同算法去雾的可视化结果。

(a)原图

(b)DCP

(c)AODNet

(d)EPDN

(e)本文图8 去雾算法可视化结果Fig.8 Visualization results of the dehazing algorithm

由图8可见,DCP算法去雾后图像存在整体色彩失真、暗部细节不足的问题;AODNet和EPDN算法这2种监督网络对于图像中心区域去雾效果较明显,但仍存在图像颜色偏暗问题,其中AODNet还出现了伪光晕现象。相较之下,本文提出的DCP-Imp CycleGAN算法对图像去雾效果最好,且对暗部纹理细节高度还原,解决了去雾后图像色差大、不清晰的问题。

采用SSIM和PSNR两个评价参数对实验结果进行客观评价,对比结果如表1所示。

表1 不同去雾算法对比结果Tab.1 Comparison results of different dehazing algorithms

由表1可以看出,本文的DCP-Imp CycleGAN融合去雾算法的SSIM和PSNR都是4种算法中最大值,其中峰值信噪比最高达18.06 dB,相较于原DCP算法提高了6.06 dB,表明了对图片的细节还原度更高,而结构相似度可高达85%,显示出在图像色彩表现上的优越性。

2.4.2 交通标志检测实验及分析

为更直观表现检测模型的改进效果,本文用去雾后的数据集进行实验,设计了消融实验、可视化对比实验和不同算法对比实验。

① 消融实验

首先,为验证本文模型改进的有效性,设计了相应的消融实验。在CenterNet的基础上,分别验证不同改进策略对模型的影响,实验结果如表2所示,其中“×”表示在改进模型中没有使用该模块,“√”表示在改进模型中使用该模块。

表2 DF-CenterNet模块消融实验Tab.2 DF-CenterNet module ablation experiments

由表2可以看出,在将原残差块改为D-Conv Block+Mish后,提高了网络训练的稳定性和检测速度,因此mAP提高了1.21%,FPS提升了2帧/秒。再引入CBAM注意力机制,使得mAP进一步提高了2.31%,FPS也提高了3帧/秒,验证了特征提取过程中使用注意力机制可以减少资源消耗,同时提升模型的检测性能。最后通过FPN网络将位置信息和语义信息进行融合,在牺牲一点检测速度代价下使模型mAP进一步提升1.96%。可见改进后的DF-CenterNet可以获得更良好的检测效果。

② 可视化对比实验

图9为CenterNet算法改进前后的交通标志检测可视化对比结果。由图9可以看出,相较于改进之前的算法,DF-CenterNet算法对较小型的交通标志的检测效果更为显著,使第一行图中小型标志的分类置信度明显提升,第二行图中在多个小型交通标志的场景下,也能有效防止漏检和误检现象,由此可见本文算法具备良好的识别能力。

(a)CenterNet (b)DF-CenterNet图9 CenterNet改进前后可视化结果Fig.9 Visualization results of CenterNet before and after improvement

③ 不同算法对比实验

为了验证DF-CenterNet 模型对交通标志的检测性能,在同一实验环境下分别与SSD、Faster-RCNN、EfficientNet、M2Det、CenterNet 这几个模型进行对比分析实验,实验结果如表3所示。

表3 不同算法的检测对比结果Tab.3 Detection result comparison of different algorithms

由表3分析可知,本文算法相较于原CenterNet的检测精度和速度均有提升,且网络更加轻量,实现了对CenterNet网络的全面优化。本文算法的mAP值达到94.63%,在检测精度上优于其他算法,相较于SSD、Faster-RCNN、EfficientNet、M2Det分别提升了8.38%、10.65%、15.15%、9.87%。在参数量方面,本文算法的参数量略高于SSD算法,但与其他算法相比更为轻量。从算法整体性能来看,本文算法的检测精度和速度均为最高值,在道路交通标志检测任务中占据很大优势。