基于深度强化学习的局部像素级接触网图像增强方法研究

郭维平，韩志伟，杨 成，王 惠，刘志刚

(西南交通大学 电气工程学院，四川 成都 610031)

目前,我国的电气化铁路里程超过11万km,其中高速铁路里程超过4万km,铁路电气化率已经达到70%以上[1]。电能的可靠传输关乎铁路的运行安全和运输秩序。接触网系统肩负着向高速铁路输送电力的重要任务,是现代电气化铁路中的一个重要组成部分。由于其结构复杂,运行环境恶劣,接触网系统故障时有发生,严重影响铁路正常运行,已经成为制约高速铁路发展的一个短板[2]。为保证接触网的正常运行,对其进行监控和检测,提前做出预警并及时检修维护是铁路部门的重要工作之一[3]。

接触网故障检测方法主要分为传统人工检测和非接触式图像处理检测。人工检测由于效率低,已经不能满足高速铁路快速发展的现状。近年来随着计算机图像处理技术的发展,接触网的非接触式图像处理检测技术获得了长足的进步[4-5]。图像处理检测技术主要依靠铁路检测车安装的CCD摄像机拍摄的图像,由于接触网系统画面背景复杂,可见光CCD摄像机容易受到环境变化的影响,并且接触网支撑装置安装分散,难以稳定补光,导致采集到的图像出现过曝、亮度不足、对比度过低等问题,这些问题严重影响了后续的接触网零部件故障检测及人工故障校验。接触网不同补光条件下实测图像如图1所示。不良补光图像可能出现接触网零部件局部特征模糊、整体图像亮度均衡性差等问题,导致零部件定位与检测的失败,对故障检测识别造成不利影响。因此,迫切需要一种有效的接触网局部零部件特征图像增强算法,提高图像的亮度、对比度,使接触网图像特征更加明显,最终提升后续检测精度,降低人工图像识别的视觉疲劳并提升识别精度和效率。

图1 不同补光条件下接触网检测成像结果

近年来,暗光图像增强成为图像处理领域一个热点问题,国内外学者提出了多种图像增强方法,这些技术可以分为传统图像增强方法和基于深度学习的图像增强方法。传统方法包括:基于空间域的自适应直方图均衡化[6-8],该算法可以有效提高图像的对比度,但是对于图像细节处理不佳;基于变换域的光照图估计增强[9-10],其可以显著提高图像的信息熵,处理后的图像细节更多,但计算量过大、耗时过长;基于小波变换的方法整体效果明显,但处理后可能会放大噪声[11-12]。

基于深度学习的图像增强方法近些年获得较快发展,文献[13]提出一种基于back-projection的算法,将暗光图片加上提亮后的残差得到正常光图片。文献[14]提出一种针对像素调整的算法PixelRL,以A3C模型为基础,给每个像素点分配一个智能体,通过学习得到奖励最大化的策略,这种算法能够精确操作每个像素点,可以减少图片背景噪声,得到更加清晰的边缘。为满足训练时明暗图像配对问题,文献[15]提出一种基于GAN的无监督学习模型,解决了没有足够配对数据集的问题,使用不配对的暗光、正常光图像进行训练,摆脱数据集的限制。上述方法较好的克服了传统算法人工选择阈值鲁棒性差、统计特征基于全局信息受无效背景信息影响大等问题,具备较好的增强效果。

本文基于深度强化学习技术,以克服接触网采集图像无效背景区域占比大影响局部零部件区域增强效果为出发点,通过优化深度强化学习模型多Agent图像增强组合,实现一种优化的局部接触网零部件区域检测图像质量增强方法。

1 PixelRL算法的基本原理

强化学习是机器学习领域中的一个方向,强调根据环境的变化产生相应的动作,而每个动作产生的奖励促进动作策略的再优化,从而一步步适应环境刺激,产生最大的预期收益[16]。图2为强化学习智能体优化策略,智能体感知环境获得状态初始值s0,通过执行动作a0对环境做出改变,此时状态变为s1,同时环境反馈给智能体动作a0的奖励r1,智能体通过奖励r1判断动作a0的优劣,智能体在状态s1下执行动作a1,此时状态改变为s2,奖励为r2。以此循环迭代,智能体与环境不断交互,得到最大的奖励值。

图2 强化学习智能体优化策略

PixelRL算法与大部分增强算法不同,没有从带有噪声的输入中回归噪声或真实像素值,而是对输入的每一个像素进行迭代操作,得到增强图像。输入图像的每一个像素Ii(输入图像I中第i个像素)均对应一个智能体,智能体的策略可以表示为

(1)

(2)

式中:γ为折扣因子。

(3)

PixelRL网络在强化学习异步优势动作评估(A3C)网络的基础上,添加全卷积网络(FCN)和奖励图卷积(RMC),提高了网络的通用性,使网络可以处理不同规格的输入图像;减少了训练参数,提高了网络的训练效率。

1.1 A3C网络

A3C网络解决了DQN(deep Q-network)算法学习效率低、计算资源需求大的难题,主要由公共网络、策略网络和价值网络三部分组成,A3C算法模型如图3所示。网络使用多智能体与环境交互,每个智能体都可以与各自不同的环境进行交互,并且单独进行策略梯度损失的计算,在经过一定步长后,将这些智能体学习到的梯度损失整合起来,在全局网络的独立智能体上实现策略的更新。这种异步动作方式,替代经验回放机制(experience replay),可以减少存储交互数据所需的空间和时间,降低训练数据之间的相关性,并且有效利用计算机资源提升训练效率。

图3 A3C算法模型

1.2 全卷积网络(FCN)

PixelRL算法对输入图像的每个像素进行操作,对应在A3C网络中就需要有几十万个智能体,所需计算量大。如果单纯使用A3C网络,只能处理固定分辨率图像。为了解决上述问题,通过引入全卷积网络,将1.1节中A3C网络的全局网络改进为卷积网络。FCN网络与CNN网络不同,取消了全连接层,网络全部由卷积层组成,可以接受不同尺寸图像的输入。通过最后一个反卷积层对特征图进行上采样,可以使输出图像与输入图像的尺寸相同。

由于FCN网络采用上采样、下采样操作,虽然输出图像的尺寸得到恢复,但是采样过程会造成部分信息丢失。采用空洞卷积(dilated convolution)解决信息丢失问题,取消池化操作,增大感受野,使输出信息的范围更大。

1.3 奖励图卷积

PixelRL网络中的智能体数量多,并且全部排列在2D平面上,因此不能直接使用经典的多智能体学习网络。通过引入一个奖励图卷积,不仅考虑本像素点的权重,还要考虑本像素点邻域内像素的权重,使本像素点执行的动作at不仅改变自己的状态st,还能改变邻域内其他像素点的状态,获得的奖励为

(4)

式中:N(i)表示以本像素点为中心的窗口;Wi-j为下一个时刻t+1邻域的价值V考虑多少的权重,相当于卷积核。

1.4 奖励函数

PixelRL网络的奖励函数定义为小化图像在CIELab空间的欧氏距离(L2距离)

(5)

2 PixelRL模型改进

针对3 000张不同线路和不同时间实测采集的接触网图像特征分析,为实现有效的接触网零部件局部效果增强,设计出两组不同的动作组合用来调整图像的对比度、色彩以及亮度。

2.1 原始PixelRL模型增强效果

PixelRL原始网络设置的智能体动作组合见表1,模型的增强效果如图4所示。由图4可见,与原始图像相比,增强后的图片在亮度和对比度方面均有明显提高。但该方法仍是针对全局像素的增强,并且 RGB通道调节动作对于夜间采集的接触网图像实际为无效操作,增加了算法复杂度。

表1 原始PixelRL网络智能体动作

图4 原始PixelRL算法增强效果

2.2 智能体动作改进

为减少接触网检测对行车干扰及白天环境光对摄像机图像采集的炫光干扰,接触网检测一般在夜间进行。接触网检测图像类似灰度图,接触网图像统计特征分析如图5所示。图5(a)为接触网检测图像直方图,图5(b)显示灰度值大于25的接触网图像像素点数量,其对应区域为接触网零部件局部区域。如图5所示,接触网图像存在大面积的低灰度值像素点,即黑色背景,为需要抑制的图像区域。少部分高亮度像素点为零部件区域,为实际需要增强的局部有效区域。针对上述特性,设计出两种不同的动作组合。

图5 接触网图像灰度分析

PixelRL模型中,智能体的动作包含RGB不同通道的调节,去除关于通道调节的动作,改进的动作组合一见表2。考虑接触网图像夜间采集的特点以及图像信息的稀疏特征,改进的动作组合二见表3。

表2 改进动作组合一

表3 改进动作组合二

动作组合一在原始动作组合的基础上,去除三通道调节相关动作。动作组合二先采用gamma校正对全局像素进行调整,再对灰度值大于25的零部件区域像素点进行线性调整,减少黑色背景像素的改变,gamma校正公式为

f(I)=Iγ

(6)

式中:I为输入图像的像素值;γ为校正系数;f(I)为校正后的灰度值。当γ<1时,图像的整体灰度值变大,对于图像灰度值较小的部分,图像的动态范围变大,对比度增强;对于灰度值较大的部分,图像的动态范围变小,图像对比度降低。设置校正系数分别为0.9、0.8、0.7。

2.3 改进效果分析

使用相同的数据集和参数分别对3种包含不同动作组合的模型进行训练,并用100张与训练集不重合的图片进行测试。统计三者的平均PSNR、SSIM和欧式距离(L2距离)。3种方法的增强效果统计结果见表4。

表4 不同动作组合的增强效果

由表4可见,改进组合二的增强效果最好,可以得到最大的PSNR值,最小的SSIM值和L2距离,与原始图像最为接近。本文下述内容即为采用动作组合二进行试验得出。

3 实验

3.1 数据集与评价指标

网络训练需要采用配对数据集,由于铁路检测车采集到的图像具有单一性,不可能采集到同一区域明暗相互配对的图像,因此采用EnlightenGAN图像增强网络[15]通过现场采集实测图像生成配对数据集。

EnlightenGAN引入注意力机制和双鉴别结构,避免图像过度增强,保证接触网零部件几何形状、位置信息以及颜色信息的稳定。同时考虑接触网图像的稀疏特征,避免增强接触网图像的黑色背景。实验使用检测车采集到的京广线接触网图片,将上述方法处理后的图像与原始图像配对构成数据集,其中1 000张图像用于训练,100张图像用于测试。

使用PSNR、SSIM[17]、标准差、亮度、对比度[18-19]5个指标综合评价图像质量,这些方法广泛运用于评价图像的弱光增强效果。PSNR与SSIM的数值越大,说明图像失真越小,质量越高。标准差、亮度、对比度可以作为人眼主观评价的参考,衡量图像的可视性。

为了进一步说明本文算法的有效性,将本文方法与基于深度学习的DLN算法[13]、基于传统方法的DUAL算法[8]、LIME算法[9]进行比较。

3.2 实验过程

实验在Ubuntu18.04系统下进行,使用NVIDIA 2080Ti GPU。采用Adam优化器训练全卷积A3C模型,学习率为0.001,batch size设置为32,最大学习步长为10。奖励图卷积的窗口设置为33×33,权重矩阵w采用恒等映射初始化参数,窗口中心点像素权重为1,其他像素为0。在实验前对数据扩充,主要进行随机翻转、裁剪和随机调整对比度、亮度。模型的学习步长分别设置为1～10,分别进行实验。

图6为不同学习步长的结果示例。由图6可见,随着步长的增长,增强效果逐渐提高,当步长大于7后,增强效果基本保持稳定。

图6 不同学习步长的效果

3.3 结果分析

1) 主观增强效果对比

图7为不同方法处理后的增强结果。由图7可知,经过处理后图像质量相较于原图,均有不同程度的提高。DLN算法处理后图像整体亮度过高,出现了“过增强”现象,零部件边缘出现虚化;LIME算法处理后,图像对比度适中,但是黑色背景出现了过曝光,画质明显存在噪点,亮度也不如本文方法;DUAL算法处理后,零部件边缘出现了不同程度的噪点,同时黑色背景也出现过曝现象;本文方法处理后的亮度和对比度适中,并且没有出现过曝,零部件清晰可见,可视性良好,这对于人工检测或者计算机视觉处理,都有较大的帮助。

图7 不同算法增强效果对比

2)统计量化增强效果对比

不同算法增强后灰度值大于25的接触网零部件非背景有效区域像素点分布情况如图8所示。由图8可知,本文方法的像素点分布最为均匀,灰度分布范围广,与目标效果图统计结果较为一致。而上述其他方法的灰度值在低亮度部分占比较大,分布范围较窄。

图8 处理结果的灰度分布

表5分别列出不同增强算法的5种评价指标对比。由表5可见,本文方法的PSNR与SSIM最高,说明本文方法增强后的图片失真最小,与实拍图最为接近;标准差、亮度、对比度数值位于中间,说明图像的亮度分布均匀,对比度和亮度适中,没有过明过暗。

表5 图像质量评价

3)非背景有效零部件区域亮度均衡性对比

图9为亮度不均衡的零部件图片示例,黄色矩形框表示裁剪的零部件。统计结果如图10所示。本文方法处理后,不同亮度的零部件亮度提升明显,低亮度区域亮度增长较大而高亮度区域增长较小,使图片的整体均衡性较好。

图9 零部件不同亮度区域示例

图10 不同亮度的零部件增强效果对比

4)增强后对零部件自动定位识别影响

为验证图像增强后对利用深度学习模型进行接触网零部件自动定位识别的影响,使用Swin-Transformer[20]目标检测框架对比图像增强前后的零部件识别效果。使用测试数据集包含3 000张接触网图片的训练集和1 000张图片的验证集,训练36个Epochs得到接触网图片目标检测模型。将100张原始低亮度图片以及采用本文方法处理的图片分别送入上述模型进行实验。实验统计结果见表6。由表6可知,本文方法不仅可以提高图像的可视性,而且能够提高接触网图片自动识别的效率。图11为目标检测结果,黄色矩形框表示原始图像中漏检的零部件,说明增强后可以提高零部件的检出率。

表6 自动识别结果

图11 增强前后目标检测结果

5)模型推理速度

网络模型的推理运算速度,是衡量模型是否具有工程应用价值的重要因素。测试1 262张60×40分辨率的接触网图像,总用时188.89 s,检测速率即1 s内处理图像数(FPS)为6.681。

4 结论

本文方法致力于解决铁路检测车采集到的图像亮度、对比度过低的问题。基于PixelRL算法,根据接触网实测图像统计结果改进算法模型,设计全新的智能体动作和动作组合,用于抑制暗光背景增强,着重增强零部件区域。实验证明对接触网暗光图像增强的有效性,相比其他方法,在图像质量上有一定的提高,且处理速度较快,有较高的工程应用价值。目标检测以及局部细节对比证明本方法可以在提高零部件部分图像质量的同时提高自动识别准确率。