基于改进AlexNet网络的轨道缺陷识别方法

赵家祥　方建军　刘泽宇　施代能

［摘 要］针对铁路维护采用人工巡查方式存在准确率不足、效率低下等问题，提出一种基于轻量化AlexNet网络的轨道缺陷识别方法。该方法主要包括融入注意力机制、裁剪全连接层、引入批量归一化取代原有的局部响应归一化等。实验对比验证结果表明，改进后的网络具有更好的识别效果，模型的准确率提高了2.8个百分点，推理速度和稳定性都得到相应提升。

［关键词］ 轨道缺陷；AlexNet；注意力机制；批量归一化

［中图分类号］ U 216.3 ［文献标志码］ A ［文章编号］ 1005-0310（2023）02-0007-05

A Track Defect Identification Method Based on Improved AlexNet Network

ZHAO  Jiaxiang， FANG  Jianjun， LIU  Zeyu， SHI  Daineng

（College of Urban Rail Transit and Logistics， Beijing Union University， Beijing 100101， China）

Abstract：  In response to the insufficient accuracy and low efficiency in the manual inspection for railway maintenance， a track defect identification method based on lightweight AlexNet network is proposed. This method mainly includes integrating attention mechanism， cutting the fully connected layer， and introducing batch normalization instead of the original local response normalization. The results of experimental comparison and verification show that the improved network has better recognition effect， the accuracy of the model is increased by 2.8 percentage points， and the reasoning speed and stability are improved correspondingly.

Keywords： Track defect；AlexNet；Attention mechanism；Batch normalization

0 引言

鐵路作为国家的战略性基础设施，在我国经济发展中起着至关重要的作用。截至2021年12月，我国铁路运营里程突破15万km［1］。繁忙的铁路运输和高速重载列车的快速发展，急需采用现代化的检测手段来保证铁路运营安全。

钢轨、轨枕和扣件作为轨道的主要组成部件，在长时间运营过程中，会出现钢轨表面损伤、轨枕破损、扣件丢失和螺栓丢失等情况，对铁路运营安全形成威胁［2］。传统的人工巡检方式耗费大量的人力物力，无法适应现代化的铁路建设［3］。目前，国内外学者围绕轨道缺陷无损检测进行研究，主要采用漏磁检测［4］、无线传感器检测［5］、复合电磁检测［6］和深度学习卷积神经网络检测等轨道缺陷检测方法。前3种方法对硬件维护成本要求较高，且检测结果易受环境影响。随着深度学习和神经网络在计算机视觉领域的兴起，不少学者将其运用到铁路图像的处理。Wei等［7］利用VGG16网络对轨道扣件缺陷进行检测和识别，该方法表明，利用CNN进行扣件缺陷检测是可行的。刘欣等［8］提出了基于CNN的轨道扣件检测算法，该算法引入ReLU函数和Dropout方法后，准确率达到98.1%，与经典CNN相比，准确率有明显的提高。孙次锁等［9］基于AlexNet网络模型的深度卷积网络架构，依照钢轨探伤车检测数据的特点修改了卷积层的深度，同时采用Early Stopping和Dropout方法进行训练，该模型在钢轨伤损准确率、误报率等指标上的识别结果基本可以满足实际需要。总而言之，深度学习卷积神经网络具有较强的轨道缺陷特征学习和特征表达能力，对各种复杂环境的泛化能力较强，对轨道缺陷的识别效果较好，但实时性还有待进一步提高。

本文基于轻型AlexNet网络对轨道缺陷识别方法进行改进，具体包括：在AlexNet网络结构中增加注意力机制，裁剪全连接层数，并添加批量归一化处理，在减少网络复杂度、提高实时性的同时，保证识别精度。

1 数据集构建

算法训练采用Railway Track Fault Detection数据集［10］，该数据集包含钢轨表面损伤、轨枕破损、扣件丢失和螺栓丢失等轨道缺陷情况，如图1所示。数据集内的样本分辨率为224×224，为达到更好的训练效果，需要对数据集进行数据增强处理。本文对图片采用水平翻转、垂直翻转、正负90度内随机旋转、随机改变图片的亮度和对比度等技术，在保证目标特征没有发生改变的情况下扩充数据集。增强后的数据集内共有3 791张图片，其中，有缺陷图片为1 890张，无缺陷图片为1 901张。

2 模型改进

基于AlexNet网络改进后的模型整体架构如图2所示，主要包括引入注意力机制、裁剪全连接层和进行批量归一化处理，旨在提高轨道状态识别的准确率，保障铁路运营安全。

2.1 引入注意力机制

注意力机制能够重点关注与目标相关的信息而忽略图像中的其他信息，从而提高网络特征提取能力。轻型AlexNet网络虽然实时性较强，但特征提取能力有限，在复杂环境下的识别精度很难得到保障。本文在AlexNet网络的第一个卷积层后面添加卷积块注意力机制模块（Convolutional Block Attention Module，CBAM）［11］，通过CBAM的通道注意力机制和空间注意力机制提高轻型AlexNet网络对数据集的特征提取能力，具体结构如图3所示。

通道注意力模块能够关注输入图片中对分类起决定作用的像素区域，更加关注图像中的铁轨、螺栓、扣件等区域。首先，在每个通道上分别对AlexNet第一層卷积池化后输出的特征图进行最大池化和平均池化；再通过一个多层感知机（Multilayer Perceptron，MLP），将通道数压缩为原来的1/16，即图3中的FC1，之后再扩张回48个通道，形成FC2；然后，把两个经过ReLU激活函数后的输出按元素相加，通过Sigmoid函数得到通道注意力得分；最后，将通道注意力得分与第一层卷积池化后的特征图相乘，得到通道注意力的输出。

空间注意力模块由两个池化层、一个卷积层和一个激活函数组成。首先，将通道注意力输出的结果作为输入，沿着通道轴进行平均池化和最大池化操作，再将利用Concat操作得到的两个特征图拼接在一起；然后，通过一个卷积核大小为7×7的标准卷积层和Sigmoid函数得到空间注意力得分；最后，将空间注意力得分与前面通道注意力的输出相乘，得到空间注意力的输出。

2.2 裁剪全连接层

全连接层的作用是对图片进行正确分类，并输出图像分类结果。AlexNet网络的全连接层参数较多，约占整个参数的96 % ［12］。同时，全连接层会降低训练速度，容易发生过拟合。相比于经典AlexNet使用的ImageNet数据集，本次实验的数据集相对较小。因此，我们裁剪了AlexNet网络中FC6和FC7两个全连接层，从而减少整个网络的参数量；并在FC8和FC9之间加入Dropout函数，随机舍弃一些神经元，防止网络过拟合；同时，将输出改为2维，分别为正常轨道和异常轨道两类。改进后的结构如图4所示。另外，通过实验发现，如果去掉所有全连接层，模型的分类效果会变差，网络的识别准确率会下降，因此本文只裁减了部分全连接层。

2.3 批量归一化处理

神经网络学习到的是训练数据的分布，当训练数据与测试数据的分布不一致时，网络的泛化能力会下降［13］。AlexNet网络采用局部响应归一化（LRN）操作，增强了模型的泛化能力，使识别率提高了1%～2%。但在后来的研究中发现，LRN对网络的影响并不大，同时还会大幅增加计算量［14］。LRN是对于在通道数上的一次局部归一化操作，批量归一化（Batch Normalization，BN）则是对于每一次输出的一个面来进行归一化操作。相比于LRN算法，BN算法能够使网络训练速度提升10倍［15］，从而提升训练效果。因此，本文运用表现更好的批量归一化算法来代替LRN进行优化处理。

BN算法能使网络中每层输入数据的分布相对稳定，加快学习速度，从而使网络学习更加稳定。模型经过归一化处理后，能防止发生梯度消失的问题［16］。同时，BN算法还能起到正则化效果，防止模型过拟合。

3 实验结果分析3.1 实验环境

在本实验环境中，深度学习框架为Pytorch 1.11.0，CPU型号为i5-8300H，GPU型号为GeForce GTX 1050Ti，内存大小为16 GB，操作系统为Windows 10。在训练与测试过程中：采用交叉熵函数作为损失函数，用SGD优化算法对参数进行迭代计算；将学习率设置为0.001，为防止网络不能收敛，每迭代50次进行一次学习率衰减，衰减系数为0.5；将Batch size设置为32，Dropout设置为0.5，训练迭代次数为200。本文选择每类样本70%的图片作为训练集，其他图片作为测试集。

3.2 实验结果及分析

为验证改进后所得网络模型的效果，本文基于第1节所述的数据集进行对比实验，将epoch设为200次，学习率等参数不变，保证了除模型外的其他实验条件相同。图5是经典AlexNet网络模型的准确率和损失值变化曲线图。网络的准确率和损失值均在150次迭代后趋于收敛，曲线局部突变比较明显，说明模型训练结果不太稳定。

图6是改进的AlexNet网络模型的准确率和损失值曲线图。改进后，模型的准确率和损失值在50次迭代后趋于收敛，曲线局部突变较少，鲁棒性有所提升，模型的准确率也进一步提升，损失值进一步下降。由于裁减了全连接层，减少了约2/3的网络参数，模型的训练速度得到了提高，推理速度也得到了提升，FPS达到427.5。

对多个模型进行对比实验，结果如表1所示。

模型在未添加BN层时，迭代200次后仍未收敛且精度较低。在添加BN层后，模型收敛所需的迭代次数减少，准确率得到提高。在此基础上，裁剪部分全连接层，模型精度没有大幅度下降，但模型的参数量大大减少，推理速度得到提高，能够满足轨道缺陷实时检测的要求。

4 结束语

本文提出一种基于改进的AlexNet网络模型的轨道缺陷识别方法，与原网络相比，添加了注意力机制，引入了批量归一化处理，裁剪了部分全连接层，减少了网络参数。优化后，模型的准确率比原来提高了2.8个百分点，具有更好的识别效果。同时，在训练过程中，模型的收敛速度更快，前向推理时间可达2.339ms，每秒处理帧数提高了17.5。由此可见，改进后的轻量化网络模型在获得更高准确率的同时，推理速度进一步提高，能够满足轨道缺陷任务对实时性的要求。

［参考文献］

［1］ 全国铁路营运总里程逾十五万公里——夯基筑路护航发展［EB/OL］.（2022-01-10）［2022-10-20］. http：//www.gov.cn/xinwen/2022-01/10/content_5667326.htm.

［2］ 殷超.基于机器视觉的轨道缺陷识别方法研究［D］.兰州：兰州交通大学，2016：1-2.

［3］ 韦若禹，李舒婷，吴松荣，等.基于改进YOLO V3算法的轨道扣件缺陷检测［J］.铁道标准设计，2020，64（12）：30-36.

［4］ JIA Y L， LIANG K W， WANG P， et al. Enhancement method of magnetic flux leakage signals for rail track surface defect detection［J］. IET Science， Measurement & Technology，2020，14（6）：711-717.

［5］ ZHAO Y L， LIU Z Q， YI D， et al. A review on rail defect detection systems based on wireless sensors［J］. Sensors，2022，22（17）：6409.

［6］ 许鹏，耿明，方舟，等.基于复合电磁的高速轨道缺陷检测方法研究［J］.机械工程学报，2021，57（18）：57-65.

［7］ WEI X K， YANG Z M， LIU Y X， et al. Railway track fastener defect detection based on image processing and deep learning techniques： a comparative study［J］. Engineering Applications of Artificial Intelligence，2019，80：66-81.

［8］ 刘欣，张瑶，熊新娟.基于卷积神经网络的轨道扣件状态检测［J］.实验室研究与探索，2018，37（11）：58-61.

［9］ 孙次锁，刘军，秦勇，等.基于深度学习的钢轨伤损智能识别方法［J］.中国铁道科学，2018，39（5）：51-57.

［10］ GERRY. Railway track fault detection resized （224×224）［EB/OL］.（2022-08-11）［2022-10-20］. https：//www.kaggle.com/datasets/gpiosenka/railway-track-fault-detection-resized-224-x-224.

［11］ WOO S， PARK J， LEE J Y， et al. CBAM： convolutional block attention module［C］//Proceedings of the European Conference on Computer Vision （ECCV）. Munich， Germany：ECCV，2018： 3-19.

［12］ 许江华，解妍，陈德裕.一种改进AlexNet的车牌识别方法［J］.软件导刊，2022，21（6）：205-209.

［13］ 肖小梅，杨红云，易文龙，等.改进的Alexnet模型在水稻害虫图像识别中的应用［J］.科学技术与工程，2021，21（22）：9447-9454.

［14］ 郭敏钢，宫鹤.AlexNet改进及优化方法的研究［J］.计算机工程与应用，2020，56（20）：124-131.

［15］ 楊红云，万颖，王映龙，等.基于批归一化与AlexNet网络的水稻病害识别［J］.激光与光电子学进展，2021，58（6）：164-174.

［16］ 汤仕豪. 基于小型无人机的建筑内部灾情信息获取与建图［D］.大连：大连理工大学，2020：13-14.

（责任编辑 白丽媛）

［收稿日期］ 2022-10-25

［作者简介］ 赵家祥（1999—），男，辽宁大连人，北京联合大学城市轨道交通与物流学院硕士研究生，主要研究方向为智能交通；刘泽宇（2000—），男，河北唐山人，北京联合大学城市轨道交通与物流学院硕士研究生，主要研究方向为智能交通；施代能（1997—），男，湖南邵阳人，北京联合大学城市轨道交通与物流学院硕士研究生，主要研究方向为智能交通。

［通讯作者］方建军（1970—），男，湖北罗田人，北京联合大学城市轨道交通与物流学院教授，主要研究方向为智能交通、智能机器人。E-mail：jianjun@buu.edu.cn