基于深度学习的京张高速铁路周界图像智能识别系统构建研究

傅荟瑾，史天运，王 瑞，张万鹏，徐成伟

（1.中国铁道科学研究院 研究生部，北京 100081；2.中国铁道科学研究院集团有限公司 科技和信息化部，北京 100081；3.中国铁道科学研究院集团有限公司 电子计算技术研究所，北京 100081；4.中国铁道科学研究院集团有限公司 北京经纬信息技术有限公司，北京 100081)

0 引言

高速铁路运行速度快、发车频次高、运营场景复杂，虽然线路采用全封闭管理，但周界入侵的情况时有发生。周界入侵会对高速铁路运行安全构成潜在威胁，严重扰乱运输秩序，形成大面积晚点，甚至造成重大人员伤亡及经济损失，亟需对高速铁路周界进行安全防护。目前我国高速铁路周界初步建立了人防、物防、技防“三位一体”的安全保障体系，人防是根据具体业务需求，安排值守人员进行定时巡逻，物防主要采用护栏、刺丝滚笼等物理防护设施，技防主要采用视频监控的手段进行周界防护[1-2]。目前技防手段单一，重点区域未实现全天候全覆盖，技防手段的智能化水平有待进一步提升，因此，亟需开展周界入侵监测技防手段的深化研究。

京张高速铁路(北京北—张家口)作为全球首条智能化高速铁路，是2022年北京冬奥会和冬残奥会的重要交通保障线路，保障京张高速铁路的周界安全至关重要[3]。利用图像识别、雷达检测等技防手段对入侵京张高速铁路重点区域的行为进行有效识别，尤其对人员入侵、上线设障、轨面异物侵限等行为实施重点防范。随着人工智能的发展，基于深度学习的目标识别技术可进一步提升高速铁路周界安防能力，成为保障铁路运行安全的重要技术[4-5]。构建基于深度学习的京张高速铁路周界图像智能识别系统，利用图像智能识别、雷达目标检测和融合监测等技术，实现对入侵人员和异物侵限的实时监测。

1 高速铁路周界入侵报警系统与异物侵限监测系统研究及应用现状

目前，铁路已应用的周界入侵报警系统主要包括车站周界入侵报警系统、站台端部入侵报警系统、动车所周界入侵报警系统。已应用的周界异物侵限监测系统主要是自然灾害及异物侵限监测系统。

车站周界入侵报警系统在站区实体围墙上安装振动光纤和摄像机，利用二者进行融合监测，实现对翻越车站围墙行为的识别与报警，该系统应用于银西客运专线(银川—西安北)西安北等13个车站。站台端部入侵报警系统利用视频分析和雷达检测技术监测站台端部旅客越线行为，该系统已应用于青岛站、青岛北站、银西客运专线各站[6-7]。针对动车所周界入侵报警，西安动车所周界试点工程中采用脉冲电子围栏进行周界防护，武汉动车所基于脉冲电子围栏和摄像机实现周界防护，青岛动车所利用振动光纤和摄像机进行周界防护。异物侵限监测系统已在全路部署，通过监测双电网的实时状态，实现上跨高速铁路的道路桥梁的落物监测，但其监测场景单一，对于越过电网直接坠入高速铁路净空的目标或没有触发报警阈值的小物体无法探测。

周界入侵报警系统由于识别准确性和问题复杂性等因素，目前在高速铁路沿线尚未有成熟的推广应用。为了推进系统的发展，自2014年，多家科研院所、高校和公司不断开展高速铁路周界入侵报警系统的技术攻关，对振动光纤、脉冲电子围栏、光波对射探测技术、多维三鉴复合传感探测技术、微波阵列技术、图像智能识别等技术手段进行了试验验证，研究其在高速铁路周界安防中的适用性。

结合试验结果，技防手段特点对比如表1所示。振动光纤无源、无雷击风险和无电磁干扰，但人或车辆路过、树木枝叶、飞鸟、小动物等均可能引发误报；脉冲电子围栏可起到阻挡和威慑的作用，但当入侵行为未造成合金线短路或断路时会发生漏报，且其交流电作用可能致人受伤甚至死亡；多维三鉴可感知角速度、加速度、压力等多种传感信息，功耗低，但植被晃动、重型车辆经过等会引起误报；微波阵列对已进入周界内的行为有较好的探测效果，布设灵活，可实现作业人员识别，但人员小跑快速通过或在周界内静止时会产生漏报，且会受植被干扰；光波对射对遮挡其光束的行为进行识别，架设成本低，安装维护便利，但容易受植被、漂浮物等遮挡干扰，一般用于站台端部或作业门监测；图像智能识别技术可实现周界入侵行为的智能识别和自动报警，在第一时间查看报警位置的视频图像，加快了报警响应速度，但该技术在外界光影变化较大、天气条件较差的情况下，容易产生误报。综合来看，图像智能识别技术具有应用灵活、适用范围广、可提供实时图像等特点，结合图像预处理方法，克服光影等干扰，可作为周界入侵监测领域重点研究与应用的技防手段。

表1 技防手段特点对比Tab.1 Comparison of characteristics of technical defenses

随着计算机硬件的快速迭代和神经网络的发展，深度学习被证明能够很好地应用于图像识别与雷达目标检测。深度学习以深度网络模型为核心，对图像序列的时空特征进行学习，基于大量样本训练网络权重，利用学习到的模型进行目标识别[8]。相较于传统方法，深度学习由机器自动获取目标特征，不需要人工设置特征提取参数，特别适用于复杂多变的铁路场景，具有很强的鲁棒性及泛化能力。进一步地，通过研究图像预处理方法，克服图像识别易受光影条件影响的缺点，研究三维激光雷达点云目标检测方法，获取目标形状信息实现分类识别。深度学习可以进一步提升周界入侵检测的准确率，已经成为高速铁路周界入侵监测的主要发展方向。因此，利用深度学习实现周界人员入侵与异物侵限的识别，构建京张高速铁路周界图像智能识别系统。

2 基于深度学习的京张高速铁路周界图像智能识别系统设计

2.1 建设目标

立足于京张高速铁路运营与安全基础保障这一总体需求，依托中国国家铁路集团有限公司(以下简称“国铁集团”)主数据中心构建京张高速铁路周界图像智能识别系统，利用高速铁路基础设施视频大数据应用系统的实时视频流和现场激光雷达设备，采用图像智能识别技术和雷达目标检测技术，实现对周界重点区域人员入侵和异物侵限的实时监测、智能识别、入侵报警，并对报警信息及其处理结果进行收集、处理、汇总、统计分析和展示。同时，系统为京张安全大数据平台推送周界安全分析数据。

2.2 系统结构

京张高速铁路周界图像智能识别系统结构如图1所示。系统采用两级架构，图像智能识别服务器、雷达目标检测服务器、应用服务器、数据库服务器、接口服务器、数据存储设备等部署于国铁集团主数据中心，激光雷达前端处理单元和激光雷达现场监测设备部署于沿线。

图1 京张高速铁路周界图像智能识别系统结构Fig.1 Overall structure of the proposed intelligent image recognition system

激光雷达现场监测设备负责采集雷达点云数据，前端处理单元负责对雷达点云数据进行初步处理，将其传输至主数据中心的接口服务器。图像智能识别服务器和雷达目标检测服务器负责对接收到的视频图像和激光雷达点云数据中的周界入侵行为进行识别，并将报警信息发送至应用服务器。应用服务器负责对报警信息进行接收、显示、统计、分析和查询，并将相关信息推送至京张安全大数据平台。数据库服务器负责报警信息、系统管理等有关数据的集中存储。接口服务器负责应用服务器、数据库服务器、图像智能识别服务器、雷达目标检测服务器之间的数据交换，同时，负责与高速铁路基础设施视频大数据应用系统、铁路时间同步系统、京张安全大数据平台、现场激光雷达前端处理单元等进行数据交互。

2.3 逻辑架构

2.3.1 架构设计

京张高速铁路周界图像智能识别系统采用多层逻辑架构设计，分为应用层、智能识别层、基础服务层、数据层、网络层和感知层，系统逻辑架构如图2所示。

图2 系统逻辑架构Fig.2 Logical architecture of the system

感知层主要负责高速铁路周界入侵数据的采集，包括高速铁路基础设施视频大数据应用系统的摄像机和激光雷达现场监测设备等。网络层主要负责数据传输，包括铁路数据通信网、铁路内部服务网等。数据层包括雷达监测数据和实时视频数据等监测数据，设备故障、设备状态等设备数据，配置数据、设备ID等基础数据，以及系统管理数据。基础服务层为系统提供基础性、公用性资源，包括数据访问服务、数据传输服务等。智能识别层为系统提供基于深度学习的图像智能识别和雷达目标检测服务，用于周界入侵的识别。应用层实现监测、报警、存储、用户管理和时间同步等功能。

2.3.2 应用层功能设计

在应用层，业务功能分为监测、报警、存储、用户管理和时间同步等5大模块，系统总体功能结构如图3所示。

图3 系统总体功能结构Fig.3 Overall function structure of the system

（1）监测模块。①采集与传输：系统接收并处理设备数据、设备ID、设备公里标等关键信息。②布防撤防：根据监测区域的空间布局进行灵活的防区规划，支持不同形态防区的可视化配置，支持一键式布防和撤防。③智能识别：基于深度学习对视频图像和雷达点云数据进行实时分析，当监测区域内发生人员入侵或异物侵限事件时，系统自动识别并产生报警信息。④实时监测：对京张高速铁路周界重点区域人员入侵与异物侵限情况进行实时监测。

（2）报警模块。①报警提示：监测区域内有报警时自动触发报警提示，提醒用户对报警信息进行处理。②报警定位：显示报警信息时，通过设备公里标、雷达点云数据等信息给出报警位置。③报警处理：对报警信息进行确认和处理，并对现场报警进行解除。④报警查询：查询历史报警信息及其处理结果。⑤统计分析：对报警信息及其处理结果等进行统计分析，并通过图表展示。

（3）存储模块。对报警信息及其处理结果、报警视频等重要数据进行存储，其中视频数据支持回放。

（4）用户管理模块。①用户权限：对用户账号及权限进行分配和管理。②访问控制：实现用户账号验证和访问控制。

（5）时间同步模块。系统就近接入铁路时间同步网，基于网络时间协议获取时间同步信号。

3 关键技术研究

为了实现系统的智能识别与实时监测功能，提高周界入侵识别的效果，使系统适应于白天和夜晚场景，综合应用图像预处理、图像智能识别、雷达目标检测等前沿技术实现京张高速铁路周界全天候监测。

3.1 图像预处理技术

白天光线条件好，识别有较好的效果，但夜晚图像可见度低，将其直接输入深度学习网络对识别效果有巨大影响，因此需要进行图像预处理，采用低照度图像增强方法，增强暗光中的可见度，使图像更加适合于识别算法分析。利用限制对比度的自适应直方图均衡化算法[9]，通过改变图像的直方图实现图像中各像素灰度的改变，使灰度直方图均匀分布，增加对比度限幅环节，防止图像的噪声被过度放大。

直方图均衡化是常用的图像增强方法，主要是通过改变图像的直方图进行灰度变换，将图像的分布直方图从在某些区间较为集中变换为在全部区间内均匀分布，以提高图像对比度。其基本原理是对图像中像素个数多的灰度值进行展宽，对像素个数少的灰度值进行归并，增大对比度。该方法是对整幅图像进行均衡化，未考虑局部图像中包含明显较亮或者较暗的部分，该部分的对比度无法有效增强。为了改善该问题，提出自适应直方图均衡化方法，将图像分成若干区域，对区域图像进行直方图均衡化处理，提高图像局部对比度，但该方法可能出现局部对比度增大过度导致图像失真或噪声被放大的问题。为此，对局部对比度进行限制，提出限制对比度的自适应直方图均衡化算法。

限制对比度的自适应直方图均衡化算法实现过程如下。①将图像分为若干个区域，在其上进行直方图均衡化处理。②对每个像素的邻域进行对比度限制，并得到相应的变换函数。③根据变换函数与像素位置进行双线性插值处理，得到像素变换后的灰度值，以加速直方图均值化。具体而言，限制对比度即对累积直方图函数的斜率进行限制，累积直方图函数是灰度直方图的积分，限制累积直方图函数的斜率即对灰度直方图的幅值进行限制，因此，需要对每个区域中灰度直方图进行剪裁，使其幅值低于阈值，并为了保证直方图总面积不变将剪裁值均匀分布到灰度区间上。将图像分区域处理时，若每个区域仅通过该点的累积分布直方图函数进行变换，会导致图像的块状效应，为此，采用插值运算，各个像素点的值由其相邻的4个区域的累积直方图进行双线插值得到。基于限制对比度的自适应直方图均衡化算法的识别效果如图4所示。

图4 基于限制对比度的自适应直方图均衡化算法的识别效果Fig.4 Recognition effect of contrast limited adaptive histogram equalization

3.2 基于YOLOv5的图像智能识别技术

（1）网络结构。YOLO算法从YOLOv1发展到YOLOv5，随着算法不断的创新和改进，已被视为目标识别的首选算法之一。YOLO算法将图像识别作为一个回归问题，可处理实时视频流。算法的核心思想是将整个图片作为网络的输入，通过整个图像的特征进行预测，直接输出边界框的位置和所属的类别。研究采用YOLOv5算法，YOLOv5网络结构如图5所示。①输入端：采用mosaic数据增强方法，适合于周界远距离小目标识别，并增加了自适应锚框计算功能。②骨干网络：用于特征提取的网络，YOLOv5基于CSPDarknet53结构实现特征提取，增加Focus结构实现切片操作，解决了梯度信息重复的问题，在减少计算量的同时保证了准确率。③颈部网络：对骨干网络提取到的重要特征进行组合或加工，并将图像特征传递至预测网络，YOLOv5使用特征金字塔网络(FPN)和路径聚合网络(PAN)，增强了自底向上的路径，改善了底层特征的传播。④预测网络：用于预测图像特征、生成边界框和预测类别的网络，采用广义交并比(GIoU)损失函数，并进行非极大值抑制(NMS)处理。

图5 YOLOv5网络结构Fig.5 YOLOv5 network structure

（2）网络训练。首先建立高速铁路周界入侵样本库，包括路基地段、低矮桥梁、桥头、隧道口、救援疏散通道、作业门等典型场景，对人员攀爬、穿越、沿线路行走等入侵行为和石头、彩钢板等异物侵限情况进行模拟，结合不同的距离、光照条件、气候条件等因素，共采集、标注5万张图像与5千份激光雷达点云数据，形成丰富的样本库，为网络训练与测试提供充足的资源。高速铁路周界入侵样本库部分数据如图6所示。

图6 高速铁路周界入侵样本库部分数据Fig.6 Partial data of the sample database for high speed railway perimeter intrusion

其后进行网络训练，操作系统为Linux Ubuntu 18.04.7 LTS，GPU为GeForce RTX 3080×2，深度学习框架为 Pytorch。将样本库的图片按照9 : 1随机比例进行划分，得到训练集和验证集。YOLOv5训练参数设计如表2所示，YOLOv5训练过程中平均精度均值曲线如图7所示。

图7 YOLOv5训练过程中平均精度均值曲线Fig.7 Mean average precision curve of YOLOv5 training process

表2 YOLOv5训练参数设计Tab.2 Training parameter design of YOLOv5

（3）识别效果。模型训练结束后，将训练好的YOLOv5模型应用于京张高速铁路周界图像智能识别系统，并划定检测区域。在白天场景下，直接利用模型进行高速铁路周界入侵识别，在夜晚场景下，先进行低照度图像增强，再利用模型进行识别，在不同场景下进行人工模拟入侵试验，白天和夜晚场景分别进行500次试验，各场景下模拟实验结果如表3所示。

表3 各场景下模拟实验结果Tab.3 Experimental results under each scene

基于YOLOv5的高速铁路周界图像智能识别效果如图8所示，在晚上误报率为10%，漏报率为8.6%，在白天误报率为4.5%，漏报率为3%。

图8 基于YOLOv5的高速铁路周界图像智能识别效果Fig.8 Intelligent image recognition results of high speed railway perimeter based on YOLOv5

3.3 基于PointNet++的雷达目标检测技术

（1）网络结构。PointNet是一种直接在原始雷达点云数据上进行深度学习的方法，采用多层感知器和最大池化层进行深度学习处理[10]，PointNet++是PointNet的改进，弥补了其缺乏分层特征学习、无法捕捉局部结构的不足。PointNet++采用分层结构，主要分为采样层、分组层和特征提取层。采样层主要解决原始点云数量较多，需提取其中特征点的问题，利用迭代最远点采样选取特征点。分组层利用球查询法在特征点一定区域内选取点集进行分组。将每组点输入特征提取层，利用PointNet得到新的特征点，接着进入下一个分层结构，以此类推，不断提取特征点，最后得到一组全局特征，从而进行识别。

（2）网络训练。利用公共数据集Modelnet40和自建的高速铁路周界入侵样本库对网络进行训练，操作系统为Linux Ubuntu18.04.7 LTS，GPU为GeForce RTX 3080，深度学习框架为 Tensorflow。将点云数据按照9 : 1随机比例进行划分，得到训练集和验证集。PointNet++网络训练参数设计如表4所示，PointNet++训练过程准确度曲线如图9所示。

表4 PointNet++网络训练参数设计Tab.4 Training parameter design of PointNet++

图9 PointNet++训练过程准确度曲线Fig.9 Accuracy curve of PointNet++ training process

（3）识别效果。模型训练结束后，将训练好的模型应用于京张高速铁路周界图像智能识别系统，并划定检测区域。激光雷达识别不受光线条件的影响，可实现全天候监测，进行600次人工模拟入侵试验，检测对象尺寸影响检测结果，各尺寸目标的检测结果如表5所示，基于PointNet++高速铁路周界雷达目标检测效果如图10所示，弥补了图像智能识别在夜晚、恶劣天气下探测距离急剧缩减的缺点，可与图像智能识别有效互补。

图10 基于PointNet++高速铁路周界雷达目标检测效果Fig.10 Radar target detection results of high speed railway perimeter based on PointNet++

表5 各尺寸目标的检测结果Tab.5 Detection results of targets in various sizes

为进一步提高周界入侵识别效果，在京张高速铁路设置激光雷达采集装置的重点区域，通过图像智能识别、雷达目标检测技术以及基于二者的融合方法，实现对周界入侵人员的监测。当2种技术均监测到入侵行为时，系统产生报警，如果只有其中一种技术监测到入侵行为，则通过视频进行复核以有效降低误报率，同时，雷达目标检测技术可以有效兼顾周界异物侵限的监测。

4 结束语

通过深入分析高速铁路周界入侵报警系统研究与应用现状，提出京张高速铁路周界图像智能识别系统的建设目标，构建基于深度学习的京张高速铁路周界图像智能识别系统，设计了系统的总体结构、逻辑架构和系统功能。利用限制对比度的自适应直方图均衡化和YOLOv5、PointNet++等深度学习算法，实现了低照度图像增强、图像智能识别和雷达目标检测，在试验场景下进行模拟入侵试验，试验表明系统在白天达到95%以上的识别准确率，在夜晚达到90%以上的识别准确率，并提出了2种技术的融合监测策略，实现了对周界人员入侵和异物侵限的全天候实时监测、智能识别和入侵报警。系统显著提高了京张高速铁路运输中应对突发入侵情况的能力，保障铁路运输安全和旅客的生命、财产安全，间接社会效益和经济效益显著。