基于AI边缘计算的铁路行车视频监控智能识别研究

李博，杨欣

（中国铁路武汉局集团有限公司麻城车务段，湖北 黄冈438300）

铁路车务站段既有的监控系统均未设置监控报警功能，缺乏对特定场景违章动作的自动判断，指挥中心专人查看视频监控画面判断现场职工违章违纪情况，不仅费时费力，也不能及时发现问题。为提高监控效率，对特定区域场景进行识别分析，根据设定标准判断职工作业情况，并将不规范行为的场景向指挥中心端发出实时告警信息，并在后台记录存档，重点对行车室睡岗、外勤接车与否、咽喉区闲杂人员闯入等场景进行实时监控，并进行AI智能分析，通过视频图像深度处理，自动识别作业情况，对违章违纪的情况向监控中心进行报警并存档，利用事件触发报警传输的机制，能有效提升网络利用率，提升数据的存储效率，管理人员根据实时报警或存档记录进行确认后进行教育考核。

1 研究内容及对象

通过对视频数据的采集、分析、建模，自动识别异常情况、提取关键信息，有效减少管理人员劳动强度，实现实时监控、实时报警、实时处理，提高安全盯控与应急指挥的实时性和时效性，提升网络利用率和数据存储效率。

该系统主要在中国铁路武汉局集团有限公司麻城车务段下属中驿车站的两端咽喉区、行车室、助理接车亭配备固定式摄像头，用于实时监控站区及作业人员（咽喉区非工作人员侵入、外勤助理接车、值班室人员睡岗、离岗）的作业情况并进行研究分析。

2 系统研究方法

2.1 技术路线

铁路车站监控视频智能识别技术的研究应用采用边缘计算路线，将AI计算模组放在摄像头一侧，采用网络、计算、存储、应用核心能力一体化，就近提供最近端服务。其应用程序在边缘侧发起，产生更快的网络服务响应，满足铁路行业在实时业务、应用智能、安全与隐私保护等方面的基本需求。

2.2 技术优势与对比

边缘计算具有低时延、高带宽、高可靠、海量连接、异构汇聚和本地安全隐私保护等特点。实现监控视频AI化，主要有两种技术路线。一种是云计算的方式，将视频数据汇总到云端进行分析处理；另一种是边缘计算（AI计算盒）的方式，在设备端处理好视频，提取有用的数据再上传到云端[1]。

边缘计算和云计算路线对比如下：①边缘计算可以实时或更快地进行数据处理和分析，让数据处理更靠近源，相比外部数据中心或者云，可以缩短延迟时间。②在成本预算上可以大大减轻经费预算。企业在本地设备上的数据管理解决方案所花费的成本大大低于云和数据中心网络。③减少网络流量。随着物联网设备数量的增加，数据生成继续以创纪录的速度增长，结果网络带宽变得更加有限，压倒了云，导致更大的数据瓶颈。④提高应用程序效率。通过降低延迟级别，应用程序可以更高效、快速地运行。⑤个性化。通过边缘计算，可以持续学习，根据个人的需求调整模型，带来个性化互动体验。⑥安全和隐私保护。网络边缘数据涉及个人隐私，传统的云计算模式需要将这些隐私数据上传至云计算中心，这将增加泄露用户隐私数据的风险。在边缘计算中，身份认证协议的研究应借鉴现有方案的优势之处，同时结合边缘计算中分布式、移动性等特点，加强统一认证、跨域认证和切换认证技术的研究，以保障用户在不同信任域和异构网络环境下的数据和隐私安全[2]。

2.3 系统的技术应用

深度学习技术。铁路车站监控视频智能识别系统采用深度学习技术，相对于传统视觉技术而言，能提供更准确的物体识别能力。

边缘计算技术。利用TensorRT，利用层间/张量融合与数据精度校准技术，实现了AI计算盒（边缘设备）上的高效运行。

Websocket技术。应用Websocket技术，实现多路Web端实时视频流直播。免去了安装客户端的烦恼，也免去了不同客户端设备之间不兼容的问题。

可视化技术。应用基于ECharts的图表可视化技术，可以统计查看更加直观的报警记录。

3 系统的架构

3.1 系统结构组成

从物理拓扑上看，系统包括数字网络摄像头、AI计算模组、报警管理服务器、交换机、数字录像机、操作终端等组成部分。

从系统架构上看，分为AI边缘层、业务层和系统层三个层次，如图1所示。

图1 系统架构组成

AI边缘层。负责对视频数据进行采集和智能分析，并向上提供报警事件。

业务层。负责存储报警记录、进行事件检索、处理报警工作流、提供对外接口等工作。

系统层。负责系统管理、用户管理、终端交互等，提供对服务层的接口。

3.2 系统功能模块

3.2.1 固定式摄像头算法模块

固定式摄像头算法模块如图2所示。站区（两端岔区视频范围内）如果有非工作人员进入，则定义为人员入侵事件。

图2 固定式摄像头算法模块

算法判断人员进入视频范围，则自动向系统终端报警，提示有闲杂人员进入，同时通过可识别的防护衣和防护帽来区分工作人员和非工作人员，极大减少误报率[3]。

3.2.2 立岗接车识别模块

立岗接车识别模块如图3所示。在有车进站的情况下，在接车岗亭未出现接车人员，即定义未立岗接车。

图3 立岗接车识别模块

在划定的视频范围内，列车通过画面与视频内是否有人员进行比对。算法可识别行进中的列车以及接车员，可设置要求多长时间提前到岗[4]。

3.2.3 睡岗及离岗识别模块

睡岗及离岗识别模块如图4所示。在工作期间，工作人员在岗位上静止超过一定时间（系统设定为15 min），即为睡岗事件。算法根据划定的睡岗区域，以及设定的报警门限时间，对睡岗行为进行判断，超过门限时间即报警。

图4 睡岗及离岗识别模块

在规定时间内，工作人员离开视频监控范围内，视为离岗事件。算法根据划定的离岗区域，以及设定的报警门限时间，对离岗行为进行判断，超过门限时间即报警。

3.3 系统管理模块

3.3.1 视频轮播

首页视频轮播页面如图5所示，采用H5的方式进行视频呈现，当有报警产生时，直接弹出报警信息，出现报警信息页面。

图5 视频轮播页面

3.3.2 报警信息管理

报警信息管理页面如图6所示，包含首警图、报警前后30 s视频以及实时视频画面，方便用户进行查看。报警信息管理页面主要是将报警记录以倒序的方式列出来，也可以根据发生时间、关键词等进行查询。用户可对报警记录进行签收和处理操作，可填写报警原因及处理意见，并保存到系统中[5]。

图6 报警信息管理页面

3.3.3 分析统计

分析统计页面如图7所示。其中，板载信息页面负责统计所有AI盒子的信息，包括CPU占用率、CPU温度、内存使用率、存储使用率、NPU使用率、NPU温度等。报警分类统计页面，负责按类别统计所有的报警信息，为安全指导意见提供数据支撑。

图7 分析统计页面

3.3.4 设备管理

设备管理如图8所示。其中，AI计算盒管理包括编辑AI计算盒的编号、IP、端口号、机构等信息，同时能提供修改和删除等操作。摄像头管理包括摄像头的IP地址配置、报警管理、端口号、编号等信息配置。

图8 设备管理页面

4 系统主要指标和创新点

4.1 主要技术指标

固定式监控要达到的指标为：检出率100%，准确率大于90%，综合检出时间小于等于2 s。

技术指标分为：①建立样本库。针对每个智能检测目标，要求样本规模大于2 000个，正样本比例大于50%，标注信息样本比例大于80%。②视频结构化方法技术指标为一级响应等级。系统报警分为三级，由高到低分别为一级、二级、三级，结构化存储相较于传统存储方式，提高至少50倍存储利用率。③关键视频片段提取。对固定式监控，能自动提取事件发生前后30 s的关键视频片段。

4.2 系统创新点

将深度学习技术应用于铁路行岗视频监控领域，能够识别咽喉区入侵、外勤点接车规范、离岗睡岗等行为规范。针对咽喉区入侵应用场景，实现了根据工作服判别工作人员的识别效果，极大程度上减少了误报。针对外勤点接车规范，实现了同时检测行进中的列车和工作人员，将出现行进中的列车作为触发事件，同时判断规定时间内是否有工作人员到岗，准确有效。针对离岗睡岗行为规范，重新训练了深度学习模型，实现了从背后检测人员在岗睡岗情况的算法，相较于普通的需要人员正面图像才能识别的算法而言有较大的提升。针对夜间场景，专门训练了深度学习模型，能准确识别夜间摄像头下的黑白目标。

5 结束语

国铁集团2021年度1号文件中提及发挥站段安全生产指挥中心作用，加强作业环节管控，研究应用音视频、大数据技术、人工智能等技防手段，对现场作业行为进行智能识别、实时预警、精准画像、有效管控。此次车务站段监控视频智能识别技术的研究应用，是严抓现场管控和提高铁路安全管理水平的重要创新举措，是构建车务站段智能指挥中枢重要一环，在研究中探索、在应用中总结，进一步推进铁路安全管理向智能管控方向纵深发展。