5G环境下铁路视频图像智能化应用云边协同技术架构研究

李 瑞，李 平，马小宁，杨东盛

（1.中国铁道科学研究院 研究生部，北京 100081；2.中国铁道科学研究院集团有限公司 科技和信息化部，北京 100081；3.中国铁道科学研究院集团有限公司 电子计算技术研究所，北京 100081)

近年来，我国铁路安防需求标准不断提升，视频监控相关系统在铁路行车指挥、生产组织、客货运输服务、作业监控、抢险救援以及治安防范等方面得到广泛应用，发挥着不可替代的作用[1]。据不完全统计，目前全路共有20万路视频监控，视频监控数据体量大，但大多数视频图像的智能化分析手段较低。随着5G网络条件的不断成熟，以及边缘计算在芯片算力和算法上的突破，以5G作为通信基础的云边协同技术被广泛应用于各个行业，并催生出多种新的业务模式，促进各领域的信息化、数字化、智能化发展。因此，可借助5G网络在数据传输和边缘端在算力等方面优势，以终端视频监控和云端数据中心协同工作的模式，使得海量视频数据在传输、分析过程中基于铁路实际业务需求实现最优化配置，从而整体提升铁路视频监控系统的智能化分析水平[2]。

1 铁路视频图像智能化应用需求分析

1.1 既有视频监控系统存在问题

目前铁路既有视频监控系统，无论从监控设备的部署方式还是从系统功能角度，都难以支撑智能化分析的需求[3]，其主要存在以下问题。

（1）视频存储传输方式单一。大量终端采集的数据(包括有效数据、无效数据和错误数据)需要全部回传到数据中心，缺乏异常状态数据本地化的识别，造成数据中心存储分析的压力。

（2）特殊场景下视频监控系统数据孤立。众多铁路线路地理条件复杂、自然环境恶劣，如山区铁路隧道口、道岔缺陷检测、轨旁设备检测等场景，视频监控系统尚未网络化，视频图像回传困难，其视频大多在本地存储，由工作人员定期手动将现场数据拷贝回站段或铁路局集团公司应用运行中心进行分析处理。

（3）视频图像数据挖掘利用率低。大部分应用场景下的视频图像都作为溯源取证的用途进行存储，缺乏主动的数据挖掘应用。回传到数据中心的视频监控数据，大部分需人工盯控检查，工作强度大，效率低，如铁路货车运行故障图像检测(TFDS)、铁路客车故障轨边图像检测(TVDS)等应用。

（4）视频图像分析时效性较差。所有监控场景数据都回传到数据中心统一处理分析，对于周界人员入侵、异物侵线等安防类场景，传统模式下视频数据处理方式耗时长，难以满足实时性检测识别需求。

1.2 铁路视频图像智能化应用场景需求

《交通强国建设纲要》《国家综合立体交通网规划纲要》，以及中国国家铁路集团有限公司(以下简称“国铁集团”)发布的《“十四五”铁路科技创新发展规划》《“十四五”铁路网络安全和信息化规划》，都对铁路智能化发展提出新的要求[4]。当前，铁路信息化、智能化工作正在全面推进，特别是国铁集团2020年发布的《智能高速铁路技术体系架构1.0》，对智能建造、智能装备、智能运营三大板块下的10个领域18个专业研究方向的智能化建设，进行全面系统的规划[5]，大量的应用需求都是以视频图像数据的智能化分析为关键技术研究点，其中关于高速铁路视频图像智能化分析应用场景如表1所示。

表1 高速铁路视频图像智能化分析应用场景Tab.1 Intelligent analysis of videos and images in high speed railway scenarios

1.3 云边协同技术优势

采用云边协同的视频图像应用方式，为视频图像数据的传输、存储、分析过程提供了多样的解决方案，基于业务场景实现视频图像数据在边缘端处理和云端处理的协同处理模式，使得视频监控系统的数据传输效率和视频图像分析效率都有了很大提升[6]，云边协同技术架构对于铁路视频图像场景智能化应用具有如下优势。

（1）边缘端对于终端采集数据进行预处理。边缘端可对采集的视频图像进行过滤、清洗，还可进行亮度、对比度调整等处理，提高回传数据质量，减少数据传输的带宽占用，降低数据传输流量。

（2）实现本地数据差异化存储传输。通过分析视频监控场景的差异，可自动选择将异常数据图像通过5G网络进行回传，而对于普通数据可采用视频浓缩、均匀采样等方法抽样上传，减少数据中心冗余数据的存储压力。

（3）协同式算力分布有助于提高整体运行效率。云边协同架构中，计算、存储和控制功能同时在云端和边缘节点部署，可降低数据中心计算能力的需求载荷，从而降低整个系统建设和运营成本。

（4）智能化应用可不断迭代优化。通过云边协同，数据中心通过对海量数据构建人工智能模型进行深度训练学习，并通过模型下发的协同操作，不断优化提升边缘端对于图像的识别检测能力。

（5）边缘端的智能识别能力，大大降低了人工盯控的工作强度，有助于优化监管工作流程。

2 5G环境下铁路视频图像云边协同架构设计

2.1 云边协同部署

作为分布式、跨频段的网络基础设施，5G网络在2G/3G/4G网络基础上，具有增强型移动带宽(eMBB)、高可靠低时延通信(uRLLC)和广覆盖超大规模连接(mMTC) 3大核心技术特点。5G环境下铁路视频图像的云边协同按设备实际部署的范围和职责，可分为边缘感知层、边缘节点层、铁路局集团公司(或所属公司)应用运行中心、国铁集团主数据中心以及业务应用层，5G环境下铁路视频图像应用云边协同部署视图如图1所示。

图1 5G环境下铁路视频图像应用云边协同部署视图Fig.1 Cloud-edge collaborative deployment of railway video and image application in 5G network

（1）边缘感知层。边缘感知层主要为部署在车站、站段等应用现场的视频摄像机。其中根据视频图像应用场景及图像质量需求，配备的摄像机主要包括：适用近距离(5 m以内)高清图像拍照的工业相机、线阵相机等；适用于短距离(100 m以内)视频监控的普通枪机、球机摄像头；适用于咽喉区域、公跨铁、铁路沿线的远距离(1 500 m以内)可变焦摄像头。同时，有夜间任务需求的场景通常会要求摄像头具备红外线功能[7]。此外，部分具有高度集成功能的边缘设备，具备边缘计算节点的智能分析功能，可以实现视频图像采集分析同步进行，如用于铁路牵引变电站的巡检机器人等[8]。

（2）边缘节点层。一般由多个具备AI计算能力的控制盒组成，包括智能网关、5G网络接入点、边缘服务器、边缘端图形处理器(Graphics Processing Unit，GPU)和存储设备等，通常部署在铁路局集团公司站段级。边缘感知层与边缘节点层一起构成云边协同架构中的边缘智能处理终端，是应用场景中最小的独立图像智能化处理单元。感知层数据通过传输到边缘节点进行本地存储，通过边缘端GPU实现图像的推理计算。同时边缘节点层通过5G接入点，一方面将图像数据向云边服务器传输，另一方面，也可接受云端下发的边缘端控制程序从而实现边缘端业务模块的自主化运行。

（3）铁路局集团公司(或所属公司)应用运行中心(以下简称“路局级应用中心”)。作为管内所有业务数据汇总、集成、分析处理中枢，路局级应用中心配有大规模的数据存储、应用服务器、各业务系统的接口服务器等设备。在云边协同架构下，路局级应用中心是边缘终端的“云”，主要进行数据的集中存储、集中训练、模型参数的下发功能，数据传输由5G传输网通信；而国铁集团主数据中心则定位于“边缘端”或“边缘云”，主要负责大量的数据汇聚任务，通过5G核心网实现特殊数据的传输，以及接收其他路局级应用中心协同计算的模型参数，并与国铁集团主数据中心针对某一场景下的模型参数进行更新操作。为保证数据传输的安全性，可考虑在路局级应用中心部署区块链服务，保证数据传输、使用记录的可溯源性及不可篡改性。

（4）国铁集团主数据中心。作为铁路数据应用融合的顶层云平台，一方面将路局级应用中心上传的数据汇集到数据湖中并提供相应的大数据服务。另一方面通过实现系统资源的虚拟化，并对海量视频监控数据进行集中存储和智能分析，如周界入侵检测、车站人群密度估计、接触网健康检测、车站异常行为检测以及动车组零部件缺陷检测等应用场景下模型的大规模训练分析。同时对边缘节点进行协同管控，与边缘节点层视频监控系统在资源、数据、智能分析、应用服务方面实现全面协同[9]。

（5）业务应用层。业务层的部署可贯穿于整个云边协同架构的各个层面，主要集成具有5G云边协同场景需求的铁路视频图像智能化应用，包括数据传输接口服务以及数据分析功能。其中主要应用场景包括铁路沿线入侵监测、轨旁设备缺陷检测、铁路货场车号箱号识别、桥隧裂缝检测、列车运行过程超视距应用、建筑工地基于图像的施工进度检测、隧道口边坡异物监测等。上述识别检测任务都需要将视频设备部署在户外进行，部分应用场景部署在离车站很远的山区，需通过5G采用云边协同的模式开展识别检测作业。

2.2 云边协同体系架构设计

2.2.1 设计思想

基于边缘计算解决方案设计中模型驱动工程方法(Model-Driven Engineering，MDE)的理论依据，铁路视频图像智能化应用云边协同体系架构的设计在此基础上进行了改进优化，采用自底向上的设计流程，以模数统一驱动的理念构建体系框架，促进开发服务框架与部署运营服务框架间相互作用的迭代优化，从而实现云边协同应用模式下边缘端自动化、智能化分析、主动优化的目的。其中，自动化表现为利用边缘计算网络架构通过自动检测、信息处理、分析判断、操纵控制，使预期的目标控制精度和实时性都得到较大的提高。智能化分析表现为边缘计算网络具有强大的分析能力，能够实时处理和分析数据，由于其数据处理更接近数据源，而不是在远程数据中心或云端进行，因而可以减少延时，提高分析效率。主动优化主要包括数据采集方式优化、过程控制优化等，数据采集方式优化是通过边缘端数据采集并处理，降低冗余数据上云带来的通信开销和处理时延；过程控制优化是指随着视频图像数据在智能化分析过程中不断累积，模型可以根据丰富的样本库定期进行更新训练，不断提升云边两端对于视频图像分析的识别准确率和推理速度。

2.2.2 架构设计

针对云边协同概念理解，以及云边协同具体场景部署的差异化需求，铁路视频图像智能化应用云边协同体系采用多地多中心的主体布局，具体应用按照统一的技术标准架构分布式部署在国铁集团、铁路局集团公司2级。具体而言，5G环境下铁路视频图像智能化应用云边协同体系架构如图2所示。

图2 5G环境下铁路视频图像智能化应用云边协同体系架构Fig.2 Cloud-edge collaborative architecture of intelligent application of railway videos and images in 5G network

（1）现场设备层，包括各类摄像头设备、存储设备和数据传输设备，主要负责各应用场景下的图像数据感知和采集。

（2）边缘层，分为设备和服务2部分。其中边缘层的设备主要包括边缘AI计算节点、边缘网关、边缘控制器，以及存储、转发设备等。边缘层的服务包括边缘资源管理、边缘平台层、边缘软件服务和边缘应用管理等系统软件服务，其中边缘资源管理主要包括从现场设备传回的本地数据资源，以及从云端下发的数据资源，如升级软件、模型参数等；边缘平台层为整个边缘端提供操作系统、设备驱动以及虚拟镜像环境，为各类软件服务提供基础的运行环境；边缘软件服务主要用于边缘设备和存储设备的调度管理；边缘应用管理负责具体边缘端应用的部署管理和视频数据的分析处理任务。

（3）云数据中心层，其硬件配置类型与边缘端的功能属性大致相同，但在数据规模上和对应的数据处理规模上会更加复杂。云数据中心层在软件层面，一方面通过云端的运营管理模块实现应用程序管理、数据资源、任务安排和模型管理等任务，保证整个云边协同业务模式的执行。另一方面，依托铁路大数据与人工智能平台的数字资源和计算资源，对外进行数据服务和AI服务的赋能。其中数据服务是指平台汇聚海量的底层生产数据后，在中心通过数据的存储、管理后，可以进行大规模的人工智能机器学习，同时提供数据可视化服务以及向外部应用提供数据访问接口；AI服务主要是对海量视频图像数据进行学习训练的过程，具体包括数据集的标注、模型的训练、模型发布和模型部署工作。

（4）应用层，包括各类视频图像智能化分析应用。根据不同应用的功能需求，应用的实际部署调用贯穿于整个云边协同的架构中，一方面在边缘端通过调用本地模型对现场数据进行推理分析，另一方面通过5G网络实现与云端数据的交互。

2.3 云边协同要素分析

在铁路视频图像智能化应用云边协同技术体系架构中，云边协同的设计，需要从资源、数据、安全、管理、部署5个要素进行统筹规划设计，从而保证云边协同的可行性和有效性，达到提升管理与运营效率，降低运维成本的目的。具体可以表现为资源能力协同、系统安全协同、应用服务协同、业务管理协同、地域边缘协同5个维度[10]。

（1）资源能力协同。云边协同架构下铁路视频图像智能分析需要消耗各类计算机资源，传统的视频监控系统通常是对业务场景通过中心服务器集中式分析，资源占用率高、但有效利用率较低。由于不同视频图像智能化处理任务实际应用中的性能需求不同，有的任务场景时效性要求较高(如安检仪违禁品识别、旅客扶梯安全行为识别等)，有些任务场景则要求检测精度尽可能高(如TFDS和TVDS等检测任务)。因此，在云边协同架构下，同时面临多种图像处理任务请求的过程中，云端能够根据任务的属性、响应要求，为不同任务提供整体算力资源的分配和任务处理优先级策略。如对于实时性检测要求高、且模型算力要求低的任务，由边缘端设备自动识别处理；对于有海量图像数据需要分析、且高精度检测要求的任务，则交由云边依托大规模算力进行分析。同时，还可根据任务优先级调度策略，对实时性高的任务进行优先处理，非实时性任务则在空闲时间进行处理，从而使得整体的算力资源得到最优化利用。

（2）系统安全协同。主要包括网络安全、应用安全、数据安全和终端安全等方面的协同工作。网络安全协同，指在边缘端设备和边缘端网关的数据传输过程中，需要设计稳定安全的传输协议，在云端的资源管理和数据接入服务中，除常规数据解析、存储外，还应具备流量清洗、流量分析等智能感知应用，以应对未知流量的攻击；应用安全协同，指系统需要对云边两端的用户进行统一管理，边缘端具备单点登录功能，云端对单一用户在多个边缘端产生的数据，能够进行标准化存储，支持边缘端异步调用功能；数据安全协同，一方面指边缘节点可根据网络传输条件和数据的重要程度智能化地选择本地缓存或远程传输策略，保证数据完整性，另一方面云端通过安全策略对边缘端数据传输进行控制和流量清洗，针对边缘端恶意流量数据的上传能够及时甄别和阻断，保障数据协同过程安全可靠；终端安全协同，是针对云边协同应用在数据交互过程中，由于终端被入侵或冒充给整个云端系统造成数据泄露或窃听的风险因素，需要加强终端设备的安全防护，包括终端物理层认证、物理层数据的加密、终端接入的身份认证和接入权限管理等策略。

（3）应用服务协同。处于云端的铁路大数据与人工智能平台，负责不同智能分析模型的集成和统一管理的任务，并对边缘端提供部署、调用等接口服务，同时支持容器镜像、微服务、微应用等轻量型、移植性好的应用能够快速地在边缘端部署，提供高可用的保障和热迁移。在日常运营中，铁路大数据与人工智能平台，能够根据边缘端汇集的数据不断丰富样本库，根据模型自身的误差损失反馈，对机器学习算法模型、深度神经网络模型进行迭代训练，提升各类业务场景的适应性和智能分析的准确率。边缘节点具备网络应用部署条件和运行环境，对各类终端应用能够实现较强的智能分析能力和较快的输出响应能力，当中心服务器出现宕机或者网络传输出现中断时，边缘端节点能够实现闭环管理，保证边缘端业务模型的正常运转，同时能够与云端协同对应用系统进行升级维护。

（4）业务管理协同。云端数据中心需要根据视频场景需求提供监控场景分级、业务编排、任务管理等能力，对某些特殊情况下的应用能够进行高优先级的处理，也同时预留与其他专业的服务协同接口以及本身业务新功能的拓展接口，为边缘端提供定制化、流程化、智能化的视频监控辅助管理服务。边缘节点需要具备部署、运行新应用实例的能力。

（5）地域边缘协同。中心云需要根据应用的不同时段的地域要求，将应用事先进行部署，并下发策略实现应用的平滑迁移。边缘节点应用需要在不同的地域进行同时部署或者某些应用的热迁移。

3 结束语

随着铁路“新基建”的不断发展，传统意义上的数据中心集中部署，大规模并行计算的应用模式正逐步向国铁集团数据中心—铁路局集团公司级应用运行中心—站段边缘节点的新模式转变。铁路视频图像的智能化应用也会基于云边协同技术更加灵活地落地，为生产、运营安全提供保障服务。未来可针对铁路自然条件恶劣、通信条件差，且具有重要监测需求的应用场景(如桥梁桥墩裂缝检测、隧道口、边坡异物检测等)，继续研发基于云边协同架构的智能边缘端一体化设备，使其具备特殊条件下的视频图像独立自主分析的能力。