高速铁路基础设施视频大数据应用方案研究

董学娟

（北京经纬信息技术有限公司，北京 100081）

截止2020年底，我国高速铁路营运里程已达3.79万km，覆盖范围广，运营场景复杂，涉及不同气候和环境条件，由自然灾害、环境及人为原因引发的安全隐患，如线路塌方落石、接触网挂附异物、行车设备破损、重点区域人员入侵、作业过程不规范等时有发生，及时发现和消除这些隐患对保障高速铁路运营安全极为重要。

目前，综合视频监控系统已成为我国高速铁路保障运营安全的一种重要基础设施[1]，可为铁路车务、客货运、工务、电务、供电、机务、车辆、信息和公安等各专业提供实时视频和录像回放等功能，为铁路各业务部门远程监视现场设备工况、环境状况、作业过程提供了一种便捷、高效的技术手段。当设备出现故障或事故发生后，可利用综合视频监控系统的历史数据回放功能，辅助故障原因分析，进行事故调查取证。由于综合视频监控系统实现的报警功能是基于传统的视频移动检测（VMD，Video Motion Detection）技术[2]，只能判断出画面变化的内容，无法区分目标和背景干扰，报警准确率不高，妨碍了其成为铁路各专业安全监控的利器。另外，综合视频监控数据尚未与各专业信息系统的相关信息有效关联和融合，造成综合视频监控系统的现有应用功能尚存不足和局限性，限制了综合视频监控系统的应用成效。

近年来，云计算和大数据技术已经成为铁路信息化融合创新发展的新动力，使得以较低成本存储和处理海量、高增长的视频数据成为可能。同时，智能视频分析技术日趋成熟，广泛应用在安防[3]、客流监测[4]、机器人[5]、车辆识别[6]、基建现场管理[7]等应用场景，也涌现了越来越多的商用智能视频分析工具。智能视频分析系统能够自动识别出监控视频画面中的不同物体，分析出异常情况[8]，从而提供准确的报警信息，支持工作人员及时进行危机处理；并通过持续的深度学习优化智能分析算法模型，减少误报和漏报。

为此，本文结合北京—张家口高速铁路（简称：京张高铁）综合视频系统应用状况和需求调研，开展高速铁路基础设施视频大数据应用系统（简称：视频大数据系统）方案研究，为下一步全面推进该系统研究与开发奠定基础。

1 高速铁路基础设施视频大数据应用的可行性分析

目前，综合视频监控系统已经成为高速铁路安全防护的一种重要技术装备[9]，主要监控范围覆盖高速铁路沿线各动车所、部分存车场及站段生产场所等大多数关键场所，能够采集较为全面的高铁基础设施动态视频数据。按照《高速铁路安全防护设计规范》，针对高速铁路的综合视频监控系统监控点设置要求如表1所示。

表1 高速铁路综合视频监控系统监控点设置要求

京张高铁作为支撑2022年北京冬奥会的重要交通设施，沿线设置了3600多个监控点，可以采集到京张高铁沿线许多基础设施的监控视频；这些监控点所采集的视频数据已经全部接入中国国家铁路集团有限公司（简称：国铁集团）主数据中心。京张高铁沿线安装的所有摄像机均具有夜视功能，视频数据格式统一为 MP4 格式，分辨率为 1920×1080，图像清晰度较好，从原始数据源头上保证全天候视频分析具有较高的准确率，也无需进行转码处理。每日采集的监控视频数据量大约为80 T，集中存储在主数据中心专用的视频云存储[9]中，保存周期为3年。

另一方面，目前已经有不少既有铁路各专业信息系统接入到国铁集团主数据中心的数据服务平台，为开展跨系统、跨专业的数据融合与集成应用研究与开发提供了有利条件。为此，以京张高铁为试点，展开高铁基础设施视频大数据应用切实可行。

高速铁路列车运行速度快，维修天窗时间短，及时掌握各类基础设施的状态和潜在的安全隐患，对保障高速铁路安全运营意义极为重大。现有的各类高铁安全监测系统采集的监测信息内容还不够丰富，远远不能满足高速铁路运营安全保障的需要。监控视频数据是一种具有丰富内涵和洞察力的非结构化数据，其展示形式直观和生动，一直以来主要在远程监控、事故调查取证、辅助设备设施故障原因分析等方面发挥着重要作用。

为此，选用适用的视频智能分析技术，利用综合视频监控系统采集的各种实际业务场景下海量监控视频数据进行智能视频分析，自动检测高速铁路沿线处在视频监控范围内的基础设施的异常状态及行车环境中不安全因素，将复杂多源的监控视频数据转化为计算机可识别的、具有明确语义的各类异常事件告警信息，并将监控视频数据与既有各专业信息系统中涉及行车安全、环境安全的监测信息数据资源进行有效关联和融合，进一步丰富告警信息内容，使高速铁路综合视频监控系统采集的视频数据能够发挥更大的使用价值。

2 系统方案

2.1 建设目标

（1）面向高速铁路基础设施运维管理提供监控视频结构化分析平台

监控视频数据价值密度相对低，在一个小时的监控视频数据里，往往仅只有几秒钟的数据具有使用价值。目前，综合视频监控系统采集的视频数据以非结构化形式存储，当事件发生后需要追查时，难以快速、高效地检索所需视频内容。

高速铁路沿线设置的视频监控点一般都有较为确定的典型数据采集场景、固定的监控范围和拍摄角度。对高速铁路沿线所有监控点的监控目标开展全面、细致的调查，找出涉及线路设施、轨旁信号设备、接触网、机房等重点区域、自然灾害易发地段的所有监控点，并利用这些监控点的历史视频数据进行分析，确定数据具有使用价值的监控点清单，将这些监控点采集的视频数据作为视频大数据系统的数据源；并根据这些监控点监控目标的类型及可能出现的异常事件，定义各个监控点的视频摘要模板、特征数据及视频浓缩方案。通过视频数据标注处理，根据监控视频数据自身蕴含的语义和内容层次，为视频数据添加明确语义标签和清晰层次结构，以便于视频数据的存储组织、管理和使用，提升海量监控视频数据的检索效率。同时，只有制作出准确标注的视频数据集，才能利用智能视频分析算法完成准确的目标检测、识别和行为分析，从视频数据中精准捕获异常事件。

（2）实现视频数据与相关业务数据的有效关联与融合

目前，综合视频监控系统采集的视频数据还是相对封闭的数据孤岛，未与相关业务数据进行有效关联和融合，综合应用难以开展，海量监控视频数据的潜在价值尚未得到有效挖掘。添加了索引和标签的监控视频数据在被赋予明确的语义和一定的结构层次后，具备了与其它专业信息系统的结构化数据进行关联和融合处理的基础。为此，通过数据接口从相关业务信息系统中获取与监控视频中目标对象的有关各种属性数据，一方面可利用属性数据完善智能视频分析算法，提高智能视频分析的准确性；同时，可建立监控目标的数据立方体，支持多角度探索，进行关联分析及趋势分析；此外，实现与地理信息系统（GIS，Geographic Information System）信息集成，可以实现基于铁路网电子地图的监控点视频浏览、监控点属性及告警阈值设置、报警联动等应用功能。

（3）开展视频智能分析并实现异常告警闭环管理

利用智能视频分析技术，自动检测监控点现场出现的异常事件，并根据告警处置规则，将告警信息连同经结构化处理后的相关视频数据的索引，主动推送给调度人员和基础设施运维人员，使其及时地掌握监控点现场动态，以采取针对性处置措施，同时还可使视频监控成为人工线路巡检的有益补充，减少不必要的人工巡检工作。此外，实现多专业系统联动的告警处置闭环管理，更好地支持多专业共同应对安全事件的协同能力，高效实施抢修，避免事故的发生，或为救援指挥人员组织事故救援工作提供一种便捷工具，促进高速铁路运营管理精细化，提高高速铁路安全保障能力。

（4）提供定制化查询功能和数据共享服务，充分发挥监控视频数据的应用价值

面向高速铁路基础设施运维管理、环境安全及列车运行安全监控等业务，为国铁集团、路局、站段不同业务层面用户提供便捷的定制化监控视频数据及智能分析结果查询功能，在事故调查、故障分析、现场救援、线路设备抢修等多种业务场景下，用户能够方便快捷地查找和浏览历史监控视频信息及现场动态监控信息；同时，依托数据共享平台，通过微服务网关，向各业务信息系统提供定制化监控视频数据共享服务，促进铁路信息系统的集成与业务融合创新。

2.2 总体架构

高速铁路基础设施视频大数据应用系统依托国铁集团主数据中心的云计算资源和平台即服务（Platform as a Service，PaaS）构建，主要包括监控视频结构化分析平台、视频综合应用、数据交互接口3个部分，如图1所示。

图1 高速铁路基础设施视频大数据应用系统总体架构示意

（1）监控视频结构化分析平台：主要包括视频数据抽取/转换/加载（ETL，Extract-Transform-Load）模块、视频结构化存储、视频数据标注工具库、综合分析数据库、智能视频离线分析算法库、智能视频在线分析算法库、数据关联与融合处理模块。

其中，视频数据ETL模块从综合视频监控系统汇集到主数据中心的视频云存储中，抽取高速铁路沿线基础设施监控视频数据，进行初步的结构化处理（如添加摘要、基本索引、分层标签、视频浓缩等）后，存入视频结构化存储中。

视频数据标注工具库用于对视频数据添加更为丰富的索引、标签，完成细化目标标注，使视频数据更便于查询和浏览，并用于制作训练特定智能视频分析模型的数据集。

智能视频离线分析算法库是一组用于智能视频分析工具，针对某个具体监控点或监控类型的特定目标识别和事件分析任务，分析人员利用标注好的数据集对算法模型进行训练，得到性能和准确性均满足应用需求的视频分析算法模型，经过验证的算法模型归并到智能视频在线分析算法库中。

智能视频在线分析算法库是一组经过测试验证、针对特定视频分析任务的算法组件，由管理员按照预先制定的运行策略部署运行，完成对来自特定监控点的视频数据的分析处理，生成的异常报警信息存入综合分析数据库。

综合分析数据库是一个可支持联机分析处理（OLAP，OnLine Analytic Processing）任务的数据库，集中存储来自外部系统的相关数据、智能视频分析生成的异常报警信息，可根据综合分析的需要，将数据组织成数据立方体。

数据关联与融合处理模块对来自外部系统接入数据接口的相关数据进行抽取和转换，并将这些数据与视频大数据系统自身的结构化视频数据和报警数据进行关联和融合，生成面向综合分析应用的数据存储在综合分析数据库中。

（2）视频综合应用：采用B/S架构，面向国铁集团、铁路局集团公司、站段、车间4个业务层面用户，提供针对多种应用场景（包括事故调查取证、设备故障分析、事故救援、现场抢修等）的定制化视频查询功能；同时，基于微服务架构，为各专业信息系统提供所需的定制化视频数据共享服务。

（3）数据交互接口：完成与外部信息系统的数据交互，包括外部信息接入接口和视频数据共享服务接口。

其中，外部信息接入接口依据数据接入接口协议，从综合维修系统获取基础设施设备（包括线桥隧、接触网、轨旁信号设备、机房等）技术台账数据，从铁路安全监督管理系统获取事故故障信息，从高速铁路自然灾害及异物侵限监测系统（简称：灾害监测系统）获取天气、灾害、异物侵限信息，从列车调度指挥系统（TDCS，Train Dispatching Command System）获取高速铁路列车运行计划和实绩信息；调用铁路地理信息服务平台GIS服务，生成用于展示和浏览导航的GIS铁路网电子地图。这些外部系统通过视频数据共享服务接口，调用视频大数据系统提供的定制化视频数据共享服务。

2.3 逻辑架构

按照系统技术构成要素的功能层次，高速铁路基础设施视频大数据应用系统划分为基础设施层、数据存储层、数据处理层、数据服务层、查询分析应用层，如图2所示。

图2 高速铁路基础设施视频大数据应用系统逻辑架构示意

（1）基础设施层：提供系统运行的基础软硬件环境，主要包括存储海量视频数据的分布式文件系统（HDFS，Hadoop Distribute File System）和分布式数据库（HBase）、存储综合分析数据的数据库服务器（MySQL） 和内存数据库服务器（ Redis）、提供定制化查询功能的应用服务器（ Weblogic）、通信服务器（Rabbit MQ），均采用虚拟化集群配置，确保系统高性能、高可靠性和可扩展性。

（2）数据存储层：基于分布式数据存储架构实现视频结构化存储，视频浓缩和分级分区域存储，提高视频数据的检索效率和浏览进度；从其它系统获取的关系型数据存储在关系型数据库，关联融合后的结构化数据可按照多维立方体形式存储。

（3）数据处理层： 完成基础设施监控视频数据的抽取、清洗，手工或自动生成视频的索引、摘要初步标注；完成从其它系统采集的接口数据的抽取以及初步的关联和融合处理；使用Hadoop MapReduce分布式计算模型来运行智能视频分析算法组件，完成基于网格计算的海量视频实时处理和高并行视频分析计算。

（4）数据服务层：包括基础服务、数据接口服务以及业务服务，使用Spring Cloud 实现服务治理；其中，基础服务提供日志记录、用户与用户组管理、系统运行参数配置、GIS 铁路网图生成等功能；数据接口服务以微服务形式，提供与相关业务信息系统的数据采集、信息交互及共享数据访问服务；业务服务为本系统查询应用层功能提供数据访问服务。

（5）查询应用层：面向本系统最终用户提供查询和分析功能，用户通过浏览器访问Web应用服务器，获取各类定制化查询和数据分析功能。

3 主要功能

高速铁路基础设施视频大数据应用系统主要功能包括视频数据抽取清洗与标注、数据关联与融合、智能异常检测、报警闭环管理、视频查询与共享、系统管理，系统功能结构如图3所示。

图3 系统功能结构

3.1 视频数据抽取、清洗与标注

（1）视频数据抽取：依据监控视频数据价值调查分析后确定的监控点清单，按照系统预定义监控点视频摘要模板、特征数据及视频浓缩方案，从综合视频监控系统的视频数据存储中抽取这些监控点的视频数据，形成初始的结构化监控视频数据存储；根据监控点不同监控目标的特性、智能视频分析的要求以及查询浏览的具体需求，按实时抽取、分阶段抽取、定期汇总抽取3种方式完成数据抽取。

（2）视频数据清洗：利用智能分析算法，自动检测摄像机是否存在成像异常和取景范围异常的情况，将夜视成像异常和取景范围异常的视频数据添加标记，并将其从智能视频分析数据集中剔除。

（3）视频数据标注：针对视频结构化查询和视频智能分析应用需求，采用人工和自动化工具相结合的方式完成视频数据标注；针对视频结构化查询的视频数据标注，主要是基于对视频内容的分析和理解，为抽取的监控视频数据建立语义索引和层次结构，以方便用户检索和浏览查询；针对视频智能分析的视频数据标注，主要是制作用于训练智能分析模型的数据集，一般需要根据画面中需要识别的目标及其行为（或事件），对视频中每一帧图像标注好其分类，以及对其进行语义分割及实例分割，甚至于全景分割。

3.2 数据关联与融合

（1）基础设施信息关联融合：根据监控点清单，从综合维修系统中获取各个视频监控点上监测目标所对应的基础设施设备（包括线桥隧、接触网、轨旁信号设备、机房等）技术台账数据，将存储在结构化数据库中，并建立与监测目标的关联关系。

（2）灾害监测信息关联融合：从高铁灾害监测系统获取高铁沿线天气信息（如雨、雪、大风等），可用于为智能视频分析模型增加天气因素，同时可监控视频数据加注天气类型标签。

（3）事故/故障信息关联融合：从铁路安全监督管理系统获取高速铁路基础设施相关的事故/故障数据，作为确定系统监测点清单的分析资料（如确定事故多发地段），同时也可为事故地点监控视频添加事故/故障摘要信息。

（4）GIS铁路网图：从铁路GIS获取GIS 铁路网图，可以通过电子地图实现监控点调看、设置、报警联动等。

（5）列车运行信息关联融合：高铁沿线的通信铁塔及高层建筑上安装的视频监控摄像头可采集到动车组运行视频，从列车调度指挥系统（TDCS，Train Dispatching Command System）中获取高速铁路列车运行计划和实绩信息，可将沿线这些监控点采集到的动车组视频片段汇编成动车组沿途追踪视频。

3.3 智能异常检测

针对不同类型视频监控点对异常识别实时性的不同要求，按照实时处理、分阶段处理、定期汇总处理3种异常检测模式，通过智能视频分析算法模型完成监控目标的异常检测，生成异常检测分析结果，并将分析结果连同相关视频索引一并存入综合分析数据库中，供用户查询异常信息和检索相关视频。

（1）结构物位置偏移检测：对隧道口边仰坡、路堑边坡、上跨桥等结构物的过车前后视频进行智能分析对比，判断是否发生移位；当偏移量超出系统设定的阈值阈值时，判断该结构物出现位置偏移异常，并自动抽取该结构物在若干个时段的不同视频片段的索引，方便用户检索视频进行异常情况比对。

（2）轨旁信号设备外观异常检测：对应答器、箱盒、桥槽盖板等轨旁信号设备建立数据样本集，实现基于深度学习的轨旁设备外观异常检测；当检测出设备外观异常时，自动抽取该设备外观异常视频片段的索引，方便用户检索视频来了解设备具体情况。

（3）接触网异物检测：对接触网异物的易发区段视频进行智能分析，利用出现鸟窝、风筝、塑料袋等异物的监控视频图像数据建立数据样本集，实现基于深度学习的接触网异物检测；当检测出接触网存在异物时，自动抽取接触网异物视频片段的索引，方便用户检索视频来了解具体异物情况。

（4）重点区域人员入侵检测：采用基于深度学习的目标检测算法，对设备机房等重点区域人员入侵进行检测；当检测出人员入侵行为时，自动抽取入侵人员进入该区域内的整段视频的索引，供相关人员详细掌握人员入侵过程。

3.4 报警闭环管理

系统自动生成异常报警通知，并主动推送相关用户；相关人员到现场核查和处理后，用户及时反馈现场核查与处置情况，实现异常告警闭环管理。

（1）报警通知推送：当视频智能分析模块检测出异常时，告警引擎会根据按业务规则自动生成预警通知，向相关用户推送告警信息及处置建议；用户在手机App或监控终端浏览器监控页面上收到告警信息时，可点击告警信息附带的监控视频链接，下载查看相应的视频；若用户在指定时限内未确认收到告警信息，或是未按要求反馈报警处置报告，系统均以明显的声光或闪烁图标提醒用户。

（2）报警处置报告：接收到告警信息及处置建议的用户，需要在现场核查和处置完毕后，或是指定的有效期限内，报告报警处置结果，包括现场核查情况、已处置结果、未处置的原因等；依据报警反馈信息，系统可以发现虚警情况。

（3）报警处置监控：系统将报警分为待处置、处置中、已处置、未处置4种状态，超级用户（通常是调度或专职管理人员）可以查看所有报警的当前状态，掌握全线视频监控异常报警整体状况，对未按要求处置报警的相关人员进行监督。

（4）告警规则管理：提供告警规则编辑功能，系统管理员按照岗位职责、业务处理要求及处理时限，设置各种异常事件的告警规则；告警通知引擎会按照告警规则的设置，自动生成告警信息和处置建议。

3.5 视频查询与共享

面向各类用户提供便捷的定制化视频数据查询功能，满足各种业务场景（包括事故调查取证、设备故障分析、事故救援、现场抢修等）下，查询和浏览监控视频的需求；根据其它铁路业务信息系统的视频数据共享需求，以微服务方式，提供基础设施监控视频及动车组沿途追踪视频数据共享接口服务，方便相关系统利用视频大数据系统提供的共享视频数据，开展增值应用的开发。

（1）线路设施监控视频：根据线路公里标、运行方向、线路设施编号、时间段、是否告警等条件，提供线路设施监控视频汇编。

（2）信号设备监控视频：根据线路公里标、运行方向、线路设施类型、时间段、是否告警等条件，提供轨旁信号设备监控视频汇编。

（3）接触网设施监控视频：根据线路公里标、运行方向、线路设施类型、时间段、是否告警等条件，提供接触网设施监控视频汇编。

（4）重点区域监控视频：根据线路公里标、重点区域名称/编号、时间段、是否告警等条件，提供重点区域监控视频汇编。

（5）动车组沿途追踪视频：根据车次、运行时段、线路区段和运行方向，将高速铁路沿线通信铁塔及高层建筑物上的多个监控点采集到的动车组运行视频片段汇编成一个动车组沿途运行追踪视频。

（6）监控视频目录与索引：基于本系统处理过的结构化视频数据，提供分线路区段、分基础设施类别、分报警级别、分监控时间段的监控视频目录及关键字索引，方便用户搜索所需监控视频。

3.6 系统管理

（1）用户与用户组管理：采用基于角色的用户访问控制，提供角色、用户、用户组创建、修改、删除等操作；角色和用户定义主要对应于各项系统功能使用操作权限；用户组则确定了异常告警事件及关联视频信息的共享范围，用于确定系统接收系统主动推送某类信息的目标用户群。

（2）运行参数设置：设置影响系统任务执行时机、数据处理方式、应用功能显示方式等各类参数；例如，设置重点事件置顶显示参数，系统管理员可从告警事件库中选择若干个告警事件作为Web应用首页置顶显示的通告内容。

（3）基础数据维护：提供各类基础数据字典的维护。

（4）监控点清单管理：依据监控视频数据价值调查分析结果，确定视频大数据系统需要从综合视频监控系统中抽取视频数据的监控点，并完成监控点清单配置信息的录入；设置每个监控点的预定义视频摘要模板、特征数据及视频浓缩方案；设置每个监控点的视频数据抽取方式，实时抽取、分阶段抽取或定期汇总抽取；视频数据抽取模块根据监控点清单设置信息，自动完成视频数据的抽取、摘要生成、特征数据提取及视频浓缩处理。

（5）日志管理：系统提供多种日志记录和统计分析，包括用户登录日志、用户操作日志、视频抽取日志、视频标注日志、智能视频分析日志等；用户登录日志记录用户登录信息，用户操作日志记录用户在系统中的操作过程，主要用于安全审计；其它日志记录系统主要处理组件的运行过程，主要用于故障分析和性能调优。

视频大数据系统的运行监控将纳入主数据中心的运维监测平台，利用健康与应用性能监控组件，提供统一的可视化监控界面，对视频大数据系统的核心组件运行状态实行7×24 h 健康监控与异常预警，保证系统持续稳定运行。

4 关键技术

4.1 视频标注技术

实现海量的非结构化监控视频数据的快捷检索和智能分析，需要将复杂多源的监控视频数据转化为计算机可识别的、具有明确语义的信息。视频标注为视频语义转化提供了一条有效的途径，根据视频内容不同的语义概念，给视频数据标记上关键字和注释，建立视频索引，实现对视频内容的有效分类和组织管理。通常，计算机视觉底层特征与高层语义的联系，难以找到较为通用的解决方法。而在综合视频监控系统中，每一个监控点的视频内容都具有基本一致的时域结构和场景语义，都有相对固定的主题、目标和语义事件，根据领域相关的语义事件，易于提取用户真正关心的数据。例如，对于设备机房等重点区域人员入侵检测，可定义人员进入、退出、开关门等语义事件。视频标注完成对视频监控目标和语义事件的检测与识别，按照事先定义好的目标类别和事件类型，对视频片段进行标识，以实现基于内容的视频分析和检索。对于具有较强结构性特点的视频数据，在语义标注之后，还可以通过视频标注序列的分析，生成监控视频的层次浏览结构，自动生成分层组织的视频浏览目录。

每个视频监控点一般都有较为确定的典型数据采集场景、固定的监控范围和拍摄角度。针对特定类型基础设施的监控视频画面中，待识别目标类别一般较为确定，可分析的特定行为（或异常事件）也相对明确，属于特定场景下针对特定目标的视频分析应用，有利于实现较为高效、准确的人工智能（AI，Artificial Intelligence）算法。对于深度学习和计算机视觉，训练数据的质量对训练结果有着至关重要的影响。而取得这些数据主要途径就是完成监控视频数据标注，针对特定任务进行学习和推理，获得较高的目标识别和事件（或行为）分析的准确率。数据标注可以由人工使用数据标注工具，或是由数据标注软件自动完成；通常，人工数据标注的结果比较可靠，自动数据标注一般都需要人工二次复核，避免程序处理错误。

以接触网监控视频为例，从历史监控视频数据中抽取接触网出现异物的视频码流，如在铁路沿线周边有农用地膜、城市防尘网和工地彩钢房的区段，利用支持图像分类、对象检测框、图像语义分割、实例分割数据的标注工具，截取视频图像，并提取神经网络特征，计算图像之间的特征值，若特征值达到一定阈值，则系统自动发出报警。

为做好监控视频数据标注，首先需要对综合视频监控系统提供的监控视频数据的内在特性进行全面、细致的调查与梳理，明确每个监控点位置、摄像机安装位置（如通信铁塔、建筑物等）、监控方向（线路上行/下行）、典型监控场景、主要监控对象及其状态事件、次要监控对象及其状态事件、适用的业务范围，以便准确制定每个监控点的视频数据标注方案。此外，利用在灾害监测系统中获取的天气信息（雨、雪、大风等），还可在智能视频识别算法模型中加入天气等影响识别准确率的因素。

4.2 摄像机成像异常分析与取景范围异常分析算法

夜视摄像机成像异常分析与取景范围异常分析是视频数据清洗的基础，用于将存在异常的监控视频数据从视频分析数据集中剔除，确保视频分析的效率和效果；同时，夜视摄像机成像异常与取景范围异常本身也是一类设备故障，会触发报警。

（1）夜视摄像机成像异常分析算法：计算图像中像素强度分布及每一个强度值所具有的像素个数，判断激光相机的夜视状态是否开启；将图像中RGB值换算为亮度值并进行比较，若图像像素强度分布或每一个强度值所具有的像素个数低于设定阈值，自动判断出激光夜视光斑打开、激光夜视未打开及异常的情况。定期在设定时间范围内抽取各个监控点视频码流，使用夜视摄像机成像异常分析算法，判断激光相机的夜视状态是否正常。对于虚警和漏报的情况，可抽取对应视频样本对算法进行训练和测试，提高算法精度和适用范围，提升识别准确率。

（2）受大风等较恶劣天气的影响，摄像机的取景角度会发生偏斜，导致拍摄的图像可能无法覆盖用户关注的取景范围。取景范围异常分析可采用基于金字塔Lucas-Kanade的跟踪算法，精确计算出图像偏移，据此测算摄像机监视角度偏移量；设置合适的阈值参数，以准确判断出摄像机监视角度偏移量。

4.3 智能视频分析技术

主流的视频智能分析技术大多采用监督式学习（supervised learning）算法，视频数据集的有效性和质量很大程度上决定了视频智能分析结果的准确性。要在以帧为单位在一系列图像中识别和跟踪物体，必须对视频数据进行有效标注，再将标注后的视频数据作为数据集，用于训练智能视频分析模型，模型经过测试验证后可用于特定的计算机视觉应用。可以说，视频标注是实现视频智能分析的技术关键，视频索引和标签越准确，模型的表现就越好。智能视频分析技术包括运动目标检测、运动目标跟踪、目标识别、目标行为识别与理解、运动目标异常行为识别5种类型。

运动目标检测是智能视频分析的基础，主要任务是从监控视频图像中将变化区域（如设备外观破损或结构缺失、列车、行人、异物等）从背景中提取出来。例如，分析乘客上车时在车门处的拥挤程度，是否有误伤情况，根据需要进行客流疏导，保证运营安全。运动目标检测主要算法有3种：帧间差分法、背景差分法和光流法。

运动目标跟踪即通过目标的有效表达，在视频中寻找与目标模板最相似候选目标区位置的过程。运动目标跟踪算法主要分为4类：基于主动轮廓的跟踪、基于特征的跟踪、基于区域的跟踪和基于模型的跟踪。

运动目标识别是指根据监控视频图像中目标内容，自动将其划分到预定义类别，运动目标分类的效果直接影响到系统后期目标行为理解与描述。基础设施监控视频中需要识别的主要目标是每个监控点相对固定的监控对象，以及可能出现的种类有限的异物或行人。

运动目标检测、分类和跟踪属于智能视频分析中底层和中层处理部分，而行为识别是将测试序列与预先标定的代表典型行为的参考序列进行匹配，以确定测试序列的行为类别，并判断该行为是否属于异常行为，属于智能视频分析中高层处理部分。对于基础设施监控视频，行为识别与理解主要是对基础设施设备外观破损缺失、进入监控区域的行人或出现的异物的理解与识别。行为识别方法主要有模板匹配法和状态空间法。异常行为（事件）往往具有突发性大、不可预知、持续时间短、无周期性等特点，异常行为识别的关键是如何从学习样本中获取参考行为序列，并且学习和匹配的行为序列必须能够处理在相似的运动模式类别中空间和时间尺度上轻微的特征变化。针对特定的场景进行异常行为（事件）检测，常用方法有基于模型的异常行为检测方法和基于相似度的异常行为检测方法。

以接触网异物检测为例，通过对比两张图像的相似度，检测出异物的特定位置。从历史监控视频数据中抽取接触网出现异物的视频码流，在接触网异物多发地段，如铁路沿线周边有农用地膜、城市防尘网和工地彩钢房等，采集来自该地段内摄像机的监控视频图像，通过智能视频分析的监控视频，能够及时发现接触网异物，例如图4所示的鸟窝。

图4 接触网异物检测（鸟窝）

对于虚警和漏报的情况，抽取对应的监控视频作为样本集，用于改进异物检测算法。

5 结束语

结合对京张高速铁路中综合视频监控系统应用现状及视频数据潜在应用需求的调研，分析开展高速铁路基础设施视频大数据应用的可行性，明确系统建设目标，提出系统总体架构和逻辑架构，探讨其主要应用功能及关键技术，为全面推进系统研究与开发奠定基础。

视频大数据系统以基于智能视频分析的基础设施异常报警及其闭环管理为核心功能，将综合监控系统采集的海量视频数据转化为辅助高速铁路基础设施运维管理和强化运营安全保障的重要信息资源。该系统提供监控视频结构化分析平台，通过视频数据标注，实现视频数据的结构化组织和存储管理，不但可为智能视频数据分析提供准确有效的数据集，也为铁路信息资源整合和综合应用开发提供了有利条件；此外，提供监控视频定制化查询功能和数据共享服务，有助于提升视频数据应用价值，促进铁路信息系统集成化发展与融合创新。

确定监控点清单是推进视频大数据系统研发的起点和基础性工作，决定了监控视频数据采集、清洗和标注的具体方案，也是选择适用视频标注工具和智能视频分析技术，以及设计算法模型的依据。下一步，将在京张高铁相关业务部门的支持下，全面深化监控点清单的调研和分析工作。