分布式存储技术在动车组检修视频记录管理系统中的应用
2019-01-03张永敬
张永敬
(中国铁路上海局集团有限公司 上海动车段,上海 201812)
检修视频记录是铁路部门在动车组地勤检修、乘务巡检、部件质检和关键工序卡控等作业过程中必不可少的重要组成部分,保证了所有活动都在监控中心的可视范围内,不仅可督促作业人员按标准作业,防止漏检漏修,确保动车组运行安全,同时又是重要的电子证据,保证在出现相关故障后所有视频录像文件可供查证和追溯,因而保证视频记录的质量对于保障动车组的安全以及故障追溯具有重要的意义。
目前,在检修视频记录中主要存在以下难点:(1)动车组检修视频记录频繁。以上海虹桥动车运用所为例,每天仅动车组一级检修数量大约在70组,每天所需作业人员约80人。每晚检修人员做一级检修的数量大约在4组动车组,每晚使用摄像手电筒大约80只。每天的检修作业都会产生大量记录,人为的管理和拷贝数据容易出现泄露、丢失和损坏。(2)每天检修记录视频数据量多,需设专人对数据进行拷贝和存储管理,费时费力,以一辆8编组动车组一级检修作业为例,在目前上下分离的检修模式下,需要4人进行作业,作业时长在2~2.5 h,且每人均需利用摄像手电筒对作业项目进行全过程视频记录,产生的数据量大约为60 G。(3)对检修记录信息不能进行高效检索,对于查证和追溯比较费时。目前,动车组检修视频数据存档通过人工管理,以作业班组、作业日期、作业人员和车组的顺序建立文件夹进行管理,因检修量多、数据量大,导致查证和追溯的时间较长。(4)对于检修记录的管理,人为方式的调阅、删除、拷贝缺乏相关的权限控制和记录,存在安全漏洞。
检修视频记录管理系统采用了智能分布式存储技术,对动车组检修视频记录以动车段集中管理,动车运用所分布式存储方式,这样既保证了对所有的巡检数据进行统一存储和管理,减轻了人员操作的负担,同时提高了检修的效率,实现了对检修视频记录的有效管理[1-4]。
1 系统概述
1.1 系统功能
检修视频记录管理系统采用分布式文件系统、关系数据库系统、分布式任务调度系统等实现视频数据的大容量、高性能、在线扩容、高可靠性、故障自动检测恢复等存储特性,并且提供对视频进行语义标签、视频摘要等关键性功能的支持,以及基于海量标签数据进行高速索引、查询、统计等关键业务支撑功能。
系统的主要功能如下:
(1)视频分布式存储管理。系统将存储节点分布在各个运用所,靠近采集设备,实现数据就近存储,减少数据跨网传输,但对于应用和业务而言,数据在逻辑上是统一和位置透明的。
(2)视频搜索。系统可以根据人员姓名、车号、车次、时间、运用所、班组等条件进行组合检索查询,从数据库中自动检索出需要查询的文件。同时还支持对视频的标签进行搜索定位,实现视频的搜索功能。
(3)作业视频在线点播。实现全局作业视频资料的在线播放。通过流媒体形式将查询的视频文件向授权用户播放或提供下载。用户能根据不同权限进行有效的网络查询和调阅,从而对作业视频进行有效的管理、监控和共享。
(4)分级权限管理。系统进行多级权限管理,不同用户的权限可按照角色和自由进行管理,上级用户可以浏览下属运用所视频数据,运用所只能查看本所的视频数据。
(5)日志管理。系统具备日志记录功能,记录用户所有的操作记录,例如上传、下载、播放、删除等。
(6)统计报表。用户可设定各种统计条件进行统计,并将结果生成各种统计报表。统计内容包括上传的运用所、班组、时间、车号、文件类型、文件数等。
1.2 总体架构
检修视频记录管理系统采用分布式存储技术对检修视频数据进行管理,需要依赖于统一的接口,系统通过多层架构模式,采用C/S和B/S结合的方式,能较好的适应多种复杂的环境要求,通过统一的数据接口平台,对所有接入的数据进行统一管理。系统总体架构如图1所示。
图1 总体架构
系统主要包括数据采集站、视频存储数据库、Web浏览器、客户端以及应用服务软件等部分。
(1)数据采集站,主要是对视频采集设备进行充电、时间同步以及数据上传等服务。
(2)Web浏览器和客户端分别通过B/S和C/S方式对系统进行查询、管理、监控等服务。
(3)视频存储数据库,是对上传的检修视频数据进行存储,通过服务器对存储的视频进行管理。
通过数据采集站,对检修的视频信息通过统一的数据接口进行上传,用户可以通过Web浏览器或者专用客户端对检修视频数据进行检索和管理,使用统一的数据接口,通过Web service实现,进而保证了数据的一致性。
2 分布式存储技术及其应用
检修视频记录管理系统采用智能分布式存储技术,充分利用各个采集站上的自带硬盘空间存放视频文件信息,通过检修视频上的标签信息,支持对检修记录的检索分类等,通过在线点播技术,实现流媒体的传输和播放,系统所采用的分布式存储及其相关技术均通过.net编码实现。
检修视频记录管理系统采用动车段集中管理、运用所分布式存储的主要原因有:(1)动车段管理下属的动车运用所,需要对所有下属的动车运用所具有管理权限。(2)动车运用所内的检修视频记录一般是本所内管理较为频繁,存储在本地更加便捷高效。
2.1 分布式存储
对于采集到的检修视频记录,根据需要将记录信息存储到采集站或者不同服务器的硬盘中,实现智能均衡分配机制,算法主要考虑的因素有:(1)不同存储介质的剩余存储空间容量。(2)采集检修视频所在的运用所位置。(3)用户自定义的存储需求。
算法会根据用户自定义的存储需求,由用户直接指定检修视频的存储位置,如果用户没有指定存储位置,则由算法自动分配管理。算法首先会根据采集的检修视频所在运用所的位置,寻找该运用所下有足够存储空间的储存介质,进行优先存储,如果该运用所下的所有存储介质均无法存储该视频,则随机选择其他运用所下的存储介质进行存储。通过优先本地存储机制,实现对本地检修视频高效的存储和读取效率,通过随机选择机制,实现对存储服务器资源的均衡利用。
分布式存储技术的物理结构如图2所示。
所有的采集点和存储数据库都统一由动车段集中进行管理,用户在进行查询和管理时也都是通过段服务器统一管理,保证了数据的一致性和安全性[2-5]。
图2 分布式存储结构
2.2 视频标签智能检索
通过与既有的动车组管理信息系统结合,获取相关的检修任务、人员、车辆等信息,在检修记录上传时可以将这些检修信息与检修视频记录关联,形成记录视频的标签属性,在用户进行检索查询时能提高准确性和检索效率。
通过动车组管理信息系统关联的检修信息主要有以下几类:(1)检修任务信息,包括检修任务名称,检修项目,检修起始时间等。(2)人员信息,包括检修作业人员,检修班组信息等。(3)车辆信息,包括检修的车组号,车次,出入所时间等信息。
对检修记录视频增加标签属性后,不仅能准确高效地检索记录,同时也可以对检修记录进行分类管理,并进行相关的统计分析等。
图3 智能检索流程
智能检索流程如图3所示。作业人员或者管理人员可以通过检修任务条件、人员条件、车组条件以及其他条件对存储的检修记录进行检索,通过动车段服务器提供的相关检索服务,准确地检索到需要的检修记录[6]。
2.3 在线点播技术
动车组检修视频记录主要是对动车组检修作业人员详细的检修操作进行记录,对于检修结果的点播功能同样十分重要,系统可实现全局作业视频资料的在线播放。通过流媒体形式将查询的视频文件向授权用户播放或提供下载。用户能根据不同权限进行网络查询和调阅,从而对作业视频进行有效管理、监控和共享,具体点播流程如图4所示。
图4 点播流程
3 系统运用
该动车组检修视频记录管理系统已经在上海南翔动车运用所运用,通过在动车组检修、乘务巡检和部件质检等项目上配备相关摄像手电等视频采集设备,配合采集站点,将作业人员的检修记录稳定高效地传输和存储,同时在动车段和动车运用所配置了相关的管理终端,可以对采集设备的状态以及采集的视频进行有效管理和检索,提高了工作效率。
在对动车组检修、乘务巡检、部件质检等作业上均取得了良好的使用效果,通过该系统,对检修作业、巡检以及质检作业有了更加准确高效的管理,同时,在一定程度上避免了人为因素可能导致的安全性问题,提高了管理的质量。
4 结束语
动车组检修视频记录管理系统对于动车组检修具有十分重要的作用,对于提高检修质量和效率有较大的促进作用,对于检修作业人员和作业质量达到了更加精细化的管理要求。