冷存储技术在铁路视频监控系统的应用研究

崔高峰，于格，尚云飞，石蕊

（1.中国铁路沈阳局集团有限公司科学技术研究所，辽宁沈阳110013；2.中关村轨道交通视频与安全产业技术联盟，北京100142；3.北京浩瀚深度信息技术股份有限公司，北京100142）

0 引言

在铁路大数据时代，随着摄像头部署数量和视频质量不断提高，以及公安部门对于铁路视频监控数据存储时间延长至90d的要求，使视频存储的数据量激增。按照被访问的频率，数据分为“冷”“温”“热”三大类。在铁路视频监控系统实际应用中，通常7d以内的数据会被频繁调用，被称之为热数据，1周以上及1个季度以上的一些数据访问次数较少，都称之为冷数据，这些数据占总体数据的80%以上（见图1）。如果采用传统的单一存储策略进行存储将会在功耗、空间及成本等方面面临非常大的挑战。如果将这些低价值密度的冷数据迁移到一个专门的低成本、低功耗、高密度的存储层中进行存储，将会大幅度降低总体拥有成本。

图1 不同类别视频监控数据占比情况

1 技术现状

目前主流存储方案有4种：离线类存储、网络云服务、IP-SAN及NAS传统存储、自建云存储。

1.1 离线类存储

主要采用磁带库、蓝光光盘等，该方案虽然价格稳定、存放时间长、能耗较低，但因为数据查找耗时较长，因此并不适用铁路视频监控应用场景。

1.2 网络云服务

主要包括 AmzonGlacier、GoogleCloudStorageNearline、MicrosoftAzure、阿里云、百度云等。AmzonGlacier、GoogleCloudStorageNearline、MicrosoftAzure 等 国 外大公司的云存储服务经过公网传输，时延和带宽都是瓶颈，对于国内企业几乎不可用。国内阿里云等备份服务，只支持厂商自己数据的备份，不支持外部数据上传和下载，很大程度上限制了使用场景。如果用户数据比较敏感，或者带宽要求较高，如网络DPI数据、视频监控数据、医疗数据等，基本不会考虑公有云，而会倾向于自建云。

1.3 IP-SAN、NAS传统存储

IP-SAN、NAS是目前很多系统已经使用的存储方案，通常是分散部署在多个小规模存储点，各自独立不相关。其缺点是部署维护升级复杂、扩展性较差且受限、日常管理等成本比集中式存储要高很多。而且，单点的传统存储方案很难扩容，目前行业中还没有能够支持PB级的系统。

1.4 自建云存储

主要包括HDFS以及国内外各大厂商推出的私有云方案。以HDFS为例，属于开源软件，硬件采用通用服务器，相较于各存储厂商的专用存储设备，成本已降低很多。但由于系统中所有硬盘都处于工作状态，即便没有读写任务硬盘也要持续通电运转。此外HDFS通常按照多副本形式保存数据以确保安全，存储效率不高。

在此研究的冷储存技术方案属于自建云一类，相比上述几种方案，其主要针对有海量低频访问的冷数据应用场景，可提供低成本、低功耗的近线存储解决方案，将在铁路视频监控系统中具有良好的应用价值。

2 方案架构与技术优势

2.1 研究目的

在满足铁路视频监控系统使用要求的同时，将监控数据存储时间由7d延长至90d，按照使用频率的不同，以1周为时间分割点，1周以内的数据属于热数据，1周以外的数据属于冷数据，通过将冷数据采用低成本存储设备进行存储管理，从而帮助用户降低整体部署成本，节省运维成本，实现绿色节能降耗。

2.2 基本架构

针对大规模冷数据的应用场景，在铁路视频监控系统中应用冷存储系统是一款可大规模横向扩展的全分布式存储方案，通过存储系统软件将专用硬件的本地存储资源组织起来，构建全分布式存储池，实现向上层应用提供对象和文件2种存储服务，满足结构化、非结构化和半结构化等多类型数据的存取对每秒读写次 数（Input/OutputOperationPerSecond，IOPS）、带宽及海量扩展的需求，提供负载均衡及企业级数据动态分级等服务[1-3]。冷存储系统架构见图2。

图2 冷储存系统架构

2.3 技术优势

2.3.1 计算与存储分离的低功耗计算

（1）将计算和存储进行分离，大负荷的运算都放在计算节点上，存储节点上仅作少量的数据块写入、读取。

（2）智能控制硬盘通断电，仅点亮正在使用的数据所在的硬盘，系统功耗降低80%。

2.3.2 硬件加速的数据校验与纠错

计算节点发挥CPU硬件加速能力，快速计算纠删码[4]，纠删码可按照需求进行配置，通常用N+M来表示，也就是1份数据会被分成N+M块，其中有N块是真实数据，M块是纠删码，当小于或等于M块数据受损，数据依然能够恢复。这样既能保证高可靠性、提高存储效率、降低成本，同时也能节约机房空间。

2.3.3 无感知的自动数据扫描和重构

（1）系统定时对全部硬盘数据进行1次扫描和监测，并上报扫描结果。

（2）自动检测系统是否繁忙。在不影响系统正常数据业务的同时，自动定时执行重构过程，按照受损级别进行不同策略的重构，保证数据的完整性[5-6]。冷储存系统扫描和重构过程见图3。

图3 冷储存系统扫描和重构过程

2.3.4 分布式对等计算及失效备援

（1）采用多个冗余计算节点控制后面的存储节点，一旦其中1个节点故障，其他的节点能够快速接管其上的业务，保证业务的连续性[7]（见图4）。

（2）计算节点通过自动检测，均可对等调用存储节点上的所有硬盘。

图4 分布式系统失效备援

3 技术方案

冷存储系统对外提供FUSE、NFS、CIFS/SMB等通用接口，与视频监控平台直接对接，根据新建和利旧2种工程需求，并结合铁路实际的站点分布特点，共研究提出4种技术对接方案[8-10]。

3.1 方案1：独立式冷存储方案

针对新建站点，直接将冷存储系统挂载到视频监控平台上使用，视频流流向示意见图5。

（1）写入操作：网络摄像机IPC通过视频监控平台的分转发模块向存储模块发送实时视频流，然后再向冷存储系统写入数据，存储空间按照90d设计，冷存储会将最近7d的热数据保存在冷存储系统中的热层中，剩余的83d均在冷存储系统中的冷层（见图6）。

（2）回放操作：搜索任意时间段录像时，在客户端会根据播放的时间给出提示信息，明确请求的是冷数据还是热数据，然后冷存储系统会按照存储模块的数据请求，将所需的录像发送给客户端，当播放热数据时，数据在2s以内返回，客户端不会有提示。当播放冷数据时，数据返回时间在30s以内，此时，客户端会提示“正在回放冷数据，请等待…”（见图7）。

图5 视频流流向示意图（方案1）

图6 冷储存数据迁移模式（方案1）

图7 冷、热数据回放界面

3.2 方案2：顺序共用存储扩容方案

已建站点的存储进行扩容时，因不同厂商的监控平台对于同时挂载多个存储系统的支持情况不同，采用顺序共用存储可减少二次开发工作量，快速对系统进行扩容。

具体方案是将既有存储系统和冷存储系统按照1个完整的存储库进行管理，视频流流向示意见图8。2个系统存储的数据互不相关，既有系统存储前7d的数据，冷存储系统存储后83d的数据，数据写入到视频监控平台后，会在既有系统和冷存储系统中进行顺序写入（见图9），冷存储系统会将数据按照冷、热进行管理，保证后83d中前7d的数据能及时调用。

图8 视频流流向示意图（方案2）

图9 冷储存数据迁移模式（方案2）

3.3 方案3：并行共用存储扩容方案

对于顺序共用存储方案，既有存储中的数据在1个存储周期内，一直存储的是开始7d的数据，从资源利用角度来说，此方案并没有很好地利用既有存储系统的性能优势，而且这一部分数据的可靠性并没有得到保证，并行共用存储方案能很好地解决上述问题，在充分利用既有存储性能优势的同时，又能保障这一部分数据有足够的可靠性。

具体方案为：数据写入到视频监控平台时，会同时在既有存储系统和冷存储系统各存1份，视频由同一监控平台进行调用（见图10）。既有存储和冷储存系统分别按照各自的存储空间进行存储和周期性的覆盖存储，冷储存数据包含既有存储数据（见图11）。

图10 视频流流向示意图（方案3）

图11 冷储存数据迁移模式（方案3、方案4）

3.4 方案4：集中云扩容方案

考虑到铁路为点多线长的应用场景，对于单站点，其存储扩容量并不是很大，为了能更好地体现冷存储系统的方案优势，在一定带宽条件下，可将多个站点的扩容需求进行集中存储。数据写入到视频监控平台后，会在既有存储系统和冷存储系统中同时写入，冷存储数据通过视频监控嵌入平台写入，视频监控平台和嵌入平台之间通过SA互联网关完成不同视频平台之间的互联（见图12）。

图12 视频流流向示意图（方案4）

根据不同站点摄像头路数以及存储时间要求，在冷存储系统中进行划区，每个区里的数据与既有系统是同时存储，只不过既有系统存储时间短，冷存储中划分的区域存储时间长。每个站点只能通过视频嵌入平台向冷存储系统中写入，不能直接调取，若调取需要在视频监控嵌入平台上调取，其数据迁移模式见图11。

4 结束语

通过研究与试验验证，冷储存技术符合Q/CR575—2017《铁路视频监控系统技术规范》，可实现以最优方式延长铁路视频监控系统视频存储时间[11]，降低基础设施和系统运维的成本，并节省机房空间。

铁路视频监控系统作为一种直观、实时、准确的维护管理应用系统，已在铁路进行了全面部署应用，而视频存储系统作为最重要的组成部分，随着数据量的不断激增，其成本、运维功耗及机房空间都存在亟待解决的问题。采用冷储存技术将会很好地解决上述问题，实现PB/EB级以上数据的高效存储，节省采购和运维成本，并帮助数据中心实现绿色节能降耗。