云存储系统在高速公路视频监控中的应用探讨

魏然+叶蕾

【摘要】 随着监控视频质量不断提升，监控范围不断扩大，在满足监控市场实时视频显示的需求同时，传统集中式的视频存储，主要是文件式存储系统，将面临着诸多的技术挑战。而网络分布式云存储系统，在网络资源共享、分级分层存储方面具有突出特点，在高速公路视频监控等相关行业有着很好的应用前景。

【关键词】 视频存储 文件式存储系统 分布式云存储系统

伴随着安防监控技术的不断进步，越来越多的现代监控技术应用到高速公路的监控系统中，视频图像高清、IP压缩传输、智能分析与视频管理融合、存储云化等技术得到快速发展。

一、系统的特点

高速公路监控摄像头除了在收费站、服务区部署外，还有相当一部分部署在高速公路沿线、隧道、互通桥梁、重点观测区等不便维护的地方。因此，监控存储模式大多采用便于扩展、长期维护成本低的集中式网络视频存储方式，如采用IP-SAN或F-SAN等连接方式。该方式让每台监控服务器或工控机直接接入到SAN存储网络中，进行集中存储。但是，这样会随着监控点位的不断增加而造成线路广泛并相对集中，音视频数据量大并密度高、数据保存周期长及安全性要求较高。如果采用传统的文件存储方式，视频文件数据量会呈几何级增长，数GB大小的文件非常普遍，而且后续还要和报警联动中心、应急指挥中心等其他业务的数据进行整合，采用管理数亿个KB大小的小文件的方式是一种风险。

如今Linux 操作系统中标准的ext3/4等POSIX接口的文件系统，都位于内核中VFS的下一层，在内核层实现，这种普通文件系统由于考虑磁盘空间的利用率、功能复杂性以及接口标准等，无法满足点数日益增多的监控系统存储的要求。同时，音视频数据在存储时绝大部分文件的修改是采用在文件尾部追加数据，而不是覆盖原有数据的方式，在实际运行中传统的对文件的随机写入操作几乎不会发生。当存储完成后，对文件的操作只有读操作，而且是按顺序读操作，予以回放。因此存储系统在安全、先进、实用的原则下必须考虑存储系统的扩展性、性价比、性能、管理性、稳定性的要求。

二、系统的应用

分布式文件系统起步于20世纪70年代，从早期的 NFS到现在的 StorageTank、Lust、PanF等，在体系结构、系统规模、性能、可扩展性、可用性等方面经历了巨大的变化。

当前分布式文件系统有大容量、高性能、高可用性、可扩展性、可管理性等特点，但是，监控行业的存储特性决定了其分布式文件系统和已有的分布式文件系统有一定区别，除了解决物理存储资源多样化、海量音视频数据存储问题、还要解决迅速检索查询的难题。因此，监控行业的分布式文件系统应是以音视频帧、图片为存储和管理核心（单元）的、面向大规模数据密集型应用的、可伸缩的分布式文件系统。

基于视频监控行业的分布式文件系统是以块存储为实现目标，直接在块设备文件上构建而成。

三、进一步的扩展

分布式文件系统具有高扩展性、高性能、高可用性、可横向扩展的弹性分布式文件系统，在架构设计上非常有特点，比如无元数据服务器设计、堆栈式架构等。然而，存储应用问题是很复杂的，也不可能满足所有的存储需求，设计实现上也存在考虑不足之处。

1、无元数据服务器的设计导致数据一致问题更加复杂，文件目录遍历操作效率低下，缺乏全局监控管理功能。同时也导致客户端承担了更多的职能，比如文件定位、名字空间缓存、逻辑卷视图维护等等，这些都增加了客户端的负载，占用相当的CPU和内存。

采用的堆栈式设计具有很强的系统扩展能力，系统的设计复杂性降低很多，基本功能模块的堆栈式组合就可以实现强大的功能。一层一层进行调用，效率可见一斑。而非堆栈式设计可看成类似Linux的单一内核设计，系统调用通过中断实现，简便高效。

2、使用原始格式存储文件或数据分片，可以直接使用各种标准的工具进行访问，数据互操作性好，迁移和数据管理非常方便。然而，数据安全成了问题，因为数据是以平常的方式保存的，接触数据的人可以直接复制和查看。这对很多应用显然是不能接受的，比如云存储系统，用户特别关心数据安全，这也是影响公有云存储发展的一个重要原因。我们采用私有存储格式可以保证数据的安全性，即使泄露也是不可知的。

3、采用弹性哈希算法和Stripe数据分布策略，移除了元数据依赖，优化了数据分布，提高数据访问并行性，能够大幅提高大文件存储的性能。对于小文件，无元数据服务设计解决了元数据的问题。但是还需要在I/O方面作优化，目前在存储服务器底层文件系统上仍然是大量小文件，本地文件系统元数据访问是一个瓶颈，数据分布和并行性也无法充分发挥作用。因此，目前仅适合存储大文件，小文件性能较差，还存在很大优化空间。

4、使用复制技术来提供数据高可用性，复制数量没有限制，自动修复功能基于复制来实现。可用性与存储利用率是一个矛盾体，可用性高存储利用率就低，反之亦然。采用复制技术，存储利用率为1/复制数，镜像是50%，三路复制则只有33%。其实，可以有方法来同时提高可用性和存储利用率，比如RAID5的利用率是（n-1）/n，RAID6是（n-2）/n，而纠错码技术可以提供更高的存储利用率。但是，鱼和熊掌不可得兼，它们都会对性能产生较大影响。

四、结束语

尽管分布式文件系统从整体设计上看，还存在着一些不足，但是不可否认，其线性横向扩展能力具有天生的优势，在大数据量的监控存储系统中，尤其是对于云存储系统，这是一个有着先天优势的集群文件管理系统，符合监控存储系统发展的未来。

参 考 文 献

[1]邓见光等，云存储及其分布式文件系统研究，东莞理工学院学报.2012年05期

[2]何兴高等，分布式个人文件系统的设计与实现，电子科技大学学报.2005年04期