大数据存储在铁路专网共享中的应用与研究

徐海峰，罗雨新

(中国铁路成都局集团有限公司成都电务维修段，成都 610057)

1 概述

大数据是具有更强决策力、洞察发现力和流程优化能力的海量、高增长率及多样化信息资产，对巨量数据的存储、专业化处理将极大程度的运用低成本创造高价值，为用户提供更精准的服务。数据共享站主要用于中国铁路成都局集团有限公司电务系统（以下简称电务系统）所有段、科室、车间、工区资料的存储共享管理，目前已经在成都电务维修段（以下简称电务维修段）广泛使用，每个段、科室、车间、工区都有一个共享资源空间，所有人员在其权限范围内可以对资料进行上传、下载、删除、重命名、新建文件夹、关键字搜索等操作。本文通过与传统文件传输协议（File Transfer Protocol，FTP）服务器对比体现大数据存储的相对优势，提出建立数据共享站的方法、测试、验证，并对实际运用过程中的时间成本和数据管理成本进行探讨。

2 大数据存储与传统FTP服务器的对比

拓扑结构：传统FTP 服务器采用电脑终端作为服务器，在局域网内直接通过普通线缆连接，组成普通C/S 架构；大数据存储采用专用服务器、防火墙搭建网络，通过数据网实现近距离、远距离用户访问和数据交换，如图1 所示。

图1 传统FTP服务器和大数据存储拓扑结构对比Fig.1 Comparison of topologies between traditional FTP server and big-data storage

权限管理：传统FTP 服务器的权限统一由系统管理员账号进行设置，无法实现多样化权限控制，无组织架构进行支撑；大数据存储可通过组织架构、角色对不同账号进行权限设置，实现多样化权限服务，形成树状组织架构且可实时更新，对不同账号对应的权限进行支撑。

数据存储：传统FTP 服务器无特定存储空间用来对历史数据进行保留，数据一旦删除无法修复，数据上传下载过程中一旦出现网络中断或硬件故障，正在上传下载的文件也会丢失；大数据存储有硬件支撑，可腾出特定硬盘空间对历史数据进行一定时间段的存储。如果发生误操作的情况，还可通过后台进入特定存储空间进行数据恢复，若出现网络突然中断或设备故障，磁盘阵列会对正在上传下载的文件进行暂时保留，在网络恢复和硬件修复后，再对断点续传。

扩展性：由于传统FTP 服务器基本采用终端电脑作为服务器，内存、CPU 等性能本身就很容易达到阈值。因此一旦接入终端过多，所传内容较大就可能无法承载、需要扩容，其扩容相对困难，需要叠加硬件；大数据存储所使用的服务器性能高、内存大、CPU 处理能力强，完全能满足现有的内部数据资料交换以及极大数据的上传下载。若需扩容，只需购买磁盘阵列直接安装到服务器磁盘阵列阵中，重启即可，更为方便快捷。

传统FTP 服务器和大数据存储在访问进程、动态管理、保留历史记录、数据安全方面的区别如表1所示。

表1 传统FTP服务器与大数据存储部分功能对比Tab.1 Comparison of certain functions between traditional FTP server and big-data storage

管理模式：传统FTP 服务器很难统一管理，大到跨广域网搭建，小到局域网内部搭建，只要熟悉FTP 搭建技术的人员，都可以任选一台终端作为FTP 服务器，为其他普通用户提供FTP 服务；大数据存储采用网站式服务，使用唯一的服务器、防火墙，通过铁路数据网为整个电务系统提供资源共享业务，无论身在何处，只要能接入铁路办公网，就可以访问网站进行数据的在线浏览、上传、下载。

系统搭建成本：传统FTP 服务器近距离的环境可以利用现有终端、网线直接进行搭建，远距离环境涉及到的设备线缆更为复杂，后期扩容需增加设备线缆也更多，且需要大规模调整，近乎重新搭建；大数据存储前期搭建更为复杂，不仅需要考虑局域网内部的服务器、防火墙搭建，还需要考虑局域网环境接入到数据网的网络配置，后期维护扩容较简单，通过任一终端登录超级账户进入后台即可管理。

3 数据共享站的实现

数据共享站采用经典C/S 架构进行网络部署，在Spring Framework 基础上搭建的一个Java 平台，以Spring MVC 为模型视图控制器，MyBatis为数据访问层， Apache Shiro 为权限授权层，Ehcahe 对常用数据进行缓存，Activit 为工作流引擎。采用SSM 开发框架，提高了程序的规范性、可扩展性、可维护性以及代码的重用性。以下内容详细介绍了数据共享站的搭建以及测试和验证。

3.1 数据共享站的搭建

1) 数据共享站拓扑结构关系

数据共享站应用服务器和防火墙架设在“电务维修段”段机关信息机房，通过楼层交换机接入数据网，使用办公网的VPN 通道，用户即可直接通过内网终端进行访问，网络结构如图2 所示。

图2 数据共享站网络结构Fig.2 Network structure of data-sharing station

异地电务部用户、重庆工电段用户、成都通信综合车间用户的数据访问流程是先被发送到离用户最近的接入层AR 设备，查找应用服务器所处位置，发现位于电务维修段，将数据包上传到更高一级的DR 设备，再查找目的地，数据包再一次向上传递。然后通过核心路由器的转发到达接入路由器AR1 处，防火墙进行路由过滤等一系列安全操作后发送至应用服务器，应用服务器给出响应，用户成功进行上传、下载、删除等操作；本地电务维修段用户数据访问流程是直接发送到AR1 处，AR1 进行局域网内部数据转发，无需再通过上层设备流转。

2）角色权限管理

建立树型逻辑结构（包含电务部、各电务段、工电段、部门车间、工区四级），将相应人员信息（姓名、所属机构）通过后台进行导入，形成基础组织架构。创建多种角色，为不同角色配置不同操作权限（在线浏览、（批量）删除、批量下载、批量上传）和访问范围，如图3 所示。

图3 数据共享站用户角色配置Fig.3 Configuration of user roles for data-sharing station

批量删除、下载、上传是高级权限账号才可进行的操作。因为批量操作所占用的瞬时带宽较高，对数据库数据的同时访问存在风险，耗费设备和时间资源，所以应尽量避免长时间、多频次的操作。

3）数据安全

防火墙使用网关专用硬件平台，拥有详细的安全趋势和安全风险智能报表等日志表格，独立的日志中心并支持外置数据中心。SSL VPN 和IPSec VPN 两种VPN 极大程度的保障了数据传输过程中的完整性、有序性、机密性；NAT进行地址转换，对外隐藏私网地址，防止恶意攻击；访问控制ACL 可以对特定路由进行过滤，或仅让特定路由通过，保障终端的相互访问；防分布式拒绝服务（Distributed Denial of Service，DDoS）攻击功能有效防止大面积的服务瘫痪；用户认证通过AAA 技术对用户名、密钥进行核验，安全的密码由生成随机的16 位salt 并经过1 024 次 sha-1 hash，核验通过后才发行合格证，允许数据包的传送。为避免用户信息在接口调用过程中泄露、劫取、篡改，伪造等，要求所有调用服务接口的请求都需要对参数进行加密，返回的响应结果也将是加密的，需要调用方自行按照设定好的加密方式进行反解验证，如图4 所示。

图4 安全加密算法相关代码Fig.4 Codes of secure encrypted algorithms

权限管理中不同账号拥有不同操作权限、访问范围；批量删除、下载、上传是极高权限账号才可进行的操作；高级别拥有更多访问范围，低级别拥有局限访问范围，保证数据在共享的同时又避免资料泄露以及分级管理；应用服务器支持持久内存数据，断电数据也不会丢失；磁盘的应用服务数据备份均备份到从属磁盘。以上操作使得数据更可靠、更安全。

4）服务器数据存储与扩展

数据存储与扩展主要依靠应用服务器的支撑，应用服务器技术指标和具体要求如表2 所示。

表2 服务器配置与作用Tab.2 Server configuration and functions

3.2 测试与验证

针对数据共享站各功能的测试、验证，采用现场试点的方式进行。现场试点范围涉及电务部、电务维修段、其他段、现场车间、工区，覆盖面积达到两万平方公里，试点时长超两个月，收集统计了业务所能提供的带宽、速度、平均网络流量和流量峰值等相关数据。

应用服务器所提供的业务项包含信息浏览、审核、接口交互等，其带宽的计算公式为：带宽（Mbit/s）=点击量×单次点击占用带宽+访问量× 单次访问占用带宽，宽带速度计算公式为：速度（kByte/s）=带宽×1 024/8，流量计算公式为：流量（M）=带宽×时间/8，具体统计数据如表3 所示。

表3 采集数据共享站应用服务器的相关数据Tab.3 Data on application server of data-sharing station

创建四级账号，按照前期设计配置不同角色，发送账号到对应电务部、各段、车间、工区，测试操作权限和访问范围是否与设计一致，具体内容如图5所示。

图5 数据共享站角色配置Fig.5 Configuration of user roles for data-sharing station (examples)

收集后台历史记录，测算每一次操作所占用带宽，某一时间段带宽总量，极大文件上传、下载所耗用的时间，以此判断服务器承载能力，具体内容如图6 所示。

图6 数据共享站后台历史记录Fig.6 Background records of data-sharing station

4 应用

4.1 数据管理成本

传统FTP 服务器在电务维修段全段范围内共搭建10 处，全段范围搭建1 处，部门内部搭建3 处，现场车间搭建6 处，共使用10 台服务器。形成10个互相无数据交换的局域网，且因为无防火墙等安全措施，数据存在遗失、泄露、病毒侵害风险，无法对所有数据进行统一管理、统一规划，且维护时需要到各服务器所在地进行。

数据共享站仅在电务维修段搭建1 处，就可以实现整个电务系统的资源共享，采用唯一超级账号进行统一的权限修改、结构调整、数据备份、修复、安全措施等，上到电务部、下到现场工区，都可进行资料交换。维护工作通过两种方式完成，方式一：在电务维修段段机关内网终端进行操作，方式二：远程登录后进行操作。但无论是哪一种方式都极大程度节约数据管理成本和人员维护成本。

4.2 时间管理成本

传统FTP 服务器前期搭建成本相对较低，近距离的环境可以利用现有终端、网线直接进行搭建，远距离的环境涉及到的设备线缆更为复杂，但后期扩容需增加设备线缆更多，且需要大规模调整，近乎重新搭建，浪费人力财力更多；数据共享站前期搭建成本相比较多，但一旦搭建完成，后期维护扩容都极为便捷，其应用服务器支持多个内存插槽，便携式插卡扩容节约整个扩容过程的时间，总体更节约成本。数据共享站和传统FTP 服务器的上传、下载文件的速率对比如表4 所示。

数据共享站的上传、下载速率明显高于传统FTP 服务器，直观体现在实际运用中，数据共享站所节约的时间成本。

5 结语

数据共享站利用现有大数据、云计算技术，将对输入后台服务器的大量信息进行分析，结合铁路专网的广覆盖性、全程全网实现整个电务系统的资料交换储存，利用高性能应用服务器提供高速率短时间的数据上传下载，企业级集成化防火墙兼具入侵检测、漏洞扫描、防病毒、数据备份修复等功能，将众多功能集成到一个硬件设备的方式不仅节约成本，而且能快速的对风险进行防控和有效的处理，保障信息的安全性、保密性、完整性。大数据存储技术在铁路专网的应用，将大幅提高工作效率、节省资料交换的时间，为日常工作带来便利。