中国铁道科学研究院集团有限公司
——铁路数据服务平台
2019-01-30铁科院铁路大数据研究与应用创新中心
铁路数据服务平台是面向铁路企业的一站式大数据解决方案。平台包括了海量结构化与非结构化数据接入,PB级数据离线分析、TB级数据实时分析、数据多维分析、自助分析、数据可视化等功能。该产品根据铁路应用的特点进行了个性化定制,加入了铁路数据分类体系,能够对接铁路主数据平台,在自助分析模块中内置了若干铁路专业分析算法,适合铁路企业的多种大数据分析场景。
产品功能
铁路数据服务平台主要包括数据集成、数据共享、大数据存储与分析、数据治理、系统管理等五大功能。
● 数据集成
主要提供结构化数据集成、实时流数据集成、非结构化数据集成等功能,满足各类型数据采集需求。
● 数据共享
主要面向全类型数据(结构化、半结构化、非结构化)的存储、查询,以海量规模存储、快速查询读取为特征。通过关系型数据库存储技术融合高效低成本的大数据存储计算技术,完成结构化数据及非结构化数据的存储计算,并可以对数据表进行申请、授权等管理,可以针对不同用户生成不同的数据共享策略,粒度控制到字段级。
● 大数据存储与分析
主要提供统计分析、数据挖掘服务、可视化服务等功能,利用数据仓库和数据集市等构建面向业务人员使用的统计分析功能组件,同时,增加对大数据挖掘分析的支持,提供拖拉拽的分析和可视化环境,用户根据业务需求选择封装后的算法组件和可视化组件,即可得出分析结果。
● 数据治理
主要实现对平台中数据质量的管理,包括对数据从获取、存储、共享、维护、应用到消亡的整个生命周期中,每个阶段可能遇到的各类数据质量问题进行识别、度量、监控、预警等一系列功能,并通过对接主数据平台来保证平台中主数据的规范性。
● 系统管理
主要提供集群管理、用户管理、大数据各组件服务状态监控、平台审计等功能。
技术参数
平台支持横向扩展,PB级数据的离线分析以及TB级数据的实时在线分析。
产品特点
具有铁路自主知识产权,对铁路的应用场景进行了深度定制和个性化改造,满足铁路人员的使用偏好和需求。拥有独立的软件著作权证书及平台基础能力测试证书。
同多家硬件提供商进行合作,数据服务平台针对不同品牌所提供的X86服务器,分别进行了深度优化,为用户提供软硬件集成的一体化解决方案,大大节省了系统部署时间,也能够有效降低采购成本。
推广情况
目前,该平台已经部署在北京局、广铁集团等多个铁路局,作为铁路局安全大数据、运营资源管理大数据等应用的基础支撑,为各应用系统提供历史数据存储、大数据挖掘以及数据可视化展现的能力。