APP下载

探析城市级轨道交通大数据中心系统设计要点

2018-11-16杨烨

消费导刊 2018年4期
关键词:大数据分析数据仓库

杨烨

摘要:随着城市轨道交通新线路的不断投入运营,如何有效的从线网层面对各线路进行统筹管理将是各个地方轨道交通管理的难题之一。通过建立大数据分析系统,打通各线路各专业之间的数据连接,实现线网级的数据共享,将是解决这个问题的有效方法。

关键词:大数据中心 大数据分析 数据仓库

一、项目总体设计思路

基于对大数据中心建设中所要解决的关键问题的分析,本系统在架构设计思路上既要充分体现灵活性和又要把握住整体性,既要满足数据中心的现有的业务需求又要能够支撑未来复杂多变的新增业务需求,既要采用成熟可靠的技术平台又要充分结合相关的科研成果。

二、柔性的应用系统架构

通过设计柔性的应用体系架构满足城市级轨道交通指挥中心信息中心系统业务需求灵活多变的特点。所谓柔性的应用系统架构的主要特点包括:各种应用系统的功能模块可以灵活组合满足灵活多变的业务需求;复杂的解决方案通过基本的业务功能模块组合来实现;业务功能模块间耦合性低,功能模块可以独立的开发演进而不影响其它功能,同时加强某个功能模块的能力就可以提升解决方案的能力;开放的体系,新的功能模块的挂接以及随时加入。对于大数据中心项目,柔性的应用体系架构包括以下几个核心的思路:

(一)以业务工具为功能核心

对应于数据中心的每个业务需求,都会有一个业务解决方案来对应,简称业务方案。业务方案本身其实是通过多种业务工具的组合使用来达到一个具体的业务目标。系统的核心架构思想就是将系统的核心功能划分为多个业务工具,并以这些业务工具为系统功能核心,通过业务流程配置把业务工具灵活的组合起来形成业务方案,以满足复杂多变的业务需求。

(二)业务方案为业务的核心

针对每一种业务的需求,都可以通过配置业务流程形成业务方案来实现。业务方案可以保存在系统中形成固定的方案,比如一个具体的专题分析业务的方案或者运营评估业务的方案。这些方案可以经过抽象形成固定的业务方案模板,通过设定模板中的不同参数条件,将模板具体化为针对某个特定条件的业务方案。业务方案本身体现了用户在业务方面的知识和经验。数据中心在业务发展的过程中,随着业务需求的不断增加,新的业务方案会不断纳入到整个业务方案体系中来。从一定意义上说,一个业务方案就代表一个具体的业务,全体的业务方案就代表着数据中心的所要处理的全部业务。

(三)灵活的业务流程配置

数据中心的各类业务需求,无论是已有业务还是未来某个新增业务,都要通过把业务工具通过业务流程组合形成针对性的业务方案,并通过执行该业务方案的方法来满足业务需求。业务流程的配置有两种方法,无形的流程和有形的流程。无形的流程就是业务人员不需要借助流程配置工具,而自己根据需要直接调用业务工具。使用者通过人工录入或者数据加载的方式为工具提供输入数据,并导出最后的结果;然后再调用下一个工具,加载上一个工具的输出结果作为输入并进行操作。在这种流程模型下,流程不是固定的,根据使用者的意愿来随意调整,最终也不会形成固定的业务方案。有形的流程就是业务人员借助流程配置工具来设计固定的业务方案。在配置业务流程的过程中不需要专业的软件开发人员来参与,业务人员可以通过人机交互的方式进行业务流程的定制,并形成固定的业务方案,交给系统自动执行。

(四)可管理的业务方案

随着数据中心的业务发展,会不断的累积各类的业务方案。作为用户核心价值所在的业务方案,需要系统提供非常便利和可靠的管理功能,这些功能主要包括:可以创建新的业务方案;可以修改已有的业务方案;业务方案可以长期保存;可以查询,检索;可以删除,更新;业务方案经过设计完成后,可以进行发布,经过评审和使用权限设定后可以在使用者之间共享使用,成为组织级的知识财富;业务方案可以被系统加载执行。执行过程中,通过输入不同的参数,业务方案被实例化成不同的业务实例,业务实例的输出结果可以被保存,并提供其他的业务方案使用。

(五)可组合的业务工具和业务方案

业务工具可以通过流程配置行成业务方案。业务方案本身也可以作为业务工具,通过流程配置行成更复杂的业务方案。业务方案的组合本质上就是业务流程的组合,工具是相对稳定不变的,因此业务方案天然就具有与其它业务工具和业务方案的组合的能力。业务方案在设计完成后,可以固化为特定的业务工具,和其它的业务工具具有同样的使用特性和使用方法。

三、全方位的应用系统集成

大数据中心项目建设中包括多个业务平台以及众多的独立的业务应用系统。这些业务应用系统既可以独立的实用,也可以通过集成的方法灵活的组合起来使用,解决更加复杂的业务问题。根据业务需求的分析,数据中心对于信息中心系统集成的需求不僅仅是简单的基于SOA架构的应用集成,而是全方位的集成需求。包括跨系统的界面交互操作需求,跨系统的业务功能调用需求,业务系统间的数据交换需求以及输出成果的集中管理需求等。针对以上的系统集成的需求,在系统总体设计上需要实现全方位多层次的系统集成的应用系统体系架构。

四、“自顶而下”的数据模型设计

数据模型是抽象描述现实世界的一种工具和方法,是通过抽象的实体及实体之间联系的形式,来表示现实世界中事务的相互关系的一种映射。在这里,数据模型表现的抽象的是实体和实体之间的关系,通过对实体和实体之间关系的定义和描述,来表达实际的业务中具体的业务关系。数据仓库建模时通常采用“自顶向下、逐步求精”的方法,建模从设计过程上可以分为以下几个阶段:1.业务建模,生成业务模型,主要解决业务层面的分解和程序化。2.领域建模,生成领域模型,主要是对业务模型进行抽象处理,生成领域概念模型。3.逻辑建模,生成逻辑模型,主要是将领域模型的概念实体以及实体之间的关系进行数据库层次的逻辑化。4.物理建模,生成物理模型,主要解决,逻辑模型针对不同关系型数据库的物理化以及性能等一些具体的技术问题。

因此,在整个数据仓库的模型的设计和架构中,既涉及到业务知识,也涉及到了具体的技术,我们既需要了解丰富的行业经验,同时,也需要一定的信息技术来帮助我们实现我们的数据模型,最重要的是,我们还需要一个非常适用的方法论,来指导我们自己针对我们的业务进行抽象,处理,生成各个阶段的模型。

猜你喜欢

大数据分析数据仓库
基于数据仓库的数据倾斜解决方案研究
基于数据仓库的住房城乡建设信息系统整合研究
页岩气工程大数据仓库建设与管理系统开发
大数据分析对提高教学管理质量的作用
分布式存储系统在液晶面板制造数据仓库中的设计
基于大数据分析的电力通信设备检修影响业务自动分析平台研究与应用
面向大数据远程开放实验平台构建研究
面向大数据分析的信息管理实践教学体系构建
传媒变局中的人口电视栏目困境与创新
探析电力系统调度中数据仓库技术的应用