基于大数据的决策支持系统建设概论
2020-09-04吴飞
摘 要 随着大数据相关的技术日益成熟,越来越多的企业利用大数据优化经营管理过程。Z研究所为解决经营决策中面临的信息孤岛和繁重的报表制作问题,构建了完整的经营决策指标体系结构,并采用基于Hadoop大数据的相关技术实现了数据的汇集、分析和展现,为决策层提供了强有力的数据支撑,促进了研究所更快更好的发展。
关键词 大数据;经营管理;决策支持系统
Abstract With the growing maturity of big data technologies,more and more enterprises are using big data to optimize their operation and management processes.In order to solve the management decision problem of information island and onerous reporting,Z institute builds a complete index system structure of business decisions,and uses the related technologies based on Hadoop big data to realize the data collection,analysis and display,which provides decision makers a strong support and promotes the development of the institute for better and faster.
Key words big data; operation and management; decision support system
引言
随着发展规模和业务范围的不断扩大,Z研究所陆续建设完善了多个种类的业务信息系统以支撑各业务部门日常工作的顺利开展,然而这些业务管理系统在建设过程中,相对独立、自成体系,导致业务信息形成信息孤岛,管理决策者在决策过程中只能参考具体业务系统中相对分散且独立的数据及报表信息,难以获取企业各个业务领域指标的全景视图信息。因此,在企业信息化水平高速发展的背景下,Z研究所对海量业务数据进行集成化、共享化、规范化管理的需求日益迫切。
1系统建设
大数据背景下的决策支持系统,采用基于Hadoop分布式管理體系架构及技术[1],将多源异构、分布存储的各类业务数据通过标准化接口进行集中管理,实现对海量数据资源的在线联机分析过程,建立完善的指标体系和统一指标表达模型,为z研究所高层进行快速决策与管理提供数据和技术支持。在此基础上,建立了如图1所示的决策支持系统体系架构,该架构由数据资源层、数据总线层、数据整合层、核心构件层、用户界面层构成。
数据资源层,该层主要指z研究所内部接入的各类业务系统数据资源,包括:人力资源系统、项目管理系统、财务管理系统、资产管理系统、质量管理系统等;此外,还要集成用户手工录入的各类数据资源。
数据总线层,该层为数据资源层接入的各类业务数据库提供一系列的标准接口,可实现不同业务数据库的快速接入以及业务数据的安全传递,有效提高系统的可扩展性能,其主要包括:接入规范、容错处理、数据维护、事务管理、协议转换等模块。
数据整合层,该层主要是对数据总线中存储的海量数据资源进行抽取、转换和装载,并统一集成到数据仓库中,实现对大容量多维异构数据的快速存储过程,为上层的决策分析提供底层数据支持。
核心构件层,该层主要为系统进行数据分析与展示提供具体的计算支持,具体包括:在线处理模块、统计分析与预测算法模块[2]、信息展示模块等。
用户界面层,该层主要是为数据上报人员、部门领导、所级领导和系统管理人员提供与系统进行友好交互的人机界面;展示界面主要包括总体监控全景展示和面向重要会议的信息展示两种形式[3]。
2系统组成及功能
决策支持系统,是一个为z研究所决策与管理层提供企业经营管理全景信息的业务指标可视化平台,主要功能模块包括:ETL模块、数据维护模块、数据仓库模块、在线分析模块、信息展现模块和系统安全管理模块,如图2所示。
2.1 ETL模块
ETL模块,对各业务信息系统相关数据完成抽取,并参照相关要求进行转换,最终统一集成至数据仓库。ETL模块主要包括结构化数据采集和非结构化数据采集。结构化数据采集:ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程,目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据。数据的抽取是从各个不同的数据源抽取到ODS(Operational Data Store,操作型数据存储)中,在此过程完成数据的清洗和转换。非结构化数据采集:ETL读取文件名称、文件类型、文件大小、创建时间、修改时间、上传时间、文件内容的基本的信息,并将其存入HIVE中。
2.2 数据维护模块
操作数据存储(ODS)是用于支持企业日常的全局应用的数据集合,满足企业对于即时性的、操作性的、集成的全体信息的需求,常常被作为数据仓库的数据源。Z研究所将ODS根据DW(数据仓库)的特征分为SBA(业务特征区)层和LAM(轻度汇总层)层设计,进行维度标准化和简单汇总处理。根据设计需要,ODS只存放当前或接近当前的数据,如果需要的话还可以对ODS中的数据进行增、删和更新等操作。
2.3 数据仓库模块
数据仓库是一个面向主题的、集成的、非易失的,用来支持管理人员决策的数据集合,数据仓库中包含了粒度化的企业数据。数据仓库不同于传统的关系型数据库,传统的数据库中的数据是围绕功能进行组织的,而数据仓库是针对某一个主题进行数据分析,z研究所建立了项目管理主题、人力资源主题、产品主题、财务主题等等,因此决策支持系统的数据仓库采用“雪花模型”设计[4]。数据一旦进入数据仓库,就不能再被改变了,当ODS中的数据改变后,再进入数据仓库就会产生新的记录,保证了数据的可追溯。
2.4 在线分析处理模块
为了充分利用计算机群集的存储和计算能力,z研究所通过采用列式数据库架构最大限度地减少I/O争用和使用大规模并行处理技术,确保大数据分析平台不仅可在数秒钟内准备并加载数据,还支持利用高级算法建立预测模型,轻松部署模型以提取、准备和混合数据,为业务提供分析。
2.5 信息展现模块
采用数据清洗、筛选、降维、聚类等操作将描述可视化任务的数据与视觉编码进行映射,在输入查询的维度以及条件之后,根据业务逻辑进行相应计算。结合当前业务域指标的分析和具体业务,选择图形或者表格来更好的展示具体的视图。
2.6 系统安全管理模块
本系统的安全设计主要采用三员管理思想,对应用系统的安全性和数据的安全进行安全管理。通过在决策支持系统中前置部署应用服务安全网关设备,对所有进出数据平台系统的网络访问请求以及请求内容按照可预定义的配置规则进行规则匹配校验,阻止非法用户请求以及一些基本的网络攻击形式。
3系统应用效果
决策支持系统上线提供使用后,按天或者实时的抽取各业务部门应用系统数据和录入到采集软件中的手工數据,数据的归并和整合由系统自动完成,大大减少了每个月的各业务部门生成报表的工作量。基于各应用系统的数据,决策支持系统实现了数据的指标化,并统一了维度,全面的构建了目前所内的数据结构,成功地将各应用系统数据串通,并提供相应的接口数据供其他应用系统访问,解决了各部门间的信息孤岛问题。
决策支持系统建设使用后渐渐的成为所领导班子常用应用系统之一,它有效地让所领导实时了解自己分管业务的发展运行情况,快速的根据业务状态调整策略,提高z研究所的经营管理能力。
4结束语
通过决策支持系统的建设,z研究所初步形成了统一的信息化规范数据,通过对日常经营管理数据的提炼并用可视化的方式反应研究所的运营情况及走势,为领导层决策提供了支持和管理工具,促进研究所更快更好的发展。
参考文献
[1] 崔曼,薛惠锋.基于云计算的智能决策支持系统研究[J].信息管理,2014(2):72-74.
[2] 徐婧,刘伊生,李欣桐.基于大数据的重大工程智能群体决策支持系统研究[J].河南科学,2019(6):1014-1019.
[3] 王伟杰,黄建隆,郭胜杰.基于大数据的医院运营决策支持系统建设[J].中国数字医学,2019(2):49-51.
[4] 唐秀忠,陈洪磊,陆玉发.基于OLAP的高校数据分析与决策支持系统研究[J].现代电子技术,2019(2):155-158.
作者简介
吴飞(1990-),男,江西景德镇人;学历:硕士,职称:工程师,现就职单位:中国直升机设计研究所,研究方向:大数据技术与应用软件工程。