APP下载

工程企业业绩共享平台建设

2022-04-15段海梦焦慧星

西北水电 2022年1期
关键词:数据仓库业绩工程

段海梦, 王 冰, 焦慧星

(中国电建集团西北勘测设计研究院有限公司, 西安 710065)

0 前 言

第四次工业革命以来,信息技术飞速发展,互联网应用充分普及,信息化、数字化、智能化正在深刻促进工程行业产业变革。十三五期间,OA办公、人力资源管理、财务管理、项目管理、档案管理等基础业务信息系统已初步覆盖工程企业内部管理的方方面面[1],为企业实现数字化转型奠定基础。十四五期间,数据将作为企业资产的重要组成部分[2],帮助企业应对数字经济时代的到来[3]。企业需要借助云计算、大数据、物联网、人工智能、区块链等新一代信息技术实现对数据资源的全面开发和利用,使数据发挥潜在价值和聚合效应,完成数据到资源再到资产的转变。

本文结合所依托的勘测设计、施工建造类企业特征,重点面向工程企业经营管理领域,对企业业绩资源进行全面整合与应用。业绩资源作为企业综合竞争力的体现,在行业间同质化竞争程度越来越激烈的情况下[4],对企业拓展市场、成功竞标等具有重要意义。业绩资源通常包括工程业绩、人员业绩、资质、获奖等各类资料,内容繁多,构成复杂,来源广泛,且分散于不同的业务系统和业务人员手中,面临数据质量参差不齐、孤岛化严重、使用效率低等问题,极大的阻碍了数据应用价值和潜在效益的发挥。通过构建企业级业绩共享平台,对分散于各业务系统和业务人员手中的数据资源进行系统化、标准化、集成化、共享化的管理和应用,能够帮助企业分析和明确市场定位[5],提高项目投标效率和中标概率[6],同时应用于管理辅助决策等。

1 行业现状与相关技术

国内工程行业数据管理与应用研究中,吴沂梅[7]提出了一种基于Excel表格进行监理企业业绩管理的设计方法,该方法相对简单原始,无法对大规模数据进行实时和共享式的管理与利用。黄晓辉[8]基于企业数据中心和数据挖掘技术开展了投标报价及相关辅助决策系统的研究,该方法对企业基础信息化及数据管理水平要求较高,在信息化发展和管理水平有限的企业难以实施。刘致彤等[9]利用Kettle ETL工具开发了面向集团级的统一数据资源调配和交互服务,该方法主要对工程管理领域的合同、项目等数据进行梳理和建模,服务于项目管理。

对不同企业而言,需根据自身信息化发展水平与管理需求,建立相关核心数据库进而提供有价值的应用服务。本文基于数据仓库技术对工程企业丰富的业绩资源进行分层建模与管理利用,建立了一个企业级业绩共享平台。数据仓库[10]是一种为管理决策提供异构数据集成与重组服务的技术,能够为复杂数据的处理、存储、分析提供支撑,具有面向主题、集成稳定等特点。不同于基础业务信息系统面向管理和事务处理的操作型数据库,数据仓库技术主要研究和解决如何从多源异构数据中获取目标信息。该技术能够对全业务环节、全生命周期的各类数据进行整合,为企业提供全面数据服务与应用,已经在银行[11]、电力[12]等行业管理中得到广泛实践和应用。

2 平台设计

2.1 建设目标与需求

工程企业业绩共享平台旨在建立统一的数据资源管理服务对企业经营管理相关的工程、人员、获奖、资质、市场等各类业绩数据进行全面、准确、安全的管控与应用,通过数据加工与聚合,满足经营管理工作的一站式资料检索和使用需求。平台应重点解决数据孤岛化问题(数据分散、缺乏关联、多来源数据冲突),通过集成与共享,充分发挥数据潜在价值和聚合效应。平台的核心功能包括数据采集与聚合,数据质量与安全控制,信息检索与应用服务。

(1) 数据采集与聚合

全面梳理企业核心业绩资源分布情况,建立主题数据体系和数据仓库模型。对分散于各相关业务系统及业务人员手中的数据资料进行统一采集、清洗、整理、聚合,实施系统化、标准化的管理与存储。实现从单一数据到关联主题数据的转变。

(2) 质量与安全控制

构建数据分析检测机制,完成对缺失、低质量、冲突数据的补充采集与报错纠正;通过权限控制、日志监控、备份等措施保证数据不被更改、泄露、丢失。确保数据完整性、一致性、准确性、安全性。

(3) 信息检索与应用服务

利用大数据检索及分析机制,为用户提供搜索引擎式资料检索服务;同时提供统计分析与辅助决策等功能,满足不同层级企业人员的数据使用需求,最大限度提高工作效率。

2.2 平台整体架构

平台采用B/S架构,依托开源框架进行开发。整体分为3层,如图1所示。

最底层为数据层,该层完成对数据的采集、加工、处理、存储,生成统一和标准化的主题关联数据集,提供面向应用的具体数据。采用ODS-DW-DM三层数据仓库模式[13]建立统一数据服务。结构化与非结构化数据分别存储于SqlServer数据库和ftp统一文件管理器中。中间层为后台服务层,提供信息检索、数据检测、文件加密、权限管理、安全认证、定时备份等应用服务和运维服务。基于Spring Boot框架开发并部署于Linux CentOS服务器。

最上层为前台应用表现层,提供全域检索、企业中心、业绩库、数据采集、系统维护等五大板块50余项功能页面,用户通过浏览器端登录访问和使用相关功能。使用Layui框架开发。

2.3 数据仓库模型

平台底层采用ODS-DW-DM三层数据仓库模式实现业务管理、数据整合共享、系统应用三分离。根据业务领域信息化水平能力,ODS(Operation Data Storage)原始操作型数据层以业务系统自动化采集、业务人员人工采集两种形式获取原始业绩数据,并以全量或增量两种模式进行数据更新。随后按照所制定的企业主题数据体系,将数据转化、加工后进入DW(Data Warehouse)主题数据仓库层,形成标准化集成主题数据。最后面向搜索、统计分析等具体应用功能,对数据进行复杂计算和加工,形成DM(Data Market)数据集市层。

建立数据仓库的关键是进行主题数据体系及关联业务系统梳理。主题数据体系聚焦实体对象完整特征及关联关系,打破单一业务系统数据局限性,提供聚合化、关联式的数据服务。通过对企业业绩相关全管理链数据分布情况的统计和分析,得到图2所示的包含工程、人员、获奖、资质、相关方、其他等六大主题在内的关联数据模型。

以工程主题为例,主要包括工程基本信息、合同信息(子主题)、招投标文件、项目信息(子主题)、履约文件、工程特性值、获奖信息、参建人员等基础元数据。数据来源包括:档案系统、项目管理系统、经营合同系统等。人员、获奖、资质、相关方等主题类似,均由多来源数据构成完整主题对象。主题间通过共有特征进行关联穿透。

3 平台功能及应用

3.1 主要功能

平台主要功能包括全域检索、企业中心、业绩库、数据采集、系统维护等五大板块。

3.1.1全域检索

基于全文检索技术实现对海量数据的一站式检索服务,用户输入任意关键词返回分类业绩资料详情,最大限度提高工作效率,降低平台使用门槛及学习成本。图3展示了用户输入检索词“抽水蓄能 浙江”后返回的分类业绩信息。双击搜索结果条目即可进入主题数据详情。

3.1.2企业中心

利用大数据统计分析技术对平台收录数据整体情况、常用经营指标(如新签合同地域分布、业务板块分布)等进行分析和展示,应用于企业管理辅助决策等。图4为平台高频检索词汇云图。

3.1.3业绩库

提供对工程、人员、获奖、资质、相关方、其他六大主题业绩数据的分类应用功能,可实现数据的分类、分级授权使用。相比全域检索的模糊式查询,用户可在特定类别业绩台账下设定常用过滤条件,实现更有针对性的资料查找与分析。图5展示了由档案系统、经营合同系统、项目管理系统、报评奖系统等多个来源的数据集成加工后构成的一个完整工程业绩详情。以工程为根节点,向下可穿透查看相关的合同子主题和项目子主题,由项目子主题的参建人员可关联到相关人员主题,实现主题间的便捷化、穿透式、关联性推荐查询。

3.1.4数据采集

受限于企业不同业务环节信息化管理水平不一致的现状,对信息化覆盖程度高的业务领域采用自动化采集的模式从相关业务系统获取数据;对信息化水平有限的领域,采用人工采集的形式完成对数据的补充和完善。如工程主题下的工程特性值和履约文件采集,由多名授权专业工程人员进行资料搜集与实名制录入,经相关管理人员审核后更新发布。同时平台通过自动检测缺失数据和用户在线反馈错误数据两种机制标记低质量数据,根据数据来源由原业务系统或授权人员进行维护,达到数据动态治理与质量提升的目标。

3.1.5系统维护

提供日志监控(含数据监控、用户行为监控)、权限分配(多层级授权管理)、基础数据配置等常用运维功能。保证系统安全与数据安全。

3.2 运行效果指标

平台自2020年10月上线运行以来,已在16家生产经营机构投入使用,所收录主题数据量及相关功能板块访问量统计如表1所示。

表1 平台运行指标表

在数据治理方面,平台集成关联业务系统11个,加工整合主题数据54 015个,底层存储数据10万余条,补充采集与报错纠正837条数据,对人员证件管理、中标结果管理、合同信息录入等多个管理环节进行漏洞修补和反向监督,有效促进企业数据质量和整体信息化水平提升。

在使用覆盖面及有效性方面,平台上线400余天,授权用户368人,累计访问45 165人次。日均访问量大于100人次,高峰期单日访问量超500人次,累计检索词汇26 089个。在水利枢纽、水环境治理、智慧城市、城乡建设等不同业务领域、千余个经营项目中投入使用,帮助企业挖掘潜在市场,极大地提高了工作效率与知识利用水平。平台上线后企业中标率得到一定提升,为企业带来新的经济收益。

4 总 结

(1) 本文以工程企业业绩共享平台建设为例,提出了一种基于数据仓库技术全面整合企业各环节业绩数据,构建多主题、多层次、互联化的数据服务体系的方法。有效地解决了数据资源分散化、质量参差不齐、使用效率低等问题。能够为企业各级管理者提供一站式、综合化、高质量、高效率的数据应用服务。

(2) 平台的建成对推动企业数据资产管理、数据资源利用、管理提升、数字化转型等具有重要意义。通过对数据的统一化、标准化管理及智能化监控,能够有效监督和反向促进相关管理环节的治理能力,提高企业基础信息化水平。

(3) 平台已被广泛应用于企业市场定位分析、项目投标和管理辅助决策中,为企业赢得了新的市场收益。下一步将继续借助数据挖掘、机器学习等先进技术,开发竞标价格分析、智慧编标等功能,进一步提高企业核心数字化竞争力。

猜你喜欢

数据仓库业绩工程
《计算机辅助工程》征稿启事
一图读懂业绩说明会
基于数据仓库的数据倾斜解决方案研究
2018年三季报业绩预告
2018年一季报业绩预告
本周公布2017年业绩大幅预增预告
探析电力系统调度中数据仓库技术的应用
数据仓库系统设计与实现
子午工程
工程