基于Hadoop的分布式预算管理平台系统研究

丘宽

【摘要】    随着企业规模发展，企业的预算管理成为促进企业健康成长的重要基础。现代企业的预算管理涉及各个业务的复杂数据处理，需要能够跟踪预算的执行过程，通过对预算执行数据的监控，实现一定程度的预测，因此对预算管理平台具有较高的要求。传统的预算管理平台功能较为单一，数据处理功能较弱，无法应对日益复杂的企业业务发展。随着大数据技术的发展，Hadoop等分布式平台得到广泛应用。通过Hadoop平台可以存储规模庞大的企业数据，并提供较强的计算能力，同时支持进行数据挖掘，实现预算的预测等，因此本文对基于Hadoop的分布式预算管理平台进行研究。

【关键词】    分布式    预算管理平台    Hadoop

一、绪论

预算管理平台用于支撑企业的日常经营以及企业战略的实现，是现代企业中的重要信息系统。通过预算管理，统一分析企业中的各项数据，跟踪企业各项业务的发展，用于分析企业的资金、财务、业务流程的执行。企业预算管理涉及企业业务发展的各个方面，需要针对企业业务的各项数据进行深入分析，因此需要全面整合企业的各项数据。随着现代企业的发展，各项业务数据逐渐增加，为提供企业制定预算、监控预算执行的科學性，需要预算管理系统提供较为强大的计算能力，在进行预算计划时，能够提供部分预测功能。

传统的预算管理系统功能主要基于Oracle等传统数据库进行架构，传统数据库在数据存储、存储计算等方面的能力较为有限，对于大规模的数据其计算效率较低，并且难以扩展。同时，对于数据挖掘、机器学习等功能的支撑也较为有限。近年来，以Hadoop为基础的大数据平台得到广泛的应用。Hadoop平台采用分布式架构，能够方便的进行横向扩展，当系统资源无法支撑企业预算功能时，可以通过在集群中增加服务器的方式快速提高系统的性能。同时，由于预算管理的数据一般涉及企业的核心数据，虽然传统的Oracle架构提供了冷备以及热备等方式应对突发故障，但是也很难避免核心数据的丢失。而分布式Hadoop采用分布备份的方式，将核心数据分布在不同的服务器上，其数据安全性得到进一步的保障。同时，分布式Hadoop提供各类机器学习的库，如Mahout等，扩展了系统的学习能力。因此，本文基于Hadoop框架设计企业预算管理平台。

二、系统需求分析

预算管理平台涉及对预算的编制与计划、预算的执行管理、预算监督、预算基础数据维护等功能，如图1所示。

（1）预算编制与计划。预算编制与计划模块提供年度、季度、月度预算以及特殊预算编制等功能。预算编制的基础在于以详实的企业数据为依托，对企业未来发展所需预算进行科学预测，因此需要系统能够提供全面的数据，以及预测功能。

（2）预算管理。预算管理模块提供对预算的查询、预算预警以及预算的统计功能。对预算的查询需要快速响应，同时对预算执行中可能存在的偏差进行预测以及预警，并提供完善的报表统计功能。

（3）预算执行。预算执行模块提供预算监控、预算跟踪以及预算执行分析功能。该模块可以跟踪预算的详细执行情况，并分析执行的信息。

（4）核心数据管理。核心数据管理模块提供对核心数据的入库、核心数据加工以及核心数据的备份与恢复等功能。通过核心数据管理模块汇总企业的各项核心数据，并转化为标准的数据格式提供给系统进行计算。

三、系统框架设计

本文基于Hadoop技术栈设计企业预算管理系统。Hadoop基于集群方式管理企业预算管理系统中的各项数据，对企业数据进行大规模存储，同时提供计算能力分析企业预算数据，同时提供机器学习接口，通过对预算管理数据的分析，提供不同尺度的预算的预测以及预算执行过程中的预警功能。本文设计的预算管理系统架构如图2所示。

基于Hadoop的预算管理系统采用五层架构。首先是基础层，包括Hadoop集群主机、存储以及网络等要素。第二层为ETL层，通过ETL将各业务系统数据采集到Hadoop集群中进行标准计算、数据挖掘等。第三层为存储层，为了方便预算管理系统访问各业务数据，通过ETL工具采集各个业务系统的数据并存储到Hadoop集群。通过ETL汇总的预算基础数据，通过建立数据仓库模型进行管理，在构建数据仓库模型时，基于Hive技术进行实现。其中可以构建贴源的ODS层，主要存储7天左右的业务原始数据。通过对原始数据进行初步计算，得到DWD层，然后进一步为预算管理系统的各个模块提供面向应用的DW层，通过汇总DW层的主题模型形成ST系统模型层。为了能够降低系统内部各个模块的耦合性，本文设计服务层，通过API接口、文件接口、消息机制的方式提供系统服务。系统的最上层为应用层，提供预算管理平台各个业务模块的功能。

四、系统关键技术

本节分析预算管理系统实现的关键技术，主要包括Hadoop集群构建、 数据模型实现以及系统服务实现。

1、Hadoop架构构建

本文基于Hadoop技术栈搭建预算管理系统，系统集群中包括主节点以及数据节点，其中主节点用于管理与协调各个子节点，数据节点用于存储数据。在计算框架上，选择Map/Reduce框架，该框架将数据任务分布到各个子节点，然后汇总处理各个子节点的计算结果。在Hadoop的调度上，本文采用YARN进行分布式调度，将不同的Job Tracker分布到集群的服务器上。在数据仓库构建上，本文选择Hive作为数据仓库的实现基础平台，Hive对外提供SQL的访问机制。ETL选择Kettle将各个中心的数据进行汇总，如图3所示。

2、数据模型实现

在预算管理平台中，基于Hadoop汇总各个业务系统的数据以后，基于Hive构建数据模型，数据模型有利于对预算数据进行标准化，并形成中心主题，然后提供给预算管理系统使用。同时，通过数据模型，也为数据挖掘以及预测奠定数据基础。通过以下形式化过程，构建预算管理的模型，保障数据的一致性。假设∑表示预算管理模型，其中预算规则为C，数据D∈C，r∈R，a，b∈I，则定义如下的模型构建过程：

（1）包含关系构建，∑├C?D，其中CI?DI。检测所有满足I├∑的的数据模型以及关系。

（2）数据实例检测，∑├a：C。检测所有满足I├∑的数据模型，是否满足aI?DI。

（3）数据关系检测，∑├（a，b），检测所有满足I├∑的数据模型，是否满足aI，bI?rI。

（4）数据概念检测，∑├（a，b，C），检测所有满足I├∑的数据模型，是否满足aI，bI?CI。

（5）数据模型一致性检测，∑├，检测所有满足├∑的数据模型，是否满足I?CI。

通过依照以上形式规则，可以构建预算管理系统中的各类数据模型，并且可以通过形式规则保障数据模型的一致性，从而保障模型的安全。

3、系统服务实现

本文设计预算管理系统服务如图4所示。API Gateway是微服务系统的对外服务接口，外部系统只有通过网关才能访问系统内部的各项功能。外部应用一般将请求发送给网关，网关进行权限认证等处理以后，会根据请求的不同发送给注册中心。注册中心维护了微服务系统中各种服务的基本信息，只有要注册中心注册的微服务才能被外部系统访问。通过注册中心，将请求发送给具体的微服务模块进行处理。在调用具体的微服务时，一般采用RestFul接口的形式，目前RestFul接口调用对系统消耗的资源最少，调用也最为方便。

五、总结

本文基于Hadoop架构设计企业预算管理平台，通过分析预算平台的需求，设计系统的框架，然后详细分析了Hadoop架构的搭建、数据模型的构建以及微服务中心的实现。

参  考  文  献

[1]李喜欢. 基于业财一体化的企业PPP业务全面预算管理系统优化[J]. 国际商务财会， 2020（7）：17-19.

[2]石锴. 企业财务管理信息化中智能预算管理系统研究[J]. 办公室业务， 2020，9（1）：10-14.

[3]鲁志芳. 基于Hadoop技术的大数据分析应用系统的研究与设计[J]. 电子设计工程， 2019（16），10：18.