基于大数据的数据分析平台构建研究

2021-04-04刘东旭通讯作者

信息记录材料 2021年9期

刘东旭，孙安（通讯作者）

（马鞍山学院安徽马鞍山 243000）

1 引言

随着数据技术的成熟，数据量以爆炸式增长。通信、电子、信息等产业的发展导致了产业间的激烈竞争。通信运营商面临产生的新问题：如何在自己的运营模式中利用海量的信息数据，产生属于自己的利益。这些海量数据信息遍布在网络环境中的不同角落，存在的数据信息类型也有很多类型，如生活、交通、金融等，数据存储技术的广泛应用给人们带来了更多机会和便利。另外，海量数据信息的出现在发展过程中遇到的挑战也不容忽视。为了解决这些具有挑战性的问题，需要开发一个大容量的数据存储和分析平台。数据属于数据集的一部分，其存储结构有两种，即半结构化和非结构化数据，两者之间存在很多差异，需要我们深入分析。云技术的低成本和数据处理的速度优势为数据技术的新升级提供了新思路。

2 基于云计算的企业会计大数据

大数据与会计两者充分结合对会计大数据发展起到重要的促进作用。其中，会计大数据的产生与原始产生的数据信息有很大关系，企业为实现会计相关目标会进行大量资料的搜集整理，从网络平台等地方来获取相关信息数据后进行综合分析，最后会对产生的会计数据信息进行加工处理，进而产生新的数据信息，以上都属于会计大数据的相关内容。

会计大数据是新时代背景下的重要信息化产物，作为企业会计信息化的重要组成部分，可以为企业会计数据信息的处理提供高效处理机制与发展思路，总体来说有3个方面的特性。

（1）会计大数据规模和数据量庞大，与原始会计数据进行比较，具有充分的优势，可以在企业中构建性能良好的信息化处理系统，对各部门和组织之间产生密切关联，促进会计数据和相关信息内容实现共享状态。同时，会计大数据产生的数据量要比传统数据更加复杂、层次性丰富。

（2）会计大数据呈现出多样化特征，且存在形式种类特别多。目前，会计大数据信息系统中存在多种数据信息，如财务数据、非法财务数据等。该数据系统不仅拥有纯数字化内容信息，还有丰富的图片、视频、网页等形式的信息存储形态。

（3）会计大数据处理速度比传统方式高出数倍，产生这样的结果与云计算、Hadoop等技术的快速发展密切相关。另外，现在网络数据载体的多样化也给大数据信息存储带来了更多便利，如PC、传感器等设备的发展给大数据信息存储带来了丰富的载体形式。相对于传统会计数据处理时间较长的局面，往往无法更高效率分析出正确结果，由于数据处理时间过长，会给会计大数据造成较大损失，从而失去其自身价值[1]。由此看来，大数据技术在会计方面的优越性能带来了更加快速的信息处理能力，给企业会计数据处理运用提供了有价值的技术支持。企业中的大数据信息技术能力需要借助其内部业务的发展能力，来加快信息和数据的处理速度，保障企业会计数据信息的多样性和安全性，给企业带来更多生产效益，促进经济快速发展。

3 会计大数据分析平台构建概述

3.1 可行性分析

企业在构建会计大数据的时候，首先要根据企业内部实际情况来进行可行性分析研究，评估构建大数据分析平台给企业带来的效益与价值，还要对平台建设所需费用和后续发展方向等方面进行综合分析，利用经济学等理论来确定大数据分析平台给企业造成的正、负面影响和价值。

构建会计大数据最初阶段，我们需要考虑关键的问题包括：首先，我们需要保证会计信息的传输速度要符合企业发展节奏，这样可以给企业的会计日常工作带来良好的基础。平台的成功建设可以解决传统文件发送格式的不同，可以进行格式文件的任意转换，产生的效率得到大幅度提升。其次，会计大数据分析平台可以给员工带来更多工作上的便利，员工可以利用网络查看会计数据信息并下载相关数据报表，不同部门之间也可以进行数据信息的共享查看，实现有效沟通交流，提升工作效率。会计信息共享能够提供企业内部重要信息保护屏障，强化信息安全保障，不易产生数据损失情况[2]。最后，基于新技术形式下的会计大数据分析平台的构建，可以给企业节约大量信息处理产生的成本，促进企业开源节流发展形势。

3.2 平台功能分析

会计大数据分析平台应用范围较为广泛，其功能表现在多个方面，我们可以从以下几个方面来对其重要功能进行分析。

（1）可以实现企业会计信息与业务的整合。会计大数据分析平台的构建给企业内部的会计信息管理系统中增添了新的技术管理形式，在系统中产生的销售信息等数据，可以通过企业内部的销售网络进行共享。同时，会计部门的数据信息也会进行整合分析，进而上传到企业总部。在数据信息传输过程中，会计信息不受到任何干扰，会直接传输到目标位置，体现出了信息传输的直接性，保障了信息安全和真实可靠，提升了会计工作效率。同时，在数据信息生产加工过程中，该平台可以对企业产品或服务信息进行统计、分析、存贮，对其过程的人员和设备信息也会进行记录统计[3]。由此可见，这种信息数据处理机制，让企业管理者能够清晰了解工作流程情况，掌握基础生产服务信息，对平台产生的信息数据进行综合评估，如人员、生产材料、设备信息等。会计大数据分析平台能够合理进行配置生产资料、协调工作流程机制、科学合理化分配工作人员，节约企业成本。在数字化信息共享时代，信息管理规范化需要进一步确认，得到企业的广泛认可。通过大数据分析平台的建设，让企业会计信息与业务实施流程得到融合发展。

（2）会计大数据分析平台能够提高企业内部沟通效率，促进工作规范化。该平台的建设会将传统的信息管理工具和手段进行统一整合优化，充分协调会计部门产生的相关数据与其他人员进行共享，避免产生信息流通现象，这样对企业会计信息的健康发展和规范化制度的实施产生有利条件，同时会给企业在市场发展过程中营造良好的发展环境。

（3）可以提升财务决策分析能力，帮助企业规避运营风险。该平台可以对企业财务决策数据运用大数据相关技术进行分析，来实现财务数据的科学规范化管理。同时能够表现出企业市场运营状态和经济效益，帮助财务管理者规避风险。

（4）构建会计大数据分析平台，能够实现企业的智慧化发展。企业会计大数据的有效实现需要以财务管理系统的智慧化来完成，基于云计算、大数据等新时代技术观念，我们可以利用该平台优越的基础功能，来对财务管理系统进行优化，包括信息的可视化操作、自定义查询等，帮助企业实现个性化信息管理，充分掌握企业财务数据情况[4]。

4 大数据分析平台构建关键要素分析

4.1 数据的存储及管理

与传统数据分析一样，大数据信息时代首先要考虑的就是数据存储问题。运用大数据信息技术来处理企业信息需要借助分布式文件系统来完成。随着当前企业多样化需求的不断出现，利用传统方法无法完成高效的数据处理工作。分布式文件系统具备优越的数据处理性功能，具有两大优势：一是可以利用自身独有资源优势，二是提供多方式数据分析需求，且效率大幅度提升。这两个优势足以满足数据分析的基准。针对上述问题，可以通过数据库来解决数据结构化存储的困难。已知的大数据库拥有海量的数据，但它们对图表文档等半结构化数据的处理效果还是非常令人满意的。由于目前没有严格的数据存储格式，例如图表和关键值用于数据库标准化，可以完美地将各种信息存储在各种文档中，可以看到数据库的图表。作为一种高效的处理方法，它可以允许数据存储为密钥。数据库系统能够避免应用程序出现一些麻烦和问题，相对于传统方法来说优势较为明显。产生这样的结果，是由于为数据库提供了一些标准化可以测量的情况。这些数据库没有太多的图标，数据结构可以快速改变而无需重新计算，从而创建云架构的可扩展性。

4.2 数据的存储及收集

随着系统运行时数据集不断增长，需要以更快的速度收集和存储数据。目前的协议暴露了采集速度和性能不尽如人意的问题，增加的内存资源消耗尤为严重。远程直接内存访问协议的结构实现，节约大量数据内存资源来提供高效扩展应用。另外，还有其他方法可以用来数据收集和存储，例如数据流系统处理程序也用作大数据技术处理程序[5]。这些计划的目的是减少收集到的没有实际意义的数据量，以实现未来的成本降低目标。

4.3 云计算基础架构建设

大数据分析平台构建需要云计算的超大容量存储能力、分布式处理能力等核心优势。基于现代云计算技术的发展程度来说，其基础架构包括3层，即顶层、中间层、数据中心，又可以往下细分5大模块。其中顶层包括2个模块，即工作流和用户接口系统；中间层负责处理并行数据预期预处理子系统；数据中心则作为云计算架构中的核心部分，主要负责数据的汇总、分析、处理，是云计算架构体系中至关重要的部分。