基于云计算的企业大数据分析系统研究

徐建红

(山东经贸职业学院，山东 潍坊 261011)

0 引言

大数据时代，数据资源是企业发展中不能忽视的重要资源之一，企业通过构建大数据分析系统，可以更好地掌握行业数据、企业内部数据信息的规律和潜在信息等，为促进企业决策和发展战略制定提供必要依据。在构建大数据分析系统中，云计算技术也是重要的组成部分，这一技术的有效应用，对于优化系统设计、提升系统性能等都具有重要作用。

1 云计算和大数据技术概述

1.1 云计算技术

云计算技术应用中，需要借助相关硬软件资源支持，结合客户的具体需要，在多个端口以及规格应用，为客户提供服务[1]。在云计算技术应用过程中，搭建云平台是基础工作，这是支撑平台运作的前提，可以帮助获取大量的信息资源，进行业务计算等，还可以进行数据存储，借助云平台对相关数据开展计算，结合客户需求快速为客户获取资源提供支持。考虑到不同客户的需求存在一定差异，云平台能够为客户提供对应服务，具体的服务模式也能体现云计算技术的应用价值。云计算技术的出现提升了客户的业务办理效率[2]。公司借助云平台，可以避免针对某个具体业务发展购置相关配置，不需要单独构建数据库和机房等，客户只需要表达自己的需求，就实现数据处理效率的显著提升。

1.2 基于云计算的大数据分析技术功能

1.2.1 可视化

基于云计算构建大数据分析系统，可以确保实现信息处理中的可视化目标。以此为基础形成的重要因素也是大数据分析的重要前提和基础。大数据分析结果需要结合云计算可视化功能，确保数据分析者可以有效地进行数据分析，确保大数据可以实现分析判断，提升数据处理水平和效率[3]。

1.2.2 数据挖掘算法

这种算法能够为计算处理系统提供数据信息，协助实现数据挖掘的终极目标。云计算能够为数据处理分析提供有效的分割、集群、孤立点、运算方式等服务，促进计算系统有效开展数据挖掘[4]。在数据挖掘中，还需要做好海量数据处理，提升数据快速处理能力，确保及时挖掘出数据的潜在价值。

1.2.3 预测分析能力

针对挖掘得出的结果，云计算能够满足预测分析功能实现需求，相关数据分析人员可以在此过程中形成分析结果和处理方式的系统范式，基于可视化结果以及数据挖掘技术支持，理性分析能够促进数据分析，实现对未来决策的有效判断。

2 基于云计算的企业大数据分析系统应用

2.1 大数据处理系统应用

要进行大数据处理系统应用，必须把握其不同系统结构。

第一，融合式机构[5]。这种结构主要是客户机/服务器架构模式，相关服务器主要是对于系统管理以及控制进行相关逻辑处理和数据调度。客户端则是实现人机交互，在用户想要进行数据分析时，可以及时向服务器传输指令，服务器完成处理后将信息返回到客户端。这种融合式的大数据处理架构，整体结构比较简单，方便维护管理，但是缺点是服务器功能的依赖性比较强，会限制数据处理系统应用。

第二，分散式架构。这种结构的优势是能够实现协同控制，确保节点平等，在处理系统的控制和管理模块中，能够实现在相应客户端的分散。这种结构中的客户端具有很强的自治性、灵活性、通用性以及可拓展性。不过因为数据是以分布式为存储和分布操作的，所以这种结构中，系统维护难度大，且节点之间实时同步以及用户动态注册应用也很难确保有效开展[6]。

第三，混合式结构。这一系统结构具备上述两种结构的优势，系统借助服务器对数据信息实施统一维护，客户端可以进行信息传输，也能够和用户在相关方面实现交互，可以有效地缓解服务器端的压力，消除服务器端发展面临的阻碍，促进系统灵活性和鲁棒性的显著提高。

如目前在企业大数据分析中应用比较多的D-EYE大数据分析平台。D-EYE大数据分析平台是以大数据平台为基础，对IP网数据(移动网、固网)和客户历史重要数据、外部导入数据等进行智能挖掘分析和关联，为客户提供智能化高收益的行业完整解决方案。该系统通过线索的发现、追溯、复原及综合分析手段可以从海量数据中“快、准、全”地挖掘用户最想要的高价值业务线索。D-EYE大数据分析平台整体分为4层架构，分别是数据采集层、数据平台层、应用支撑层和业务应用层。通过实时和离线采集固定网络、移动网络、网络流量采集数据及第三方数据，D-EYE大数据分析平台可利用地理信息引擎、建模引擎、标签引擎、人工智能的动态知识图谱、自然语言处理引擎、语音图像识别引擎等方式，对数据进行预处理并存储到数据仓库中，为客户提供决策支持。

2.2 基于云计算的企业大数据分析系统主要技术应用

2.2.1 数据采集技术应用

在企业大数据分析系统设计中，数据采集是实现大数据分析处理的前提和基础，只有确保采集的企业相关数据信息资源足够全面、多样，才能够确保数据分析结果准确可靠[7]。企业管理中的数据类型呈现多样性，包含企业基础信息、行业数据、营销数据、支出数据、售后数据、客户数据、投诉建议数据等，针对不同类型的数据信息，需要构建相应的数据信息库，这些数据信息库的构建一般是企业财务管理的工作，仅仅是一个数据信息库，其中包含的企业管理数据表可能多达几百个，相关数据也呈现不一样的特征，例如企业阶段性经营业绩数据、盈利数据等，都是结构化的数据，而还有一些企业培训和业务拓展产生的数据则是非结构化数据，需要从不同渠道对相关数据进行采集，这对于提升数据质量以及大数据分析结果的精准性和可靠性都十分必要。在数据采集中，应用传感器，可以及时对产生的数据进行传输，确保数据及时采集并有效传输到固定位置，实现数据积累。

2.2.2 数据存储技术应用

现阶段，很多企业对于内部数据信息的存储采用的是服务器存储方式，但是这类服务器在遇到停电等突发状况时，数据信息很可能面临丢失的风险，虽然有些企业有备用电源，但是不间断电源的维持时间也是有限的，所以不能确保数据的万无一失。在企业发展规模不断扩大的今天，企业经营相关的数据量以及数据类型越来越多样化，数据急剧增加，服务器分散，不能为数据处理和共享提供必要支持。而借助大数据技术应用，以云架构为基础，构建分布式的文件系统，这样的系统具备很好的拓展性、冗余性等，能够满足海量数据存储和分析的需要，满足企业对于数据管理的需要[8]。通过对企业重要的数据信息进行有效存储，为进一步的数据挖掘提供素材。

2.2.3 数据挖掘技术应用

基于云计算的企业大数据分析系统中，数据挖掘技术是在海量的企业数据中进行挖掘，从中分析出数据背后隐藏的重要信息，为企业的生产经营和发展决策制定提供必要的依据。基于云计算的企业大数据挖掘流程如图1所示。

图1 基于云计算下的企业大数据挖掘流程

可见，通过相关数据在大数据分析系统中输入，借助云计算技术，实现数据预处理，最后通过图形化流程来建模，得出输出结果，这一结果可以作为企业决策制定的重要参考依据。数据挖掘技术是在海量的数据处理和分析中，总结出数据的规律，挖掘出潜在的数据信息[9]。数据挖掘功能用于指定数据挖掘任务中要找的模式类型。一般数据挖掘任务包含两类，一类是描述，一类是预测。描述性挖掘任务是对数据库中的数据一般特性进行挖掘，预测性挖掘任务是基于现有的数据规律进行推理，做出预测和判断。所以在数据挖掘系统中，要实现多类型的模式挖掘，适应多样化需要，数据挖掘系统需要把握相应的粒度模式，为用户提供必要提示，促进挖掘有效性提升。

目前在企业大数据分析系统应用中，大数据分析技术还处在对表面信息的提取上，通过隐性知识整合对数据仓库中相关信息挖掘，将海量信息中隐藏的信息挖掘出来，基于云计算技术的大数据分析技术应用，构建分布式并行技术系统，开展数据挖掘，可以实现在短时间内对机器集群进行任务拆分，实现多台空闲设备同时进行计算和处理，切实提升了大数据的数据处理速度和效率[10]。云计算能够为系统数据分析提供必要的挖掘模型，相关技术人员可以借助映射MAP函数内特定分块数据实现数据处理，实现数据处理效率的显著提升，并将和本次数据分析中关系不大的计算集群及时排除。

3 结语

以云计算技术为基础，可以为大数据分析处理创建一个可靠的平台，让研发者能够基于这个平台进行相关技术和性能开发。以云计算为算法构建分布式计算框架，其中包含分布式文件系统、分布式数据库等功能模块相关的完整生态系统，是目前大数据处理平台中最常见的、也是应用最为广泛的一种方式。在此基础上，用户可以编写处理海量数据的分布式并行程序，使其在成千上万的节点中，组件大规模计算机集群，实现对海量数据的有效分析处理，为企业的生产经营决策提供有效的信息参考。目前，很多企业已经意识到大数据技术在企业运行管理中应用的重要性，并积极在管理中引入大数据分析系统，在这类系统构建中，云计算技术都是不可缺少的部分，云计算技术是基于大数据技术基础上发展而来的，应用于大数据分析中，具有很好的应用成效。