基于云计算的大数据信息管理框架研究

王艳兵

(徽商职业学院 电子信息系，合肥 230000)

近年来，由于信息技术的飞速发展和人们对网络应用服务的需求日益增长，大幅降低信息网络的总成本，对IT部门整体架构进行集中整合、管理已经迫在眉睫.随着大数据下网络应用的大规模部署和复杂性不断增长，需要实现系统的大数据信息管理化，从而维护大数据的高性能和高可用性[1-2].为满足上述需求，当出现由于应用云计算的动态变化过大，服务级目标在应用时没有足够的相应的数据来承接时，人们研究出利用大数据来解决动态变化[3-4]导致的这个问题.目前为解决由于重新部署大数据导致的信息管理这一问题,研究者们采取的解决方法多为启发式，即利用这种方法对全局进行大面积的优化式搜索[5-6].然而这种方法的缺点是很容易由于单点搜索导致局部最优解.

本文提出基于云计算的大数据信息管理框架，将待处理大数据转化为一个带多个约束的信息管理框架问题，在大数据信息管理框架中引用云计算方法.此算法通过实验证实，相对于传统算法，本文方法可以有效解决基于云计算的信息管理框架问题.其优点在于可以进行自我云计算，能够在对搜索时一次得出大数据内多个区域的权值最优解.

1 大数据信息管理框架

本文对于大数据信息的大量化和变化性的问题，采用云计算的方法进行分析.针对云计算的周期性、可预测性以及长期性的问题的解决方式变被动为主动，为了对大量大数据信息实现管理，使大数据信息能够处于云计算模式下，实现大数据信息的高效管理.大数据信息管理框架如图1所示.

图1 大数据信息管理框架

图1为大数据信息管理框架，设计通过控制全体的大数据信息来解决长期内的、可预测的云计算变化问题.为得出需要重应用的管理框架，本文通过采用对云计算进行预测和分辨长期的云计算性能模型的方法来对每个结点的低载或者过载进行判定，同时在每一个全局控制循环周期的初始阶段来决定大数据信息是否需要进行重信息管理.

2 大数据信息管理框架的构建

2.1 大数据信息管理问题的描述

大数据信息管理问题是个组合优化问题，本文将大数据信息管理问题转化为多维装箱问题进行解析.把处于每个数据上的可用资源和大数据信息的资源均看作一个d维向量，其中每一维表示一种资源.解析出如何使多个数据容纳多个大数据信息的同时保持大数据信息变化的次数和数据的个数最小化.大数据信息管理问题如下：

目标：

约束：

yj∈{0,1}

(1)

如果yj=1，则应用了数据j.

mi∈{0,1}

(2)

如果mi=1，则变化了大数据信息i.

(3)

(4)

则选定的大数据信息i只能在某个数据j上.

(5)

PMp≥SLOp,∀p

(6)

满足每一个应用的服务级目标.PMp表示应用p的性能指标，SLOp表示应用p的服务级目标.

2.2 云计算下的大数据信息管理

对于一些数量与规模均巨大的实际问题的最优解可以采用简单的枚举得出，然而实际中由于可行解的数量巨大，一般无法在实际操作中获得.下面详细描述将大数据信息应用到数据算法中的云计算方法：

(1)依照云计算序列的顺序在大数据信息中逐一选出相应的大数据信息，并与处于其它层的、同属一个应用的大数据信息相匹配，接着按照(2)、(3)、(4)步把匹配好的大数据信息分配到能够分配的数据上.

(2)选取已使用的数据中下标最小的数据.在已使用数据被选取完的情况下，选取未使用的数据中下标最小的数据.如果没有符合条件的数据，则返回步1.

(3)检查是否满足大数据信息(1)、(2)、(3)和(4)的约束问题.如果满足，则进行步(4)；否则，返回步(2).

(4)逐一核对所选数据是否满足于对应的服务级目标和大数据信息(5)和(6)的约束问题.如果满足，则先将大数据信息与数据相匹配，然后删除大数据信息请求信息管理框架序列中的大数据信息，返回步(1)；否则，返回步(2).

需要在大数据信息方案的多个解中找出优化解.运用本文所述云计算方法搜索优化解，在云计算下将前一个应用变化到下一个应用时，把变化代价和相应的大数据信息的变化次数降到最低.

3 实验分析

本文使用研究出的云计算信息管理算法(Cloud computing information management algorithm，CCIMA)、传统启发式算法(Best-Fit Heuristic，BFH)和两个单目标遗传算法(SGA)分别进行实验比对.图2展示了对大数据信息应用的云计算过程的利用.其起始大数据规模为22，云计算后依次是8、14、20及25.从图中不难得出结论，伴随云计算迭代次数的逐渐增加，目标函数值个数则不断下降，逐渐向最优解的方向靠拢.

图3～图5显示了在同等实验条件下的5组不同信息管理框架策略的实验结果.从结果分析得出：云计算在达到服务级目标约束条件下，得出各个目标的优化解，在诸多相互冲突的目标间达到最佳平衡和最优答案，与期望目标相差最少，且不会产生较多的大数据信息变化以及降低数据的利用数量.

图2 云计算下大数据信息管理

图3 不同信息管理框架策略下的大数据信息变化次数

图4 不同信息管理框架策略下的服务级目标违背率

图5 不同信息管理框架策略下的数据使用数

4 结论

本文提出基于云计算的大数据信息管理框架.研究了用云计算法对全局大数据信息管理问题进行求解.随着大数据不断扩大，实现大数据信息高效管理变得越来越重要.本文将大数据信息变化问题转化为大数据信息管理问题，阐述了解决信息管理框架问题的方法.综合考虑大数据信息映射中结点使用数量和大数据信息变化次数，设计了云计算下大数据信息管理框架.该管理框架在拥有多个应用服务级目标的前提下，与以前所提到的传统型单目标和启发式的云计算方法相比，实现了高效大数据信息的管理.

[参 考 文 献]

[2] SINGH K,GUNTUKU S C,THAKUR A,et al.Big data analytics framework for peer-to-peer botnet detection using random forests[J].Information Sciences,2014，278(19)：488-497.

[3] NAVARRO J M,TOMASGABARRON J B,ESCOLANO J.A big data framework for urban noise analysis and management in smart cities[J].Acta Acustica United with Acustica,2017,103(4)：552-560.

[5] CHAWLA N V, DAVIS D A.Bringing big data to personalized healthcare:a patient-centered framework[J].Journal of General Internal Medicine,2013,28(3):660-665.

[6] BANSAL S K, KAGEMANN S.Integrating big data:a semantic extract-transform-load framework[J].Computer,2015,48(3):42-50.