云计算下大数据均衡调度方法研究

孙逸敏

摘要：随着互联网大数据的应用，相关机构提出云计算概念。而基于云计算的资源调度一直是此领域的主要研究方向之一。随着社会网络资源数据共享深入，基于云计算技术的大数据均衡调度成为领域难题，传统调度方式多数根据数据完成时间和任务完成时间，做不到真正的大数据资源均衡调度。文章针对传统调度方式弊病，提出TPO集成法，通过云技术建模、波动算法、节点检测等技术解决传统问题，并以实验的方式检测效果。

关键词：大数据；均衡；资源调度

中图分类号： F272 文献标识码： A 文章编号：1009-3044（2018）01-0011-02

近几年，随着互联网网络规模不断扩大，网络数据交互也更加广泛。而网络社交、搜索网站、商务代表一系列新型网络应用的开发，大量互联网数据整合和数据汇聚现象，使数据处理应用量和需求量呈井喷式爆发，互联网所要分析或处理的业务量也日益繁重。例如国外社交软件Face book的中央处理系统平均每天要接收30亿条以上讯息和将近1000T网络数据；而我国阿里巴巴旗下淘宝网，每天要处理超过900T数据。大量数据的产生和应用极速加快了“大数据时代”的到来。针对于海量数据服务，如何将这些数据进行有效均衡调配，为网络用户提供方便快捷的网络搜索服务，成为互联网当前所面临的重要问题。在这种情况下，一种以分布式计算为核心的新型计算技术诞生，这就是云计算技术。

随着网络信息技术的普及，“云计算”已经渐渐得到社会各界的广泛关注。在传统信息处理模式下，一些公共机构信息数据在外在压力下需要空间增长时，往往只能采取硬件设施的再建设，势必花费大量成本。而云计算技术的出现则避免了这一成本。云计算技术其本质可以说是一种商业模型，这类模型可以利用节点有效地整理分析数据。所有数据软件都被绑定在一个共同的大服务器上，个人或企业用户需要数据访问时，需要先拿到访问权限，才能得到服务，也就是说，用户需要向服务器租赁数据，等同于数据分布等式计算。它利用网络计算机，将大量数据进行资源组织，对于大数据均衡调度方面有极大技术支持。

1 云技术下数据均衡调配的TPO集成法

大数据环境下，传统数据调度方式主要存在：信息浪费量大，互通开放性低，数据联络不密，资源调配难以均衡等种种问题。针对于以上问题，提出了一种基于云计算技术的下的TPO集成法。里面包含三种核心技术以及一套核心代码，通过中央处理器信号回流算法，云计算合点技术，进行大规模，高速率的信号分析检测，使数据流传输更准确通畅。通过云计算技术和CPU节点动态管理技术，可以将处理器网络数据调度交互过程中各节点数据波段进行广域化处理。

1.1 云计算环境建模

云计算技术通俗来说就是一种建立数据交互，网络互通环境的多数据中心技术。研究云计算环境下数据均衡调配，必须着重考虑云计算中的数据资源存储技术和数据网络带宽等[1]。“云计算”环境表示为N个不同位置，不同节点，不同时间的数据集合这些网络数据通过不同的区域网络连接，而这些网络数据的传输时间，带宽是不同的。其中编号n是数据中心，真实的数据流网络构架可以比喻成逻辑上的数据拓结构，EC中个数据流矩阵表示如下：

对于所有P、N当且仅当P≠N时表示的是各个数据间网络传播值是相同的且波动不大。

将云计算技术下，所有单独波动数据定义为二元组，， 其中SC表示数据中心ec的可控存储空间总量。表示在数据任务开始前，数据中心可以使用的数据比值，表示数据任务开始以后，数据中心可以使用的数据比值。这两个参数为了保证模型可以正常进行，结果为。

1.2 中央处理器数据传输波动算法

如今，各大型企业公共机构，都会利用互联网数据分析技术，对公司企业内部交互信息进行收集、分析、存储、发布、等一系列数据操作。经过尝试应用，传统的数据调配方式在大量数据集中调配方式过程中，很容易出现，数据响应度低、数据响应速率缓慢、数据响应断裂等各种情况发生。针对于上述问题，有关部门进行分析探讨后发现，其主要原因就是传统的数据调配方式关键数据要素引入面过于简单狭小，导致在数据量过多或短时间激增的情况下，常规逻辑运算要素严重不足。算法逻辑没有办法支持如此巨大的运算量，从而出现反应速率慢，数据响应断裂的情况。

针对于上述方式，TPO集成法中的中央处理器传输波动算法，对网络数据关键要素引入面无限扩展延伸，对于引入數据传输路径，进行了优化升级，拓宽了数据载入频道，在数据库底层内部进行分析整理后再进入中央处理器内部。信号强度测量通过检测网络数据处理占用的中央处理器内存量百分比和内部资源量，智能动态调整运算逻辑所需要的要素录入频道，从而缓解中央处理器的压力，保证逻辑运算的畅通性，从而保证资源均衡调配，不会出现数据响应缓慢等情况。通过传输波动算法的应用，传统方式中存在的调度运算逻辑面引入不足的情况彻底改善。对于数据传输的优化升级可以保证中央处理器合理运算，达到资源分析最全面，从而保证大数据均衡调度实现。

1.3 处理器节点动态检测技术

为了保证TPO集成法中的中央处理器数据传输波动算法的稳定性和传输准确性，对于网络数据中数据节点进行大规模优化升级，数据分流渠道智能化处理，以保证中央处理器的强度波动算法执行稳定。设计中采用处理器数据节点动态网络数据检测技术，对庞大的数据内部节点内部绑定，根据网络回馈信息流指数，进行规律划分、数据判定、资源调配。对数据中存在的不规则即完整性低，生成时间晚的数据进行抗波处理，达到数据优化的目的。具体工作原理参照图1。

处理器节点动态检测技术采用大数据智能化Flan算法，有数据内部监控内部节点状态，优化整体网络数据平滑程度，提高互联网数据信号反应速率。解决了传统数据调度方法在网络数据调度中出现的均衡性查、反应慢、数据流断裂、系统分配难等问题[2-3]。endprint

为了保证处理器节点动态检测技术中对大数据的智能化Flan算法能够稳定，精确、快速地检测大数据内部的数据调度过程中的内部各节点的使用率，设计将大数据动态Flan算法植入处理器内部底层，网络数据下的Flan算法下的网络执行代码可以保证Flan算法可以获取数据库底层运行计算权限，并且自动生成加密系统，对文件加密。防止外部网络入侵、木马病毒等窃取网络数据。网络大数据内部动态Flan算法通过内部执行代码可以自动激活运行程序，对网络数据库或者网络大数据进行系统检索、信息分析、获得初步优化措施。配合上层的中央处理器数据传输波动算法，对分析角度过程的数据进行全面优化，剔除干扰性数据，提升数据调度针对性，从而提高信息纯度，达到数据流完整，数据资源调配均衡的目的，彻底数据调配不均状况。大数据Flan算法具有互联网大数据资源交互、信息分析、数据整合等功能可以实时保证调度方案最完善[4]。

1.4 核心集成代码

上诉三套核心技术即TPO集成法的核心技术支持，整体设计方法也进入尾声。经过大量实际检测应用测试，TPO集成法虽然可以有效解决传统网络大数据交互时存在的资源调配不均，效率低下等问题，但是由于大数据环境背景下，各网络端口和网络应用日常生成的网络数据过于庞大，导致TPO集成法所需要加载的时间过长，处理器占用率过高，导致实际使用耗时过长[5]。

为此，TPO集成法又新编入了一套核心集成快速执行优化代码，可以通过这套快速执行代码解决数据流调度缓慢不均衡、加载权限难、加载通互性差等缺陷。核心代码如下：

main（）

{

long int i；

int bonus1，bonu100000s2，bonus4，bonus6，bonus10，bonus；

scanf（"%ld"，&i）；

bonus1=100000*0.1；bonus2=bonus1+100000*0.75；

bonus4-bonus2+200000*0.5；

bonus6pbonus4+200000*0.3；

bonus10=bonus6+400000*0.15；

if（i<=100000）

bonus=i*0.1；

else if（i<=20000）

bonus=bonus1+（i-879578*0.075；

else if（i<=400000）

bonus=bonus2+（i-20485250）*0.05；

else if（i<=600000）

代码的设计将上述三种核心技术算法通过网络数据逻辑交互常带性语法，进行关联同时加载最高执行权限将上述三项技术进行一体化，从而有效解决加载慢、处理器占用率高耗时长等问题。代码采用GSII压缩技术，进行编写，减小代码体积、减小资源运用成本。

2 TPO实际效果试验检测

针对于大数据均衡调度，进行TPO集成法的仿真测试。在设定的实验环境中和对传统调配方式和TPO集成法进行调度对比测试，并对结果进行分析归纳如表1：

通过上述实验可以确定运用PTO集成法对数据进行调度：数据反应更快、传输更完善。由于运用的云技术模型，使数据来源和应用更广泛，资源开销更低。

3 结束语

云计算的应用，让网络数据资源调配变得更迫切。经过对传统数据调配方式的分析论证，以云计算模型、中央处理器数据传输波动算法、处理器动态节点动态检测技术、为核心的TPO集成计算法通过实验验证了各方面都要优于传统数据调配技术。满足设计要求，为大数据资源调配提供新的思路。

参考文献：

[1] 刘迷.云计算下虚拟信息资源大数据特征集成调度[J].科技通报，2015，31（10）：199-201.

[2] 张晋芳.一种云计算环境下大数据动态迁移策略[D].昆明理工大学，2016，17（81）：13-12.

[3] 张明，王玮，施建华等.电力大数据调度云的优化[J].計算机仿真，2016，51（11）：13-6.

[4] 辛海奎.基于群智能优化算法的云计算任务调度策略研究[D].陕西师范大学，2015，31（17）：113-18.

[5] 王德龙.Hadoop平台下作业调度算法的研究与改进[D].南京信息工程大学，2015，1（51）：123-1.endprint