大数据背景下的数据通信调度方法研究
2017-05-24胡列娜程海英
胡列娜,程海英,陈 峰
(1.上海应用技术大学 计算机科学与信息工程学院,上海 200000;2.中银国际证券有限责任公司 投资银行板块,上海 200121)
大数据背景下的数据通信调度方法研究
胡列娜1,程海英1,陈 峰2
(1.上海应用技术大学 计算机科学与信息工程学院,上海 200000;2.中银国际证券有限责任公司 投资银行板块,上海 200121)
大数据背景下,传统数据通信调度方法研究由于预测要素引入面窄、预测算法逻辑同意性差,导致数据调度出现数据调度断层现象;针对上述问题,提出大数据背景下数据通信调度3+1集成法设计;采用3+1集成法,通过CPU信号强度波动算法、处理器数据节点动态数检测技术、电频信号转换算法与快速执行代码,解决传统的数据通信调度过程中的数据响应慢、数据调度断层的问题;通过仿真实验证明,提出的大数据背景下数据通信调度3+1集成法具有数据调度速度快、资源开销小、调度数据准确度高的特点。
海量数据;通信调度;CPU
0 引言
近年来,随着科技飞速发展,使金融业向大数据化转型。一系列科技成果应用于金融数据统计、分析领域,为金融业发展提供了动力。随着大数据云计算时代的来临,各大型公司数据库在长期运行使用中出现海量数据通信调度响应慢,数据调度迟缓的现象[1-2]。经过深入研究发现,问题产生根源在于数据通信调度方法采用的数据调度算法要素引入面窄、预测算法逻辑同意性差[3-4],导致数据调度准确度低、相应迟缓。
1 数据通信调度的典型应用
数据通信调度在现有的通信资源的基础上,利用数字通信技术、DSP话音处理技术和计算机网络技术,整合现有的卫星通信、PSTN、移动通信,数据通信等通信资源,组成指挥调度系统的核心,形成一个有机的、无缝的通信网络[5]。在如此网络环境下,各种通信终端之间实现互联互通,并且在通信调度过程中,任何一类终端在不改变原有应用方式(双工或半双工等),且具有高稳定性、高可靠性及多种通信方式通信调度的能力。
数据通信调度系统的内部常采用分体设计,集中控制的模式。将接口单元、协议信令控制单元、交换单元、中心控制单元等进行模块化,统一分配接口资源,所有接口利用高速总线连接,方便系统的维护与管理。
图1 数据通信调度的典型应用
大数据背景下电网通信调度中的应用可以有效解决基础资料的管理问题。因为大数据电网通信系统具有容量大、智能化和灵活的优势,并逐步朝着多元化和系统化的方向发展,因此,将大数据技术引入电网通信调度系统可以有效地解决传统电网通信调度系统中的基本资料管理问题。其次,大数据技术在电网通信调度系统中的应用可以直接提高信息搜集和处理的效率和准确性[6-7]。最后大数据技术在电网通信调度系统中的应用可以增加各系统信息之间的联系,进而促进调度系统信息库的完善和保证信息资料的准确。
当前,大数据背景下的数据通信调度系统存在的不足有:信息大量浪费、信息不开放、信息之间的联系不足[8]。针对上述问题,提出大数据背景下海量数据通信调度3+1集成法设计。采用3+1集成法,即三项技术加一套快速执行代码。通过CPU信号强度波动算法对数据调度处理过程中处理器运算信号波动强度进行检测、分析、优化,使得数据通讯流更为通畅;经过处理器数据节点动态数检测技术,将处理器数据调度交互过程中节点电频波段进行宽域处理,增强调度数据信号抗干扰性;最后,采用电频信号转换算法对上述数值进行多条件引入运算,完善海量数据调度过程中的逻辑性,保证数据调度稳定、准确、高效。采用3+1集成法能够有效解决大数据背景下数据通信调度方法准确度差、数据断层等问题。
通过仿真实验测试证明,提出大数据背景下的数据通信调度3+1集成法具有数据调度速度快、资源开销小、数据调度准确度高的特点,充分满足大数据背景下的数据通信调度的日常应用要求。
2 大数据背景下数据通信调度方法研究—3+1集成法
2.1 CPU信号强度波动算法
近年来,各大型公司采用互联网数据通信技术对本公司各项交易数据信息进行收集、储存、分析、发布等一系列数据交互操作。经过长期应用发现,传统的数据调度方法存在大量数据集中调度状态下,数据调度响应速度降低、数据调度迟缓甚至出现数据断层的现象。经过对问题的产生根源深入分析发现,传统数据调度方法的要素引入面过于狭窄,导致数据量剧增,使算法逻辑关联要素量不足,算法逻辑无法承担巨大数据运算量[9-10],出现响应速度减低等一系列异常状况出现。
针对问题根源,采用3+1集成法中的CPU信号强度波动算法对数据要素引入面进行延伸优化,拓宽要素载入通道,在底层CPU内部进行数据调度状态下处理,信号强度检测,通过数据处理所耗处理器资源量,动态调整运算逻辑所需要素载入通道量,降低CPU处理压力,保证逻辑运算稳定。设计中采用CPU-NT专用算法进行CPU信号强度波动算法辅助运算,有效增强海量数据处理的浮点处理能力与满载状态下的峰值抑制CPU信号强度波动,算法表达式如下所示。
(1)
其中:DB为CPU-NT专用算法;G为原始数据流;H为数据流增量;D为数据流增加峰值系数;max为算法动态运算优化峰值系数。CPU-NT专用算法关系式如下所示。
(2)
CPU-NT专用算法关系式中,K为辅助点;G为运算增幅量;S为数据处理增加量系数;I为动态优化系数。
通过上述两级算法优化处理,传统数据调度方法中存在的数据运算逻辑引入要素面不足的问题已被彻底解决。设计的3+1集成法中CPU信号强度波动算法与辅助CPU-NT专用算法的工作原理如图2所示。
图2 CPU信号强度波动算法与辅助CPU-NT专用算法工作原理
2.2 处理器数据节点动态数检测技术
为了保证3+1集成法中CPU信号强度波动算法运行过程中的稳定性,针对数据中数据节点动态进行了优化,以保证CPU信号强度波动算法执行的稳定。设计中采用处理器数据节点动态数检测技术对庞大数据内部节点进行特征绑定,根据数据交互指数进行分析、判定,对数据中存在的噪点数据进行抗波噪点处理,达到数据优化目的,处理器数据节点动态数检测技术采用大数据动态Flangt算法,数据监控调度数据内部节点状态,优化调度数据整流度,提高调度信号响应速度。解决传统数据调度方法在数据调度应用过程中出现的调度响应速度慢、数据断层的问题。
为了保证处理器数据节点动态数检测技术中大数据动态Flangt算法,能够稳定、准确检测数据调度过程中数据内部节点活跃状态,设计将大数据动态Flangt算法植入数据库底层,大数据动态Flangt算法内部执行代码可保证大数据动态Flangt算法在数据库层获取所需运行权限,并对权限进行加密,防止病毒木马等计算机病毒程序窃取。大数据动态Flangt算法通过自身执行代码可自行激活运行,对数据库中数据进行检索、分析,获得初步优化方案,并配合上层CPU信号强度波动算法对角度过程中的数据进行优化处理,剔除数据交互中噪点干扰,提升调度数据纯净度,达到数据完整调度的目的,彻底解决传统数据调度过程中的数据断层问题。
大数据动态Flangt算法具有与互联网大数据资源交互功能,可实时保证调度方案的最新度。
2.3 电频信号转换算法
数据传播形式中,无论是低频波束还是高频波束,它们构成基础都是电频信号。作为传统数据调度方法中的数据调度方式所采用的网络数据交互形式也属于电频信号的一种。电频信号具有记录数据特性的性质,根据这个性质对传统数据调度方法中的数据调度方式进行针对性优化改进。
提出的大数据背景下数据通信调度3+1集成法,设计中针对网络数据调度过程中数据交互构成方式进行处理,设计了电频信号转换算法。通过对上传、下载数据间的不同电频信号回馈,确定数据内部稳定性与数据自身特征。例如:当调度数据w接受到上传信号后,经网络电频传输信号处理,按交偶次序排列成w1和w3、w2和w4...wn和wn+2(n∈整数,n≠0)的集合形式进行传输。当信号完成所载数据处理后,自动进行电频回馈,也就上常说的下载数据,此时,数据排列集合形式由于内部数据变化,按交替单频次序排列为w1和w4、w2和w5、w3和w6...wn和wn+3(n∈整数n≠0)。
根据上述原理,电频信号转换算法动态捕捉电频信号变化,准确对异常数据进行电频降噪处理,使电频传输纯净度提升,增强调度信号节点穿透力,达到将上述两次算法处理信号优化度整合提升的目的。解决传统数据调度方法应用中存在的数据量增大时响应度降低、噪声数据流增多、数据断层的问题。电频信号转换算法关系式如下所示。
(3)
(4)
(5)
上述关系式为电频信号转换算法在三种不同条件状态下变化形式。三种表达形式受上述大数据动态Flangt算法与CPU信号强度波动算法结果值影响。电频信号转换算法应用前后数据调度信号纯净度对比如图3所示。
图3 电频信号转换算法应用前后数据调度信号纯净度对比
通过图3(a)、(b)对比可以清晰看出,电频信号转换算法在对数据调度过程中的噪声干扰波束具有较好的抑制作用。为了使电频信号转换算法不受外界因素影响,设计的3+1集成法中将电频信号转换算法以代码形式写入数据终端。至此,提出的大数据背景下数据通信调度3+1集成法中的3项技术方法设计全部完成。
2.4 快速执行代码设计
随着上述电频信号转换算法设计的完成,提出的大数据背景下数据通信调度3+1集成法也进入了尾声。经过大量实际应用测试发现,设计的方法虽然有效解决传统数据通信调度过程中存在的一系列问题[11-12]。但由于大数据时代公司日常需要处理的数据量过于庞大,导致设计方法在实际应用中出现加载时间长、权限提升耗时过长、数据调度衔接性差的问题。
为此,提出的大数据背景下数据通信调度3+1集成法添加了一个1—快速执行代码设计。通过快速执行代码解决数据通讯调度中存在的加载慢、权限获取慢、衔接性差的问题。在代码设计中,将上述算法计算通过逻辑连带性语法进行关联,同时,注入高权限执行命令,将上述算法技术一体化。有效解决加载慢、权限获取慢、衔接性差的问题。采用GSDN压缩算法进行代码编写,减小代码自身体积,减小方法运行资源开销。快速执行代码设计如下:
pghublicstaticCogfhnnectiongetConnexxction(){
Connvectioncocxvnn=ncvull;
Clascxvs.forNcxvame(DRIVER_CLASS);
conn=DriverManager.getCvonnection(DNA,USERxcvNAME,PASSWORD);
returnconn;
}
publicstcaticvrhoidclosgfzeAll
(RghesultcSetrs,Statnement
stmt,Connvnectionconn){
try{if(rs!=nuvcbll){
rs.clocvse();
rs=nvull;
inxbtrovws= 0
importjadva.sql.Connection;
importjavdva.sql.DriverManager;
importjavsda.sql.SDNExdception;
importjavsa.sql.Statehment;
publicclassTestDB{
pubdsflicstahftdficvdfhoidmadin(Stridfng[]args) {
try{
cacvxctch(ClbvassNotFounvcndExcecvptione) {
e.printStackTxvrace();
}
至此,提出的数据背景下数据通信调度3+1集成法设计全部完成。
3 实验与结论
针对大数据背景下数据通信调度3+1集成法的设计进行仿真实验测试。在设定的实验环境下,对传统数据通信调度方法与提出的大数据背景下数据通信调度3+1集成法进行对比测试,并对结果数据进行分析,得出结论。
测试环境配置为:CPU i5 4420,主频3.2 Hz,内存 4 G,windows 7专业版操作系统。具体测试参数如下表所示。
表1 仿真实验测试对比参数
通过上述表1的测试数据可以证明,提出的大数据背景下数据通信调度3+1集成法的设计具有以下优点。
1)海量数据处理状态下,数据调度响应速度快。
2)经有较强的调度数据信号精华作用,有效提升海量数据调度过程中的数据信号抗干扰性。
3)有效解决传统数据通讯调度过程中出现的数据断层问题。
4)整体运行资源开销小。
上述优点充分证明提出的大数据背景下的数据通信调度3+1集成法,能够满足数据通信调度上日常应用要求。
4 结束语
针对传统数据通信调度方法存在的问题进行了分析,并对问题存在根源提出了大数据背景下数据通信调度3+1集成法的设计。通过仿真实验测试证明,提出的数据背景下的数据通信调度3+1集成法的设计,各项测试数据都优于传统数据通信调度方法,满足设计改进要求,为数据通信调度方法研究领域未来发展提供新的思路。
[1] 徐文忠,彭志平,左敬龙.基于遗传算法的云计算资源调度策略研究[J].计算机测量与控制,2015,23(5):1653-1656.
[2] 肖利群.高速光纤通信数据传输中的大数据合理调度模型设计[J].激光杂志,2016,25(5):112-116.
[3] 杜 娟.大数据背景下通信网络数字化建设策略[J].华东科技:学术版,2016,10(2):391-391.
[4] Geoffrey H.Where do features come from?[J].Cog-nitive Science A Multidisciplinary Journal,2013,38(6):1078-1101.
[5] 于亚南.移动通信网络在大数据背景下的维护措施探析[J].科研,2016,2(4): 223-229.
[6] 姜明月.云计算平台下的大数据分流系统的设计与优化[J].现代电子技术,2016,39(2):28-32.
[7] 侯欢欢. 数据中心在水网监控与调度系统中的建设[J]. 山西师范大学学报(自然科学版), 2014,6(2):26-30.
[8] 王雪峰. 大数据时代电网通信调度改革方案研究[J]. 无线互联科技, 2014,10(9):40-49.
[9] 肖利群. 高速光纤通信数据传输中的大数据合理调度模型设计[J]. 激光杂志, 2016,6(5):112-116.
[10] 霍雪松, 裴 培. 基于调度数据网络技术的调度控制系统地区互备通信模式研究[J].电网与清洁能源, 2016,10(5):47-50.
[11] 陈楠楠. D2D网络中基于簇的资源调度与协作通信技术研究[D]. 北京:北京邮电大学, 2015.
[12] 刘增玉. 县域电力调度业务与通信传输网络优化分析[J]. 科研, 2015,10(54):268-268.
Big Data Background Data Communication Scheduling Method Research
Hu Liena1,Cheng Haiying1,Chen Feng2
(1.School of Computer Science & Information Engineering,Shanghai Institute of Technology,Shanghai 200000,China; 2.Investment Banking Division, BOC International (China) Limited,Shanghai 200121,China)
Under the background of big data,the traditional data communication scheduling method due to predict elements into the narrow, agreed to poor prediction algorithm logic, led to data dispatching appears data scheduling fault phenomenon. Aiming at these problems, puts forward big data background data communication scheduling 3 + 1 integration means design. Using 3 + 1 integration means, through the CPU signal intensity fluctuation, processor, the node number of dynamic data detection technology, the electric frequency signal conversion algorithm with fast executing code, solve the traditional data communication scheduling in the process of data and fault data scheduling problem. Through the simulation test proves that the proposed big data background data communication scheduling 3 + 1 integration means has a fast data scheduling, small resource costs, high accuracy scheduling data.
huge amounts of data; communication scheduling; CPU
2016-11-19;
2016-12-19。
胡列娜(1979-),女,江苏苏州人,硕士,讲师, 主要从事计算机应用技术方向的研究。
1671-4598(2017)05-0176-04
10.16526/j.cnki.11-4762/tp.2017.05.049
TP391
A