云计算任务数据节能存储模型仿真
2023-03-29杨丽华鄂晶晶
杨丽华,鄂晶晶,冯 锋
(1. 呼伦贝尔学院计算机学院,内蒙古 呼伦贝尔 021000;2. 宁夏大学信息工程学院,宁夏 银川 750021)
1 引言
Internet技术的快速发展下,各个类型的数据和信息均呈爆炸式增加,任务数据不断增加。因此,如何有效保存数据成为网络发展过程中的重要问题。现阶段,大部分网络均采用的存储策略为全部数据单独存储[1,2],将其作为一个项目展开相关的管理工作。云存储具有传统存储技术不可代替的优势,分别为安全性高以及通用性强等,同时通过云存储还可以有效减少各个系统的运行成本,提升企业的运行效率。
和传统的存储计算相比,云存储占据明显优势。国内相关专家也针对该方面的内容展开了大量研究,例如李根[3]主要通过网络处理技术以及电子信息技术完成数据存储,通过云计算技术的分析,为后期进一步促进计算机云计算数据储存技术的提升奠定基础。周由胜等人[4]通过椭圆曲线组建基于密文策略的属性基加密完成访问控制,引入区块链技术完成数据安全存储以及删除。谢鹏等人[5]将关系型数据库存储模式转换为HBase存储模式,以此为依据构建基于空间矢量数据的HBase存储模型,通过模型完成数据存储工作。
虽然上述方法均已经取得了较好的研究成果,但是,云计算任务之间的差异性是完成数据存储的关键因素,因此,为进一步实现数据的节能化存储,在以上几种算法的基础上,本研究提出一种差异性云计算任务数据节能式存储算法。经实验测试结果表明,所提算法能够全面提升存储容量以及系统利用率,同时还能够有效缩短平均响应时间。
2 算法
2.1 冗余数据删除
通过局部特征分析方法,可以得到差异性云计算下任务数据节能式存储中各个类型冗余数据的主要特征,将全部特征作为后期分类处理的重要依据。由于网络在使用过程中会有一定程度的延迟,所以,以下通过最优分类超平面对差异性云计算任务数据中的冗余数据分类处理[6,7],将冗余数据分类问题转换为最优平面求解问题R(t),具体的计算式为
(1)
式中,βi,j代表判别函数;αi,j代表分类阈值;(x,y)代表网络节点的坐标位置;i和j分别代表不同的节点。
其中,最优超平面求解问题必须满足式(2)中的约束条件
(2)
式中,p代表常数。
如果差异性云计算任务数据节能式存储中冗余数据特征没有满足实际需求,需要对其转换处理。主要借助最优分类超平面求解,设定内积为N(x,y),则对应的转换结果为
(3)
最优分类函数可以表示为式(4)的形式
(4)
式中,H(x,y)代表最优分类函数;m代表类别属性。
根据式(4)可以获取冗余数据片段,最优分类平面算法主要是针对各个类型的冗余数据片段划分。优先分析不同冗余数据的属性,以数据为依据将其转换为二分类,同时对其详细求解,最终将提取的冗余数据删除。由于云计算下任务数据的冗余删除具有一定的难度,同时冗余数据的特征值十分多,需要采用一对一的分类方式完成冗余数据的删除操作[8,9]。
通过基于遗传算法的冗余数据分配算法展开冗余数据的分类处理,详细的操作流程如图1所示:
1)根据实际需求,需要优先设定冗余数据的进化参数。
2)采用二进制中的串结构数据分别描述不同类型的冗余数据片段。
3)通过选育方式对全部群体初始化处理,同时提取通信代价最小的前n个个体,进而构建初始种群,确保群体内个体的优秀水准。
4)计算群体内不同个体的通信代价,通信代价对应的导数即为各个个体的适应度取值。
5)通过冗余数据分类算法将最优存储数据和数据选择两者综合处理,完成最优个体选择操作。
6)对全部个体交叉处理。
7)对全部个体变异处理。
8)判断是否满足停止准则,假设满足,则直接输出差异性云计算任务数据节能式存储中冗余数据分类结果;反之,则跳转至步骤(1)。
根据差异性云计算任务数据节能式存储中的冗余数据分类结果,将无利用价值的任务数据删除,最终完成冗余数据删除处理。
2.2 构建差异性云计算任务数据节能式存储模型
空间数据模型是完成任务数据节能式存储的重要基础[10,11],也就是构建数据库的核心。针对任务数据的特点,需要设定不同的分块方式,具体如下所示:
1)固定字节长度分块方式
长度的设定是通过相关先验知识确定,和任务数据的存储内容并没有存在实际关联,具有操作简单以及计算速度快等优势。其中,固定长度分块方式更加适用于栅格数据集以及对象数据集。通过式(5)计算不同数据块对应的序号
(5)
上式中,Block(kid)代表数据块序号;offset代表文件头的字节总数;blocksize代表字节长度。
(2)数据差异性分块
通过从上到下以及从左到右的顺序对任务数据划分处理。同时采用差异性排序的方式对各个数据块编码处理。其中,各个数据块的编号LBlock(kid)可以通过(6)展开计算:
(6)
上式中,gridwidth和grideigth分别代表数据存储差异性分块的宽度以及高度;width代表数据存储原始宽度。
(3)数据特征分块
分析高分数据特征,引入面向对象思想抽象的数据管理方式,通过不同的任务数据类型选择对应的数据切分模型,分析数据存储特点,以此为依据,对任务数据存储节点分配处理。
以下将任务数据作为研究对象,结合时空理论,设定对应的数据对象,如式(7)所示:
Objectrs={ObjectRawImage,ObjectImage,ObjectVector}
(7)
上式中,Objectrs代表数据对象;ObjectRawImage代表初始任务数据;ObjectImage代表产品数据对象;ObjectVector代表矢量数据。
在云计算平台下,通过数据存储技术可以全面提升资源的利用率,同时还能够简化数据动态迁移过程。为了建立虚拟服务器,首先需要虚拟化存储节点,对任务数据完成均衡分配。在虚拟服务器的内部,主要通过直接寻址的方式管理任务数据。其中任务数据和初级任务数据的存储只需要通过选择合适的球面网格划分标准即可。当对原始任务数据展开切分处理,数据自身则不实行任何操作。
产品数据和任务产品数据两者叠加应用,具有优势互补性能。所以可以通过标准金字塔模型组织完成不同类型数据的结构存储。
在差异性云计算环境下,主要通过比较简单的哈希取模法将任务数据分配到不同的存储节点,将数据的切片行列号相加处理,然后和存储空间总数展开取模计算,确定任务数据的存储位置。
对于云计算环境下的服务器虚拟化处理,可以将全部节点映射为多个虚拟节点。其中,虚拟节点和物理节点属于多对一关系,将存储系统的一致性哈希环形存储空间划分为多个等份,同时提取任务数据特征,经过计算获取一致性哈希函数,如式(8)所示:
J=hash(ObjectRawImage)
(8)
式中,J代表一致性哈希函数;hash代表存储节点数量。
在采用一致性哈希算法后,需要从根本解决任务数据节能式存储问题。当系统内加入全新节点后,需要将原始两个节点之间的哈希空间分裂处理,进而加入全新的节点,这样可以确保在存储器出现异常时,不会出现数据大规模迁移的情况,只需要维护出现变动的任务数据即可。
设定共有n台服务器,根据设定参数,获取参数和服务器最大参数两者之间的比值Cur(n),如式(9)所示
(9)
式中,Cur(n)代表参数;Cumax代表服务器最大参数。
通过式(9)可以准确分析集群服务器性能的强弱,引入加权平均法将全部任务数据整合处理,获取对应服务器的总体性能值Sr(n),如式(10)所示
(10)
式中,Mcr(n)代表第n台服务器的利用率。
通过集群服务器统计的实时性能,可以获取服务器的实际负载权重阈值,如式(11)所示
(11)
式中,ω(i,j)代表实际负载权重阈值。
通过分析任务数据的不同特征,结合云计算相关特点构建任务数据节能式存储模型,详细的操作流程如图1所示。
图1 任务数据节能式存储模型构建流程图
1)在数据中心分别接收不同类型的任务数据,通过任务类型将数据分类处理,同时统一全部数据的时空基准[12,13]。
2)提取差异性云计算任务数据的主要特征,将其作为服务器存储的分散因子,经过相关操作得到对应的空间特征。
3)通过哈希一致性算法将服务器设定为存储核心,通过动态分配策略将全部任务数据均匀分配到哈希环形空间内,同时根据提取的特征完成存储服务器均匀分布处理[14,15]。
4)通过任务数据库完成数据的采集以及管理等相关工作,结合数据库组建不同任务数据之间的映射关系。
5)以任务数据之间的映射关系为依据,构建差异性云计算任务数据节能式存储模型,如式(12)所示
(12)
式中,Cubot(x,y)代表差异性云计算任务数据节能式存储模型。
将全部经过冗余数据删除的任务数据输入到差异性云计算任务数据节能式存储模型模型,最终实现任务数据节能式存储。
3 仿真研究
为了验证所提差异性云计算任务数据节能式存储算法的有效性,需要展开实验测试。对比方法为文献[3]设计的基于计算机云计算的数据存储算法和文献[4]设计的基于区块链的数据安全存储算法。在设定客户端数量下,分析三种不同算法的平均响应时间,详细的实验测试结果如图2所示。
图2 客户端数量影响下不同算法平均响应时间测试
通过分析图2中的实验数据可知,在客户端数量已知的情况下,各个算法的平均响应时间也发生了比较明显的变化。虽然所提算法的平均响应时间也呈直线上升趋势,但是变化幅度不大且响应时间更短。
在以上实验分析的基础上,分析用户请求数量不断增加情况下各个算法的平均响应时间变化情况,详细的实验测试结果如图3所示。
图3 用户请求数量影响下不同算法平均响应时间测试
由图3中的实验数据可知,各个算法的平均响应时间均会受到用户请求数量的影响。但是在三种算法中,所提算法所受到的影响相对较小一些,同时平均响应时间也更低一些。
综合分析不同节点数量下各个算法的系统利用率情况,详细的实验测试结果如表1所示。
表1 不同数据节点下不同算法的系统利用率测试
由表1中的实验数据可知,各个算法的系统利用率会不同程度受到数据节点数量的影响。但是相比另外两种算法,所提算法的系统利用率明显更高一些,进一步验证了所提算法的优越性。
为了分析不同算法的存储性能,实验将存储容量作为测试指标,详细的实验测试结果如图4所示。
图4 不同算法的最大存储容量测试
分析图4中的实验数据可知,由于所提算法在差异性云计算任务数据节能式存储前期实行了冗余任务数据删除操作,将全部无利用价值的冗余数据删除,全面降低了数据存储量,同时优化了存储容量,促使所提方法可以更好完成数据存储,具有较大的存储容量。
为测试不同数据存储算法的节能效果,采用数据存储后网络剩余能量与初始能量的比值作为测试指标,网络剩余能量越高,即该比值越高,则说明数据存储算法的节能效果越优。具体测试结果如图5所示。
图5 不同算法应用下网络剩余能量对比测试
根据图5可知,随着云计算任务数据的存储事件数量的增多,不同云计算任务数据存储算法应用下网络剩余能量与初始总能量的比值出现降低,相比之下,研究算法的网络剩余能量更高,当云计算任务数据的存储事件数量达2000个时,网络剩余能量与初始总能量的比值仍可达0.4,由此可知研究算法具有更理想的节能效果。
4 结束语
面对海量任务数据,快速准确完成数据存储是研究的关键。为此,提出一种差异性云计算任务数据节能式存储算法。经过大量仿真对比和分析可知,所提算法可以有效减少平均响应时间,提升系统利用率以及存储容量,获取更加满意的存储效果。
虽然现阶段所提算法取得了比较满意的研究成果,但是仍然存在不足,后续将针对以下几方面的内容展开研究:
1)扩大研究范围,针对复杂数据展开更加深入的研究。
2)现阶段研究没有考虑存储开销问题,后续将针对该方面内容展开研究和分析。