云计算背景下块级别网络磁盘缓存技术分析
2019-07-23赖建中
赖建中
摘 要:现如今,网络技术突飞猛进,云计算背景下块级别网络磁盘缓存功能不断上升,其负载功能也日益增强,这直接影响到I/O具体功能的使用。因此需要优化M N —cache多节点的块级别网络磁 盘缓存系统,本文详细探讨了MN-cache 缓存系统的设计和功能机构。
关键词:云计算;网络磁盘;缓存技术
DOI:10.16640/j.cnki.37-1222/t.2019.20.162
0 引言
随着云计算系统的不断发展,出现了各种类别的云存储子系统,便能发现虚拟机持久化的级别存储服务。为了方便采集和管理各项存储数据,增强数据的存储能力,降低其管理存储负担,可以合理使用Cinder、EBS等软件。就云计算系统而言,虚拟机不断增长,云存储服务功能也不断强化。受网络宽带和子系统自身性能的影响,存储系统I/O性能不断下降,直接影响到虚拟机的实际运行。
为了解决网络存储系统的稳定性,在计算云计算节点过程中,其缓存设备便是本地磁盘,从而不断提高云存储系统的整体功能,从而实现虚拟机的高效稳定运行。本地客户端磁盘缓存系统 包括这些xC achefs、CAPFS、IBMAFS、SUNNF内容。
1 MN-cache 缓存系统的设计与实现
本文重点解读了云计算系统中 MN —cache 缓存系统的组织结构,并具体描述了该系统的运行细节,合理运用这些数据实现各种通信,详细介绍MN —cache 缓存系统的两种写入方法,以便达成写回策略和直达策略。
1.1 规划系统架构
当前云计算系统喜欢共享网络存储卷,经常运用虚拟机实例。它们属于不同的数据中心,其网络存储卷I/O性能有待提高,因此需要优化多节点块级别网络缓存系统。从而共享局域网内的缓存数据,提高网络存储性能。在Linux D e—vice M apper的基础上,不按优化M N —cache缓存系统,它包含缓存客户端和元数据服务器这两部分。缓存客户端主要是具体实际的缓存功能,主要是运用各种磁盘,利用原数据服务器实现缓存功能。元数据服务器可以为各种缓存客户端提供各种缓存情况,方便检测各种功能,从而保持与缓存客户端的一致性,优化各种元数据。
单个元数据服务器端节点和多个缓存客户端节点共同组成了M N —cache缓存系统,同个局域网内部包含了所有节点。要想将 iSCSI协议连接到局域网内,需要利用源存储磁盘外油网络,共享使用各种节点。其他缓存客户端节也是通过这种模式,依次读写各项远端缓存数据。下图便是系统的缓存系统结构图(如图1所示)。
1.2 设计缓存系统
一般来说,缓存客户端和元数据服务器共同组成了MN-cache 缓存系统,缓存客户端主要在内核态下运行,元数据服务器主要在用户状态下运行。配置的初始化、同步元数据、查询缓存命中共同组成了元数据服务器,其主要负责整理各种客户端的原始数据,定期查询缓存命中服务。
在配置元数据初始化服务器的过程中,及时记录了恶缓存块的多少、具体数量、缓存写入策略、IP地址、缓存客户端节点编号这些内容。
同步更新元数据时,储存各缓存客户端节点时,及时查询相关部分元数据,元数据服务器可以及时接收各缓存客户端的元数据,及时更新服务器的元数据,如图2。
及时查询命中缓存,各个缓存客户端可以使用元数据服务器及时查询命中缓存。接受到缓存客户的需求后,返回到查询结果,保持客户端原始数据和元数据服务器的步调一致。合理运用 udp 通信协议便能及时查询缓存命中。
实际缓存操作时,缓存客户端具体负责缓存功能。缓存客户端具体操作时应该遵循以下三个方面。首先配置初始化,缓存客户端的初始化进程中需要根据缓存写入方法、缓存块的大小,及时缓存各种参数,再次,同步元数据,内核内存中一般存有各种本地缓存元数据信息。及时查询缓存命中的部分元数据,及时推进元数据的同步进行。当缓存客户端缓存的原始数据发生变化后,及时向元数据服务器发送各种数据,同步更新各种信息。缓存客户端根据元数据服务器的需求,及时修改各种缓存数据。
实现缓存,为了正常运行缓存功能,可以使用L inux D evice M apper 机制及时缓存客户端。虚拟磁盘设备带有基本缓存功能,包含了源存储磁盘、多个远端缓存磁盘、本地缓存磁盘这几个方面。
1.3 数据通讯设计
各缓存客户端和元数据服务器共同构成了MN—cache 缓存系统,同步元数据,查询缓存命中。同步元数据包括了缓存客户端和服务器端更新各种数据。查询本地缓存和远端缓存共同构成了查询缓存命中等步骤。具体缓存客户端时可以及时查询本地缓存系统,及时查询缓存客户端内部的元数据信息。
1.4 缓存写入策略
具体进行写入操作时,写回和写直达两种写入操作共同组成了M N —cache 缓存系统,用户可以根据自身需求随时更改写入策略。具体使用写直达策略时,远端源存储磁盘可以记录所有块I/O这种数据,这种数据如果直接被记录到源存储磁盘中,缓存磁盘的功能并不能得到正确发挥。写入策略需要保证源存储磁盘和缓存磁盘的一致。一旦缓存客户端节点出现意外时,需要保证数据的准确。
2 分析MN-cache 缓存系统的具体性能
2.1 读取操作耗时
这篇文章主要分析了对读操作的三种不同操作结果。具体来说包 括以下三个方面:读命本地缓存磁盘、读命远端缓存磁盘、未命中缓存。
针对本地缓存磁盘读命中的具体实际情况,具体读取操作时的总时间消耗包含以下两个方面。其一便是缓存客户端处理I/O需要查询本地缓存元数据,查询具体时间消耗时可以参考本地命中抢矿。消耗具体数据的读取时间时,可以参考本地缓存磁盘。下面便是读取操作总时间的消耗公式如下:
TRLhit=tLsearch+tLread
2.2 写入操作耗时
三种不同的结果共同组成了写直达策略,本文重点分析了这三种情况。根据本地缓存磁盘的写命中情况,详细阐述操作的总时长消耗。具体来说包括以下三方面。本地缓存客户端消耗的具体时间,写入源存储磁盘所花费的时间,更新元数据到元数据服务器具体消耗的时间。总的来说,写操作的总时间消耗公式如下:
TwLhit=tLsearch+tSwrite-tMupdate
3 评估MN-cache 缓存系统的实验数据
本文详细分析了读操作测试、写直达操作测试、写回操作测试,并进行了各种实验。就写回操作测试而言,可以具体测试无缓存和缓存这两种情,具体测试远端重读、本地重读、写等各种测试。分析各种数据后发现,运用MN-cache缓存系统能提高源存储磁盘的整体性能,其性能也会下降68%,本地重写情况下其性能可以优化9倍,远端重写情况下性能可以降低33%。
4 结语
M N —cache主要适用于多节点的块级别网络缓存系统,可以大量运用在云计算缓存系统中。本文详细讨论了该系统读取操作、写入操作的耗时时间,不断优化云存储系统性能。针对缓存过程的具体耗时情况,改进缓存客户端和元数据的工作效率,促进该系统的良性运行。
参考文献:
[1]徐海军.大数据下的证券云应用与安全[D].郑州大学,2018.
[2]朱帥.基于FastDFS的云存储文件系统性能优化设计与实现[D].东南大学,2017.
[3]李磊.高性能存储的不间断服务系统研究与搭建[D].华南理工大学,2017.
[4]王菁.基于虚拟化技术的多媒体桌面交付系统研究与设计[D].吉林大学,2015.
[5]沈之强.云存储系统中的网络缓存关键技术研究[D].杭州电子科技大学,2015.
[6]冷志强.基于分布式文件系统GlusterFS的横向扩展云存储的研究与实现[D].复旦大学,2014.