APP下载

计算机信息技术存储平台的开发与应用

2018-01-17李廷

电子技术与软件工程 2017年23期
关键词:计算机信息技术云存储大数据

摘 要 随着通信领域的不断发展,海量数据逐渐产生。对数据加以妥善存储,已经成为了各行业关注的重点。本文以云存储及分布式算法为基础,对计算机信息存储平台进行了开发,并对其应用的实现途径进行了阐述。目的在于提高数据的存储效率及安全性,提高各领域的数据处理效率。

【关键词】计算机信息技术 云存储 大数据 分布式算法

计算机信息存储技术,即以计算机技术为基础所实现的,以自动化存储数据为主要功能的技术。提高用户的数据存储效率,是改善用户对技术的应用体验、提高存储平台应用有效性的关键。云存储技术为新型的数据处理技术,将其应用到计算机信息技术存储平台的开发过程中,对平台存储性能的提升,具有重要价值。

1 计算机信息技术存储平台的开发

以云存儲技术以及分布式算法为基础,开发了计算机信息技术存储平台:

1.1 存储平台的开发

存储平台由客户端、中心服务器以及接口等构成:

1.1.1 客户端

多为计算机,是用户据以处理数据的终端平台。

1.1.2 中心服务器

功能与服务器类似,可根据用户的需求做出响应,为用户提供操作的任务线程。

1.1.3 接口

功能在于为数据的传输提供途径。

1.1.4 集群控制

功能在于对所有的连接进行管理以及封装。对外,该模块具有读写功能。对内,可通过Hash算法,对节点以及数据的迁移等过程进行管理,提高Redis线程的安全性。

1.1.5 认证码接口

功能在于为数据的加密以及解密提供存储以及认证接口。

1.2 基础数据库的开发

1.2.1 键的开发

(1)将key键的长度,控制在128字节之内,降低key键所消耗的内存,提高平台的数据存储量。

(2)避免key键过短,以免含义表达不清晰。

(3)整个平台中,key值的格式应保持一致。

1.2.2 值的结构设计

(1)可以将值设计成为字符串类型,采用SET等,得到value值。

(2)字符串列表以array List以及Linked list为主。上述两种列表优势互补。可根据设计需求及目的,对两者进行合理选择。

(3)字符串集合以有序集合为主,存储值相对固定。

(4)底层存储:以哈希表为依托,完成底层存储。

1.3 分布式构架的开发

1.3.1 开发原则

分布式构架的开发,应遵循以下原则:

(1)平衡性:确保可将数据分布到所有的存储节点,提高存储平台应用的平衡性。

(2)单调性:当新的数据进入到存储平台中时,应将其映射到新的节点中,提高存储的单调性,避免数据的存储发生混乱。

(3)分散性:应尽量降低分散性,提高节点的集群性。

(4)唯一性:相同的key,应映射到相同的服务器当中,确保key与服务器一一对应。

1.3.2 服务器集群设计

(1)连接代理:采用连接代理的方法,确保Redis数据能够与服务器之间相互沟通。

(2)中心服务器:将平台与用户连接,实现人机交互,提高平台对用户需求的相应效率。

(3)辅助:确保数据的传输以及存储安全有效。

2 计算机信息技术存储平台应用的实现途径

2.1 基础功能应用的实现方法

2.1.1 通信功能

存储平台通信功能主要包括内应用与外应用两种。采用epoll将平台与客户端相互连接后,通信功能即可实现,用户即可应用平台对数据进行存储。

2.1.2 文件的获取

该平台中心服务器中,包含完整的用户文件。当用户需要调取文件时,可以通过缓存文件夹寻找。中心服务器可根据用户的命令作出相应,决定是否为用户提供数据。

2.2 存储功能应用的实现方法

存储功能的实现,需要中心服务器以及底层Redis数据库联合作用来完成。当用户需要存储数据时,可将数据传输至计算机当中。随后,Jedis会将中心服务器与底层数据库相连接。如任务链表不为空,平台可随之执行数据存储任务,存储完成后,用户即可收到反馈信息,实现对平台存储功能的应用。

需注意的是,平台的数据存储功能如何,受异步回调的影响较大。如上述问题得不到解决,较容易引发数据存储延迟问题,致使连接超时,数据的存储无法实现。增加调度代理的数量,是解决上述问题的主要途径。在调度代理增加的情况下,单点Redis将会为用户提供单线程的服务,数据的阐述效率,同样将得到一定的提升。

2.3 数据冗余应用的实现方法

存储平台中,数据冗余模块的功能,与RS码大致相同,包括编码与解码两种。接口如下:

RS-encode(String file Cache Dir);

RS-dncode(String file Cache Dir,Boolean aLive[]);

编码的过程,通常需要由服务器完成。鉴于Java编写较为困难,可采用c代码实现该过程。中心服务器的执行方法以native为主,执行效果较好,能够有效提高数据冗余模块应用的有效性。

2.4 数据加密应用的实现方法

数据加密功能主要包括两种,一方面在于针对不同类型的文件,进行加密与解密操作。另一方面则在于将认证码加设到文件中,以认证码为准,判断数据是否存在存储错误。上述两项功能的应用,均需以api为依托来实现。

2.5 应用效果测试

为评估设计效果是否能够满足海量数据的存储需求,采用以下方法对平台的性能进行了测试:

(1)操作系统为Windows 7,32位。

(2)处理器:Intel(R)。

(3)系统内存3GB。

(4)设计伪代码。

(5)获得测试结果如下:加入新节点前,节点A与B的数据迁移量分别为365981与296845。加入新节点后,节点A与B的数据迁移量分别为242639与254813。通过对迁移量的观察可以发现,节点加入后,负载同样具有平衡性,提示平台性能较为稳定。

3 结论

综上,有关领域应将大数据以及云存储技术应用到计算机信息技术存储平台的开发过程中,提高平台存储数据性能的优化性,解决存储困难的问题。应通过加设认证码的方法进行数据加密、通过增加调度代理数量的方法,解决存储延迟问题、通过epoll将平台与客户端相互连接、采用c代码增强数据冗余模块的功能,改善用户对平台的应用体验。

参考文献

[1]罗斌.计算机信息技术存储平台的开发与应用[J/OL].电子技术与软件工程,2017(16):159-160.

[2]刘京.计算机信息技术存储平台的开发与应用[J/OL].电子技术与软件工程,2014(16):201-202.

作者简介

李廷(1976-),男,新疆维吾尔自治区石河子市人。石河子大学计算机科学系2009级计算机信息技术专业大专毕业生,主要研究方向为计算机信息技术。

作者单位

新疆石河子工程技术学校 新疆维吾尔自治区石河子市 832000endprint

猜你喜欢

计算机信息技术云存储大数据
关于开展计算机信息技术教育教学的研究与实践
浅析龙岩烟草业务数据与监控数据中的云存储与大数据