APP下载

私有云存储助力高校智慧校园建设*

2019-06-03鲁学亮陈金焘

中国教育信息化 2019年9期
关键词:云盘存储系统架构

鲁学亮,陈金焘

(北京师范大学 信息化建设办公室,北京100875)

一、云存储建设形态

从云盘功能上来看,目前的云盘服务主要包括文件的上传下载、用户的身份认证、用户文件的共享、添加好友、文件管理、文件提取、用户及文件的搜索功能以及回收站功能。因为云盘服务是一种基于Web的服务形式,所以功能的实现也支持以HTTP语言来实现,包括HTML、RESTAPI、SOAP等等。目前主流云盘均依赖于标准的REST API进行编写。

从架构上来看,云盘的实现主要分为两种大的分支:一种是基于传统NAS设备构建的云盘系统;另外一种是基于对象存储系统搭建的云盘系统。传统NAS设备搭建的系统,虽然从某种程度上弥补了使用SAN网络的缺点,如提高了可扩展性,但是自身对带宽的消耗太大无法弥补,同时性能上较SAN网络也存在着明显的不足。并且NAS依赖于底层的文件系统,而一旦NAS设备提供给外网服务,势必存在NAS依赖的文件系统也完全暴露在外网,从而带来了很大的隐患。而越来越多的厂商和用户将目光投向基于对象的云盘系统,特别是云盘的应用,基于对象的云盘系统有着自己独特的地方。从云盘的底层架构上看,越来越多的用户和企业转向了分布式特点明显的架构建设上。这些云盘服务的提供商不再采用集中存储,而是在多个站点之间构建多个存储空间,通过云盘的统一命名空间对所有资源进行整合,应用不需要关心数据存储到哪一个地方、存了多少份、怎么存的过程等等,只需要关心需要多大空间,文件需要什么样的保护级别即可。

私有云在云存储中是最为传统的方式,需要搭建一系列服务器集群,搭建服务器云环境,软件系统、存储内容均搭载于本地机房。学校作为万人级使用单位,时时都会产生大量数据,随着数据的不断增加,服务器的运行压力会不断增大。另一方面,私有云建设中的软件存储系统升级、后续维护、服务由于本地化部署有明显的限制,造成了升级难、维护难、服务难的现象。但在数据安全和访问便利方面,私有云则有更大的优势,国内高校中的上海交通大学、中央财经大学、中国公安大学均采用私有云方式[1]。浙江师范大学采用公有云方式,浙江大学在校园云盘建设中采用混合云方式。

二、“师大云盘”建设目标

北京师范大学“师大云盘”系统一期建于2011年,满足了校内教学、科研、个人文件的存储共享等需求。云盘系统部署在6台服务器中,后端接8台NAS集中式存储设备。提供的可用总空间为220TB,总用户数为26399,日均活跃用户数为1000左右。2018年“师大云盘”二期启动建设。“师大云盘”部署拓扑图如图1所示。“师大云盘”架构设计原则如下:

(1)高容量:支持海量数据,满足客户目前及未来发展的需求,提供十万级用户访问能力,这是传统NAS的架构难以实现的。

(2)高可用:可以做到磁盘和服务器故障,而业务不中断,无缝动态升级扩容,多站点异地容灾无缝切换,24小时在线。

(3)低运营成本:采用传统的x86服务器构建集群,大大减少硬件设备的成本。

(4)可管理性好:统一管理界面,丰富的系统状态检测和告警功能。

(5)丰富的客户端体验:支持 Windows、Android、iOS系统的PC和移动设备在本地客户端访问。

(6)完善的数据管理、同步机制:支持桌面数据同步、备份,以及跨本地桌面系统、虚拟化桌面系统、移动终端系统的数据统一管理。

图1 “师大云盘”部署拓扑图

云存储系统支持通过部署OWA在线预览服务器(Office Web Apps),实现不借助本地软件的Office文档在线预览。通过部署DOCS模块,实现文档协同在线多人同时编辑。通过部署杀毒模块,实现文件的防病毒过滤引擎。

云存储系统所有模块均可独立部署,且每个模块均可负载均衡至多节点,实现完全高可用架构。节点可横向无缝扩展,节点数量可根据需求进行动态增减,当出现应用访问或存储容量无法满足应用需求的情况下,云存储系统只需横向增加应用或存储节点即可满足扩展的需求。“五台”部署方案为生产环境标准高可用方案,提供“访问层-业务层-数据层”整体高可用方案,负载均衡、应用服务、数据库均提供多活架构,并提供两副本存储,保证数据可靠性和线上业务连续性。模块部署如图2所示。

数据库模块分布式部署在节点1至节点3上,提供专属数据库高可用集群能力。应用服务模块部署在节点2和节点3上,提供完全负载均衡的应用访问服务支撑。负载均衡模块部署在节点2和节点3上,利用主从模式实现故障自动切换的HA冗余能力。存储模块部署在所有节点上,提供数据存储服务。此部署集群架构可完全满足高并发量、高存储量、高可用性的云存储应用需求。这样的集群架构可完全满足50000用户量的高并发云存储应用需求。

图2 模块部署图

三、“师大云盘”典型应用场景设计

1.校园文件共享,资料在线学习

“师大云盘”为师生提供了一个文件协同办公的共享空间,为学校内部各部门、各团队进行文件资料汇总,减免文件传输带来的时间成本。“师大云盘”提供消息通知功能,当云端重要文件发生更新时,自身文件权限发生变动时,系统发送公告时,会第一时间通过消息提醒、邮件等方式告知相关用户。“师大云盘”提供基于文件内容的全文检索能力,并同时提供文件标签插入及检索功能,帮助用户最快速定位文件,提高办公效率。

图3 校园数据存储现状需求

2.团队协作

“师大云盘”支持根据不同使用场景、不同组织架构设置灵活的文件管理权限,系统默认为每位用户分配个人空间和单位空间,个人空间为仅限用户使用,单位空间由系统根据用户所属部门进行划分,同部门用户共享单位空间。另外,学校可以根据行政班级、选修课班级、教师教研组等组织架构,为师生配置不同场景下的文件夹,科学有效地满足高校使用场景。教师可针对相应文件灵活设置权限,例如学生只可上传不可修改或删除,导师可设置修改、删除文件权限,这样就可以轻松应对学生误删、替换等常见问题。

3.教学科研

在绝大多数高校,学生在完成课后作业或论文后,不仅要发送电子版到教师邮箱里,还得再上交一份纸质版论文作为备份,以免电子版损坏。这样繁琐的流程让老师和学生都感到头疼。对学生来说,发送电子版论文后,学生们不知道老师是不是真的看到了邮件,更不知道是不是成功发送了附件。对于老师来说,在论文收集截止的前几天,他们的信箱或者邮箱都会收到大量的纸质版或者电子版论文,少则几十、多则几百封,混淆、投错、投漏、投丢甚至被偷,都会造成学术成果的泄漏或被窃,隐患重重。云盘系统可通过班级内共享文件目录或外链的形成完成作业收集。共享文件目录和外链支持上传数量和加密功能,确保文件安全,如图4所示。

图4 交作业场景

4.在线协同

云盘系统支持多人在线编辑功能,用户无需打开本地Office软件更不用下载客户端,只要打开网页版师大云盘即可在线编辑并实时保存。同时,“师大云盘”多人同时在线编辑功能还支持包括Word、Excel、PPT等20多种格式文件的多人实时在线编辑,项目成员能同时完成各自负责的模块,教师也可以在线实时指导点评并及时在线保存,效率大幅提升还不用担心文件意外损坏。协同编辑场景如图5所示。

5.数据传承,一键交接

学生离校、教师离岗等情况下,师生曾经管理的团队公共数据需要快速地交接给接任者,“师大云盘”可方便地实现“一键传承”,保证数据资产不外泄流失。一键交接场景如图6所示。

图5 协同编辑

图6 一键交接

6.促进无纸化办公

“师大云盘”的宗旨是实现“让你的文件跟你走”,无论在什么位置,只要能联网就可以通过终端设备获取文件,彻底减少了大量文件的打印,并减少移动存储的使用。“师大云盘”支持二维码扫码文件分发,会议开始前参会人员扫一下二维码即可获取会议资料,不用再大量打印会议材料,如图7所示。

图7 文件分享

四、“师大云盘”安全性措施

“师大云盘”支持通过Web、手机浏览器、PC客户端、MAC客户端、IOS客户端、Android客户端、学校微信号等多种方式登录使用,多重安全加密备份,确保用户数据安全。

(1)传输通道安全:“师大云盘”所有数据均存放于北京师范大学校内数据中心机房,数据存储服务器不与校外网络互联。用户与服务器间数据传输通过https协议,数据在用户端加密后传输到服务器端,确保传输过程中不被窃取和篡改。

(2)存储架构先进:“师大云盘”采用先进的分布式存储架构,并行处理存储文件,能够为师生提供高性能、稳定传输数据的存储平台,分布式架构将系统所有的硬盘性能聚集到一起,可以将存储系统的性能扩展到TB/s的传输速度。

(3)数据存储安全:“师大云盘”在服务器底层采用先进的切片加密存储机制,文件进入服务器后可以防止病毒文件在服务器扩散,并且“师大云盘”拥有先进的文件历史版本管理体系,可以实现文件感染病毒后,在历史版本中将感染前的“最新”文件找回,实现对文件数据的安全保护,防止病毒感染造成数据丢失。

(4)数据备份机制:“师大云盘”分布式存储系统采用多副本安全机制,可保证硬件与软件出现故障时,数据不丢失,服务不中断,能够有效地避免数据丢失和数据异常。未来的扩展中,分布式存储系统可实现在线扩展与动态卷扩容,真正实现服务不中断、不迁移。数据的存储系统扩容上限可达到ZB级别,满足未来学校其他信息化系统的存储使用要求。

(5)勒索病毒防范:数据备份是对抗包括勒索病毒在内的所有病毒最有效的途径,不要等到病毒爆发后再后悔。在这个问题上,所有用户都不应该偷懒,不要心存侥幸,只有做好备份才能在病毒侵袭中做到有备无患。

五、展望

为满足未来学校“一体两翼”的办学格局,系统建设之初就考虑到多地部署的架构,在北京师范大学总校部署一套云存储系统作为主数据中心,为全局元数据管理服务,分校区部署一套应用云存储平台,作为分数据中心,提供分校区及外部用户就近访问。主数据中心提供元数据管理服务(同时也提供存储服务),分站点只提供存储服务。每个站点分别是一套集群系统,所有站点都由主数据中心统一控制和管理。元数据集中存放在主数据中心,文件数据分散存放在各个站点(具体位置根据归属关系而定)。当用户第一次访问异地站点数据时,会将访问的数据缓存到本地站点上,提供第二次的数据就近访问。云盘部署架构如图8所示。

图8 云盘部署架构图

升级后的“师大云盘”可以方便地进行文件集中存储、分享、分发,为教师提高教学水平、学生主动学习提供更大便利。

猜你喜欢

云盘存储系统架构
基于FPGA的RNN硬件加速架构
一键搬家!轻松实现从百度网盘到阿里云盘的直传
编辑精选APP
功能架构在电子电气架构开发中的应用和实践
分布式存储系统在企业档案管理中的应用
基于云服务的图书馆IT架构
天河超算存储系统在美创佳绩
VoLTE时代智能网架构演进研究
云端难题巧解决
阿里发布SSD云盘 性能大幅提升