海量存储技术在云笔记共享平台中的应用

徐莉娜

[摘           要]  近年来，以“人”为中心的知识共享与互动平台开始打破地域和资源的限制，呈现出旺盛的生命力。知识共享平台的发展，为教育行业提供了知识价值转化的可能性。海量存储技术解决了目前云笔记共享平台在云化迁移过程中的海量文件存储问题，从而推动云笔记共享平台的演进，实现云化的、以笔记整理为基础的知识共享平台，为高校在线教育与知识共享体系的发展提供一定的借鉴作用。

[关    键   词]  云笔记;海量存储;知识共享

[中图分类号]  TP391                  [文献标志码]  A                   [文章编号]  2096-0603（2021）43-0228-02

近年来，随着大数据、云计算的出现和运用，互联网迎来了快速发展的时代，全球成了一个以思想文化为基础的知识交流会场，人们在网络上实现了知识与文化的共享。由于互联网具有速度快和容量大的优势，可以预见，在不久的将来，整个教育行业将从传统的教育模式向信息化的网络教育模式发展，人们能享受更多更好的教育资源，从而实现真正的全球知识共享，利于迅速普及人类共同发展和进步的理念。

云笔记共享平台作为在线教育系统的一类实例，提供了一种便捷的知识分享途径。知识对人类发展至关重要，并且呈爆炸式增长，如果将这种资源与他人共同分享，就能更加高效地进行知识传播，节约社会成本，提高知识的利用率，避免在知识采集、存储、管理上的重复浪费。

一、云笔记共享平台

云笔记共享平台是对业界云笔记管理系统和知识共享平台的一种整合，提供用户注册、登录、笔记分类记录与保存、笔记上传与下载等功能，同时兼具知识共享与问答能力。与已有的知识共享平台相比，云笔记共享平台更强调笔记的整理、知识的系统性，在随机的、触发式的知识问答平台上增加了笔记整理和归档功能，使知识整理的过程从本地转移到云;与已有的云笔记管理系统相比，云笔记共享平台增加了知识共享的过程，提供了笔记内容相关的搜索、查询和问答能力。

二、存储技术分析与选择

云笔记共享平台的关键是存储和读取用户的日常笔记，如何快速、安全、可靠地存取这些笔记文件将是系统成功与否的关键点。

当前单机版笔记共享平台遇到的最迫切问题是随着用户数量的增加，用户笔记文件数目成指数级增长，原有系统无法支撑，解决文件存储问题是当前的首要问题，以下对云笔记共享平台的文件存储技术进行分析与选择。

（一）云笔记共享平台的存储需求

云笔记共享平台是以笔记的整理与共享为基础的知识共享平台，强调知识的系统性，在随机的、触发式的知识问答平台基础上增加笔记整理和归档功能，所以笔记是整个系统的基础和线索。在互联网场景下，一个平台想要良性地可持续发展下去，就需要拥有大量的用户，而面对数以十万、百万，甚至上亿用户时，必然产生海量的笔记文件，面对这亿级数量的文件，如何高效地上传、下载并搜索笔记文件是该系统的关键需求。同样，如何保证如此庞大的笔记文件的安全性、可靠性也显得至关重要。因此，选择一款满足云笔记共享平台要求的海量文件存储系统成为云化迁移的首要任务。

（二）云笔记共享平台的存储使用场景

云笔记共享平台需要存储的笔记主要有如下特点：

1.海量：作为互联网场景下推广的平台，要做到良性发展，需要吸引大量的用户，而由于笔记的记录是每天、持续的过程。加之系统的用户众多，必然存在海量的文件。我们以系统未来发展规模为5000万用户预估（微信8.89亿活跃用户、支付宝5亿用户、有道笔记5000万用户），按照每个用户每天新产生3个笔记文件，则每天新产生的笔记文件总数为1.5亿，按照笔记文件平均保存1年计算，存储文件数量级为500亿……

2.小文件：以學生课堂笔记为例，一次课堂笔记的字数约为500到5000字，存储大小约为几KB到几十KB，所以每个文件的访问对于带宽占用相对较小。

3.文本文件多，图片少：笔记一般以文字记录为主，图片记录为辅。一般来说，图像文件中包含可供读取以确定图像特征的元数据。当图片数量非常庞大时，这些元数据的大小是不能忽视的，而本系统中这一块相对不是主要因素。

4.差异性大、重复性少：以存储图片、视频为主的云盘系统或者社交、视频类软件不同用户存储的内容中会存在大量重复的内容，比如相同的影片、相同的图片等;而对于日常笔记来说，每个笔记都是一次创新活动，重复的几率相对较小，除重的性价比不高。

5.多次读写：图片、视频类文件的存储一般是一次写多次读，而作为笔记，可能需要多次修改。一旦笔记基本正确后，就基本不再修改。Read often 和rarely deleted是一致的。

6.实时性要求不高：和视频点播类网站不同，不需要关注视频播放的流畅等实时性问题。

（三）可行性分析与选择

首先，针对云笔记共享平台使用的场景假设，本平台需要存储的笔记文件主要是1M以内的小文件（特别是文本文件），从之前分析的现有技术中表明，Ceph、Lustre、GFS主要支持大文件或者对象的存储，所以不满足云笔记共享平台的诉求。

其次，由于用户日常对笔记文件的访问频率比较高，为了确保用户使用的体验，访问的性能也是至关重要的，所以性能相对不够理想的MooseFS也被排除在外。

再次，考虑到我们属于业余爱好者，技术储备较低，背后也没有专业的技术团队支撑，所以希望选择一个社区更为活跃、资料更丰富的开源技术，所以MogitlFS也不适合该系统使用。

最后，因为技术能力的原因，我们需要一款更为简单、更容易掌握的开源技术，所以将整体代码量为50K，安装简单的FastDFS成为我们的首选，同时，FastDFS的高可靠性、友好性、应用广泛性也同样满足我们的需求。

综合考虑，最终FastDFS被作为云笔记共享平台的笔记文件存储解决方案。同时，由于本系统主要以文本存储为主，考虑到MangoDB在文本存储上具有便捷及高性能的优势，可以将其作为候选方案进行对比实施。

三、FastDFS在云笔记共享平台中的应用

（一）云笔记共享平台架构图

引入FastDFS后调整云共享平台（Cloud Notes）的实现逻辑，原来笔记内容保存在本地数据库中，现在改为调用FastDFS接口实现文件的上传下载，为此，新增一个FileOptProxy模块，调整后的架构图如图1所示。

（二）Cloud Notes调用FastDFS接口实现相关功能

修改原有涉及文件读写的模块，改为调用FastDFS接口，主要涉及接口如下表所示。

（三）云笔记共享平台功能介绍

通过引入FastDFS解决了云笔记共享平台的文件存储问题，基于此，我们构建了首个云笔记共享平台（Cloud Notes），其主要包括如下功能。

1.用户运营管理：作为云笔记管理服务提供的平台，需要对登录的用户进行必要的管理，以确保系统运行的安全、透明。

2.學科笔记整理：云笔记共享平台以笔记管理为切入点，全面集成原来单机版在笔记管理方面的能力，如笔记分类、笔记编辑、笔记查询等。

3.订阅发布与搜索：系统的基础是笔记的整理与保存，而系统的关键和价值是知识的分享，而知识或信息分享与透明传递本身也是互联网存在的最大价值。

4.在线问答与求助：在提供关注与订阅等基础互动能力基础上，未来可以进一步演进系统，提供知识的在线求助与解答模式。

四、结语

在信息技术迅猛发展的今天，移动互联网快速发展，云计算技术的出现以及广泛应用，极大地改变了人们的生活，同时也为整合现有教学资源带来新的视角和方法。因此，将海量存储技术的理念应用在云笔记共享平台的建设和管理上，是研究的主要内容和方向。

知识共享与互动平台的出现推动了现代教育体系的改革与发展，这是时代发展的趋势，也是社会发展的必然。将知识共享应用于现代教育体系中，将加快教育资源库的建设，迅速提升现代教育水平，从而推进我国教育事业的蓬勃发展。

参考文献：

[1]高伟杰.云存储系统的关键技术的开发研究[D].南京：东南大学，2016.

[2]李林锋.分布式服务框架原理与实践[M].北京：电子工业出版社，2016.

编辑 薛直艳