基于爱数Anyshare非结构化气象科技档案管理系统设计

邹杰　王会品　高磊　夏葳　蔡冬梅

摘要：随着气象科技档案数据量的不断增加，目前基于移动硬盘和光盘刻录的存储方式会随着时间的更迭、人事变动，加剧整合难度，文档流转效率不高，大量的文档仍分散的保存在个人电脑上，不能有效的集中管理与备份，甚至导致数据丢失等。根据现有气象档案数据量及数据类型特点，采用爱数Anyshare构建非结构化数据存储系统，对纷杂的气象科技档案数据分门别类管理，统一归档。通过利用在线、近线方式实现不同类型气象档案数据的归档保存，方便管理及快速查找。

关键词：爱数Anyshare；非结构化；档案管理

中图分类号：TP302 文献标识码：A 文章编号：1009-3044（2016）36-0283-02

1 项目背景

大连市气象档案馆是以气象科技档案为主体的专业档案馆，是科技事业单位国家二级档案管理单位，作为大连地区气象档案和资料信息资源中心，承担全地区台站气象观测资料的处理、整编、检索及历史数据库管理、承担气象档案管理工作。大连气象档案馆同时也是大连地区气候资料服务提供利用工作的窗口单位，馆藏有大连地区地面、高空、太阳辐射、农业气象资料、气象灾害资料以及全国主要城市的气候整编资料；各高度层天气图、历史天气图及其他辅助天气图；热带气旋（台风）年鉴；寒潮年鉴；海洋资料，海上船舶资料等，为社会各界提供气象资料服务。

随着气象档案馆数据量的不断增加，目前数据存储主要通过移动硬盘、光盘刻录方式对历史数据进行归档存储，基于移动硬盘和光盘刻录会随着时间的更迭、人事变动，新的知识碎片大量产生，而这个过程会加剧数据整合难度。同时还伴随以下几个方面的问题：部门内部及部门之间文档流转效率不高；大量的文档仍分散保存在个人电脑上，不能有效的集中管理与备份；工作电脑硬盘故障，会导致数据丢失；WORD、WPS软件中病毒，可能导致文书丢失等。

综上，根据现有气象档案数据量及数据类型特点，构建非结构化气象档案管理系统，对纷杂的气象资料内容和格式（图片、word、excel、ppt、pdf、wps、video、txt等）分门别类管理，统一归档，是此次系统设计的关键。

2 需求分析

气象科技档案数据类型主要包括：区域站数据、日射数据、太阳光度计数据、激光雷达数据等诸多应用类型数据，总归档数据量不超过10TB。目前数据存储主要以移动硬盘、光盘手工刻录为主，部分数据分散存储在各服务器的内置硬盘与个人电脑中，不易于统一管理，且存储资源分散容易造成存储资源浪费。由于数据分散存储，很难满足业务数据安全要求。随着数据量不断增大，可用存储空间不足，并且扩展性差，无法满足业务发展需要。

总结以上需求分析，基于当前业务系统情况，面向未来业务发展需要，建设一套高可用统一存储服务平台，为业务系统提供高性能、弹性扩展的安全存储系统，并可按需提供存储服务。通过利用在線、近线方式实现不同类型气象档案数据的归档保存，方便管理及快速查找。

3系统总体设计

3.1 存储载体选择

本系统依据《电子文件归档与管理规范GB/T 18894-2002》标准中推荐数据储存载体，选择存储优先顺序较高的光盘作为数据长期保存的存储介质，保证数据安全性，可保存数据50年以上，且低运行成本，低管理费用，耗电少，极大节省办公室面积，配置更新容易，设备寿命长。新一代光驱总是保留之向下的兼容性，全方位拥有数据，检索快，信息提取能力强。由于采用塑质材料，所以对任何电磁干扰都不敏感。由于放在片匣内，采用非接触的访问方式，所以也没有光照射和机械损伤。大规模智能光盘的管理设备-光盘库产品已经成熟，为采用光盘进行海量数据的存储提供了可能。

光盘库设备同光盘库管理服务器一同组合成光存储NAS系统，通过虚拟化技术，将光盘库设备映射为光盘库管理服务器某个单独的虚拟文件系统（体现为一个单独的盘符），可以向外提供网络路径，在数据源端上通过网络驱动映射的方式，将光盘库文件存储路径挂载到数据源端本地，使用起来就像操作本地硬盘一样简单。由于光盘库设备是通过机械手自动移动盘匣的方式，来实现存储介质的交换，所以对数据请求的响应时间要低于硬盘，一般近线数据读取的响应时间在1～2分钟左右。通过光盘库管理软件的缓冲技术，可以保证近期内的数据在刻录到光盘匣后也会放置于光盘库管理服务器的缓冲空间内（即硬盘存储介质上），实现光磁混合式存储方式，保证近期被写入和被频繁访问的数据处于在线状态，能够被快速读取。缓存空间可以通过服务器本身硬盘空间提供，也可以外接磁盘阵列进行提供。利用AnyShare归档模块实现基于光盘库的在线自动数据归档，系统整体由数据源端、管理员客户端、光盘库管理服务器、光盘库设备构成。客户端与光盘库管理服务器间通过LAN进行连接，光盘库管理服务器与光盘库设备间通过SAS方式进行连接；如图1。

3.2 平台框架设计

平台采用云存储集群架构，多站点统一部署方案，满足档案数据及下属各级部门之间进行数据传输、共享和协作，各部门数据就近存储可以减轻带宽压力，同时各站点数据通过权限设置，有效控制站点数据安全，即有权限访问用户或者部门仅能访问对应权限的数据。

AnyShare非结构数据共享云平台主体基于云存储平台，用户可通过PC客户端、移动客户端、WEB页面的方式进行访问；为终端用户提供云盘服务与个人存储空间，用户可自主上传并共享文档。同时开放公共文档访问目录，实现组织内部知识库的构建、发布与共享，利用光盘库实现数据自动归档并做到长期保存。方案总体设计拓扑图如图2。

将文档云平台部署在专网，实现各种类型数据的统一存储、管理及归档，方便用户日常存取、访问。终端用户通过政务专网以PC客户端、移动客户端、web页面的方式进行访问。客户访问界面如图3。

另外，AnyShare文档云用于电子档案等非结构化数据的存储、检索、共享、归档，具有针对固定内容的归档和长期保留特性。通过安全文档云平台，档案部门可以创建电子档案归档库，并将电子档案存储在归档库中，分散在电脑里的重要资料、手机或Pad里的会议记录等都可以上传到云端，做好数据备份。

系统管理员通过云管理平台可以了解掌握整个集群的运转绩效，包括在线人数监控、文件数量和操作变化统计。对电子档案的所有操作都会记录到审计日志，做到有据可查，合规、安全可控，为档案提供统一的固化存储、安全管理和高效使用的平台。

4 结语

采用爱数AnyShare-V构建私有云盘服务平台，建立大连气象科技档案私有云共享平台，在信息中心部署并配置平台的公网映射，通过Internet可接入业务专网；在组织范围对各个行政办公人员、管理人员、业务人员等个人电脑上安装客户端；对于外部用户，可选择通过web访问，手机或者PAD安装APP等方式进行访问。同时，该平台具有统一的对外异常交互方式，方便开发者对云平台中的异常进行捕获与处理。通过对以上API的组合调用，开发者可以在不同的终端实现基本的文档操作，对数据进行集中的存储与有效的管理。

爱数AnyShare云存储平台是一个开放的平台，为第三方应用提供了访问该平台资源的一系列接口，可对接各种业务软件，如OA的管理所有相关附件的非结构数据。第三方应用可以通过系统提供的接口开发基于AnyShare云平台的相关应用程序，具有较好的开放性和扩展性。

参考文献：

[1] 冯宇.非结构化数据管理平台研究与建设[J].电力信息化，2012，02：69-72.

[2] 程志华，倪时龙，黄文思，龚贺.企业级非结构化数据管理平台研究及实践[J].电力信息化，2012，03：12-20.

[3] 谢华成，陈向东.面向云存储的非结构化数据存取[J].计算机应用，2012，07：1924-1928+1942.

[4] 胡珊珊.面向云存储的非结构化数据存储研究与应用[D].广东工业大学，2014.

[5] 何颖鹏.非结构化数据统一存储平台的设计与实现[D].浙江大学，2013.

[6] 张孝，周宁南.非结构化数据存储管理研究[J].科研信息化技术与应用，2013，01：30-40.

[7] 陈金水，王崟.非结构化数据存储管理的实用化方法[J].计算机与现代化，2006，08：25-28+31.