大数据时代档案信息资源共享平台数据交互服务的研究
2018-01-24卞咸杰盐城师范学院
卞咸杰/盐城师范学院
2000年,《全国档案事业发展“十五”计划》明确提出“组织各级国家档案馆建立区域性档案资料目录中心,实现档案信息资源共享”;2002年,《全国档案信息化建设实施纲要》进一步提出“在逐步推进地区性馆际互联的基础上,不断促进全国范围内的档案信息资源共享”。近20年来,我国档案信息资源共享建设取得一定进展,许多省市档案部门在实践中获得成功经验,如浙江省宁波市、湖州市、丽水市、海宁市等地档案部门构建了区域性档案信息资源整合共享平台[1];南京市档案局以“南京市文档目录数据中心”及“南京档案”网站为龙头建设网站群,为全市档案信息资源整合和利用搭建统一平台;四川省、江苏省高校档案研究会(理事会)分别推动本省高校档案信息资源共享[2]。“十二五”期间,我国初步建成以局域网、政务网、因特网为平台,以档案信息管理系统为支撑,以档案目录中心、基础数据库、档案利用平台、档案网站信息发布为基础的档案信息化体系。但目前档案信息资源共享平台的数据共享范围主要局限于系统内部和区域性、行业性范围内,数据交互在服务器系统内部实现,在不同类型的设备上很难做到数据的实时同步,不同平台间的档案“信息孤岛”现象仍然突出,如果要实现数据在移动设备上的共享就要开发相应的平台,否则档案信息数据无法实时同步。
1 档案信息资源共享平台建设的特点与目标需求
1.1 档案信息资源共享平台的特点
大数据时代,档案信息资源的质量得到提升、数量愈发庞大,资源的数字化、网络化、自动化程度也越来越高,异构平台的档案信息资源数据交互成为档案信息资源建设的重要发展方向,信息的表现形式呈现出文本信息资源、超文本信息资源、多媒体信息资源、超媒体信息资源和自媒体等并存的局面。由此,档案信息资源共享平台建设呈现出智能化、共享与互联互通和均衡化的特点。一是智能化。档案信息资源是非常重要的知识资源,是人类劳动成果的结晶,其从传统的纸质形式发展到现代的电子介质形式,所记录与表达的内容越来越丰富,海量的档案信息资源数据处理将从传统的人工辅助计算机处理转向智能应用自动处理。二是共享与互联互通。为充分开发利用现有的档案信息,必须对档案信息进行有效配置与合理共享,实现档案信息资源的最大价值,大数据时代数据共享(如实时交通路况、实时天气预报等)为我们带来了诸多便利,未来的档案信息资源平台也应实现可共享与互联互通。三是均衡化。不同地区的经济发展状况和人才拥有情况不同,导致了档案信息资源收集与利用不均衡的现象,实现平台信息共享之后可以有效缩小不同平台之间数据信息差距,实现档案信息资源服务均衡发展。
1.2 档案信息资源共享平台建设目标需求
档案信息化应用系统在设计开发之初,局限于本单位、本部门自身业务需求的实现,缺乏整体性的统一规划与统一标准,导致现有的各档案信息资源共享平台存在两大缺陷。一是平台的数据共享范围主要局限在系统内部或区域性、行业性范围内,不同机构系统之间的数据很难共享,无法实现档案信息数据无缝交互。二是平台的数据交互在不同类型的设备上很难做到实时同步,各应用系统的信息不能畅通地注入档案信息资源库中。
因此,档案信息资源共享平台建设要实现《全国档案事业发展“十三五”规划纲要》提出的档案利用便捷化、档案管理信息化和档案安全高效化的要求,必须加强三大管理中心建设。一是档案信息资源共享平台综合管理中心建设,需要实现平台角色管理、平台用户管理、平台角色权限管理、档案信息资源导入与录入、档案信息资源检索、档案信息资源智能分析等功能。二是档案信息资源共享平台存储服务中心建设,需要实现档案信息资源文件存储、档案信息资源结构化数据存储等功能。三是档案信息资源共享平台数据交互管理中心建设,需要实现数据交互服务检索模块、数据交互服务管理模块(具备档案信息资源新增、删除、修改等功能)、数据交互服务权限控制模块、数据交互服务的服务管理模块等的建设。
2 档案信息资源共享平台数据交互服务的技术选择
档案信息资源共享平台各系统或多或少存在异构性,跨平台操作对耦合程度要求高,这使得数据难以畅通流转。档案信息资源共享平台的数据交互需要实现在不同设备之间的信息实时交互,目前可选择的数据交互技术主要有以下三种:Web Service、WCF(Windows Communication Foundation)、Web API。根据档案信息资源共享平台逐步向移动化方向发展的特点,笔者建议采用Web API数据交互技术。Web API可用于构建传统的PC与移动客户端之间档案信息资源数据交互的服务,从技术特点来看,Web API利用HTTP协议的各个方面来表达服务,可以服务于不同的客户端、操作系统及浏览器。
档案信息资源共享平台主体功能包含档案信息的搜集、查询、维护及数据统计分析,相应地在数据交互上就需要有档案信息增删改等操作的服务、档案信息查询服务、档案信息后端分析服务。用户利用档案信息既可以使用电脑,也可以使用手持设备如智能手机、Pad等。对于档案信息服务平台而言,不管采用何种方式都不能直接对档案信息数据库进行操作,所有数据操作必须经过Web API数据交互技术构建的服务,这样确保每一次服务调用都是统一的,保证数据操作的一致性。
3 档案信息资源共享平台数据交互服务的策略分析
3.1 档案信息资源共享平台数据交互服务的目标定位
档案信息资源共享平台最终要实现档案利用便捷化、档案管理信息化和档案数据标准化,克服因档案信息载体不同、馆藏类别丰富、操作系统多样、浏览器众多和支持设备的差异等给档案信息资源共享带来的障碍,打破档案“信息孤岛”的格局,最终成为档案信息资源的综合管理中心、存储服务中心和数据交互管理中心。档案信息资源共享平台数据交互服务的目标定位应包括如下三点。
第一,实现档案信息资源共享平台数据高度集成。通过数据交互技术将档案信息资源归类汇总,使数据交换更加准确、便捷、高效和通畅,不仅能集成已有系统,而且能使未来新建系统融合到整体架构中,与数字档案馆系统进行数据交换和信息共享,提供更加全面的档案信息服务。第二,实现档案信息资源的智能化管理与应用。通过档案信息资源共享平台数据交互,档案信息资源数据的获取自动从其他平台获取,减少档案工作人员重复性数据操作,进一步将档案部门工作人员从繁琐的事务性工作中解放出来。第三,实现档案信息资源的开放与共享。满足对各种异构与同构平台、数据源及各类应用间的数据交换需求,利用大数据技术对档案信息资源进行智能分析,抽取有价值的档案信息并进行加工,形成对用户有价值的分析报告,为用户做出更好的决策提供参考。
3.2 档案信息资源共享平台数据交互服务的总体架构
档案信息资源共享平台采用N层架构的方式,包括数据库层、数据访问层、业务逻辑层、Web API服务接口层、应用层等,其中Web API服务接口层是未来实现跨平台应用的关键,要对任一平台的档案信息数据进行增、删、改、查等操作均需要调用Web API服务接口,不能直接对数据库进行操作。对于应用层,如果采用传统的开发模式,需要开发相应的APP应用、Web应用、微信应用,因应用所处平台有所差别,开发的技术要求不完全相同,对此可采用Web API数据交互技术构建的服务框架结合响应式页面的方式,这样平台的实现比较容易,一次实现就可以让档案信息资源共享平台在不同的设备上使用,升级维护成本也可以降低很多。
3.3 档案信息资源共享平台数据交互服务的框架搭建
大数据时代许多档案信息以非结构化或半结构化的形式存储,这使得现有的平台不能适应半结构化数据的分析处理模式。为此,档案信息资源共享平台前端框架宜采用Bootstrap设计,可以在不同的移动设备上显示平台的内容,从而自动适应手机、平板、PC等主流移动设备及浏览器[3],档案信息数据交互服务的应用服务器环境为Windows Server 2008,Web服务器部署采用IIS,数据库服务器采用Microsoft SQL Server 2008,开发工具采用微软的Visual Studio 2015,新建的项目类型为Web API,在项目构建后需要三个Web API子项目分别实现档案信息维护、查询、分析等数据交互服务。档案信息维护数据交互服务包括信息的新增与修改、多媒体类型数据交互处理、档案类型数据交互处理等;档案信息查询数据交互服务主要处理档案信息查询条件的选择、查询结果返回服务,该服务需要支持动态的结果集,即不同的档案信息的信息(如人员信息、内容信息等),查询处理的数据格式应是不同的返回格式,以支持数据交互服务使用者的不同需求;档案信息分析数据交互服务主要是档案信息分析,通过对平台档案数据进行分析利用形成相应的价值,平台的数据交互服务会自动分析数据交互行为,并定期将分析的结果发送至相关档案用户。
3.4 档案信息资源共享平台数据交互服务安全控制
档案信息资源共享平台数据交互Web API服务设计采用令牌+签名认证的方式以保证请求的安全性,具体方法为:首先实现档案信息资源共享平台认证服务,该服务采用Web API技术,任何用户要使用平台数据必须要通过该认证服务并得到对应的令牌;其次用户根据认证通过的令牌信息以及请求的参数和服务器端提供的签名算法计算出签名后再访问指定的Web API;再次档案信息资源共享平台服务器端每次接收到请求就获取对应用户的令牌和请求参数,服务器端就会作出反应,对计算签名和客户端签名进行比对,验证通过则正常访问相应的Web API,验证失败则显示具体的失败信息。采用令牌+签名认证可以确保服务使用者的合法性,因为在平台正常运行过程中会遇到恶意攻击者,他们会篡改地址参数并进行恶意攻击,这样会对服务器的安全及性能造成不利影响。可以采用日志系统应对,遇到异常服务使用情况系统能及时记录相应的数据源头信息,便于对攻击源头进行控制,这样可以确保用户利用档案信息资源共享平台进行数据交互。
3.5 档案信息资源共享平台数据交互服务的性能处置
Web API作为档案信息数据请求的一种服务,在用户并发请求不断增加以及请求的档案信息数据量变大的情况下,提升其性能是实现档案信息数据交互关键点,平台从三个方面提升数据交互服务的性能:首先是采用JSON(JavaScript Object Notation,JS对象标记) 进行数据传输[4],每次请求都涉及原始档案数据转换成JSON格式数据,转换技术采用的是微软提供的Json.NET;其次是对Web API传输的数据进行压缩,对需要交传输的字符串信息、数据流信息、文件等内容进行压缩,压缩的方法可采用微软提供的GZipStream类;再次是使用缓存技术,将无变化的档案信息数据设置缓存过期时间,在某一段时间内不会去重新请求从服务器获取数据,直接在本地浏览器缓存中获取,这也是提升数据交互性能的重要方式;最后是采用异步方法,对于部分功能会在某个时间段会出现并发现象,比如系统上线时用户注册,解决类似这样的问题需要用到异步方法,这样用户就不需要长时间在前台页面等待后台操作完成。
总之,随着大数据时代的到来,公众对档案信息资源的需求越来越多样化,呈现在用户面前的档案信息已经由传统的纸质档案向多媒体档案转变[5],尤其是移动档案信息资源共享平台的发展呈现出个性化服务功能逐渐拓展、服务资源更加集成、提供利用更加人性化的趋势[6]。随着移动互联网成为信息时代发展的主流,档案信息资源共享平台在实现形式上趋于云端化、移动化、智能化,这就要求档案信息能够在不同的设备间互联互通。在档案信息平台数据和平台用户不断增长的情况下,采用Web API技术构建档案信息数据交互服务平台,能够满足档案信息网站程序、APP程序(IOS、Android)、桌面应用程序以及目前热门微信应用等不同系统的数据交互需求,并支持更广泛客户端(包括浏览器、手机和平板电脑等移动设备)的数据交互,真正满足档案信息数据交互服务跨平台需求。