基于中间件的新疆农业科学数据共享平台的体系构建
2016-01-29朱倩王华丽
朱倩+王华丽
摘 要:针对新疆现有的涉农网站和平台现状,对新疆农业科学数据共享平台的体系构建进行了分析研究。利用中间件的优势,对现有的农业科学数据共享平台进行集成,并根据用户需求增添了查询、服务等功能模块,对各模块的功能进行设定分析,从而满足了用户多样化及个性化的需求,实现了对农业科学数据资源的有效保存、挖掘分析、共享利用,极大地降低了成本,提高了服务效率。
关键词:农业科学;数据共享;中间件;管理模块
中图分类号:G250.74 文献标识码:A DOI 编码:10.3969/j.issn.1006-6500.2016.01.011
System Foundation of Xinjiang Agricultural Science Data Sharing Platform Based on Middleware
ZHU Qian, WANG Hua-li
(Management School of Xinjiang Agriculture University, Urumqi, Xinjiang 830052, China)
Abstract: Based on the current status of agriculture-related sites and platforms in Xinjiang, this paper analyzed the system foundation of Xinjiang agricultural science data sharing platform. Taking advantage of middleware, this paper integrated existing agricultural scientific data sharing platform; added a query, service and other functional of modules based on user demand, and analyzed these modules to meet the user demand for diversified and personalized. This enabled the agricultural scientific data resources effectively preserved, mining analysis, shared use, greatly reducing the cost and improving the efficiency of the service.
Key words: agricultural sciences; data sharing; middleware; management module
农业科学数据是农业发展的一项重要资源,是农业科技创新的基础,科学地管理农业数据,能够更好地开发和利用各种农业资源。近年来,新疆农村互联网水平显著提高,新疆各类涉农网站也纷纷设立,农业化信息队伍不断壮大。但是每个网站都有自己独立的门户,信息之间数据共享不足,信息交融不够,因此,构建全面的农业科学数据资源管理和共享服务体系、整合各种农业数据资源、实现对农业科学数据资源的高效利用,便成为各部门和广大用户的迫切需求。
1 新疆农业科学数据共享平台的现状
新疆已建立的涉农网站超过了100家,其中一些已经形成了一定的规模,在用户的使用中占据了一定的比例,如新疆农业信息网、新疆兴农网等。此外,部分农业下属部门或农业相关部门已经设立了自己的信息共享基础平台,如新疆干旱区林木种质资源共享基础平台、新疆畜牧综合管理信息平台、新疆环境气象监测信息共享平台等。为了避免各部门独立设置门户网站及建立信息平台,因重复建设而产生的资源浪费,更为了方便用户查询各类农业相关信息,我们应该建立一个统一的科学数据共享平台,将现有的科学数据整合集成。
集成现有的数据资源平台,能够充分利用各部门的信息资源,有助于消除“信息孤岛”,使各单位可以集中人力、物力来建设自己的特色资源,节约成本。此外,集成数据共享平台在不影响原系统运行的前提下,对各种异构数据统一表示、管理,并为用户建立一个方便透明的数据访问入口,使用户不必再去面对各种不同的应用系统,进行繁杂的操作过程,只需表达其需求,从而显著提高查询效率。
2 新疆农业科学数据共享平台构建思路与原则
2.1 新疆农业科学数据共享平台构建的思路
新疆农业科学数据共享平台的构建思路是实现以下几个功能。
2.1.1 数据开发、积累和存储的功能 包括农业科学数据的采集和标准化整理,建立标准化的数据库和数据集,使科学数据得到有效的保存,为实现科学数据共享提供资源基础。
2.1.2 集成及信息拓展功能 采用中间件法把农业各个学科的科学数据集成到一个网络系统、集中在一个共享网站上发布和展示,以便于用户的查询和获取。同时,数据库中的信息还可以动态地增加、删除以及更新。
2.1.3 数据共享功能 即在数据和用户分级分类基础上提供数据在线和离线服务,如数据的分发、数据在共享网站上的发布等。
2.1.4 智能的搜索查询功能 用户可以使用自然语言查询、模糊查询等多种查询方法对科学数据进行快速查找。
2.1.5 其他服务功能 平台还能提供一些其他的服务内容,如专家咨询、标准定制、决策支持、统计分析等,同时提供了API接口,能够方便地接入新的信息服务模块。endprint
2.2 新疆农业科学数据共享平台构建的原则
新疆农业科学数据共享平台的根本目的是通过网络化等手段提供信息的共享服务,便于用户的信息查询及使用,在提供信息数据共享服务的过程中,应体现以下几方面的原则。
2.2.1 针对性 任何信息都是在特定时间、场合下对特定用户的需要产生效用,因此农业科学数据共享服务必须围绕用户的特定具体信息需要来展开,注意信息提供的针对性。信息服务就是要为特定的信息找到确定的用户,使信息发挥最大效用。无论何种信息都必须针对用户的信息需要才能得以存在和发展[1]。同时,随着社会信息总量的迅猛增长,相关信息也在不断增多,如新疆农业信息网每个工作日的信息更新超过50条,如果关注所有农业相关信息,每日信息量会远超过此,而信息提供量超过了用户的吸收能力,就会影响决策的效率。应在完整性基础上认真筛选加工,在可满足用户解决问题的前提下提供尽可能少的信息。
2.2.2 时效性 时间对于信息价值具有决定性的影响。为了保证时效,应当加快信息传递的速度,尽早地把信息提供给用户。但最好是把握恰当的传递时机,在用户最需要的时候提供出去。
2.2.3 方便性 科学数据共享服务要为用户的信息行为提供最大的便利条件,如简单易用的界面,数据的上传下载,要求系统使用方便、对终端用户来说不需要太多的精力用在对软件本身的使用上。还有采用信息技术跨越时空障碍,实现跨地域、跨系统的信息共享简化利用信息服务的手续,从而提高信息服务的效率等。
2.2.4 可拓展性 科学数据共享平台要实现的不仅是数据收集、累计,更重要的是需要集成不同的系统,完成在不同操作系统平台的客户端也能方便地共享数据。而且对不同数据库,都可以提供符合共享数据平台标准的数据,同时软件本身有开发接口,提供给后续的开发和使用。
2.2.5 稳定及安全性 由于数据平台是以互联网为基础建立的,作为数据共享的平台会被频繁访问,系统的稳定性尤为重要。同时为保证数据存储和共享平台,数据、网络的安全,对访问用户应进行严格的权限控制。
3 新疆农业科学数据共享平台的构建
3.1 基于中间件法的分布式数据共享平台的集成架构
鉴于新疆部分农业下属部门或农业相关部门已经设立了自己的信息查询系统或信息共享基础平台,新疆农业科学数据共享平台要做的首先是能够对已有的系统进行集成。
笔者将采用中间件法来实现分布式异构的数据信息集成。中间件是提供系统软件和应用软件之间连接的软件,以便于软件各部件之间的沟通,特别是应用软件对于系统软件的集中的逻辑,在现代信息技术应用框架如Web服务、面向服务的体系结构等中应用比较广泛。中间件法具有成本低、容易实现、局部数据源加入方面灵活、自治性强等优点[2]。
元数据是关于数据集的数据,它在地理空间信息中用于描述地理数据集的内容、质量、表示方式、空间参考、管理方式以及数据集的其他特征,是实现地理空间信息共享的核心标准之一。笔者运用元数据在中心节点建立统一的元数据映射表,根据元数据映射表,就可以在查询时自动定位所需查询的数据源位置,实现灵活高效的信息资源整合,从而实现分布式信息资源一体化的建设和共享。
在用户与各个分布的信息资源之间建立一个中间层,将元数据管理封装在中间件中,通过元数据映射表为分散的各个数据源和网站或系统提供一个统一的访问接口,就可以实现将分散在各处的数据库等同于单一数据库来集中调用。
图1显示了分布式数据集成的逻辑结构,在用户和分布式农业科学数据之间建立一个中间件层,为分布式的异构数据源提供一个统一的访问接口,通过元数据管理器将各个节点提交的对自身数据库描述的元数据进行统一管理,并为无分类的资源定义分类规范,按照一定的分类规则将分好类的资源呈现给用户,用户就可以根据分类信息方便地浏览或查询自己所需要的农业科学数据。
3.2 新疆农业科学数据共享平台的总体框架
新疆农业科学数据共享平台建设考虑既有分散又有集中的体系结构,它是一个基于网络的实体,通过数据中心能够实现农业数据的整合集成、保存及社会共享服务。通过中间件法可以将分布异构的农业科学数据集成到共享平台下,使其具有统一标准的数据源接口及共享协议,能够有效地进行管理,还需要添加一个服务模块,使各个分散的信息源都能够方便快捷地成为共享平台的一部分。此外,服务模块的结构设计采用灵活的层次,可对其进行任意功能服务的拓展。因此,整个数据共享平台是一个由网络层、数据层、服务层、中间层、服务层及支持保障层(包括技术支持、管理支持、标准支持)组成的多层次的综合系统[3],如图2所示。
第一层是用户层,提供统一的用户输入接口。用户可以通过不同的接入方式如手机、浏览器、电脑等,登录到数据共享平台,使用不同的设备都能够方便快捷地访问数据共享平台的所有信息及服务。其次,根据用户身份将其分为不同等级,不同等级的用户在登录平台后对数据信息享有不同的浏览及使用权限。
第二层是服务层,可以为用户提供智能化的检索查询、专家咨询、统计分析、决策支持等服务,同时服务层还可以根据用户的使用情况以及数据共享平台的需求方便快捷地增加其他服务功能。服务层是用户发现和获取数据的关键点,是数据中心存在价值的具体体现。
第三层是中间件层,能够通过元数据映射信息将分布在不同地方的异构数据源提供统一的访问接口,实现数据的集成。
第四层是数据层,其中包含了分布在各个系统的分散数据库,也可以新建数据库。对于各数据库中的信息,不仅可以通过网络远程调用共享,还能够动态地添加、删除或更新数据库中的数据。endprint
第五层是网络层,是数据中心运行的网络环境,包括软硬件条件、操作系统、备份系统、安全系统,各个数据源之间的网络互联、网络出口带宽等,用户可以通过网络访问数据中心,查询和获取相关数据。网络层主要解决硬件管理问题和支持上层的数据管理问题,是数据中心运行的基础。
第六层是支持保障层,由技术、标准和管理三个方面构成。支持技术包括数据采集技术、数据处理技术、元数据技术、数据库技术、网络技术、计算机技术等。支持标准由数据标准、服务标准和管理标准三大系列标准组成。管理支持包括组织保障、人才保障、资金保障、运行机制保障、安全保障等组成。
4 新疆农业科学数据共享平台的体系结构及功能模块分析
4.1 新疆农业科学数据共享平台的体系结构
为了完成平台的数据整合和数据共享服务,笔者从设计角度构建平台的层次结构模型,包括平台的功能设置、基础模块以及各功能模块之间的相互关系等,如图3所示。
用户可通过多种登录途径进入数据共享平台,经过用户管理模块的验证后,不同用户将在平台中享有不同权限的查询及数据共享内容。平台能够为验证通过的用户提供检索查询、导航、专家咨询、统计分析、决策支持等多种服务,而支持这些服务所需的数据,则是由元数据管理模块将处于不同位置的异构数据库集成共享而来的。在元数据管理模块处添加领域本体,增添数据的语义信息,从而能够实现模糊查询。此外,在数据库层还有一个数据库接口管理模块,能够对数据库进行操作,对数据库进行添加、删除,对数据库中的数据进行更新等。不同权限的用户享有不同的操作权限[4]。
4.2 平台各模块的功能分析
新疆农业科学数据共享平台的体系结构包括多个模块,下面就分别介绍各模块实现的功能。
4.2.1 用户管理模块 用户层为用户提供统一的输入接口,其输入接口可以包含多种形式,如浏览器、手机、短信等多种登录查询渠道。由于农业科学数据种类多、数量大,各类数据的加工存储状态各不相同,部分资料还有保密性要求,因此,共享数据范围按数据内容进行了分级,如一级数据为国内外公开数据,可供用户无偿使用;二级数据为省内公开数据;三级数据包含专项数据,只为部分用户提供共享服务;四级数据为原始数据及保密数据,仅供少数专家或相关研究人员共享使用。
用户管理模块用来实现用户分级分类共享数据。按照用户注册信息进行等级划分,可将用户分为个体用户和群体用户。个体用户分为普通用户、科研人员、管理人员;群体用户包括科研单位、相关企业等。不同的用户对共享的数据具有不同的操作权限,如个体用户对各项数据仅有查询权限,而管理人员则可以添加、删除或更改数据。用户通过统一输入接口将注册信息输入,用户管理模块将其信息存入用户信息库中,便于以后用户登录对其等级进行查询。注册用户登录后则进入科学数据共享平台开始查询信息或接受平台提供的各种服务。
4.2.2 数据平台服务模块 数据平台通过各种模块能够提供多项服务。
检索查询模块提供基本的信息检索接口,接收到用户的查询信息后进入元数据层寻找相关信息,由元数据目录引导找到相关数据库进行数据的查询,然后将查询信息返回检索查询模块,以浏览页面的形式呈现给用户。
导航服务模块能够记录用户的查询历史,并对用户历史查询信息特点进行总结归类,根据用户的使用习惯对用户再次访问提供个性化服务。
专家咨询模块能够支持用户向专家提问,专家咨询模块将问题经过处理后自动传给相关专家,然后将答案传回给用户。当问题得到满意答复时,问题及答复则存储在专家咨询模块的数据库中,以便下次有相同问题出现时,可自动提供答案。
决策支持模块主要面向群体用户,如科研机构或企业等,根据用户决策需求,整合搜集到相关的政策报告、统计数据等经过分析处理,为用户决策提供支撑信息。
服务管理模块实现的功能是对于服务模块的添加、删除或更改。当数据共享平台需要提供新的服务时,可通过服务管理模块创建新的服务模块,以保证农业科学数据平台的灵活性。
4.2.3 元数据管理模块 当用户对平台各项服务进行操作时,需要元数据提供数据库信息,元数据管理模块接收到查询参数时,根据元数据映射数据库找出享有的数据源位置,元数据管理模块通过分布式异构数据源统一访问接口进行数据查询,然后将查询结果统一格式后返回给用户,本体数据库能够对用户输入的查询条件进行语义拓展,从而实现数据的语义化查询。
4.2.4 数据库接口管理模块 数据库接口管理模块主要功能是为数据库的增加、减少提供一个接口,便于新的数据库的加入,保证了数据共享平台的可拓展性。
5 结 语
新疆农业科学数据共享服务平台的建立是一个长期的过程,需要在目前的各网站资源基础上不断地改进和完善,其结构体系的建立更不是一朝一夕能够完成的,需要不断地优化。
笔者针对新疆部分农业下属部门或农业相关部门已经设立自己的信息查询系统或信息共享基础平台的情况,结合中间件法的优势,对新疆农业科学数据共享平台已有的系统进行集成,再根据用户需要增设各种服务及查询功能,既能很好地利用已有资源,又对不同渠道的资源进行了整合,使分布不同的各种资源能够相互贯通,用户使用起来更加方便快捷,满足了用户多样化及个性化的需求,极大地降低了成本,提高了服务效率[5-11]。
参考文献:
[1] 张小红,李思经.农业科学数据共享服务研究[J].中国科技论坛,2006(9):127-130.
[2] 杨晓蓉.分布式农业科技信息共享关键技术研究与应用[D].北京:中国农业科学院,2011.
[3] 孟宪学.国家农业科学数据中心的设计与建设研究[J].农业图书情报学刊,2004(12):5-8.
[4] 赵胜刚.国家农业科学数据共享服务平台体系结构研究[J].安徽农业科学, 2009(19):9303-9305.
[5] 杨兰伟,闵文江,吕军海.建立国家农业科学数据共享中心河北分中心的实践与思考[J].河北农业科学,2010,14(9):168-169.
[6] 马海龙,陈佑启,邹金秋.“国家农业科学数据共享中心农业区划数据分中心”系统设计与建设[J].中国农业资源与区划,2010(2):75-80.
[7] 赵华,王建.中国农业科学数据共享分析与展望[J].农业展望,2014(9):54-57.
[9] 王华丽,张磊磊,王新哲,等.新疆农业科学数据共享用户需求调查分析[J].新疆农业科技,2014(5):1-3.
[10] 尹川,王建春.天津市农业科技信息共享与服务平台的构建[J].天津农业科学,2010,16(2):94-96.
[11] 郭常莲,阎永康,樊兰瑛,等. 山西省自然科技资源共享平台结构分析及应用[J].山西农业科学,2009(2):75-77.endprint