基于云计算的政务数据信息共享平台构建研究——以 “数字福建” 为例
2015-06-21董凌峰李永忠
董凌峰 李永忠
(福州大学经济与管理学院,福建 福州350108)
基于云计算的政务数据信息共享平台构建研究——以 “数字福建” 为例
董凌峰 李永忠
(福州大学经济与管理学院,福建 福州350108)
〔摘 要〕为了解决 “数字福建”建设过程中出现的数据异构、信息共享困难的问题 ,利用云计算在海量数据处理和共享方面的优势 ,本文构建了基于云计算的电子政务平台 ,详细阐述了该平台中SaaS、PaaS、IaaS等3种模式 ,讨论了实现数据共享的虚拟化技术、数据抽取技术、数据转换技术和数据处理技术等关键技术,以期为福建省推动政务信息的深度开发和有效利用提供有益的探索。
〔关键词〕“数字福建”;云计算 ;数据共享 ;政务云平台 ;电子政务
2000年,在时任福建省省长习近平的提倡和推动下 ,“数字福建”建设开始启动。根据 “数字福建”中 “十五”、“十一五”、“十二五”规划的目标任务 ,针对社会需求提出并实施了多项电子政务建设项目 ,取得了一定的丰硕成果。近年来 ,福建省政府更加重视 “数字福建”平台建设 ,提出将在2016年基本建设完成智慧城市感知、支撑、服务三大基础平台,同时开发旅游、环境、安全、交通等核心业务的智能化应用 ,为福建省发展自由贸易区提供了重要的支撑 ,同时也为福建省成为信息化强省奠定了坚实的基础。党的十八届三中全会提出 “加大政府购买公共服务力度”,推动政府购买政务云平台服务是支撑各部门业务应用发展 ,防止重复建设和投资浪费 ,促进互联互通和信息共享,增强电子政务安全保障能力的重要手段。政府手中拥有大量的信息 ,如何高效、准确地利用新技术将各部门信息进行共享和利用 ,成为电子政务建设的核心和关键问题。《2006 -2020国家信息化发展战略》将政务数据资源整合作为电子政务建设的关键战略 ,加快推进电子政务云平台建设和应用 ,是推动电子政务健康有序发展的重要任务。
目前国内政务云平台的建设成果斐然,已经先后有深圳、上海、北京和青岛等城市设计出了政务云平台[1]。云计算有着良好的发展前景 ,我国政府部门出台了一系列政策来促进电子政务云平台的建设与发展。例如,工信部发
1 “数字福建”现状分析
从 “十一五”“数字福建”提出之后 ,就一直不断地强调政务数据公开与共享、实现业务协同办理。目前省级部门电子政务网络已经基本建成 ,市县级电子政务加快推进,已经初步实现了各级政府网站一体化、一站式服务。联合国经济与社会事务部把电子政务建设分为5个发展阶段,而我省电子政务建设正处于第4个阶段 (如图1),即提供在线事务处理功能;保障信息安全;整合基础网络并逐步消除部门之间的 “信息孤岛”,以实现政务数据资源共享。“数字福建”的建设与先进省市电子政务比较起来还有一定的差距 ,并存在着突出的问题[2]:
图1 “数字福建”政务平台框架示意图
1.1数据纵向与横向整合度较低,导致“信息孤岛”现象较为严重
由于 “数字福建”建设之初未能对各部门进行统筹规划,导致各部门之间使用的数据交换标准不同、使用的数据库管理系统不同,政务数据重复收集与建设,信息资源共享度较低,使大量的数据信息资源得不到有效开发与利用 ,浪费了大量的人力、财力和物力。
1.2政府数据资源共享的顶层设计不够完善
尽管福建省在2009年的时候出台了 《福建省省级政务信息资源目录管理办法》、 《福建省政务信息共享管理办法》、《福建省省级政务信息共享交换实施办法》等相关政策以支持数据资源的共享,然而这些政策却不能满足在大数据和云环境下新形势的建设。
1.3信息安全问题
尽管在 “数字福建”网站中有 “信息安全”专栏 ,然而栏目中主要是对国内、国外信息安全的案例介绍,并未提及福建省保障信息安全的举措、数据共享涉及各种法律、各部门的规章制度等,因此需要完善相关政策法规及规章制度来统一进行信息安全的部署。
为了解决上述问题 ,需要把福建省各部门数据信息进行整合与无缝对接,这将有利于实现省内电子政务资源配置的优化与利用[3]。目前 ,工信部已经确定将北京市、福建省等18个地区作为首批云计算的电子政务公共平台建设和试点地区 ,并鼓励这些地区在现有基础上建设集中统一的区域性电子政务云平台 ,这将有利于支撑各部门业务应用发展 ,防止重复建设和投资浪费,促进互联互通和信息共享 ,增强电子政务安全保障能力 ,推动电子政务向着集约、高效、安全的方向发展。
2 基于云计算的福建政务平台架构
结合 “数字福建”的发展现状,利用云计算技术把分散在政府各部门的软件资源、硬件资源以及数据信息资源进行处理及整合 ,有利于解决福建省电子政务发展过程中所存在的问题。电子政务云平台的终端用户主要有政府、企业和公民,他们通过PC终端浏览器、移动终端、TV设备等,通过多云端接入方式使用电子政务服务 。根据人员的不同主要有以下两种访问的方式 :第一种是政府人员通过专网使用政务云平台服务;另一种是企业或者公民通过互联网(外网)使用政务云平台服务。政务云平台结构主要有终端用户层、网络层、政务核心服务层3个层次 (如图2)。
构建福建省政务云平台,以IT基础资源为依托,采用3层架构整合数据信息资源 ,按照云计算典型服务模式 ,分层设计了电子政务管理层,主要包括基础设施及服务(IaaS)、软件及服务 (SaaS)、平台及服务 (PaaS)3种 ,通过三者之间相互补充、相互协作,形成了完整的政务云平台系统。
图2 “数字福建”政务云平台示意图
2.1SaaS平台
SaaS模式是一种新的软件开发模式,主要为政府部门提供办公和公众发布信息所需要的软件服务。SaaS通过因特网提供标准工具类、共用应用系统和专用业务系统等。标准工具类包括系统文字处理、杀毒软件、视频处理工具、图片管理工具等;共用应用系统包括办公、邮件、即时通讯、会议管理、人力资源管理、资产管理、报表管理、数据分析等;专用业务系统包括人口基础数据库、工商、税务、企业管理、交通管理等。终端用户可以通过因特网浏览器或Web Service/Web 2.0进行访问和使用云应用,首先进入应用软件服务器输入登陆账号和密码 ,在服务器收到账号信息之后通过认证服务、目录服务、数据库服务等 ,逐级对用户信息进行认证。若是有新用户时 ,将用户的注册信息存入到数据库中,并对用户分配访问权限,采用访问控制的方式来决定是否能够访问应用中的数据 ,以及能对数据进行哪些操作。云应用层通过资源配置和共享,使同一套软件可以被多个用户多次使用。SaaS需要通过一套标准软件系统为不同的用户提供服务 ,为其提供可靠的数据和配置隔离能力 ,保证了用户数据的隐私安全及个性需求。在SaaS层需要建立多级权限控制机制,实现用户级控制、数据库级控制和网络系统级控制的相互结合。用户级控制能够对网络用户进行合理的权限分工 ,强化系统管理员对软件各个模块进行统一授权;数据库级控制主要是防止非法人员对财务等相关重要资料的篡改;网络系统级控制主要是防止意外情况下出现的安全事件进行审计。数据存储上分层次地采用服务器双机热备份、RAID镜像等技术,对数据的存储起到保护与备份作用,在认证与授权方面对信息及操作人员设计不同的权限及权限的组合 ,形成多维的、多层次的、全方位的操作控制,最大程度上保证SaaS模式的可靠性和安全性。
2.2 PaaS平台
PaaS层支持整个平台的业务应用、数据交换、业务协同、安全、监控与管理,主要包括支持电子政务云平台的身份认证管理、服务构建库、中间件、开发测试平台、多租户技术、报表数据挖掘等。在政务云平台中,PaaS需要增加一种数据及服务 (DaaS)模式,这种模式通过将大数据中潜在的价值挖掘出来 ,供政府各部门使用。PaaS是计算数据交换系统中的核心部分,将SaaS层所搜集到的原始数据进行转换、任务分解和语义分析等。各政府部门数据经过前置交换子系统进行清洗、提取,将不同数据库中的数据转换成XML统一的文件格式,利用Map任务将转换的数据进行切分,把不同的输出文件经过排序合并之后,再传给相应的Reduce任务进行数据处理,把处理后的数据导入目的源数据库中 ,同时也保存在IaaS中存储[4]。云平台中的数据隐私保护问题,涉及到数据生命周期的每一个阶段,通过利用airavat隐私保护系统 ,防止Map、Reduce计算过程中非授权的隐私数据泄漏出去,在计算过程结束之后将会自动除密。PaaS支持多租户方式,通过使用一种软件架构模式 ,允许多个不同用户共同使用同一个系统或者程序软件,并保证不同用户之间的数据隔离性。这种多租户方式对基础设施平台的安全性、稳定性、可靠性都提出了较高的要求。在云平台中将采用软件协议栈的隔离技术 ,根据云计算过程中设计的策略,分为服务终端、系统、网络、存储等多隔离环节,保证了多用户数据的安全性。为了使数据在平台内隔离完好、运行安全高效,可以在逻辑结构表中构建多个存储区,通过不同存储区的功能设置,实现元数据的驱动和XML业务的数据转换。
2.3IaaS平台
IaaS为终端用户提供的数据同步、虚拟主机、数据备份和存储等服务,是通过用户所耗费的成本计算收费的 ,其主要任务是重组政务云平台中的硬件资源 ,构建虚拟系统,实现服务器、网络和存储的虚拟化。它将底层的IT资源 (硬件设备)汇总成一个大的资源池,通过虚拟化技术进行统一管理,供上层应用进行调用和动态分配,其核心部分就是按照用户的需求,提供对应的CPU频率、硬盘空间虚拟机等电子政务高性能计算系统[5]。通过分布式存储技术,将本地存储资源整合到统一的存储网络中,利用网络扩展实现广域网内存储资源的共享。在IaaS中需要将可信计算技术融入平台环境中 ,以保证向用户提供一个密闭的箱式执行环境,保证了客户虚拟机运行的机密性;此外 ,它允许用户在启动IaaS前检查是否安全。HDFS(Hadoop distributed file system)是一种具有高容错性的分布式文件系统模型,能够提供高吞吐量的数据访问,适合于大型数据的存储。对于小型数据 (比64MB小的文件),可以使用序列文件 (SequenceFile)将小文件进行合并成大文件,这将会提高整个系统的存储效率和存储能力。在硬件虚拟化基础上建设的电子政务云平台 ,分为政府部门数据资源共享云平台和云接入平台两个不同部分。各部门的数据资源共享云是一个政务信息私有云 ,将云平台中的私有云建成一个资源池,资源池中的数据经过XML的统一处理 ,变成具有统一格式的结构数据 ,方便了数据信息资源的调用与管理,并在一定时间内可以保持数据信息同步和备份。接入云平台的主要作用是将各部门数据进行转换、共享和利用 ,方便公务人员使用政务数据[6-7]。IaaS从公有云、私有云这两个不同的角度上看有着很大差异 ,这是因为公有云对所有物理资源的优先级别都是一样的 ,而IaaS的私有云根据用户的权限不同提供不同的服务。为了保证存储数据的安全性 ,将在IaaS中采取容灾备份技术 ,通过冗余备份保证系统的高可用性,降低系统的单点故障问题。
3 实施政务云平台数据共享的关键技术
3.1虚拟化技术
虚拟化技术的应用主要涉及服务器、存储、网络、应用等多个方面,不同类型的虚拟化技术从不同的角度上解决了系统性能的问题。
服务器虚拟化可以快速地划分和动态部署服务器资源 ,以降低系统的复杂度,消除设备的无序蔓延 ,达到了降低运营成本、提高资产利用率等目的。存储虚拟化将数据资源集中到一个大容量的资源池进行统一管理和调度 ,实现了无须中断任何程序即可实现存储系统和数据迁移 ,从而提高了整个系统的动态适应能力。网络虚拟化通过将一个物理网络节点虚拟成多个节点 ,并将多个交换机整合成一台虚拟交换机 ,增加了连接数量、降低了网络的复杂度、实现了网络的容量优化。应用虚拟化技术通过动态分配资源的方式来帮助改进服务的交付能力 ,提高了应用的性能。
政务云平台基于上述虚拟化技术实现了跨越IT架构的全系统虚拟化,对所有的资源进行统一的管理、调度和监控,在无须扩展重要物理资源的前提下,简单而有效地将大量分散的、没有得到充分利用的物理资源,整合成单一的大型虚拟资源 ,并使其能长时间高效的运行,提高了能源效率和资源利用率。
3.2政务数据抽取技术
福建省政府已经出台了 《福建省省级政务信息共享交换实施办法》政策,规定部署在机关单位的前置服务器 ,是实现机关单位业务数据库与交换系统对接的计算机系统。此系统需要将政务云平台和政府各部门的业务进行逻辑隔离,保障数据在前置交换系统传输中的安全性与可靠性。为了确保各部门原有系统的运行不受资源整合的影响 ,保证部门原系统的安全性,需要在前置机和各部门分系统的服务器之间用防火墙进行隔离。前置机将各部门的数据信息资源进行提取 ,向电子政务云平台提交;同时也接收电子政务云平台中的数据信息资源 ,向政府部门分系统的服务器进行传输 (如图3)。省信息化工作主管部门负责组织机关单位部署前置服务器和前置系统,机关单位负责前置服务器的正常运行与维护;空间中心负责前置系统的日常监控与维护。
图3 政务数据抽取的前置机系统示意图
3.3政务数据转换技术
对于 “数字福建”建设过程中出现的 “信息孤岛”问题,是由于各部门数据异构所致,无法直接进行数据资源的共享,需要通过一种中间格式进行统一标准化。可扩展标记语言 (XML)是一种元标记语言 ,可以实现不同格式数据源之间的交互[8]。XML自我描述性可以适用于异构数据之间的交换,XML文件不仅包含着数据信息,而且还包含着其数据结构 ,可以清晰地表达数据信息之间的依赖关系。XML可以解决政府数据的异构问题,通过XML将不同部门的数据进行格式统一转换并输出。XML Schema是一个基于XML文档的数据建模工具,用以描述XML文档。由于政府数据是结构化、半结构化和非结构化的数据,在对数据进行交换时,数据表示的主要形式是与XML的组合应用。在完成异构数据库之间的互操作过程之前,首先要定义交换信息的Schema标准结构,然后再把XML数据文件转换映射成标准化模式,实现数据格式的统一性和标准性。
3.4政务数据处理技术
MapReduce是一种编程模型,可以并行计算和高效处理政府部门中海量的数据,具有较好的扩展性和容错能力。用户只需要在MapReduce中指定Map(映射)函数和Reduce(归约)函数就可以实现并行数据程序处理[9]。MapReduce在运行的时候需要对XML数据进行划分,但这并非真正将其划分成独立的数据块,每个 “分阶任务”只是XML数据信息逻辑上的划分,还需要对每一个 “分阶任务”进行语义上的解释。利用MapReduce模式进行并行处理 ,首先需要用软件指定一个Map函数,通过这种方式将一组键值对映射成一组新的键值对,然后指定并发Reduce函数将具有相同键的键值对进行合并,并计算出最终结果,把最终合并后的输出文件导入到目的数据源库中。最后,通过目的数据源库向各个政府部门发布转换后的数据信息资源。
假设政府部门1和政府部门2有数据信息需要交换 ,具体的流程如下 (图4)。
(1)根据政府部门的顶层设计采用统一的标准格式 ,两个部门需要向电子政务云平台分别提交交换格式结构format,也就是该数据的标准XML Schema。
(2)根据不同政府部门的XML Schemas,生成转换规则f1o(x)和 fo1(x),并同时对应XSLT (Extensible Stylesheet Language Transformations,扩展样式表转换语言),我们将其设置为 XSLT1o和
(3)将政务云平台中每一个主机与服务器进行相互的协调与配合 ,并依照具体的要求接受政府部门1向政务云平台中提交XML格式format-1(data),并保证这些数据格式具有最大的兼容性。
(4)验证format-1(data)的格式和内容是否正确及完整。
(5)调用 XSLT1o将政府部门1中的format-1(data)转换成所提交的标准格式XML文档,即:
同时也需要对转换过的XML文件通过MapReduce模式进行任务的分解和语义解释,并将中间的结果进行合并[11]。
(6)调用 XSLTo2,并采用电子政务云平台中的format(data)文档格式转换成政府部门2能够识别的数据信息格式:
若是数据交换的目的是将政府部门的数据保存在电子政务云平台中,XML处理器则根据具体的要求将XML数据转换成所需要的数据格式,然后按照交换的目的把政府部门的数据存储起来。
(7)通过XML文档转换后的数据格式format-2(data)发送到政府部门2。
图4 政务数据转换处理子系统示意图
4 结 语
福建省数字办已经开始负责统筹和规划政务云平台的建设,在此基础上推进数字福建项目在政务云平台上的部署。目前 “数字福建”的工作重心已经从信息技术应用于政务活动阶段 ,转移到了政务数据和信息资源深度开发的阶段。政务云平台与数据抽取技术、转换技术和处理技术的集成与运用 ,能够很好地解决政府部门数据信息的共享与挖掘的问题。
云计算技术为政务数据和信息的共享提供了新的、更为有效的技术路径。就福建省而言,基于云计算的数据共享平台的构建和运行,会对省内的公共服务和产业升级提供坚实的基础和有力的保障 ,也会对福建省电子政务的建设与发展产生深远的影响。
参考文献
[1]冯登国 ,张敏 ,张妍 ,等 .云计算安全研究[J].软件学报 ,2011,22(1):71-83.
[2]杨冬菊 ,王菁 ,蒋贵凰 .eGovCloud:一种基于云服务的电子政务框架[J].计算机工程与科学 ,2014,36 (11):2067-2073.
[3]鲁俊杰 ,侯卫真 .面向信息资源整合的电子政务云平台构建研究 [J].图书馆学研究 ,2012,33(13):36-40.
[4]Hyebong Choi,Kyong-Ha Lee,Yoon-Joon Lee et al.Parallel labeling of massive XML data with MapReduce[J].Journal of supercomputing,2014,67(2):408-437.
[5]Bogdan Nicolae,Franck Cappello.BlobCR:Virtual disk based checkpoint-restart for HPC applications on IaaS clouds [J].Journal of Parallel and Distributed Computing,2013,73(5):698-711.
[6]Praveena D,Rangarajan P.Analysis of trend,service and deployment models in clouding computing with focus on hybrid cloud and its implementation [J].Research Journal of Applied Science,2014,9 (4):181-186.
[7]Van Gorp,P.,Comuzzi,M..Lifelong Personal Health Data and Application Software via Virtual Machines in the Cloud[J].IEEE journal of biomedical and health informatics,2014,18 (1):36-45.
[8]Binh Viet Phan,Eric Pardede.Active XML (AXML)research:Survey on the representation,system architecture,data exchange mechanism and query evaluation [J].Journal of network and computer applications,2014,37(1):348-364.
[9]Marozzo,F.,Talia,D.,Trunfio,P.et al.P2P-MapReduce:Parallel data processing in dynamic Cloud environments [J].Journal of Computer and System Sciences,2012,78(5):1382-1402.
[10]Sven Groppe,Jinghua Groppe,Niklas Klein et al.Transforming XSLT stylesheets into XQuery expressions and vice versa [J].Computer languages,systems&;structures,2011,37(2):76-111.
[11]赵伟 ,卓伟 ,李占波 ,等 .基于云计算的一种新的数据交换架构 [J].计算机工程与科学 ,2013,35(8):15-19.
(本文责任编辑:孙国雷)
・信息咨询与服务・
Study of Construction of Government Affairs'Data and Information Sharing Platform of Cloud Computing-based——A Case of Digital Fujian
Dong Lingfeng Li Yongzhong
(College of Economics and Management School,Fuzhou University,Fuzhou 350108,China)
〔Abstract〕In order to solve the problem like heterogeneous data and difficult information sharing that appeared in the construction process of“digital Fujian”,this paper exploited the advantages of cloud-computing in data processing and sharing to build e-government platform,it described three modes(SaaS,PaaS,IaaS)of platform in detail,and it discussed the key technology of data sharing,such as virtualization technology,data extraction,data conversion and data processing.it would promote the government information to develop deeply and utilize effectively in Fujian province.
〔Key words〕digital Fujian;cloud computing;information sharing;government clouds platform;e-government
作者简介 :董凌峰 (1991-),男 ,硕士研究生 ,研究方向 :电子政务、电子商务、信息管理与信息系统。book=77,ebook=79布了 《国家电子政务 “十二五”规划》和 《基于云计算的电子政务公共平台顶层设计指南》,从顶层设计上为我国政务云平台的建设提供政策支持。为深入贯彻中央网络安全和信息化领导小组关于加快推动信息化发展的重大战略部署,电子政务云平台建设应用工作组秘书处组织编制了《电子政务云平台服务费用计算参考指南》和 《电子政务云平台服务考核评估方法》。随着云技术的逐步成熟 ,福建省智慧城市数据中心建设加入了云计算的概念 ,通过数据中心的云化建设,更大化地提升了其海量数据的支撑能力。福建省也从顶层设计的高度相应出台了 《福建省政府印发2014年 “数字福建”工作要点的通知》和 《福建省政府关于 “数字福建”智慧城市建设的指导意见》等一系列的相关举措,为福建省开展云平台建设提供政策支持。
基金项目:“十三五”数字福建专题规划前提重点研究项目 “政务与行业数据 (信息)资源共享机制研究”(项目编号:822924)。
收稿日期:2015-04-11
〔中图分类号〕G203
〔文献标识码〕A
〔文章编号〕1008-0821(2015)10-0076-06
DOI:10.3969/j.issn.1008-0821.2015.10.014