中外政府数据开放运行机制的实证分析
2020-07-20相丽玲李彦如陈梦婕
相丽玲 李彦如 陈梦婕
摘 要:[目的/意义]对当前中外政府数据开放平台的运行方式及保障机制的实证对比研究,有助于我国政府数据开放的建设与发展。[方法/过程]以各国Data.Gov平台数据为基础,运用实证分析法、统计分析法、比较分析法,从政府数据开放平台的数据层、平台层、管理层3个层面,分析各国政府数据开放的整合与利用机制、开放与协作机制及管理与评估机制的现状。[结果/结论]我国应借鉴国外先进技术与管理经验,加快完成各省市试点工作,早日建成基于CKAN的国家级Data.gov专业平台建设。
关键词:美国;英国;欧盟;澳大利亚;中国;政府数据开放;运行机制;平台建设;CKAN
DOI:10.3969/j.issn.1008-0821.2020.01.015
〔中图分类号〕G203 〔文献标识码〕A 〔文章编号〕1008-0821(2020)01-0134-10
An Empirical Analysis of the Open Operation Mechanism of
Chinese and Foreign Government Data
Xiang Liling Li Yanru Chen Mengjie
(School of Economics and Management,Shanxi University,Taiyuan 030006,China)
Abstract:[Purpose/Meaning]The empirical comparison of the current operation mode and guarantee mechanism of Chinese and foreign government data open platforms will contribute to the construction and development of government data opening in China.[Methods/Processes]Based on the Data.Gov platform data of various countries,using empirical analysis,statistical analysis,and comparative analysis,the government data was analyzed from the data layer,platform layer,and management level of the government data open platform and the status of open integration and utilization mechanisms,openness and collaboration mechanisms,and management and evaluation mechanisms were analysed.[Results/Conclusions]Drawing on foreign advanced technology and management experience,we will speed up the completion of pilot projects in various provinces and cities,and build a national-level Data.gov professional platform based on CKAN.
Key words:America;Britain;EU;Australia;China;open government data;operating mechanism;platform construction;CKAN
所謂“政府数据开放的运行机制”是指大数据环境下,促进政府公共数据再利用并实现其增值,提高政府办事效率的运行方式及保障机制。包括指导数据开放实施的具体原则,以及满足各环节正常运行的体制机制。按照数据开放流程,具体包括:政府数据开放的整合与利用机制、开放与协作机制、管理与评估机制[1]。
自2009年美国率先开放国家级政府数据开放平台(Data.gov)以来,澳大利亚、英国、欧盟等西方发达国家也相继建立起本国的Data.gov平台,旨在通过与公众之间的双向互动不断提升平台开放质量及水平,提高政府工作效率,提升公众参与度。2012年我国也搭建完成bjdata.gov.cn(北京市政务数据资源网)首个政府数据开放平台,并在2015年8月的《促进大数据发展行动纲要》中提出了构建我国政府数据统一开放平台的目标[2]。2018年1月,我国《公共信息资源开放试点工作方案》中提出在5个省份试点建立统一开放平台,形成统一制度和标准规范的工作要求[3]。可见我国政府数据开放平台建设虽然在时间节点上落后于西方发达国家,但却是当前政府数据开放工作中的头等大事。
通过对近十年“政府数据开放”相关中外文文献进行分析,笔者发现2013年以前多是基于“开放政府”“开放数据”等概念的理论性研究[4-5],2014年以后多转为对政府数据开放的具体实施及创新应用的研究[6-7]。且因国内外在政府数据开放运动的起步时间及开放进程上存在差距,所以在相关研究的进展和内容上也存在一定差异。国外侧重于对数据更新、平台建设、开放效能评估等的实用性研究[8-9],国内则大多还处于借鉴国外先进经验及研究成果的阶段,对于平台搭建、数据利用、应用开发等的创新性研究还较少。近两年来,以马海群、黄如花等[10-11]为代表的专家学者对国内外政府数据开放平台的现状进行了调查分析,对其开放利用效果进行了比较研究,为加快我国政府数据开放进程提供意见建议。
本文在前期理论研究[1]的基础上,拟采用实证研究法,分析目前各国政府数据开放平台在开放水平及运行机制上的特点与优势,为我国构建国家级开放平台提供可借鉴的经验。
1 实证设计
1.1 评估目标
本文主要评估2018年中外各国Data.gov开放平台在数据整合与利用机制、数据开放与协作机制、数据管理与评估机制3个方面的优势及特点,具体对其在政府数据开放中的数据质量、开放范围、开放程度、技术要求、管理方式、监督措施等内容进行评估。
1.2 对象选取
国外选取美国(data.gov)、英国(data.gov.uk)、欧盟(data.europa.eu)、澳大利亚(data.gov.au)几个代表国家和地区的政府数据开放平台,国内选择北京市政务数据资源网(bjdata.gov.cn)为代表,进行实证分析研究。(注:截至2018年上半年,我国仍无国家级政府数据开放平台,省市级政府数据开放网站由原先的19个增至46个,其中省级平台8个,地市级38个,2018年新增网站就达21个。)
1.3 数据来源
本文数据均来自选取对象国家或地区的相应政府网站(美国usa.gov、英国gov.uk、欧盟europa.eu、澳大利亚australia.gov.au、中国gov.cn)及政府数据开放平台(美国data.gov、英国data.gov.uk、欧盟data.europa.eu、澳大利亚data.gov.au、中国bjdata.gov.cn)。
1.4 评估方法与评估体系
本文以各国Data.gov政府数据开放平台的数据为依据,采用数据抓取、人工观察、比较分析等方法,定量数据与定性评估相结合开展实证研究。并通过对已有评估体系的研究分析,结合实际使用感受,抽取并重组各项指标,从政府数据开放平台的数据层、技术层、管理层3个层面,分别分析各国平台在数据的整合与利用机制、开放与协作机制、管理与评估机制方面的优劣,并据此细化为15个维度,构建了以下评估体系(见图1)。
图1 各国政府数据开放平台评估维度
图1显示,数据整合与利用机制(数据层),可以反映政府数据开放平台对于数据的建设与实施状况,如数据集的数量(开放程度与范围)、数据的分类(整合程度)、更新速度(及时性)、获取方式(便捷程度)与处理工具的种类(增值程度与公众参与度);数据开放与协作机制(平台层),可以体现出政府数据的共享程度(元数据)、对外协作程度(CKAN平台)、内部协作程度(API应用程序接口)、数据开发程度(关联程度)以及数据利用程度(数据应用);数据管理与评估机制(管理层),反映了平台管理的方式方法,如网站的页面布局(实用与便捷程度)、用户交互(交流与反馈程度)、隐私政策与Cookies政策(用户隐私保护程度)及监督管理(职责明确程度)。
2 运行机制比较
政府数据开放运行机制是实现政府数据开放与利用的运行方式及保障机制,而政府数据开放平台正是政府对外开放数据的“窗口”,平台的正常运行与维护有赖于各个技术层面的支持。
2.1 基于数据整合与利用机制(数据层)的比较
数据层是平台中最基础、最直观的层面,也是公众最为关注的层面。数据的整合利用通常在平台的数据层完成,并需要一定的技术支持。其中数据集的数量、分类,反映数据开放的程度与整合度;数据集的格式、更新速度以及相关的数据分析工具,是用户获取与利用数据的重要途径,同时也是评估开放平台效能的重要指标,反映数据利用的便捷度。
2.1.1 数据集数量:数据开放程度与开放范围比较
1)数据开放程度(透明度)比较
政府数据开放主要以数据集为单位向公众公开数据,开放的数据集数量是各国开放程度最直观的体现。自各国平台上线以来,美国和英国的数据集开放数量一直处于领先水平,澳大利亚和欧盟紧随其后。如图2所示,当前美国政府数据集数量最多,数据开放程度最高。而我国由于目前还未建成国家级的政府数据开放平台,北京市政务数据资源网只开放了北京市内的政府数据,因此数据集开放数量较少,差距较为明显。
2)数据开放范围比较
主题数据领域反映政府数据开放范围,按最常使用的主题分类方式,5个国家都具有的主题数据领域有政府、商业与经济、海洋及运输、环境、教育,各领域开放数据集数量如下图所示(见表1),其中排名前3的主题分别是政府、经济与民生领域。美英两国占绝对优势,我国则主要集中在政府和经济领域。英国在5个主题领域中的数据集开放数量都较多,而澳大利亚则较少,我国虽然开放总数较其他国家少很多,但在部分领域(如政府类)仍有略微优势,环境方面应是今后的开放重点。此外,农业、健康、安全也是几国都较为关注的主题。
2.1.2 数据分类:数据整合度比较
清晰和多样的数据分类方式,可使公众在查找数据时精确检索范围、提高检索效率,方便有效地获取数据。相较其他国家,美英两国除数据开放数量较多以外,数据分类检索方式也较为多样(见表2),除各国都具有的按主题及发布机构分类之外,美国Data.gov还可按数据集的类型、标签、格式、组织及组织类型删选数据,英国Data.gov.uk还可按发布状态、采集、API、执照、资源格式、架构/词汇、代码清单、开放分数、破解链接、位置数据集类型进行检索。此外,美国和英国还具有基于地图的搜索功能,通过搜索地名、邮编或坐标找到感兴趣区域,然后绘制搜索区域显示管理区域,最终查找选定区域的数据。澳大利亚也具有此类通过“添加分类—地图显示—数据具体信息”实现的地图检索(见图3),可重复添加并在地图上显示数据覆盖区域,最终在准确选择数据位置后以表格形式显示数据的具体信息,包括办公类型、站点名、地址、城郊、州、邮编、经纬度、开放及关闭时间等。而欧盟和我國则目前仅具有最基本的两种分类方式,分类检索方式落后、单一,数据资源整合度低,是今后需重点完善的方面。
2.1.3 数据更新:及时性比较
在数据更新上,各国基本都遵循静态数据按年或按需更新,动态数据按月/周/日或实时的速度更新。通过对各国政府数据开放平台自2017年10月至2018年3月半年间各月开放数据集数量的统计,得到如下数据更新速度表(见表3)。
数据集数量最多,更新速度也最快,按月新增的数据集数量也最多,从几百到上万不等,最多达到20 000以上,其他国家每月新增数量都在1 000以下。相较国外各国,我国以数月一更的速度增加开放数据集,更新速度较慢,但就数据集总量来看,新增数据集数量较多,较之前翻1番。今后,应在保证数据质量的前提下,加快更新速度,保证数据的及时性与可用性。
2.1.4 数据获取:可获取数据的便捷程度比较
对数据的获得、使用和增值过程是开放数据的主要目的,因此各国政府以服务公众数据需求为原则,通过提供多样便捷的开放渠道和服务,免费向用户提供各种类型和领域的公共数据。具体表现在数据格式、检索方法、数据下载条件3个方面。
1)数据格式
数据以何种形态在网络上存在和传播称之为数据格式,它对数据是否方便展示和取得起到重要影响。政府数据开放对开放数据格式的要求是可机读,即能够容易地用计算机程序提取数据的格式,也就是数据结构合理地被构造为允许自动处理。常见的机器可读格式有PDF、WMS、Geoj SON、SHTML、HTML、XLS、CSV、do、XML、WFS、JSON、XML、RDF、XSL、KML/KZM、Open XML、ZIP、Net CDF,其中CSV为五国都较常用的可机读格式,它与JSON、XML、RDF同属结构化文件格式。关联数据的组成就需要数据以结构化的形式发布,关联各方促进数据开发与利用[12]。此外,美国还提供ESRIShapefile等地理空间数据格式,Shapefile格式的优点在于结构简单,容易实现,因此也得到了较广泛的应用。英国和欧盟还提供了SPARQL查询语言,通过SPARQL端点查询编辑器来搜索存储中的元数据。
2)检索方法
在检索方法上,各国基本都提供快速检索与高级检索方式,除按主题词进行快速匹配检索外,还可按内容类型、文档类型、组织类型、行业、状态、结果、原因、字词位置、日期等缩小搜索范围进行高级检索。美国和英国还支持布尔逻辑检索、字段限制检索及段与短语检索,欧盟和我国还在首页显示最热及最新下载数据,并定期进行更新。检出内容按相关性进行排序,显示检出数据集数量、标题、机构、时间、下载量及浏览量等。
3)数据下载条件
数据下载获取需要在网站进行注册并登录,注册及登录需要用户提供部分个人信息,设置用户名及密码,并进行验证。目前各国政府数据开放网站对用户获取数据都采取免费政策,即用户无需付有费用就可以获得所提供数据的获取权和部分使用权。欧盟提供的数据可以免费在数据库、报告或项目中重复使用,并可用于商业或非商业目的,且不受任何版权限制,只有少数数据受重用的特定条件限制,其中大部分与保护第三方知识产权有关;北京政务数据资源网站所提供的数据全部可供下载,但用户不得有偿或无偿转让在网站中所获取的各种数据资源,同时网站按照程序对特定数据性质和使用的需要对一些组织和个人开放部分定向数据,其他用户无法下载使用,有权限获取到定向数据的用户不得将其转让他人使用,否则将依法追究责任。澳大利亚除了开放的数据集外,Data.gov.au目录也还包括未发布的数据和可供购买的数据。
综上,国外各国特别是美英两国的政府数据开放平台,无论是在数据格式还是检索方法上都较为多样,在数据下载方式上也较为规范,为用户提供了丰富且可靠的数据获取方式与途径。我国目前除在数据下载条件上与其他各国基本一致外,数据的开放格式极少,仅具有CSV和WPS两种格式,检索方式也仅有按主题、机构和时间3种,虽然基本满足当下的数据获取需求,但在今后的发展中必然需要提供更加多样的数据格式与检索方式,以满足更广泛的数据获取与利用需要。
2.1.5 数据处理工具:增值程度与公众参与度比较
数据增值的前提是对所获取的数据进行一定程度的加工与分析,政府数据开放区别于政府信息公开的主要特点,即将这种加工与分析的过程交由公众自己来完成,实现自主权与参与权。因此,为方便用户对数据的分析与利用,各国开放平台为用户提供了部分数据分析工具,工具的版权及相关信息归原作者或来源机构所有。欧盟提供Python、Java、JavaScript、PHP、Ruby、C等数据分析工具;北京政务数据资源网共提供4类数据分析工具:1)Hadoop相关工具(Hadoop、HDFS、MapReduce、Hbase、Hive、ZooKeeper);2)数据分析工具(Spark、Storm、SPSS、Weka、RapidMiner);3)数据搜索工具(Solr、Lucene);4)数据可视化工具(ECharts、Tableau)。其中Java、Lucene、SPSS因操作简单易学,成为使用最多的数据分析工具。平台对数据处理工具的推荐与提供,不仅为用户获取、分析与利用数据提供了便利,而且保障了软件工具开发者对软件的所有权。
2.2 基于数据开放与协作机制(平台层)的比较
平台层是政府数据开放网站的核心技术层,为政府数据的开放利用提供密集的技术支持,并提供供各部门组织间或国家之间交流协作的程序框架。其中,元数据、CKAN平台、API、数据关联、数据应用在政府数据的开放与协作机制中发挥着至关重要的作用。
2.2.1 元数据:数据重用(共享)程度比较
元数据,简单来说即对数据进行描述的数据。通过元数据對信息资源的描述,可以实现数据确认、数据检索及数据交换等,有助于对数据资源的分类、整合、开放与共享。
2)免责声明
各国网站都在免责声明中对政府及网站的权利、义务与责任作出说明,包括网站会合理谨慎地链接到其他网站,但无法直接控制这些网站中提供的内容或这些网站的可用性,不能保证任何链接网站上的材料不会侵犯任何人的知识产权或任何其他权利;网站不授权复制这些材料,不认可或推荐任何外部网站或第三方内容的链接,包括通过这些网站或其内容提供的产品和服务等;虽然网站欢迎用户的反馈意见,但无法保证能够纠正与数据集相关的任何问题;用户因使用网站所提供数据而造成的任何损失,由用户自行承担。
3)数据使用原则
美、英两国都提出无障碍原则,即努力确保所有用户都能访问所有功能,所有内容均可访问网站,努力提高网站的可访问性和可用性。Data.gov网站通过技术标准清单、屏幕阅读器、政策专家和残疾人深入测试,提高网站的可用性。网站也经常进行审查,以符合W3C最新的Web可访问性倡议指南。Data.gov.uk则通过调节文字大小、工具下载(JAWS、Lynx、Opera)、无障碍服务(HTML验证器、网页向后兼容性查看器、Lynx Viewer)提高网站性能。
相较国外,我国目前还未成立专门的数据开放小组负责政府数据开放的一系列事物,在网站中向公众展示的是实施政府数据开放的总体目标,未提供明确清晰的阶段性开放目标供公众了解和监督,且對数据开放情况的监督与管理多是自上而下的政府内部模式,还未形成公众广泛参与的社会监督模式。
3 结论与建议
3.1 结 论
政府数据开放平台是公众获取与利用数据的主要渠道,其数据层、平台层及管理层三者之间的协调运作是政府数据开放程度与效率的保障。以美英为代表的国家政府数据开放平台历经十年建设,其平台运行机制已日臻完善。数据集之庞大,数据开放与整合度之高,数据更新速度之快,检索效率、数据共享、开发利用程度之高,都显示出支持平台运作核心技术的先进性。特别是在数据管理层方面的数据分析技术、应用程序、制度设计上,如监督机构与职责界定,隐私保护政策等方面,为起步阶段的我国政府数据开放平台建设提供了直接可借鉴的宝贵经验与技术。
与国外相比,现阶段我国政府数据开放平台建设中存在以下主要问题:1)数据整合与利用机制(数据层)方面,开放数据集少、开放范围小、整合力度差;2)数据开放与协作机制(平台层)方面,尚无基于CKAN的强大数据运行与管理系统,平台系统结构简单,缺少联系协作,API接口、关联数据、APP应用开发都较少;3)管理与评估机制(管理层)方面,政府职责界限不清、部门协作不畅、公众参与度不高。
3.2 建 议
1)加强数据集的开发,借鉴国外在数据整合与利用方面的先进技术与方法,着力提高政府开放数据的质量和水平。
一方面,可以学习英美两国经验,扩大环境、教育、医疗等民生领域的相关数据集开发;增加数据资源格式,特别是机器可读及可下载数据格式;提高数据更新速度与每次新增数据集数量。另一方面,可以借鉴欧盟和澳大利亚详细的分类方式,规范数据处理工具的提供和使用;加强与第三方对数据应用程序的合作开发,拓展数据应用领域,彰显开放数据潜力。
2)着力开发基于CKAN的强大数据运行与管理系统及相关软件应用程序。
一方面,可以借鉴国外或自主开发基于CKAN的强大数据运行与管理系统及相关软件应用程序(特别是APP应用),以实现政府各部门组织、公众及国家间的交流协作、反馈、参与机制。另一方面,积极提供开源工具与共享服务,形成数据开放模式,规范元数据信息,实现数据关联;加快完成各省市试点工作,最终实现Data.gov国家级政府数据开放平台的顺利运行。
3)设立我国的数据开放领导小组和负责团队,对政府数据开放的整体流程进行严格管理。同时加强“用户交互”平台建设,提高公众参与度。
“政府数据开放领导小组和负责团队”,可以统领各个政府部门的数据开放工作,解决目前政府职责界限不清的问题;同时,负责提供中央和地方政府部门及其他公共机构的数据,确保数据以及时和可访问的方式发布,促进政府各部门之间的协调。
“用户交互”平台的优劣直接关系到政府数据开放的服务质量与公众的参与度。一方面,我国应进一步完善“用户交互”平台的建设,通过不断监控政府数据的更新、反馈、评价与监督信息,形成政府与领导小组、专家学者及公众之间的顺畅交流互动;另一方面,通过引入Cookies政策,开展定期宣传活动等,及时了解公众需求,提高公众的参与热情。
总之,我国应积极借鉴国外政府数据开放中的相关先进技术与管理经验,加快完成各省市试点工作,早日建成基于CKAN的国家级Data.gov专业平台建设。
参考文献
[1]相丽玲,陈梦婕.中外政府数据开放的运行机制比较[J].情报科学,2017,35(4):9-14.
[2]国务院.国务院关于印发促进大数据发展行动纲要的通知[EB/OL].http://www.gov.cn/zhengce/content/2015-09/05/content_10137.htm,2018-12-30.
[3]中央网信办,发展改革委,工业和信息化部.公共信息资源开放试点工作方案[EB/OL].http://www.echinagov.com/policy/201408.htm,2018-12-30.
[4]吴旻.开放数据在英、美政府中的应用及启示[J].图书与情报,2012,(1):127-130.
[5]相丽玲,王晴.论开放数据的法律属性、责任义务及其相关机制[J].国家图书馆学刊,2013,(5):38-44.
[6]李盼,翟军,等.基于Drupal的政府开放数据平台构建[J].现代情报,2016,(8):37-43.
[7]邓崧,葛百潞.中外政府数据开放比较研究[J].情报杂志,2017,(12):138-144.
[8]Hui-Ju Wang,Jin Lo.Adoption of Open Government Data Among Government Agencies[J].Government Information Quarterly,2016,(33):80-88.
[9]Sayogo D S,Pardo T A.Exploring the Motive for Data Publication in Open Data Initiative:Linking Intentionto Action[EB/OL].
[10]马海群,江尚谦.我国政府数据开放的共享机制研究[J].图书情报研究,2018,(1):4-11.
[11]黄如花,王春迎.我国政府数据开放平台现状调查与分析[J].情报理论与实践,2016,(7):50-55.
[12]徐佳宁,王婉.结构化、关联化的开放数据及其应用[J].情报理论与实践,2014,(2):53-56.
[13]The Childrens Online Privacy Protection Act of 1998[EB/OL].http://www.coppa.org/coppa.htm,2018-12-30.
[14]Data Protection Act 1998[EB/OL].http://www.legislation.gov.uk/ukpga/1998/29/pdfs/ukpga_19980029_en.pdf,2018-12-30.
[15]Australian Government Com Law.Privacy Act 1988[EB/OL].https://www.comlaw.gov.au/Details/C2015C00279,2018-12-30.
(责任编辑:郭沫含)