APP下载

浅析大数据背景下的政府统计

2014-02-11杨美沂

统计与信息论坛 2014年11期
关键词:数据源结构化部门

杨美沂,林 勇

(西北师范大学 经济学院,甘肃 兰州730070)

一、引 言

大数据是指那些大小超出了传统意义的尺度,一般软件工具难以捕捉、存储、管理和分析的数据。它除了包括大量的结构化数据外,还涵盖所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频、视频等信息,即非结构化和半结构化的数据。在大数据科技浪潮的背景下,数字化的行政商业记录、网络在线文本、流媒体数据大大拓宽了统计机构收集数据信息的渠道,作为信息和数据最重要的生产部门——政府统计,已经步入以数据为核心的大数据时代,因而研究大数据背景下的政府统计有十分重要的意义。目前文献的研究主要围绕统计生产流程,即数据采集、数据整理、数据分析在统计部门内部进行改革策略的探讨,而忽略了大数据背景下统计生产社会化的新形势,忽略了政府统计部门之外的其他大数据生产者和使用者。因此,本文拓宽研究视域,综合考虑了政府、企业、市场和公众四大主体,提出构建一种以数据为核心的、四位一体的政府统计管理模式,以改革大数据环境下的政府统计。

二、大数据背景下政府统计工作新特点

(一)多样的数据需求

伴随着互联网、物联网和云计算、云存储等技术的发展,人和物的所有轨迹都可以被记录,人们可以获取更大范围的总体数据而不只是样本数据。数据的捕获和分析将会被全社会来共享,而非统计部门一家独享,相应地,对数据需求的层次将不断提高,呈现多样化趋势。因此,大数据背景下统计工作的意义在于更好地满足整个社会对数据多样化、个性化的需求。

(二)扩大的数据源头

大数据时代的到来,为统计工作开辟了新的统计渠道,如数字化的行政商业记录、网络在线文本、流媒体数据等,且随着时间的推移,各种非政府机构作为主产品或副产品的大数据将日益庞大,数据源由此扩展到这些没有元数据支撑的非结构化数据,数据源呈现迅猛扩大化趋势,如何平衡、控制这些大数据的正当使用与开发,与现有政府统计部门大数据的结合很重要。

(三)多元的数据生产

大数据背景下丰富的数据源使越来越多的社会研究和调查咨询等非官方机构开始使用大数据收集、整理、发布与官方统计机构定期常规发布相重复或基本重复的统计产品。如目前阿里研究中心推出的ISPI,政府统计将不再作为公共统计数据信息的唯一渠道,统计数据的生产呈现多元化、社会化趋势。

(四)微观的数据应用

大数据环境下多样化、个性化的数据需求使政府统计关注的数据由“宏观”走向“微观”,不仅要从宏观层面上掌握情况的基本面,还要再回到中观层面和微观层面的数据,即关注个体的行为模式,使非结构化和半结构化的海量微观数据转换为结构化的大数据,并使其发挥出活力,产生宏观数据无法实现的价值。

三、大数据背景下政府统计管理模式探讨

大数据背景下数据需求多样化、数据源头扩大化、数据生产多元化、数据应用微观化的现实,必将带来统计观念、制度、手段和方式等一系列的深刻变化,形成典型的小政府、大社会的统计体系,因此政府统计管理模式的创新必须适应这一新的形势,放眼全局,高瞻远瞩,构建一种政府主导、市场引导、企业辅助、公众参与的新模式,以全面提升政府统计生产效率,增强为全社会提供统计服务的能力。

(一)政府主导模式

政府主导模式是指利用政府综合统计和部门统计来管理统计信息资源,它是一种基于行政管理权威的统计管理模式,有利于构建具有公信力的政府统计体系。在大数据环境下,这种模式可以通过建立数据交换平台来实现。一方面,通过交换平台的搭建,将以前没有纳入联网直报的部门统计和部分专业的综合统计全部包括进去,将统计报表设计、数据采集、数据处理、分析、发布等系列统计业务集于一个平台上完成,使系统逐步由单纯的网上直报功能发展成为可以支撑全部数据采集、挖掘分析等相关业务的功能,从而构成一个面向统计调查对象、统计工作者、政府相关部门和社会公众的统一的综合业务处理平台。让综合统计和部门统计在上报数据的同时由平台授权实现数据共享,既保持各自独立性,又实现数据交换协作,形成权利与义务对等的大数据管理良性互动;另一方面,通过交换平台报送数据可以从源头上避免同一指标的重复调查,且通过平台上相关数据的相互印证来提高数据的准确性,尤其是各个部门都将拥有其他部门针对同一对象的其他特征数据,这将带来政府统计跨越式发展——统计分析内容不断深入,相关分析应用不断增强,数据挖掘层次不断升华,政府统计大数据时代将真正到来。

(二)市场引导模式

最大限度地满足市场经济发展对统计信息的多元化需要,是统计机构和统计工作赖以生存和发展的基础。在大数据背景下,数据需求的个性化和数据应用的微观化更需要我们的政府统计由主要为政府服务的小统计观念转变到既为政府服务又为社会公众服务的大统计观念上来,必须以市场为导向,提供与各类市场主体需求相适应的统计产品,以增强政府统计的市场意识、竞争意识和风险忧患意识。在大数据环境下,这种创新模式可以通过对与市场关系密切的政府信息机构进行企业化改制来完成。具体来说,就是将一部分政府信息机构企业化、市场化,成立政府控股的股份制信息公司,积极参与市场竞争,依靠自身实力发展壮大。一方面,改制后的股份制信息公司控股权仍然在政府手中,可以从法律上保障国家信息安全;另一方面经营自主权扩大,运作形式灵活,既可以为政府提供服务,也可以为市场提供服务,且广泛的数据源和数据需求的市场拉动,将使其所提供的统计产品种类更加丰富、供需更加平衡,同时营利性收入的增加使政府统计在数据生产多元化的大数据环境中更具生存力,其提供的统计服务也更具竞争力。

(三)企业辅助模式

企业辅助模式是指利用数据终端采集等先进的IT技术工具,通过物联网、互联网、手机移动平台等自动实时采集企业大数据,作为政府统计有益的补充和验证。为此,必须构建自动实时采集平台,其一,可以保证企业大数据持续不断地被政府统计部门使用、开发;其二,通过创建元数据,对互联网数据进行纠偏和矫正,通过清洗、转换和集成,将处理后的大数据作为补充资源对统计机构数据进行实时更新,产生一加一大于二的效果,并且希望它可能发生质的变化,产生新的信息和知识;其三,某些企业、机构的大数据,特别是互联网企业的大数据,往往是出于其自身的发展需要进行搜集和开发的,而且其开发的实践并不长,其发展的方向和目的可能是多元和多变的。因此,政府统计部门需要及时分析和研究这些新的数据源,看其是否适宜现有或新的政府统计产品的基础数据需要。

(四)公众参与模式

公众参与模式是指政府部门与公众共同参与社会化大数据的生产、开发、利用和监督的双向沟通模式。一方面,政府部门遵循“取之于民,用之于民”的原则,在保护国家安全、商业机密、个人隐私等基础上,通过创建政府数据网站,向社会公众免费公开非涉密的数据,促进这些数据资源的开发利用,同时也加强公众舆论监督力度;另一方面,在大数据时代背景下,普通大众通过数据反馈为政府统计贡献新的大数据源,如在先进的数据采集技术支持下,大众浏览各类网站的时间、数量、点击频率和内容,都能够形成新数据源再反馈给统计部门进行集成分析,从而形成大数据环境下政府与公众的友好良性互动及数据流的双向流通循环,完成公共福利的有效分配,实现政府统计与公众利益的双赢局面。

四、结束语

在大数据时代背景下,中国政府统计管理模式本质上是以数据为核心,通过政府、市场、企业和公众四方面的积极参与互动,完成数据的抓取、整合、分析、销售和展示,形成原生态数据、信息和知识在政府统计系统中无止境的循环流。但在此过程中,数据质量、安全性、数据挖掘技术等多方面问题仍需进一步探讨。

猜你喜欢

数据源结构化部门
联合监督让纪检部门不再单打独斗
促进知识结构化的主题式复习初探
改进的非结构化对等网络动态搜索算法
结构化面试方法在研究生复试中的应用
左顾右盼 瞻前顾后 融会贯通——基于数学结构化的深度学习
Web 大数据系统数据源选择*
哪些是煤电部门的“落后产能”?
基于不同网络数据源的期刊评价研究
医改成功需打破部门藩篱
基于真值发现的冲突数据源质量评价算法