大数据在经济普查中的应用
2020-03-27王善英
王善英
摘要:伴随信息技术不断发展,大数据时代全面来临,为经济普查工作提供了更多的应用工具和方法,进一步的促使了经济普查工作能效的全面提升。一方面随着经济总量提升,庞大的数据对经济普查工作带来了前所未有的巨大挑战,另一方面大数据的应用对经济普查又提供了庞大动力。本文就针对大数据在经济普查中的应用展开研究与探讨。
关键词:大数据 经济普查 应用
引言:
近些年来,随着经济总量不断提升和经济结构的不断优化,经济普查显得尤其重要。经济普查能够对我国经济结果、特征以及变化进行实时记录,为各种政策的有效制定提供依据。随着我国进入大数据时代,经济普查面临着艰巨的挑战,我们需要对数据挖掘方法和工具展开研究,让经济普查能够高效、准确推进。如何使经济普查工作与“大数据”有机的融合,推进经济普查大数据化的革新,改进经济普查方式、促进经济普查手段变革、拓展统计数据采集渠道,优化统计服务方式,促进经济普查工作更加科学、规范、系统具有重大的现实意义。
一、从统计学角度对大数据的理解
信息社会中的数据越来越重要,大数据的发展为经济普查提供了先进的方法和手段。从统计学角度理解大数据有以下几个维度。
第一,大数据是利用各种统计软件自动生成,属于非结构化和半结构化数据。而统计数据主要是通过常规统计报表收集的统计数据,或是从普查对象中搜集得到的普查数据,如人口普查、农业普查、经济普查,这些数据大多为结构性化数据。
第二,大数据是从所有混杂数据中关注普遍意义的相关性关系,发现事物潜在规律,从海量数据中挖掘含有特殊关系的信息。
第三,大数据与传统统计数据的区别在于大数据是采用现代信息技术和架构高速处理手段,收集对自己有用有价值的数据,输入到统计分析模型或统计调查相关系统中,直接导向我们想要的结果,直接服务于统计调查各项工作。
二、经济普查结合大数据技术的意义
在大数据时代背景下,经济普查方式发生了较大的变化,数据的来源发生了较大的变化。传统经济普查数据来源主要是依靠普查获取,而普查则存在费力费时,数据更新慢,结果存在滞后性等特点,影响了经济普查工作的开展。而在大数据技术下,统计数据的方式发生了较大的变化,依靠信息技术、云计算技术进行数据采集,不仅增加了数据采集的准确性,而且增强了对数据有效处理的能力。大数据技术下,经济普查数据主要来源于两大方面。一是网络平台数据。政府依靠互联网平台,可以快速有效地获取大量信息,站在制高点进行宏观调控,为社会管理提供大量有效的数据信息[1],为经济决策提供有效的数据信息。另一方面,通过遥感技术获得准确的数据。卫星遥感技术作为一种现代化测量手段,主要以全球定位系统与信息系统为基础,可以根据调查对象,对不同的卫星遥感信息进行加载,再经过计算机处理,得到需要的全部数据,保证经济普查工作的顺利开展。
三、合理选择数据挖掘技术
大数据时代开展经济普查数据分析,应当在把握经济普查工作整体要求的基础上,从构建相应的分析体系、选择科学的经济普查数据挖掘技术或方法及加強经济普查数据科学系统管理等方面进行全面考虑,才能更好地将大数据技术和经济普查数据分析工作有效融合起来,提高整体分析成效[2]。
目前在经济普查数据分析方面有很多比较常用的现代化分析方法,在开展具体应用过程中需要考虑现实需要,有针对性地选择具体的挖掘技术,才能提高分析效率。目前比较常用的数据挖掘技术主要有以下几种。
一是 SAS 统计分析技术。SAS 分析软件主要是借助相关的软件模组,可以实现数据的访问、管理、显示、分析四个方面的服务,并且还可以进行服务和功能拓展,通过形成相关的统计函数等,根据用户需求进行深度统计分析,并通过直观的形式展现,便于数据分析人员进行深度理解和应用研究。
二是 SQL Server 2000 Analysis Services 软件。该技术是一种基础的数据库及数据分析软件,可以提供电子数据仓库,从而更好地实现数据的快速整合和分析,同时还具有良好的业务拓展性,使用比较方便,设计功能比较强大,性能良好,为用户应用提供了很大便利。
三是 Intelligent Miner 技术。该技术是多种统计与挖掘算法的有效融合,既可以对结构化数据进行处理,还可以对半结构化和非结构化数据进行处理,在发现关联、自动生成典型数据集、发现序列规律、可视化呈现等方面都有强大的功能,这样可以实现从数据采集到转换、挖掘及深度处理等方面的一体化应用。
四是决策树技术。决策树主要是通过借助决策点、状态点、结果点三个体系让使用者对事件发生概率进行掌握,进而以此为基础进行决策参考的一种数据分析模式。
五是 Clementine 数据挖掘平台。该技术主要是通过构建具有一定预测能力的模型,进而改进具体决策方法和过程,提高数据整体挖掘能力。
四、大数据在经济普查工作中的机遇与挑战
大数据很大程度上使得传统的经济普查时空单位得以扩大,能够为经济普查工作提供可靠的数据资料。采用新的技术手段完成数据的收集与深度挖掘过程,这个过程可以很大程度上减少统计调查的负荷,尤其是减少了对应表格填写和数据整理的中间过程,很大程度上强化了经济普查工作效率。大数据的运用过程中需要强大的软件与硬件设备作为支撑,以此来提升海量数据的挖掘与分析能力,并采用合理的工具和高效的方法,将这些数据信息完全的转换为具有高价值的统计数据信息,保证在其中能够发掘出更具有价值的信息,从而进一步的提高大数据时代下的数据信息的有效利用率。
参考文献:
[1]刘从容,刘显锋,李江滨.大数据时代政府统计方法创新研究[J].统计与咨询 ,2018(2):17-20.
[2]朱建平,章贵军,刘晓葳.大数据时代下数据分析理念的辨析[J].统计研究,2014(2):10- 19.