基于大数据可用性的政府统计策略研究

张超 朱波

摘要：随着信息时代的到来，大数据成为了人们日常生活中不可分割的一个组成部分，大数据的增长幅度也呈现出了指数型的态势，不确定数据不断产生。但是从目前的实际情况来看，对于大数据应用来说，无论是从深度上还是从广度上来说，还存在着应用不到位的情况，而这也给传统政府统计平台建设以及统计思路带来了比较大的挑战。本文在研究的过程中就在充分分析大数据可用性理论的基础上，结合实际情况提出了大数据统计平台建设要求，并针对性的给出了实施路径以及建设的策略，希望今后政府统计工作的顺利进行能够起到良好的帮助作用。

关键词：大数据；可用性；政府统计

引言

从最近几年的实际情况来看，大数据呈现出了爆发性的增长态势，而同时不确定数据也在不断增加，例如残缺数据、粗粒度数据、错误数据等等。根据国际相关部门的统计资料显示，在世界500强的企业当中，大约超过四分之一的企业在信息系统方面存在着数据不正确或者不准确的情况。不可否认的一点就是，在对这些不确定数据进行处理的过程中将会浪费企业大量的时间，同时还可能会增加企业的成本。对于政府部门来说，随着互联网以及物联网的不断发展，政府获取数据的途径也在不断增多，也造成了不确定数据的使用比例不断增加。从目前政府目前所使用的传统统计平台上来看，绝大多数都比较侧重于在不确定的环境下，对数据进行挖掘，但是，从传统平台向大数据统计平台转变的过程上来看，在数据可用性方面仍然存在着比较多的问题。本文在研究的过程中首先分析了大数据可用性所存在的突出问题，并针对性的提出了有效提高大数据可用性的实施路径以及提高政府数据统计能力的策略。

一、统计过程中大数据可用性的突出问题

在日常对数据进行统计分析的过程中保证大数据自身具有良好的可靠性是一项十分艰难的任务。随着用户的需求朝着精细化的方向不断发展，大数据自身所应当具有的燕歌行、精确性、时效性以及完整性对整个统计系统都提出了比较大的挑战，主要可以概括为以下几个方面：

（一）大量化、多样化、快速化

从最近几年的实际情况来看，电子商务、社交网络以及多种多样的网络设备每天都会产生大量的数据，而这些数据的一个最为显著的特征就是有着十分强的时效性、不完整性以及分割性。另外，结构化数据、半结构化数据的种类也在不断增多，使得数据类型也朝着复杂性的方向不断发展，而也正是因为这个方面的原因，导致了如果不对其加以有效处理的话，其自身的利用率将会不断降低。

（二）缺乏大数据检测与自动修复机制

为了能够在最大程度上减少不确定数据所可能造成的影响，对于大数据分析平台来说，应当尽可能的保证数据的完整性和准确性，而此时大数据检测以及自动修复就显得十分重要了，但是目前在已有的平台当中还普遍缺少可靠的大数据检测自己修复复杂度理论模型，使得最终的修复效果不是十分理想。

（三）缺乏大数据近似计算与数据挖掘算法

当大数据损害程度比较严重而无法被彻底进行修复的时候，这类数据就被人们称之为是弱可用数据。目前，绝大多数大数据平台还普遍缺乏以最小时间和空间复杂性作为自身的目标，也缺少针对多种海量弱用信息分析与挖掘的近似计算的算法，例如不严格不精确海量信息近似计算的算法等等。

（四）安全与保密性较差

虽然从政府的角度上来说，自身是一个整体，但是其中各个部门也结合自身的实际情况建立了大数据平台，因此，仍然处于各自为战的态势当中，很多数据都被各个部门所共享使用，因此往往很难能能够预设用户的角色、管理权限以及访问控制权限等等。一般情况下，普通用户或者非本部门用户获得的是粗粒度，经过转化之后可用性也比较低的数据，因此，这种情况是不利于工作的顺利开展的，也导致了大数据的可用性以及可信性有所降低。

（五）知识学习的不确定性

知识学习是存在一个过程的，从得到最原始的数据开始，之后转化成为简单语句，再到最后的负责语义，但是由于大数据自身的可用性比较低导师了在学习的过程中存在着比较大的不确定性，目前，大数据在研究社会网络模型、用户感知计算以及多目标结构等多个方面仍然处于起步阶段。

二、可用性大数据平台建设

在开展统计的过程中，数据采集、加工以及分析是一个十分重要的步骤，在这个过程中应当尽可能的满足一个低数据不确定性和高数据可用性的充分要求。因此，目前继续解决的一个问题就是充分建立基于大数据可用性理论的平台原型建设工作，在建设的过程中应当注意以下几个方面的问题：

（1）多源多模态海量数据高质量获取与整合，应当将研究的重点集中在各类结构化管理信息系统中数据的高质量获取与整合、本结构化以及非结构化数据的高质量获取以及整合等等。

（2）大数据自动检测与修复。其主要的作用就是将不同的数据类型以及存储方式作为自身的重点，对不同种类的数据对象进行自动检测，从而结合实际情况建立资源需求模型。同时还应当对特定数据以及综合数据修复的模型以及优化算法进行合理的研究，要最大程度上的发挥修复优化之后信息模型的可信度。另外，还应当针对协同工作需求的不同，对香瓜你数据以及用户的个性化修复方案进行合理的制定。

（3）另外，还需要重视的一个问题就是支持在正确数据和若可用数据上的数据挖掘、近似运算以及知识演化等等。使用合理的通用近似模型、多目标优化求解，研究出不同弱可用數据条件下的可信计算，近似运算的结果平评估模型、知识学习以及演化、社会感知计算等等。

（4）要建立一个切实可行的能够合理控制的数据范围控制规则，研究细粒度的对非结构化的或者半结构化的数据子集进行合理保护的方案。对于授权用户提供有效的细粒度数据保护措施，保证整个保护过程存在着一定的差异化。另外，还应当对业务、数据修复过程中所存在的一些不安全问题建立集中化的管理方式，保真该服务数据过程中的多参数高级认证工作顺利实施。

从最近几年的实际情况来看，大数据可用性性平台目前正在处于初级阶段，在政府目前所使用过的统计平台当中，绝大多数情况下还都是以为结构化数据作为自身的重点，因此，建立一个实用性较高的可用性统计凭条必然是一个不断积累的过程，需要经过单系统、用户个性需求驱动阶段，再到多模凭条、用户通用需求阶段，最后发展到多源多模平台、用户跨平台协同需求阶段。在突破大数据可用性的基本理论和技术后，将针对范围更广、数据类型更复杂的各类电子商务、社交平台和物联网系统。在该阶段，完成多模平台海量数据的获取与融合理论和技术、用户数据分析的通用需求与实现标准、数据可信性检测与优化技术等。在实现多模平台数据获取和用户通用需求技术后，将针对多源多模混合平台、用户协同需求提供更加复杂的服务，如知识的学习与演变、用户需求发现机制、工作流程改进方案等，并在其过程中进一步完善数据采集、加工和访问控制规则。

三、可用性大数据统计实施策略

从目前政府各个部门的实际情况来看，已经掌握了大量的信息资源，并且覆盖面也比较广泛例如在气象、交通、海洋、地理以及经济等等多个应用层面当中。因此，如果想要真正的不断扩大大数据的应用范围的话，首先需要做的一点就是政府在日常进行统计的过程中应当始终将数据可用性作为自身的中心，建立一个多平台、多用户协同管理的平台。应当仍然以传统结构化数据作为自身的重中之重，不断的对工作流程进行改进。

（一）建立大数据管理中心，制定数据规范与接口标准

目前，很多政府都已经意识到了建设大数据管理中心的必要性，但是由传统结构化数据中心向其转型的过程中仍然存在着很多的问题，例如条块分割的管理体制不仅导致了各个部门仍然是按照自身的需求建立数据中心，也在很大程度上使得不确定的数据不断增多，而大数据自身所存在的低用性问题也导致了各个数据中心之间难以建立有效的联系，技术路径差异性也比较大，存在着十分严重的重复建设情况。

因此，从这个角度上来说，目前需要在短时间内建立切实可行的大数据管理中心，现在一些组织结构较小的部门当中制定比较同意的数据存储标准以及规范，之后对数据进行合理的整合和统一。在建设的过程中要按照合理的步骤进行：例如对于初期建设的规则来说，主要应当包括标准化的数据中心软硬件架构，对数据的来源、分类以及特点进行合理的确定。而在建设中期的过程中，则应当将重点集中在数据中心的修改以及完善方面，应当设定针对性的修改以及优化规则，通过合理的技术路径对评估标准进行不断的优化处理。而在后期对数据进行发布使用的过程中，规范数据加工分析环节所输出的综合数据和分析预测信息，应当建立一个合理的公共服务窗口。从以上的论述当中就能够看出，应当将一个小范围的数据平台进行不断的完善，之后再逐渐的扩大到包含所有的大数据平台当中，保证整个建设体系围绕相对来说比较统一的标准进行建设，降低不确定数据出现的可能性，降低对数据进行修复过程中所可能耗费的成本，最大程度上的额提高数据自身的可用性。

（二）制定大数据安全存储规则，抽取通用需求，分阶段推进

对于政府各个部门来说，由于自身的技术路径存在差异，而且业务范围也所有不同，因此想要实现信息共享、技术通用还是比较困难的。因此，应当充分利用目前已有的数据规范以及接口标准，例如规范不同资源调用主体获取权限的方式、如何有效的对主体之间冲突进行协调，应当采取怎样的方式对数据进行挖掘等等。由于一些部门的数据同质化程度比较高，在工作的过程中需求相对来说也比较类似，而且已经拥有了一个相对来说比较成熟的数据存储中心，但是可能由于技术能力的限制无法对其进行深入的开发和利用。对于这种情况可以首先从这些部门当中将公共需求合理的提取出来，并制定比较统一的技术处理路径，之后在小范围内进行合理的试用。同时，为了能够最大程度上满足这些部门对数据可用性所存在的要求，大数据管理中心应当对信息使用范围进行充分的明确，在保证数据保密性较好的基础上，做好数据保密的相关工作，最大程度上的发挥各个资源主体对信息进行挖掘所能够带来的经济效益以及社会效益。瞪大欧之后随着时间的不断发展，相关理论以及技术逐渐成熟之后，再将其逐渐的应用到各个部门之间。

（三）打造“智慧统计”，增强协同创新

“智慧统计”是一种比较先进的技术，其有效的利用了大数据云计算技术对统计数据生产、服务以及获取的能力进行了合理的提升，从而保证统计工作朝着规范化和标准化的方向不断发展，保证各级政府以及行政主管部门、各个企事业单位能够更加便利而又安全的享受到统计相关的服务。但是目前绝大多数海量统计平台也仅仅是作为了统计过程中的一个比较常用的信息基础设施，虽然在信息不断输入的过程中会对其中的动态数据进行覆盖，但是仍然无法充分满足使用用户的需求，对于一些具体部门来说，用户对数据的需要与数据子集选择和融合问题可能存在着一定的问题。

因此，在目前已有的规范数据标准、通用接口以及技术路径的基础上，可以将“智慧统计”平台划分成为两个部分即公共资源数据中心平台以及公共信息服务平台。前者的主要作用是保证数据从产生一直到最后的存储能够达到智能化的目的，从而为政府、企业以及公众科学的使用数据创造良好的条件。而后者的主要作用就是保证统计服务朝着智能化的方向不断发展，通过信息共享以及交换为各个部门提供深层次的数据挖掘以及知识演化的相关服务，不断的增强协同创新的能力，有效的提高大数据平台的广度以及深度。

总结

本文在调查研究的过程中从大数据可用性的角度出发，通过对目前大数据使用过程中所存在的一些问题进行合理的分析，结合大数据可用性今后的研究方向、发展趋势，针对性的分析了政府对大数据平台进行改善的策略，但是从某种程度上来说，大数据在可用性理论、技术路径、工作思路以及法律法规等多个方面仍然存在着很多的不足，需要在今后对其进行不断的完善。

参考文献：

[1]刘畅，刘璇.天津政府数据开放：现状、问题与政策建议[J].图书馆学研究，2018（11）：40-47.

[2]吴湛微，孙欣睿，萧若薇.当开放数据遇到开源生态：开放政府数据平台建设模式比较研究[J].图书馆杂志，2018，37（05）：82-90.

[3]司林波，刘畅.智慧政府治理：大数据时代政府治理变革之道[J].电子政务，2018（05）：85-92.

[4]杨武，李升，马光明.财政分权影响国际贸易吗？——基于“一带一路”沿线国家的实证检验[J].中央财经大学学报，2018（04）：3-18.

[5]谢安.政府开放数据利于实施国家大数据战略[J].中国统计，2018（03）：28-30.

[6]许宪春，叶银丹，余航.中国政府微观数据开发应用：现状、挑战与建议[J].经济学动态，2018（02）：88-98.

[7]陳文春.政府大数据应用中领导干部的信息化领导力及其提升路径探析[J].领导科学，2018（05）：4-7.

[8]丁辉侠.地方政府大数据治理：行动、挑战与应对[J].郑州大学学报（哲学社会科学版），2018，51（01）：76-80.

[9]胡海波，高鹏.面向用户服务的政府开放数据：一个概念性阐释框架[J].情报理论与实践，2018，41（06）：45-51.

[10]周文泓.澳大利亚政府开放数据的构件分析及启示[J].图书馆学研究，2018（01）：53-59.