大数据视角下影响统计数据质量的因素分析

陈 媛/文

21世纪被称为信息的世纪、数据的世纪。现如今几乎每个行业都在广泛使用大数据，大数据所展现的渗透性作用和功效十分突出，能够有效提升统计数据价值和效果。政府以及企业在大量的数据中，淘到自己需要的高质量信息，能够保障统计数据足够及时、足够准确、足够可靠，为制定合理决策提供建议与支持。也正是因为有了这样的背景，大数据优势和机遇才会展现得淋漓尽致。不过大数据本身的电子化易处理、多元、实时、非结构化、海量的特点会放大原本数据质量上本来并不突出的问题，有些时候会带给数据质量十分重大的灾难影响。现如今统计部门已经将目光和视角放在了解决数据质量问题，其意义十分重大。

从全面数据质量管理理论的角度来看，对于统计数据质量有影响的关键点在于数据流程、数据技术和数据管理三个部分。

一、流程角度

从流程的角度切入来看，大数据系统非常复杂，能够为不同阶段、不同生命周期的数据提供相应处理能力。接下来将会从数据的收集、数据的存储、数据的使用展开影响要素分析，并判断这些因素如何影响到数据质量。

1.数据搜集环节。一直以来，统计工作在不断调整和优化自己的数据整理、搜集方法，通过完善统计标准，确保统计数据的质量足以应对使用要求。这里包括统计报表的统一、各种调查模式的结合、统计方法的拓展等等。大数据环境下，社交协作、传感器、智能设备等技术的增加，使得数据来源变得非常复杂。各种非结构数据、半结构数据的主要来源就是各种传感器、媒体论坛、社交系统。面对如此庞大且种类差异巨大的数据，必然会出现数据矛盾性和差异性问题。此情此景使得数据源中往往很难做到从容应对数据定位、数据检测。大量数据的出现会让统计数据的广度呈现无限接近数据总体。拓展的统计数据范围，从理论角度来看能够提高数据统计准确度。不过从实践结果可以看到的是，在数据接触面越来越大的同时，需要处理的问题也会不断增加。问题挖掘难度更大，统计数据质量不易提高。此外大数据的另外一个特点是实时。实时性数据搜集说的就是在数据生成以后，直到数据使用期间，这是一个非常短的流程。实时获得的数据才能够体现数据使用有效性，发挥数据本身价值和作用。

2.数据存储环节。在大数据背景下，数据存储的价值十分关键，能够为数据分析提供高效支持。提前将数据按照特定的格式分成不同的组别和类型。大数据最大的特点就是访问接口多、高性能、高可用性、高拓展性。过去单一的数据资源、数据结构并不足以支撑大数据使用要求。为保障数据存储有效性，就需要用到专用的存储数据装置和数据库技术。当前最常用的主要是SAN、NAS、DAS这三种架构，以上三种架构在使用中效果很不错。在面对非结构化与半结构数据的时候，传统存储有着十分冗长的转换过程。先将数据变为结构化数据，随后对这些数据做处理和存储。转化数据的过程中，有可能会出现转化失效问题，直接影响到最后的数据完整性和准确性。数据形式最后会出现翻天覆地的变化。不少图片、视频一类的非结构数据最后都会成为影响传统数据的重要障碍、重大问题。为了最大化数据效益，就需要有机结合传统结构化数据和非结构化数据，打造和大数据时代相契合的数据库，保障数据高品质发展。此外维护数据库同样对于保障数据质量意义重大。对此数据库管理者需要按照大数据本身特征做数据存储方式的合理化设计，发挥数据库价值，展现数据库作用。设计数据库和存储数据的关联十分密切。存储方式的不合理会使得过多存储空间被浪费和占用，影响后期数据使用。甚至不少情况是失真数据和错误数据，都会影响到数据整体质量。管理数据库的工作人员一定要充分考虑这些因素。大数据相较于传统数据的转换更加复杂，会出现很多问题，也需要充分考虑。

3.数据使用环节。开发与使用数据才能够展现大数据本身作用与价值。应用数据的人非常多，不少人需要对数据更新和提取，只要有其中任何一个人的工作出现问题，都会直接影响到其他人的数据使用质量，导致最后的结果和预期设定出现重大偏差。大数据瞬息万变、规模十分庞大，要准确把握、合理分析，才能够最大化数据价值。绝不能允许数据出现过期现象。大数据时代下，一定要处理好统计数据衔接性要求。信息共享、信息平台、信息技术的协同发展和分析才能够改善信息孤岛问题，充分开发数据价值。除此之外处理统计数据和技术手段的过程中，衔接性有效与否也会成为大数据整合与集成处理的关键点。在复杂且纷繁的数据面前，要呈献给用户简单易懂的统计结果。大数据凭借可视化技术，能够展现更精准、高品质的统计数据。统计大数据契合了实用性追求，因为数据存在非结构化、半结构化、异构和数量激增的情况，所以需要充分考虑用户需要。基于数据本身的挖掘技术和强大集成能力，定向挖掘海量数据，做好分析，为决策提供支持。

二、技术角度

基于技术角度看，对于数据质量有影响的主要包括三个条件，也就是数据分析、数据检测识别、数据库。借助于大数据技术和大数据分析技术，能够为企业提供准确预测能力，为企业制定准确决策提供帮助和支持，展现大数据真正价值。

1.数据分析。在大数据时代背景下，大数据分析这项技术可以从容应对统计数据的实时性、多样性、海量困境和难题。大数据分析这项技术在统计体系中展现出来巨大的优势、巨大的价值。挖掘算法能够有效改善不同格式和类型数据的问题，对统计方法进行补充和推进。依靠预测分析技术提升统计准确性和时效性。

2.数据检测。因为统计数据当中的适用性、及时性和准确性做不到量化。往往需要人们用直观判断方式解决。所以依靠公众的条件做数据质量提升十分困难。基于生命周期角度探索数据检测能够更好地监督和反馈每一个环节所出现的统计数据，解决和弥补数据漏洞。在查缺补漏中对症下药，解决问题。完善和开发数据算法，打造合适的数据统计技术、检测技术。比如质量反馈和综合评价体系。

3.数据库技术。面对大数据时代背景，如今企业所呈现的数据是指数性增长的。数据资源的增加所展现的不仅是量的发展，同时结构也发生了翻天覆地的变化。大数据最大的特点就是十分复杂。应用传统检测方式识别和处理数据，会消耗非常多的时间和成本。从这一角度可以看到的是传统数据在现如今的大数据时代下已经不再适用。过去的存储设备也很难应对新时期的挑战。企业有必要结合自身条件，配置性能更好的设备，要引进现代化技术，做好数据识别和检测，发挥数据应有作用。

目前大数据仍旧处于探索和起步阶段。国内的大数据存储技术、分析技术需要更多的资源学习。不少企业当前还在用传统方法解决大数据问题，容易出现不少的偏差，难以发挥大数据最大的优势和价值。此外国内当前十分关注的数据分布存储、并行计算技术有着很多优势。不过却并没有发挥智能化工具和大数据特点优势。管理者有必要按照实际条件做数据库设计，配备智能检测技术，保障数据质量和数据效果。

三、管理维度

基于管理维度角度来看，对于管理来说，影响数据分析质量的包括管理者认知度、数据库人员配备、统计制度、统计标准。

1.管理认知度。管理人员一定要明确大数据价值和重要性，予以大数据建设更多重视。只有这样才能够让大数据在未来获得更好的发展环境，推进大数据建设。企业管理者如果不关心大数据价值，就会影响到大数据使用。

2.人员配备。从大数据特点看来，其本质特征就是复杂，所以无法有效管理。面对此情此景，就需要拥有同时掌握企业业务和能够解决技术难题的优秀复合人才。只有这样才可以保障数据质量，发挥大数据本身应有价值和作用。大数据视角下，需要这样的人才，进一步挖掘大数据价值。

3.统计标准和体制。大数据时代下，统计制度改革成为很重要的工作。提升数据质量时需要政府的支持。如果政府部门不具备独立性，那么最后的统计质量就会受到影响。这里的统计数据和管理考核、企业绩效、政府政绩关联密切。以上因素很容易影响到统计数据。政府在统计环节负责对数据进行收集和整理，最后发布结果。假设该过程并不透明，没有深度分析和挖掘数据，就无法展现数据的利用价值。统计部门和民间组织、企业需要充分交流，做好数据共享。目前国内统计标准和国际标准存在差距，没有及时更新是需要注意的问题。

四、结语

大数据背景下，必须做好统计制度体系的完善，充分衔接政府、企业以及民间机构，做好数据资源的协同分析和共享工作，确保各部门能够共享资源、共享信息，发挥信息最大化价值，提升统计数据的作用和质量。要坚持政府统计独立性，改变过去的统计隶属关系问题。要建立垂直管理系统，做好地方政绩和干部考核完善，落实实事求是追求，确保统计数据足够客观、足够合理。