大数据处理流程中影响数据质量的因素及改进措施探讨

王雷

摘 要：在信息技术高速发展的时代背景下，大数据发挥了重要的作用，通过对总体数据的处理与分析，能够对事物的发展趋势进行分析预测，有助于决策制定的科学性和合理性。由于大数据具有数据量大、数据类型繁多的特点，所以在处理的过程中任何一个环节出现失误，都会对最终的数据质量产生影响，降低大数据的应用价值。文章主要对大数据处理流程中影响数据质量的因素进行分析，然后有针对性的提出改进措施，为提升大数据应用价值创造良好的基礎。

关键词：大数据;处理流程;数据质量;改进措施

大数据技术是指通过对海量的数据信息进行处理，然后获取事物之间的关联程度以及未来的发展预测，通过大数据分析，能够为各项决策的制定提供更加科学合理的依据，这就要求大数据在整个处理流程中能够保证较高的质量。大数据质量主要指适合于进行数据分析、处理、预测等使用过程并满足用户需求的特征，所以大数据质量贯穿于整个大数据流程中。为了更加有效的控制大数据质量，从大数据处理流程的层面出发，本文主要对数据收集、数据预处理与存储、数据处理与分析、数据应用等各个环节影响大数据质量的因素进行分析，然后提出改进措施，提高数据质量的可控性和精准性，提高数据结果的应用价值，促进大数据技术在我国经济发展中发挥更大的作用。

1.数据收集环节影响数据质量的因素及改进措施

数据收集是获取原始大数据集合的过程，从不同的数据源实时或及时的收集各种类型的数据。在数据收集过程中，不同的数据源、收集方式和收集技术都会对大数据质量的真实性、完整性、一致性、精确性、时效性和安全性产生影响。如果网站、系统和传感器设备在运行过程中出现安全威胁，就会导致数据信息被恶意攻击与篡改。在采用网络爬虫进行数据收集时，如果在设定的时间内没有完成规定数据的收集，就会影响到数据收集的时效性。为了保证数据收集环节的数据质量，企业应该对数据来源进行甄别和验证，保证数据的真实性和有效性，对关系到用户隐私的敏感信息采取不收集处理，合理选择数据收集技术，做好各项网络安全防护措施，确保数据收集质量。

2.数据预处理与存储环节影响数据质量的因素及改进措施

大数据预处理和存储是进行数据处理与分析的重要基础，因为大数据来源广，为了保证大数据分析与预测结果的准确性和价值性，需要对收集到的大数据进行预处理，包括数据清理、数据集成、数据归约、数据转换等环节。在预处理过程中，任何一个环节的操作失误，都会影响到数据质量。数据存储是通过不同的存储介质和组织管理形式对大数据进行存储和管理，不同的数据存储技术都有自身的优点和缺陷，对大数据的时效性、安全性等质量会产生影响。为了提高数据预处理和存储质量，应该完善预处理的管理，不断提升各项处理技术水平。根据数据形式和数据储存技术特点，选择适宜的存储技术，保证数据的安全性和可用性。

3.数据处理与分析环节影响数据质量的因素及改进措施

大数据处理是对海量的数据进行分析与处理，大数据的存储形式和业务数据类型不同，处理效率和方式也不相同，为了保证大数据的价值性、可用性、时效性和准确性，应该根据大数据类型选择适宜的存储形式和数据处理系统，确保大数据质量的最优化。数据分析直接关系到大数据集合的价值性和可用性，在数据处理环节即可完成对已有数据的分布式统计分析，对于未知数据进行的聚类和分类、关联分析和深度学习等，需要通过数据分析技术完成。应该根据大数据的应用情境和决策需求来选择适宜的数据分析技术，从而提升数据分析环节的数据质量。

4.大数据应用环节影响数据质量的因素及改进措施

在大数据经过分析处理等一系列过程中，会将所得到的结果提供给用户进行应用，这是对大数据分析的结果进行检验和验证的重要环节，可直接反应出大数据处理结果的可用性和价值性。为提高大数据应用质量，在数据收集和处理之前，应该对数据的用途和用户的需求进行深入的调查分析，然后为大数据的收集、存储、处理、分析等环节提供有力的保障，确保目标的明确性，最终保证大数据处理结果具有较高的应用价值。

5.结语

在竞争激烈的时代背景下，数据信息成为企业制定各项决策和方案的重要依据，为了保证决策和方案的科学性、合理性，就需要有高质量的数据信息的支持。大数据技术是对海量数据信息进行综合处理后得到的结果，可为企业制定决策和方案提供重要的数据支持。大数据具有规模性、高速性和数据来源多样性的特点，所以导致数据处理流程中可能产生不一致和冲突，进而影响到数据质量，降低数据结果的应用价值。通过对大数据处理流程中数据的质量控制，可切实提升大数据的应用价值。

参考文献：

[1]孙敏，王琳.大数据时代下的数据可视化方法分析[J].软件，2019-09-15.

[2]刘梅招，罗慧，付彬宏，周钰山，张宸.基于大数据分析的动态传输数据质量自适应监测[J].自动化与仪器仪表，2019-08-25.

[3]裴文华.对大数据审计中数据质量控制的几点探讨[J].中国审计报，2019-08-21.