论大数据环境下的统计新思维

卢荷琴 台州市统计局

论大数据环境下的统计新思维

卢荷琴 台州市统计局

随着全球经济一体化进程的加快，移动互联网信息技术飞速发展，其中具有巨大价值的大数据技术成为各个公司关注的焦点。这就使得具有同样核心的以数据的收集整理和分析的统计学受到了越来越高的关注。本文以大数据的定义和数据来源出发，通过分析互联网大数据的特征，把现代统计学与传统统计学相对比，在此基础上对大数据分析与传统统计学的差异进行讨论。仅供参考。

大数据 统计 新思维

一、大数据简介

传统电脑端互联网访问过程中，用户在访问门户网站时产生了访问量数据，个人账号的注册体现了用户信息，网络活动显示出用户个人习惯。这些信息就成为了部分的网络数据。手机端移动互联网的蓬勃发展，扩大了互联网的覆盖，使得人们访问互联网的方式更加便捷，这就同时加大了有价值数据的产生量。然而这些数据的价值也不单单体现的数据量的方面，这些数据也能够体现更加丰富多样的内容。大数据技术就是对这些数据进行统一的归纳、整理、分析，然后根据分析的结果进一步了解市场需求，让更多企业在经营的过程中能够很好地掌握经营管理的主动权，提升市场竞争能力。对于企业而言，通过大数据技术能够更好地了解消费者的需求，生产出符合消费者需求的产品，提升企业的经济增长。另外，通过大数据技术能够了解企业产品给市场带来的反应，及时的发现产品中的不足，及时改变产品性能以及企业的营销方式，提升企业对自身的认知。随着互联网应用范围的不断扩大，任何使用互联网技术的人都会在使用的过程中留下一些线索，这种线索就会被大数据技术通过收集、处理转化为一种有价值的信息，被企业获得并应用，产生巨大的经济价值或者社会价值。为了能够提升大数据技术的应用，我们应该建立大数据环境下的统计新思维。

二、如何建立大数据环境下的统计新思维

（一）需要改变总体、个体的定义方式

传统的数据统计分析要先确定总体，然后再分析总体数据中存在的一些规律或者是反应的一些事情。大数据分析方式则完全不同。大数据环境下是先有数据，再从数据中获得产生数据的总体。传统统计学比较有针对性，都是对已经清晰的总体进行数据收集，所以研究分析对象都比较明确。然而大数据分析方式，针对数据进行分析，它包含的数据量非常大，针对性不强，没有明确产生数据的总体是什么，个体又是在哪里。对于提取数据进行分析的样本也与传统统计分析不同。虽然如此我们也需要尽力识别总体的个体身份。这样才能更好的去对总体和个体的定义方式进行有利思考。

（二）需要强化结构化数据与非结构化、半结构化或异构数据的对接研究

半结构、非结构或异构数据是大数据环境下的数据主要来源。在大数据环境下的统计学研究应将传统的数据定义进行拓展和深化。数据概念的深化与拓展的根本目的是实现数据的结构化与非结构化对接。虽然大数据的定义是超大量的数据，但是并不能覆盖所有数据。这就使得传统统计学中的结构化数据不能被大数据中的非结构化数据所替代。这将是一个长期两种数据长期并存的状态。大数据的应用，使得信息的收集、存储和分解变得更加便捷且分析能力也大大加强，速度也大大加快。但是由于各种因素所制约，一些结构化数据不能依赖于大数据收集，而是需要通过特定的方式去收集。因此在大数据环境下，我们应该应用统计新思维，强化大数据技术应用过程中的针对性，保证大数据技术能够得到有效的应用，发现更多隐藏的信息，保证大数据环境下统计结果更加符合信息需求者的要求。在大数据环境下，在进行数据分析的过程中，我们应该不断地结合结构化数据以及非结构化的特征来进行数据分析，保证分析的结果更加准确、及时，让数据统计更好地发挥其自身的作用，为信息需求者提供更加有用的信息。

（三）需要转变对抽样调查的认识

传统统计学中随机抽样方法的应用虽然取得了成功，但是因为受条件所限，是在不能将数据全部收集和分析的情况下所选择的一条捷径。此方法的成功取决于采样的绝对随机性，但是往往绝对随机性的确保是非常困难的，一旦采样过程中出现任何差异，分析结果的正确性就会出现偏差。所以随机抽样方法先天就存在许多固有的缺陷。大数据的出现就可以有效的解决以往数据收集方面的问题，但是现阶段在互联网与物联网不能实现全覆盖的情况下，并不能抛弃传统数据统计分析方式方法。应当取二者优势进行互补，才能充分发挥出大数据时代下数据分析研究的最大工作优势。

（四）需要相关分析与因果分析并重

大于等于两个变量的分析样本所体现出的随机数学关系被称之为相关关系。它是一种存在于随机变量中的特殊关系。诸多观点认为，在大数据时代我们只需要知道数据体现出的是什么，有什么数据意义，并不需要知道数据从哪里来。但是，在许多数据应用领域仅仅研究数据所体现出来的意义是不够的，还必须要知道数据是怎么产生的。只有做到了了解数据产生的前因后果，才能更全面的进行数据分析。因此在大数据环境下，统计过程中应该拥有新的思维，保证相关分析的同时还要加强因果分析，只有这两个分析同时并重，才能保证信息数据统计结果的稳定性以及准确信，帮助信息需求者通过数据统计创造更多的价值。

三、总结

随着互联网的发展和计算机处理数据能力的增强，以及数据存储器价格的降低，以往数据量庞大的诸如天文学、气象学等领域的数据得以存储与分析，是以大数据分析方式开始逐渐被应用。传统统计学是围绕数据进行分析，大数据分析也是围绕数据进行分析。所以依据两者有着相同的分析对象，得出两者也必然存在联系。所以大数据时代的降临是对统计学的挑战也是统计学机遇，所以，大数据时代中统计学应适应潮流，结合大数据便利努力创新建立新思维。

[1] 李金昌.大数据与统计新思维[J].统计研究,2014,31(1):10-17.

[2] 耿直.大数据时代统计学面临的机遇与挑战[J].统计研究,2014,31(1):5-9.

[3] 梁吉业,冯晨娇,宋鹏.大数据相关分析综述[J].计算机学报,2016,39(1):1-18.