大数据时代对统计学的影响

2016-07-13云南大学旅游文化学院和志英

中国商论 2016年29期

云南大学旅游文化学院和志英

大数据时代对统计学的影响

云南大学旅游文化学院和志英

数据时代已经到来，大数据的研究、开发和利用将对人们的生活、工作、思维、社会的产业发展和创新等方面带来革命性的影响。统计学本身是大数据时代的一门重要科学，随着大数据逐渐走进人们的视野和在越来越多的领域当中的应用，统计学也必然会迎来更多的广泛关注。本文在大数据时代背景下，浅析统计学与大数据之间的区别和联系，并阐述统计学在大数据时代将面临哪些机遇和挑战。

统计学大数据教学影响

1　什么是大数据

对于“大数据”(Big data)研究机构Gartner给出了这样的定义：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产(百度百科)。

2　什么是统计学

统计学是一门基于数据的科学。研究数据搜集、整理、分析与应用的方式和方法。数据是严谨的、枯燥的、冷冰冰的，同时，数据又是丰富的、客观的、忠实的、从不会欺骗人的。数据是数字，但不只是数据。统计学是“万金油”，它在金融、经济、医学等领域的应用最广，知名度最高。

3　大数据时代与统计学的关系

在当今信息时代，绝大部分的信息都是用数字表达出来的，从而数据是信息的载体，是统计学分析的对象。统计工作的过程本身就是数据的搜集、整理、分析、解释这样一个系统的过程。离开了数据，统计学就失去了研究的意义和价值。

同理，离开了统计学，数据就只是单纯的数字而已，几乎没有价值。我们需要通过统计的方法和原理来整理和分析数据，这样的数据在精确度和适用度方面才会有很高的提升，才会实现数据的真正价值。大数据与统计学既紧密联系，也有区别。

3.1大数据与统计学的区别

第一，信息规模不同。大数据分析的是与某事物相关联的所有数据，而不是依靠少量的数据样本的分析。统计学是用样本单位的分析来推断总体的数量特征。由于以往的信息环境受限，我们只能取得有限的数据，故而追求和推崇样本的重要性。但在大数据时代，人们可以通过各种途径和方法取得几乎全部的信息资料，从而在大数据基础上可以完成很多小数据无法完成的事情。

第二，动静标准不同。统计最基本、最重要的要求就是精确性，尽可能减少误差，保证数据的质量，数据一旦完成搜集、整理、分析的过程和目的，就被认为已经没有用处了。而大数据时代，数据不再是静止和陈旧的，人们也不再担心某个数据点会对整套数据的影响，人们不再致力追求数据的精确性，乐于接受数据的纷繁复杂并从中受益。

第三，数据搜集形式不同。统计数据搜集以往主要依赖于数据的抽样调查，局限在一些无法揭示准确的细节信息的小范围内。而在信息爆炸的大数据时代，特别是移动互联网的发展使数据的级别和结构更加复杂，从而传统数据搜集的方法存在很大的局限性。

第四，思维方式不同。传统统计学人们追求的是事物之间的因果关系，而大数据转变了人们的思维，人们不再探求事物之间难以捉摸的因果关系，转而关注和探究事物之间的相关关系。

3.2大数据与统计学的相同点及相互关系

大数据与统计学都是关于数字的学科，它们之间的关系就像血缘关系，形象地讲，就是直系血亲关系，统计学为了大数据提供了一个舞台，而大数据将统计学引向更远的空间。

共性之一：社会+数据。几乎所有的行业与大数据都有着直接或间接的联系，大数据时代，人们通过数据分析获得知识、商业机会和社会服务的能力。数据的研究和应用，由以往的少数教育领域扩大到普通机构、企业和政府部门，大数据、大社会构成大数据时代。

而统计学是以研究社会问题为目的，以大量的社会现象为研究对象，通过搜集、整理、分析来探究事物的内在本质和联系，揭示事物的数量规律。大数据和统计学都是通过数据来研究社会问题，解决社会问题的。

共性之二：哲学+数学。统计学是哲学思想与数学思想融为一体的方法论科学，是定性分析与定量分析结合的过程。统计学以很多哲学思想为基础，通过哲学思想来指导统计工作，研究事物的规律和本质。以此为基础，大数据应运而生，以其扎实的数学基础和哲学研究的方法应用于社会。

共性之三：数据+方法。统计学对事物的研究，是质变—量变—质变的过程，以定性分析为基础，定量分析为主对数据进行分析。统计数据与统计方法相辅相成。而大数据时代，要求人们重视数据的复杂性，弱化精确性，采用全数据模式，利用所有数据，让数据“发声”，是发现和理解信息内容及信息与信息之间的关系。

总之，大数据与统计学之间具有千丝万缕的关系。大数据时代将迎来技术的创新和变革，工作方式和思维模式的转变，大数据时代也挑战着传统统计思维和研究模式。具体表现在如下几个方面。

3.2.1大数据的总体思维

统计学研究社会现象总体的数量特征，以往获取数据的方法主要以抽样调查为主，这是由于以往由于各种条件的限制，信息比较匮乏，人们无法获取总体的信息资料，才采取的无奈措施，抽样调查只是在资源匮乏的情况下比较理想的一种方法而已。在大数据时代，人们应该关注数据的全面性，而不是抽样型，也就是思维方式应该从样本思维转向总体思维，因为随着收集、储存、分析技术的突破性发展，人们有能力通过各种途径获得海量的数据，通过很多技术分析复杂的数据，甚至是与之相关的所有数据，而不再依赖于因诸多限制而采用的抽样调查，用全数据思维方式思考问题、解决问题，从而可以带来更全面的认识，可以更清楚地发现样本无法揭示的细节信息，更加立体、全面、系统地认识总体状况。

3.2.2 相关思维

传统统计学重视的是事物之间的因果关系，得到一个结果，就要反推产生这个结果的原因，或者一定要找到一个原因来推出一个结果。而且由于样本数据有限，无法反映出事物之间普遍性的相关关系。而在大数据时代，人们通过深入挖掘、解释事物之间隐蔽的相关性，从而获得更多的认知和洞见，运用这些认知来预见未来，这就是大数据的核心要义所在，也是人们尝试着看待事物的全新角度。

3.2.3容错思维

在大数据时代，要求人们重视数据的复杂性，弱化精确性。在信息和技术都相对匮乏的年代，人们依赖抽样，追求以少博多的游戏。由于样本信息量相对比较少，所以能够确保记录下来的信息尽可能都是精确化的、结构化的，否则，就不可能起到“四量拨千斤”的估计效果，因此，就必须十分注重精确性思维。然而，在大数据时代，每天、甚至每分每秒，数据都在不断地更新变化，并且得益于大数据技术的突破，大量的非结构化、异构化的数据能够得到及时的储存和分析，海量的信息弥补了不精确的遗憾，让人们可以弱化对精确的渴求。舍恩伯格指出，“执迷于精确性是信息缺乏时代和模拟时代的产物。只有5%的数据是结构化且能适用于传统数据库的。如果不接受混乱，剩下95%的非结构化数据都无法利用，只有接受不精确性，我们才能打开一扇从未涉足的世界的窗户。”(舍恩伯格《大数据时代》)也就是说，在大数据时代，要求人们重视数据的复杂性弱化精确性，也就是由精确性思维转向容错思维，当拥有海量即时数据时，绝对的精准不再是追求的主要目标，适当忽略微观层面上的精确度，容许一定程度的错误与混杂，反而可以在宏观层面拥有更好的知识和洞察力。

4　大数据时代下对统计学教学的影响

大数据时代并不会自动生成，总是需要不断地提出和解决大数据发展所遇到的问题和矛盾，才会有切实的进步。事物发展的不同阶段有不同的“时务”，需要不同的应对。统计数据的搜集方面，传统的统计抽样调查不再适用，这需要我们结合大数据的来源来搜集数据；数据整理方面，不再是传统的计算机所能运行的，它需要更大的存储以及计算机处理数据的能力；数据分析方面，很多传统的统计方法不再有效，利用这些方法对数据进行分析，未必能得到我们想要的结果，这就需要我们对统计方法的创新与发展做进一步的努力。

4.1对教育内容的挑战

传统统计学教学的内容主要是概率论与数理统计，教学的重点在于统计工作过程所用的方法和理论，特别是对抽样调查方式的推崇，以及研究事物之间的因果关系。分析的对象主要是结构性的数据。而在现代这样一个移动互联网时代，我们需要从很多非结构性或半结构性的数据提取有用的信息，那么就需要具备处理这些数据的技术和方法以及设备，从而在我们的教学内容中需要增加这方面的教学环节和资源，比如更新教学知识，增加大数据分析的方法和处理技术的课程，有效满足市场对大学生的需求。

4.2对教育方法的挑战

传统统计学主要结合统计工作的四个基本工作过程(统计设计、统计调查、统计整理、统计分析)展开教学，主要是以教师讲授为主，偏重理论，虽然也有案例引入教学，但是学生实际应用和管理的培养还远远不够，注重方法方式的讲解，技能培养不够重视，教学方式单调，教学方法比较陈旧。所以在大数据时代，传统的这些教学方法已经不再适应市场对数据全面性处理和分析的需求，从而需要根据形势变化展开教学方法上的改革。

4.3对人才培养方式的挑战

目前统计学教育以讲授为主，在知识基础上培养学生的逻辑思维和应用知识能力。另外大多数高校教师自身综合素养不够，对本专业或所授课程以外的知识知之甚少，以及基于理论知识的实际应用设备和实验室更新速度落后，从而培养出的学生比较死板，偏重理论公式的推导和分析，往往生搬硬套，知识结构比较狭窄，对经济学、管理学、计算机等领域的知识了解不够，甚至片面了解，更不会综合了解和应用，从而没能很好地解决实际问题。大数据时代虽然也需要具有数据逻辑思维和分析应用能力的人才，但更需要的是具有敏锐的洞察力和数据分析能力的人才，能够从海量复杂的数据中挖掘、分析、提炼有价值的信息，从而为所处行业提供可靠、有效的信息决策和预测的具有深远战略思想和眼光的人才。