大数据背景下统计学发展研究讨论

武思翮

摘 要：科技的迅速发展与积累使人类快速步入大数据时代。大数据分析和统计学均是分析数据的科学，它们之间有许多相同点和差异点，大数据的飞快发展不仅为传统统计学发展提供了巨大挑战，更带来了难得的机遇，研究大数据背景下统计学的发展脉络具有重大意义。文章以大数据背景下大数据的内涵与特点为出发点，分析讨论了大数据对统计学学科发展的机遇和挑战，进而提出大数据背景下统计学发展建议，望对新时代下统计学的发展变革与社会经济的进步与增长有所裨益。

关键词：大数据；统计学；挑战；机遇；发展建议

中图分类号：C81 文献标识码：A 文章编号：1671-2064（2018）21-0241-02

1 引言

采集、分析、展示与解释数据是统计学研究的核心内容，其研究对象是基于总体的随机抽样样本，然而随着科学技术的进步与积累，信息化技术的应用使得传统难以收集的数据得以实现，大数据已进入数据科学的研究视野[1]。大数据最明显的特征是数据规模大，大数据分析不只是单纯取几个单一个体的某一项数据，而是采取全体所有数据进行分析研究，基于大规模数据的科学分析能够使我们获取传统统计学研究只采用抽样样本分析时不能企及的全新视野，为统计学未来发展提供了良好机遇与巨大挑战[2]。因此，在大数据背景下研究统计学的发展思路，结合时代特点重构传统统计学研究框架对数据科学乃至社会发展具有重大现实意义。

2 大数据的内涵与特点

数据是指表征客观事物性质、状态及相互关系的可识别符号，而大数据则是在一定时空范围内利用一定测量手段进行收集、分析、处理和解释的海量数据集合。近年来在以互联网为载体的发展背景下，大数据主要来源于网络数据，在互联网和物联网中对事物信息进行标识，通过计算机读取功能读取事物“标识码”，将事物的属性信息转化为能够在网络上进行输送传递的有效数据，进而由数据处理中心进行存储。在此数据识别、转化、传输和存储过程中，通过数据传输痕迹可以得到海量数据，即所谓的大数据[3-4]。

大数据根据数据存储形式可划分为结构化数据、非结构化数据和半结构化数据三种类型。结构化数据可以应用二维表形式进行逻辑表达，而非结构化数据没有标准表达格式，半结构化数据介于两者之间，表达形式较为规范，主要为纯文本数据。进入大数据时代以来，诸多领域产生了高维复杂数据，随着人们对其进行逐步深入研究，普遍认为大数据具有海量化、多样化、快速化、价值化和真实化五个特点。海量化是指数据规模庞大，数据量已经不再是传统TB、PB级别，而是EB甚至ZB数量级，海量化特征体现在数据规模呈现爆炸式增长。多样化是指是数据种类繁多且复杂，数据不只是增长速度快，而且数据类型也丰富多样。数据包括文字、图片、视频、音频、动图和位置等形式，如何处理这些类型不同但却存在关联的数据目前也是一个巨大的挑战。快速化是指大数据时效性强，巨量数据产生、更新速度极快，能否及时从中得到反馈信息非常考验相关组织的能力，快速化要求大数据处理速度很高。价值化是指数据价值的挖掘与利用，大数据的价值从不体现在本身，而更主要的是体现在数据的深度挖掘上，如何分析数据获取有价值信息才是数据科学的研究目的及其价值体现。真实性是指数据收集来源于客观记录，并不具备任何主观行为[5]。

3 大数据对统计学发展的机遇与挑战

基于分析数据内在关系本质的大数据分析与统计学有着相当紧密的联系，大数据时代的到来不仅为统计学发展提供了良好机遇，而且还带来了巨大挑战。在发展机遇方面，大数据时代背景下，统计学的思维方式也发生着重大变化，基于传统统计的基础理论在大数据冲击下进行着新一代变革，统计学研究对象、统计学假设检验、统计学因果关系、统计学模型构建等传统统计学理论不断接近于现实情况。此外，大数据背景大幅度提高了统计学学科的效率，使得传统统计学可以利用计算机信息技术弥补抽样统计中数据量较少、不够全面和处理数据时间过长等不足。同时，大数据的发展扩大了统计学的应用范围，补充并延伸了统计学科体系。如今大数据使统计学有了新的发展方向的同时，也使得统计学方法可以更广泛应用于更多领域，无论是企业、政府、人工智能，还是医疗、金融、服务等行业都需要分析海量数据，大数据使统计学地位变得更加重要[6]。

在发展挑战方面，传统统计学基本采用随机抽样的方法得到样本数据，进而挖掘、分析并推断整体，因此得到的结果无法精确对应每一个个体，只能有概率化的数据方向。大数据背景下统计学的研究对象已从样本趋于总体，是所有数据的集合而并非之前抽样数据。其次，在大数据背景下，数据时时刻刻都在产生，传统静态读取数据信息的方式已不能服务于大数据库系统，现有结构和体系下的数据必须采用动态方法边读取边分析，并且计算机处理速度也远远达不到所希望的要求，因此，大数据对统计学应用计算机的体系结构也提出了更高的要求。此外，传统统计学所处理的数据要求均是结构化数据，而大数据时代所搜集到的数据信息并非只是结构化类型，80%左右数据是非结构化或半结构化数据，抽样统计的方法在数据结构类型繁多的状况下已经越来越难以适应，因此，如何从非结构化数据中提取有价值信息，将结构化数据与非结构化数据进行相互转化，发展传统统计学处理非结构化数据的功能将是大数据背景下密切关注的问题[7]。

4 大数据背景下统计学发展建议

大数据不仅是计算机信息技术的变革，更重要的是数据应用的变革，两者共同改变着传统统计学的发展模式。在大数据背景下，传统统计学发展面临着巨大挑战，但同时也迎来前所未有的机遇，结合传统统计学的发展机遇与挑战为统计学未来发展提供建议具有重大意义。

首先，加强人才培养输送，提升大数据统计人员的综合水平。国家层面应该高度重视人才培养工作，在政策制定、资源投入、人才培养等方面应出台有效政策措施给予强强有力支持，大数据时代打的不仅是信息战、技术战，更重要的是人才战。其次高校和研究院所应结合当代使命，拟定、制定或改革传统统计学培养方案，逐渐建立从数据分析到大数据分析的统计模式和理论体系，在数据搜集、前期处理、整合结构化与非结构化数据、提高计算速度与效率等方面加大努力，将大数据与统计学相互关联，取优弥短，共同发展[6-7]。最后，从现实意义讲，理论与技术发展的动力源于生产实际，因此，国家、科研院所与企业间也要不断加强发展合作，建立良性的大数据与统计学的生态系统产业链，以提高生产力为目的，强化大数据与统计技术的应用服务；以大数据链建设为载体，建立大数据安全网络；以大数据平台为支撑，提高统计软件的新时代发展与应用，打造大数据背景下统计学发展多方共赢的产业圈；以市场主体为依托，全面融入大数据与统计发展新时代。

参考文献

[1]陈巩，谭雪霏，赵春波.大数据背景下统计新思维的探索研究[J].信息通信，2016，（12）：163-164.

[2]孫雪琴.大数据背景下对统计学发展的思考[J].科技经济市场，2016，（5）：184.

[3]朱建平，张悦涵.大数据时代对传统统计学变革的思考[J].统计研究，2016，（2）：3-9.

[4]杨秀艳.大数据背景下统计学相关概念解读[J].统计科学与实践，2018，（3）：38-40.

[5]王泽贤.大数据背景下统计学面临的挑战[J]时代金融2016，（11）：237-241.

[6]王丽君.关于大数据背景下统计学相关问题的研究[J].中国高新区，2018，（7）：208-209.

[7]韩建彬.大数据分析与数理统计的比较[J].信息与电脑，2018，（5）：134-137.