浅谈大数据时代统计学面临的机遇与挑战

张璧麟

（英国拉夫堡大学 LE11 3TU）

近年来，由于物联网、云技术等前沿技术的出现，网络信息技术得到了一定的发展。当今时代，很多都是根据大量的数据来进行发展，专业对信息处理工作提出了非常高的要求。从以往的统计分析工作来讲，它已经无法适应新时代的需要，需要通过新的技术手段，才能够更好地满足当今时代的需求。在大数据的背景之下，很多单位已经进行信息技术的应用，大批量地进行统计分析工作。

一、大数据时代的特征

麦肯锡表示，现在是人工智能的时代，通过大数据技术能够更好地对海量数据进行收集，并且能够利用智能技术进行分析和管理。这样能够在很大程度上提高信息的规模，还能够进行多种数据的分析。通过大数据技术能够改变人们的生活方式，也能够为人们带来非常大的便利，促进社会的快速发展。统计学同样也深受信息时代的影响。由于大数据分析的出现，统计学逐渐成为研究信息处理过程与大数据分析关系的重要学科，需要进行一些改革以适应时代的发展和进步。

二、大数据环境及目的

大数据指的是能够通过大量的样本进行一定的数据集合，利用统计学能够通过采样的形式来进行数据分析，从而能够有效保证数据的精准度。在进行数据分析时，可以进行变量的选择，并且压缩和分解，从而能够更好地进行相关问题的研究。大数据所涵盖的领域非常广，包括自然科学、社会学、经济学等诸多方面，从而能够形成知识的海洋。大数据的类型也非常多，可以是文本的形式进行存储，也可以通过该图片、视频的形式来进行储存，从而实现大数据的集合。一般大数据的环境主要包括数据流环境、磁盘存储环境、分布存储环境以及多线条环境，利用大数据能够更好地进行数据知识的转化。通过大数据分析，统计专业人士能及时掌握所需资讯。通过此种信息的收集和处理方式会进行时间成本的节约，也会节约很多人力、物力，实现社会生产效率的提升。

三、统计学的发展历程

统计学科具有漫长的发展历程。虽然统计学形成于人类社会进行大量生产劳动活动的时代，但后来发展很缓慢，应用到了各种实际中。对于统计的起源时间，西方通常认为是希腊阿里斯托德时代。我国在秦朝以后，统计学出现了进一步的发展，但是还没有形成一定的规模。此后，人口统计又经过了三次主要发展阶段。

（一）模仿苏联时代

在新中国正式成立之后，主要引进了苏联的发展模式。然而，统计的发展依赖于经济体系。在计划经济下，统计的发展受到了阻碍。因此，这一时代中国统计的发展跟不上西方统计的发展。

（二）再认识时代（改革开放初期）

在改革开放之后各种新鲜事物大量进入我国，我国的内部工作环境与苏联所具有的制度之间存在着一定的不同，但是受到我国当时的发展特点所影响，计划经济让统计学变得缺乏活力。与此同时，欧美统计方法已经在我国市场上引起了非常大的轰动，引起了国际学界对我国统计学科建设的广泛讨论。

（三）大统计思想的出现

我国的改革开放政策让统计学得到了非常大的发展，特别是社会经济统计和数理统计。慢慢地，统计学的思想已经开始涌现，统计文献和资料也开始逐渐变多，这样能够更好地促进我国统计学发展，从而能够更好地进行统计专业资料的整合。通过大数据统计思想的出现，让我国的统计行业能够更好地发展，并为后期的发展提供了非常强大的理论基础。统计学已经遇到了良好的发展机会，统计学的发展与历史背景具有非常大的关联，在新世纪的背景之下，统计学在专业课程的建设中发生了非常大的改变，能够进行信息化的转变，跟上时代的发展步伐。

四、大数据时代统计学的机遇

（一）统计学变革

过去在电脑应用分析流程中，分析处理工作通常由电脑进行，数据工作与计算机的硬盘存储量具有非常大的关联。当下，为了能够更好地进行大数据处理，传统的统计学模式和存储工作已经完全被颠覆，而分析存放方式变得更为简单，信息量存储也大大提高。因此分析工作不再局限于电脑，而且还能够运用如云存储技术、大数据处理信息技术等更为前沿的现代信息技术，使海量数据在大数据处理中心完成分析工作。在进行数据存储的过程中，还能够进行多台计算机的连接，实现不同计算机来共同进行大数据的存储。而使用同一台电脑，能够对多个存储器中的数据进行分类处理，因此多个存储器都能够为一个计算机系统提供功能。

（二）研究问题的方式发生了较大变革

1.数据的预处理

大数据科技早已悄悄颠覆人类的日常生活，深刻影响了人类生活与工作的方方面面。在科学研究领域，利用大数据处理技术能够更便捷地获取各种有关资源、数据和书籍，并提供给有关技术人员借鉴和应用。在今天，由于大数据处理技术的广泛应用，使人类可以利用更广泛的数据类型，更方便地获取数据，更快捷地查找数据，大数据初级技术也逐渐得到发展，能够更好地进行预处理技术的发展，通过此种技术的使用，能够提升大数据分析技术的应用价值。大数据技术的使用，一般需要经过大数据清洗、数据不完整填充、数据修正三个阶段。至于统计学，在这三个阶段，统计学中的随机抽样调查方法，主要用于数据的修正。利用统计技术能够更好地提升大数据时代信息处理的时效性，还能够进行数据库的实时更新，这样能够更好地进行数据库的连接，为数据预处理提供支持。

2.大数据环境抽样

在进行数据的统计过程中，需要所有的样本都能够进行数据的存储。不过，在大数据分析技术的实际运用中，在进行抽样的过程中，需要将所有的数据都进行一定的统计工作。而在大数据技术的使用过程中，能够更好地进行随机抽样，这样更加具有代表性。该技术的进行主要借助大统计的有关理论知识，从而能够更好地提升大数据处理的科学性，还能够在此过程中对其进行严格控制。此外，在大数据收集处理过程中，人们往往遇到时间周期较长的问题，但是通过这种方法无法进行统一处理。而利用大数据技术能够更好地进行数据的收集，节约时间成本，成倍提高效率，从而确保在短时间内统一简单地处理数据。

3.大数据的分析与整合

在过去的统计应用流程中，由于信息技术发展比较滞后，无法完成复杂的操作步骤，因此出现了不少错误。与此同时，大数据技术也出现了非常快速的发展。因为计算机网络的快速发展，计算工作质量有了很大的提高，通过信息技术处理能够更好地让其工作变得更加多样化。人们能够更好地利用压缩技术、变换技术、传输技术，来提升一定的信息处理效率，也使得信息处理结论更为准确。同样，在大数据处理时代，我们能够通过数据动态的方法来进行一定的模型构建，这样能够有助于数据库系统进行一定的改变。大型数据库系统也可分成几组，通过使用这些技术能更方便地查询与它们有关的数据和技术。而且，网络时代也让统计工作出现巨大改变。数据搜索工作不仅仅可以通过关键字来进行一定的数据获取，更加能够进行海量数据的收集。

（三）统计技术应用广泛

传统的统计工作主要是进行相关的资料进行收集，并且有工作人员进行一定的分析，最后得出结论。但是，在以往的统计应用中，统计资料来源往往局限，无法鉴别其真实性。因此大统计时代的来临，给统计分析工作带来了许多方便。因此，能够更好地对数据内容进行丰富，还能够让数据源变得更加多样化，人们能够在所搜集到的数据中产生出许多新的数据。在过去，数据往往仅限于单个领域，在大数据技术应用的背景下，很多行业都可以通过大数据分析而实现相应的目标，从而能够实现更多数据的收集和处理，进而获取经济利益。

（四）大数据技术提升统计质量

根据国际数据统计标准中能够发现，通过合适、并且准确的方法能够进行高质量的统计。而适应性是统计工作中的重点内容，需要统计信息符合要求，才能够更好地满足客户的需求。通过大数据技术能够更好地进行统计功能提升，从而可以用更少的时间去进行相关统计工作，有效提供统计工作效率，让企业客户能够在第一时间对统计信息进行全方位了解。大数据技术通过网络能够更好地实现快速传递，能够应用大数据技术去进行估值，并且能够缩小估值与真值之间所具有的误差，能够让误差控制在一定的范围内，这样才能够实现统计数据的真实性。同时，还能够通过大数据技术进行统计结果的核算工作，从而可以更好地保证工作质量，有效实现数据的平衡。传统的统计学处理工作在大数据的分析和处理中具有一定的劣势及滞后性，比如在进行CPI报表的制作时，中间的数据会存在着一定的滞后性，不能够根据实际的情况作出必要的调整。而通过大数据技术就能够根据当前的“价格指数”来进行市场数据监测工作，从而能够更好地对每天的价格进行数据获取，也可以根据市场的情况来进行一定的调节。通过此种方式，能够在很大程度上弥补传统统计学的缺点，有效避免出现通货膨胀的发生。

（五）大数据技术降低统计成本

通过大数据技术能够让现代的统计工作成本降低，这样能够不再需要通过人力来进行数据调查和收集工作。传统的统计工作会动用大量的人力、物力去进行统计工作，从而造成非常大的成本浪费。而在大数据时代下，可以利用互联网来进行相关的信息统计，能够自动进行大数据的收集，在一定程度上实现了数据收集成本的降低。利用大数据来进行相应的信息收集也会比较客观和准确，有利于促进现代统计学的发展。通过大数据技术能够有效转变传统的统计学思想，不仅仅是对个别样本的重视，而且需要对整体的数据进行处理和分析，这样的统计工作具有更高的工作质量。

五、大数据时代下统计学的挑战

（一）样本选取

样本数据是统计工作中的重要工作内容，能够更好地进行数据对象的连接。而大数据技术能够更好地进行关联，总的来说，样本集的定义很大地改变了和样本数量有关的研究主题范畴。在大数据时代，数据来源已经不再简单，而且还能够从多种视角加以检验，这让统计资料更有说服力、更接近实际情况，但同时也对数据学术研究提出了更高的要求。当样本总量成指数上升时，会出现一定的数据分散的情况。在传统的统计学知识中，数据是具有一定的结构化特点的。统计学并不能够对其进行高效的管理工作，利用大数据技术很难进行非常有用的数据。通过以上的问题能够反映非结构化数据，在日常的工作中无法进行系统理论指导。而大数据技术却具有自身的优点，这也要求大数据技术本身必须加快变革速度，以满足大数据分析时代的新需求。如果大数据技术无法适应新时代的发展趋势，将很难满足大数据分析技术的需求，无法实现相关工作的需求。

（二）缺少科学的统计软件及方法

在大数据的背景下，信息技术能够更好地进行信息和计算机硬件的依靠。在计算机操作流程中，大量数据与知识的运用都需要统计分析软件的载体发挥作用。通过统计分析软件能够提高统计分析与信息处理的能力，同时减少了统计分析工作困难，也大大降低了应用数据操作的技术门槛，使大数据的运用更为深入。当下，已经实现了各种统计分析软件的应用，但是这种应用软件还具有较大的技术缺陷。在大数据时代，由于信息在各种媒介中高速传输，各领域的应用软件也正逐步适应着这个新的技术变革。计算机科学的飞速进展，也要求有关计算领域的各类相关应用软件的深入研究，但是很多公司非常缺乏相关的资源支撑，还有一些比较大的公司对此技术缺乏兴趣。

六、大数据时代下统计学的研究框架构建

（一）大数据统计学理论

在进行大数据统计学理论研究的过程中，其主要研究目标是能够在统计学方面进行有效工具的研究。传统的统计学研究工作主要是进行概率分布的研究，而随着相关研究工作技术的逐渐成熟，其研究工作也逐渐朝着指数族、频率计算等一些比较复杂应用的方面进行研究和发展。通过对该方面的研究，能够具有非常广泛的应用，可以更好地进行典型理论的研究，有效体现概率论的重要性。还需要对庞大的数据进行分析，有效使用Bootstrap的方法来进行统计应用。

（二）大数据吝啬建模

大数据吝啬建模主要是对大数据的开发方法进行一定的研究，这样能够更好地去除荣誉信息。在大数据技术快速发展的今天，更多的线上快速计算技术也应运而生。大数据存在的形式十分丰富，因为受到大数据庞大体量的影响，通过大数据分析需要进行进一步的优化，比如优化器的制作、高效率的算法研究等，从而能够更好地进行实际应用。

（三）巨型分布系统建模

现在的大数据能够通过千万兆台来进行模拟工作，从而能够更好地进行大数据信息的收集和存储。当大数据能够更好地分布在系统的内存节点之上，那么在进行少量数据的存储也会付出非常大的成本。因此，为了能够更加科学地进行数据的收集，需要进行一定的改革，从而能够更好地进行千万亿兆级别的系统研究，这样才能够更好地进行大数据建模，有效利用空间降维技术来进行编码的嵌入工作。并且能够利用分布式的模式来进行分类，从而能够更好地进行新算法的研究，有效进行数据统计工作。

（四）大数据下的数据挖掘

张量在数学上主要是进行矩阵式多维推广，是一种非数值的元素，在相关的应用中会存在比较大的耦合张量。为了能够更好地进行耦合张量的分析，可以通过一些新的算法来进行处理，这样才能够更好地进行大数据的分析。对此进行研究的主要方向需要进行可扩展的工具包，这样才能够更好地进行统计研究工作。主要的研究内容是张量因子理论分析，进行多向研究降维处理，并且能够进行相关数据的处理，从而能够在很大程度上实现对耦合张量的评估。

七、结语

在大数据的背景下，不断摸索与革新，才能在时代发展的过程中不被遗忘。大数据技术是一种新兴的技术，在统计学的研究中具有非常重要的作用，在很多国内外的文献中都具有一定的理论支持。在大数据时代，其为统计学的发展带来了一定的机遇和挑战，在未来的发展中，更加需要对大数据理论进行深入研究，还需要根据存在的情况来进行一定的硬件升级和软件的研发，从而能够在很大程度上来进行统计工作的创新和改进，进而实现统计工作的质量提升。大数据时代对统计学所需要的数据具有非常高的要求，为了更好地进行大数据的应用，需要正确认识大数据技术，同时要进一步进行研究工作，实现大数据时代下统计学的研究框架构建，促进统计工作质量的提升。