大数据时代统计学面临的机遇与挑战探析

2021-05-06董安琪对外经济贸易大学统计学院在职人员高级课程研修班学员

消费导刊 2021年15期

董安琪对外经济贸易大学统计学院在职人员高级课程研修班学员

引言：大数据技术是互联网技术在科学技术体系优化变革之下衍生出的一种新兴产业技术。大数据技术是为满足互联网背景下大量的数据的处理工作，一方面帮助互联网解决数据库的整合、分析等相关工作，为技术人员带来一定的便利；另一方面数据的处理少不了统计学的专业知识，而大数据背景下，处理数据的工作需求太过庞大，刺激统计学专业的技术革新与发展，由此观之，大数据时代的到来对统计学专业来讲既是可遇不可求的发展机遇，也是难以解决的巨大挑战。对统计学的相关技术如现用的统计与计算模式等创新优化迫在眉睫。本文笔者分别从机遇以及挑战两个角度对大数据下的统计学进行阐述，意在抛砖引玉，吸引各专业人才共同讨论对统计学专业的未来展望。

一、有关大数据时代为统计学专业提供的机遇及其相关内容的相关阐述

（一）统计效率相关问题的简单阐述

大数据时代不断推进过程中，采集数据以及信息的工作相较传统的统计学专业的相关知识更加节省成本，虽然采集的次数有所提高，但是大数据技术可以充分且全面的挖掘整体的潜在价值，而且能够提升统计动态数据的收集数量，进而达到效率提高的目的。不仅如此大数据的技术还可以帮助统计能够在应用中满足不同需求的工作要求，甚至可以做到在满足使用软件进行多于原本次数的运行时，也不会造成成本的增加，反而会在应用方面降低成本。传统方法下进行数据的统计不仅耗费时间与精力，还需要快速的进行整理否则将难以保证数据信息的时效性，甚至会因为快速工作，相关人员只保证快却没有保证质量，导致其统计出的结果误差巨大难以使用，尤其在面对大量的数据之后，传统统计更是难以适应，因此要结合互联网技术以及计算机技术等最先进的技术手段，优化统计的技术以及模式，通过简化计算的流程或者其他操作，以大数据技术完成记录与整理等相关工作，简化工作人员的工作流程。这样不仅能够赋予统计出的数据以较强的时效性以及精准性。还能够在统计的时候提高统计数据的效率。由此可见多元化的基础上保证及时性以及弥补传统条件下的滞后性是统计学统计效率提升的关键点。

（二）简单阐述统计单个体系的拓展相关

在传统的统计体系中样本是在整体数据中随机选取并按照标准进行划分的，传统统计学下的样本统计是在总体的概括中消除总数据收集时的难度，以实现本门学科体系构建时能够通过有效的延申过程弥补学科数据采集不足的情况，朝着一个发展方向在庞大的数据上对该学科进行统筹发展。而在大数据背景下的样本抽取并不同于传统的样本抽取，大数据的样本并不需要立足于整体所有数据进行抽取，而是只要保证数据的凌乱程度足够保证样本抽取时所需要的随机性即可。在大数据的时代数据流动的情况不仅快、多还很乱，在抽取样本的时候要从源源不断的数据流中不断探索才能够有可能抽取出具备精度以及满足统计目的的有效样本。因此大数据的统计需要更具适应性、序贯性的动态抽样方式。针对频繁出现的热门数据主要是根据已经获得的样本进行不断调整有关“可能感兴趣”项目以及抽样对象的调查与抽取，也是由感兴趣的数据进入样本并计入统计。动态调整根据数据流的缓冲区中记录的新发生的数据的频数调整非样本的数据进入样本的概率。简单随机抽样很大几率会抽到非案例的数据，极少会抽到罕见案例，大数据的案例应该基于事件进行研究有关抽样的方法，首先应该设置信号强度的门槛值以此筛选超过门槛值有机会成为热门的数据，再利用其他抽样技术对数据进行再捕获，不需要等待概率抽样而是将注意力放在总体中最难以观测的部分，对大数据进行捕获并采用非随机的抽样方式滚雪球的方式，由小到大，从随机种子开始不断加入新的种子，并且通过研究对社会关系网络和图的抽样方式伴随着雪球逐步扩大样本，从了解网络性质和结构到研究发现的稀疏信号的方法以及压缩感知的方法，都是需要相关人员进行的重要研究操作如成组检测。

（三）阐述统计学科的应用范围提升的相关问题

实践的过程中需要以旧的理念为起点对以往的一个结果或者一个原因进行了解，结合统计学在数据时代背景下的具体应用过程展现惯有的研究问题以驱动收集数据，从功能来看是极具变化性的，从大数据时代背景来进行探究这种变化也不是很难理解因为在这样的发展环境下统计学会进一步发展并扩大，但是在大数据的背景下展现更多的多元化不能只依靠传统统计学的参考数据的方式，而是要在海量的用户中开拓出更过的信息，进一步挖掘他们生活中所涉及的各个方面的相关需求，并依据这些需求不断衍生出新的行业。传统统计学的结构不仅在非结构和板结构的数据统计下具有局限性，目前无法实现数据化行业的进一步发展。针对传统的统计学而言对相关数据进行整合和收集并做好相应的统计结果分析是其主要工作，这样的工作模式能够得到一定数额的样本数据，但是这些收集而来的数据未必全都具有数据的使用价值。大数据的技术可以通过合理且科学的方式将大量的数据引入统计学，并积累一定量的数据建立数据信息库，将数据背后的隐藏信息充分挖掘并将这些信息广泛的落实到各个领域中，让各个领域对大数据的各种信息进行把握，为行业的长远发展做出积极有效的调整与改变，精准把握人们的需求以及市场动向。

（四）应用在市场营销中的具体阐述

大数据统计的并不是市场经济体制下的个体，而是在信息化高速发展的情况下能够有效渗透在各个领域中的数据。在大数据时代中人们的消费账单逐渐从线下转移到线上，由大数据技术合理的统计，并对数据进行整理引进市场营销以此种行为为市场营销的弊端提供相应的解决办法，有效帮助企业了解客户所需，为企业提供科学有效的市场动向信息以及用户的使用数据，这不仅仅是帮助企业做到大数据营销，更是帮助企业利用统计在内部的大数据库深度挖掘客户的需求以实现企业的长远规划发展以及进一步提升盈利的能力等。由此观之大数据技术的应用帮助企业更好的分析统计市场的供求关系，并在数据上将用户的购买力、购买心理等内容展现出来，企业可以以此掌握消费者的消费心理，以推动企业经济效益不断进步为目的对用户的需求持续挖掘利用，增加收益并实时调整营销策略，以谋求更长远的经济效益。

二、有关大数据时代下统计学的挑战列举及其阐述

（一）样本选取难度系数增加是第一个挑战

在统计学种样本的统计是不可缺少的内容，其样本统计时的数据是后续研究统计得出结果能够具有真实性以及实用性的重要保障，由此可见样本的统计是数据具有有效性的关键性环节，在大数据时代的背景下，数据量的庞大以及流动性都给样本的筛选带来一定的难度，不仅会出现数据不集中、难收集、难确定样本标准的问题，还会出现统计学无法进行结构化数据的研究，因为网络数据并不像其他统计样本过程中的数据属于结构化数据的范畴，因此在统计的过程中如何将非结构化的数据精准转化成为结构化的数据供人们筛选统计是第一件应该解决的挑战。

（二）大数据时代统计学应用时的挑战具体列举

1.有关信息收集的困难阐述。

大数据的信息收集首先要具备的条件就是有价值，即判断该数据是否具备“我所需要的”这一条件，如果有，则是有价值的数据。大数据的信息收集绝对不是随意进行，如果不是有价值的数据将会在进行分析时得到无用的信息，并且统计时也会出现问题，其结果并不具备有效的信息传递能力。

2.有关数据评估的困难阐述。

适用性就是数据在经过信息收集筛选后评估时需要的条件，因为收集信息时筛选的标准是所需，并未把数据的质量当作筛选的标准之一，所以为满足市场对信息、数据等的需要，需要对所收集的数据进行整合并且针对整合的信息进行评估。评估的结果会影响后续的结果分析，因此评估环节非常重要，需要具备一定工作经验的人员进行评估。

3.有关数据分析的困难阐述。

数据分析的环节需要专业人员具备完善的知识体系，从数据的分析到优化都需要统计人员的职业素养以及业务能力作为支撑，因此对专业人员的要求较高，然而在这项工作进行的环节我国的企业并没有正确的认识到其重要性，不仅没有专业的人才队伍还侧重于企业的生产以及交接，一定程度上遏制了统计环节的落实工作进行，给市场营销环节带来巨大的挑战。