浅析大数据环境下的统计学课程教学
2014-05-30黄介武
【摘要】大数据对统计学的发展带来了巨大的机遇与挑战。文章分析了大数据与统计学之间的基本关系,并针对大数据环境下的统计学课程教学提出了对策与建议。
【关键词】大数据 统计学 挑战 机遇 教学
【基金项目】贵州省科技厅、贵州民族大学联合基金(黔科合J字LKM[2011]09号)
【中图分类号】G642 【文献标识码】A 【文章编号】2095-3089(2014)08-0235-01
1.引言
“大数据”时代的来临和“大数据”处理技术的发展深深的影响着统计学的发展。能否利用传统的统计理论和统计方法对海量的数据做出快速、准确的处理并获取相关信息?如何对传统的统计理论与方法进行改进或探索新的统计理论和方法来对大数据进行挖掘与处理以获取信息?如何在“大数据”时代背景下培养符合市场需求的统计分析师或数据分析师?如何将“大数据”处理技术融入相关统计学课程教学以促进数据处理与分析技术的发展?这些都是我们在统计学相关课程教学过程中必须思考的一个问题。
2.大数据与统计学
“大数据”随着社交网络、物联网、云计算等的兴起而产生。一般认为大数据具有规模性、多样性、实时性及价值性四个基本特征,包含分析、带宽和内容三个要素。“大数据”在数据来源、数据结构和处理方法方面对传统的统计分析方法产生了冲击。第一,在大数据背景下,数据来源不再是原来的简单抽样,而是“样本即总体”,直接将总体作为研究对象。第二,在大数据时代,研究对象也不是原来单一的结构化数据,由于数据的多样化与规模化,我们更多的是研究非结构数据,采用人工智能来进行数据挖掘和信息获取。第三,数据处理方法也不是简单的采用传统的假设检验方法进行研究,特别是对于统计学中的异常点,不再采取以往的丢弃或者平滑处理方式。
“大数据”处理技术对统计学的发展提出了巨大挑战,但我们必须认识到学科之间的发展是相互交融的,“大数据处理技术”其本质上是数据处理与分析技术,其发展对统计学学科的发展也有积极的一面,同时统计学作为一门独立的学科,有其自身独特的学科优势。首先,海量的数据有利于提高各类统计分析的精度,如减小抽样误差等。其次,较之于传统的统计学方法,现有的“大数据”分析方法难度较大、成本较高、耗时较长。而在实际的应用中,我们关心的不是数据量的多少,而是数据量所蕴含的信息。传统的统计学分析方法是以较少的数据进行精确度相对较高的统计分析,这是“大数据”分析所无法替代的。另一方面,统计学在数据收集方法、模型选择、模型假设以及模型诊断方面有很大优势。而且并不是所有的问题都具有海量的数据,并不是每一个“大数据”问题都适合用现有的“大数据处理技术”来处理。
3.对策与建议
3.1 夯实基础教学
针对以上的分析我们可以看出,大数据对统计学的发展既是机遇,又是挑战。因此我们在教学过程中要夯实统计学基础知识的教学,讲清楚统计学的基本原理与基本方法,特别是数据分析与数据处理的基本原理与方法。对于许多传统领域,如生物、医药以及质量与可靠性工程等,我们面对的多是“小数据”而不是大数据,因此基于样本的统计分析方法仍然是进行此类问题研究的最有效的科学手段。
另一方面,我们要结合大数据技术的特点,对统计学的基本知识进行拓展教育,引导学生思考怎样将已有的统计学基本原理与方法运用到大数据处理的技术研究中。如在大数据环境下怎样进行数据的收集、筛选与甄别、存储与分析等,如何分析并厘清可能的数据来源与范围,如何建立相关指标体系并对数据进行分类,如何制定或调整相应的统计参考标准,以及如何对依靠非传统数据源加工生产的统计数据进行规范的统计推断等。
随着大数据时代的来临,各行各业对具有统计背景知识人才的需求必定越来越多。因此,在统计学教学过程中,一定要结合各专业的特点,特别是“大数据”的特点,切实加强统计学的基础知识教学与拓展教学。
3.2 加强统计学专业软件教学
“大数据”环境下,对统计人才需求也发生了变化。面对海量的数据与多样化的数据,一名合格的统计人才或数据分析人才不单需要良好的统计素养与扎实的统计基础知识,更需要具有数据的存储与整理能力、计算能力以及数据分析与处理能力等。这就要求在教学过程中,加强统计软件或数学软件的教学。
针对传统的“数学证明+手工计算”或“重理论轻专业统计软件”的统计学课程教学模式,可将统计软件或数学软件融入课堂教学并安排一定的课时上机学习统计软件,以此提高学生数据处理能力,加深对统计学基本原理的理解与掌握。
在加强统计软件或数学软件,如SPSS、R、SAS以及Matlab的教学过程中,要摈弃“会软件的操作即会统计技术”的思维,要让学生真正掌握相关操作与相关算法,深入思考算法的实现与相关理论的应用。同时引导学生思考对“大数据处理”的技术要求,包括数据搜集、发掘、存储以及计算分析过程中的算法与设备要求等,引导学生针对大数据进行软件升级与开发。
3.3 突出案例教学与实践教学
大数据的产生和发展源于规模经济问题或超规模经济问题的研究。每一个大数据问题的研究都是与实际经济或社会问题紧密相联的,因此,在实际教学过程中,要突出案例教学与实践教学,由易到难,通过案例教学逐步引入大数据的概念以及大数据处理的基本技术,提高学生的分析全局观以及进行实际数据分析与处理的能力。
教学改革的目的是培养在“大数据”时代背景下,符合市场需求的专业统计人才,而合格的专业统计人才必须具备良好的统计实践能力。案例教学与统计实践活动是培养学生统计实践能力的有效途径。因此,在教学过程中,一方面,教师可融合各种与实际问题相关的案例进行分析和讲解,加深学生对相关统计理论知识的理解,激发学生的学习兴趣,培养学生解决实际问题的能力。另一方面,教师可以组织多种形式的课堂或课堂外的统计实践活动以培养学生统计实践。如,指导学生针对他们感兴趣的与经济、社会发展相关的统计实际问题展开统计研究,设计调查问卷,收集数据、整理和分析数据,撰写研究报告,实现对实际问题的分析和解决等。
4.结束语
总之,在“大数据”环境下我们既要积极面对挑战,又要紧紧抓住机遇,切实结合“大数据”的特点和“大数据处理技术”发展的需求,既加强对传统的统计学方法、统计理论的教学,又积极开展 “大数据“环境下的拓展教学,推动统计学的发展,在数据收集、数据分析以及统计制度等方面进行改革和创新。
参考文献:
[1]李国杰. 大数据研究的科学价值[J]. 中国计算机学会通讯,2012,8(9) .
[2]姜奇平. 2013 全球大数据-大数据的时代变革力量[J]. 互联网周刊,2013,1.
[3]游士兵,张佩,姚雪梅.大数据对统计学的挑战和机遇 [J]. 珞珈管理评论标,2013,2(13).
作者简介:
黄介武(1977-),男,博士, 副教授,研究领域为统计模型理论与应用。