大数据时代教师培训效果评价方式转型

徐建华

（浙江师范大学浙江省教师教育质量监控中心，浙江 金华 321004）

物联网与云计算等技术的蓬勃兴起，表明大数据时代已经悄然来到。社会各界包括学术界、金融界、工业界甚至于政府机构等都已经开始密切关注大数据问题，以期能借大数据之力有所建树。[1]很多国家甚至已将大数据上升为国家战略。在教育领域亦是如此，越来越多的教育机构与教育工作人员以及研究者开始关注大数据在教育教学改革与发展尤其是教育评价中的应用价值。[2]

从一般意义上讲，信息技术作用于教育活动需要满足两方面的基本前提：“一是社会和教育的发展遇到了传统教育技术无法解决或不能很好解决的问题，即存在信息技术应用于教育领域的必要性；二是在信息技术与传统教育技术的关系上，信息技术比传统教育技术更有优势，具备解决问题的可能性。”[3]本文旨在大数据的时代背景下，分析我国传统教师培训效果评价存在的问题，探讨教师培训效果评价的转型路径。

一、大数据的内涵与特征

和当初提出云计算这个概念类似，大数据是比较抽象的概念，至今也仍未有一个公认的定义。美国麦肯锡全球研究所是这样描述的，“大数据是指规模超出了典型的数据库软件工具的捕获、存储、管理和分析的能力的数据集”。[4]但一般而言，认为大数据的特点主要包括四个方面：多样性（variety），即类型特别多，包括结构化数据、半结构化数据和非结构化数据；高速性（velocity），即数据产生的速度特别快；规模性（volume），即数据体量特别大；价值性（value），即数据具有较大潜在价值，但价值密度较低。由此可见，“大数据”并不是一个单纯描述数据数量之巨大的概念，同时意味着数据来源的多样化、数据类型的多元化，以及在数据处理与分析层面的大容量与高速度。更为重要的是，“大数据”立足于对大量数据的深度挖掘与科学分析，寻求数据背后的隐含关系与价值，使得人们可以从基于小样本数据的推测或基于感性的偏好性选择转向基于数据分析与理性证据的决策，可见“大数据”在本质上已经转化为一种新的思维方式、一种新的问题解决方法。[5]

二、传统教师培训效果评价模式存在的问题

效果评价是教师培训管理的重要环节，是作为培训机构考核、存在问题诊断、培训工作改进的重要举措，具有调节与反馈的功能。但长期以来，传统教师培训效果评价还存在诸多问题，主要包括：

1.侧重于静态评价，方法单一

一般认为，培训效果评价主要有定性评价、定量评价、分层次评价和分阶段评价等几种模式。其中，分层次评价模式是目前较为认可并使用广泛的一种模式。该评价模式是美国著名学者柯克帕特里克(Kirkpatrick)于1959年提出的一种培训评估模式，该评估模式将培训评估划分为反应层、学习层、行为层和结果层。反应层的评价主要是在培训刚结束时进行，将受训人员对培训项目的整体满意程度作为培训项目评估的因素之一；学习层的评价主要体现于参训人员对培训内容掌握程度的评价，该层评价一般通过测验等方式来进行；行为层评价强调参训人员通过培训后对所学知识和技能转化程度进行评价，行为层的评价数据一般通过对参训人员的上级、同事、下属等的调查来获得；结果层评估强调培训为企业、组织或机构带来的直接效益的变化，从该评价模式在教师培训评估领域的实际应用情况看，目前大多数的教师培训评估还仅仅局限于对“反应层”和“学习层”的评估，前者往往通过“满意度”调查，后者借助考试（常用笔试方法）的及格率反映。[6]这种以问卷或者试卷为主要手段的评价模式，实际上是一种暂时的终结性评估，而且是静态的模式，很难全面、有效地反映出教师教育教学能力的实际提升情况以及应用效果，更不能把握每个不同个体发展、变化的情况。而对于当前一直在呼吁的培训后的跟踪评价，更多的只是停留在理论层面，并没有受到培训机构或独立于培训机构的第三方评价机构的重视，实践中应用的不多。

2.“满意度”测评，过度倚重主观体验

一直以来，对培训效果的评价还没有比较系统可操作的评价指标体系，常用的办法就是“满意度”测评，由教师主观判断培训效果。如我国从2010年开始实施的“国培计划”，也主要是依据网络匿名“满意度”测评进行培训绩效的评价。尽管“中小学教师国家级培训计划”测评问卷包括学员基本情况、培训评价、培训效果、意见与建议等四个维度，从内容上看，已经比较科学、全面，但受制于理论水平、专业发展意识和批判反思能力，这种依赖于受训教师的主观体验和经验判断，一定程度上往往偏离实际的培训效果，满意度与培训效果不能完全正关联。正如赵德成等（2012年）提出的，基于受训教师问卷调查得出的培训需求，往往不是真实的需求。[7]同理，基于受训教师问卷调查得出的培训效果，也往往不完全是真实的效果。

3.随机抽样，覆盖面窄

由于参训教师数量较大，而评价经费投入有限，又或受制于时空限制等因素，教师培训的评价往往只能采用抽样的方式进行。该方式以较小的代价最大限度地获得相对较为客观的培训效果评价，虽然广受欢迎，但由于样本数量有限，抽取过程中又存在较大的主观因素等原因，极易导致评价结果的客观性、科学性不强。

三、大数据时代教师培训效果评价方式转型路径

随着数据收集与分析、处理与呈现技术不断改进，以及强大数据分析平台与系统的逐渐建立与完善，教师培训效果评价方式必然也会出现转型。在大数据时代，我国教师培训效果评价方式既有转型的必要性，又有转型的可能性。大数据已经为教师培训效果评价转型指明了方向：

1.搭建与大数据相适应的采集平台

大数据时代，显而易见的单纯以人工收集数据的方法已经并不完全适用，必须借助于相应的数据采集平台。当前，在教师培训中，无论是集中面授为主，还是网络培训为主，亦或是线上线下结合的混合式培训模式，越来越依赖网络。《〈2015年中国互联网学习白皮书〉亮点及趋势解读》中提到，在教师教育领域，以远程实时课程、在线网络课程等信息技术支撑，在“中小学教师国家级培训计划”等推进下，出现“名师工作坊”带动教师研修、网络研修与校本研修整合等实践形态，信息技术对教师教育职前和职后教育环境正在产生深刻影响。以网络为支撑的教师培训为培训过程的数据采集提供了相应的平台。如在“国培计划”实施过程中要求培训机构建立教师“个人空间”，推动学员充分利用“个人空间”，加强学员交流研讨，组建学习共同体，为学员提供拓展培训资源，并进行训后跟踪指导服务。通过类似的平台，能够及时采集教师学习行为、过程数据，又能监管培训机构的培训组织情况和学员的学习状况。如浙江省已经为每位教师建立了“个人空间”，教师能通过“个人空间”上传、下载和推荐资源，并能进行评论与回复，现在正在积极探索如何将“个人空间”与教师培训活动进行有效对接。一旦对接后，教师培训过程中的信息就能全部留下来，能为培训效果的评价提供大量有价值的数据信息。

2.构建以大数据为支撑的培训评价指标体系

评价指标体系体现了培训服务购买者对培训的质量要求，是对教师培训工作进行评价的依据，是教师培训机构在实施教师培训过程中应该遵循的专业规范。指标体系应充分考虑形成性评价和终结性评价的有机结合，在反应、学习、行为和结果四个层次都应建立相应的指标体系。指标体系也应充分考虑数据采集的可能性和必要性，既要体现指标体系的科学性，又要充分考虑数据采集、分析的可操作性。

3.开展全样本、全过程收集培训信息

评价过程中，只有实现样本量尽可能大、评价次数尽可能多，才能客观、全面和科学，但以往由于更多地考虑评价成本，很难实现全样本、全过程收集，而且收集和处理大量的信息，仅通过人工的统计是远远无法达到要求的。在大数据时代，每位教师备课、上课、团队研讨、网络研修、教学反思，以及各种教研活动都会在各类终端上留下数据碎片，当大量的数据碎片被采集、汇总（即形成大数据）以后，就可以对教师专业发展的轨迹做出过程性评估。与此同时，发展中存在的问题与改进的方向，也可以在大数据整合、分析的基础上，为每位教师提出有针对性的建议与支持。[8]类似的，培训机构的所有课程以及培训教师等方面的培训数据也会被记录在相应的电子档案中。大数据的介入使得我们可以分析更多学生的更为全面的数据而不是局部抽样的数据，让我们不再拘泥于微观数据的精确度而是可以在更宏观的层面洞察问题的本质，不再单纯地追求因果关系而是可以进行更为系统的相关性分析。[9]

4.尝试基于测评的培训评价

如今，部分教师培训项目中已经开始实施，如全国中小学教师信息技术应用能力提升工程实施中，已经明确要求通过网络平台，在培训实施前，先对教师进行测评（即前测），基于测评结果进行培训课程推送；在培训进行中，对教师的学习过程进行测评（过程性测评）；在培训结束后，对教师的学习结果进行测评（发展性测评）。通过前测，可以为参训教师量身定制课程包，提供更加丰富而具有针对性的学习资源，使得培训更加科学合理；过程性测评，留下了教师的学习记录，能及时反映学习的过程与情况；发展性测评可以及时反映参训教师的学习效果，也反映出了培训效果，同时可以从学习效果层面为教师今后深造提出学习和提升建议。

5.提供与大数据相适应的保障与支持

利用大数据就要对大数据的来源、质量与处理方法有高要求，因此基于大数据的教育评价并不意味着一定能够节省成本，尤其是教育数据与一般的商业数据相比显然更为复杂多样，因此需要在规划阶段就充分考虑到可能影响教育评价有效实施的相关因素并提前准备相应的应对措施。[10]一是做好数据的整合与有效对接，特别是建立相对统一的标准体系，避免数据的重复收集或闲置；二是要加强数据应用相关的培训，提升教师培训评价人员甚至管理人员的数据素养和应用能力；三是在前期也需要做好相应的规划，投入必要的经费，搭建相应的平台。

信息技术已经越来越多地影响到教育领域。大数据时代，给教师培训，特别是教师培训效果评价带来了巨大的机遇，同时也给教师培训的管理者带来了巨大的挑战。在这一时代背景下，教师培训管理者应具备大数据思维和大数据收集、处理能力，充分利用大数据更好地为教师培训服务。▲

参考文献：

[1]孟小峰，慈祥.大数据管理：概念、技术与挑战[J].计算机研究与发展.2013,50(1):146-169.

[2]武法提，牟智佳.电子书包中基于大数据的学生个性化分析模型构建与实现路径[J].中国电化教育,2014(3):63-69.

[3]王奕标.信息技术何以未能有效变革教育的框架分析——兼论技术变革教育的“社会变革中介论”[J].电化教育研究,2012(2):12-15.

[4]McKinsey Global Institute.Big Data：The Next Frontier for Innovation，Competition,and Productivity[R/OL].[2015-06-28].http://www.mckinsey.com/insights/business_technology/big_data_the_next_frontier_for_innovation.

[5]金陵.大数据与信息化教学变革[J].中国电化教育,2013（10）:8-13.

[6]汪文华.“满意度”高≠培训效果好——教师培训效果评估思考[J].教育科学论坛，2011（9）：60-61.

[7]赵德成，梁永正.教师培训需求分析[M].北京：北京师范大学出版社，2012：4-6.

[8]李艳.大数据教育应用且行且思[J].中小学信息技术教育，2014（4）：30-32.

[9]维克托·迈尔-舍恩伯格，肯尼思·库克耶.大数据时代:生活、工作与思维的大变革[M].周涛，盛杨燕，译.杭州：浙江人民出版社，2013：17-18.

[10]Shorr P W.10 Things You Always Wanted To Know About Data-Driven Decision Making[EB/OL].[2003-09-06].http://www.scholastic.com/browse/article.jsp?id=423/.