高校教师数据素养的表现性评价

单俊豪?张刚要

摘 要：教育大数据时代，高校教师数据素养已经成为高等教育教学质量发展的核心要素。现有教师数据素养的评价体系多聚焦知识性和总结性的测评形式，并未有效关注教师基于真实教学情境的数据素养评价。本研究选取表现性评价的理论范式，构建高校教师数据素养评价体系。首先，本研究基于对已有文献的梳理，提出了高校教师数据素养的理论模型；其次，提出了表现性评价三要素：评价目标、表现性任务和评价规则的设计原则与设计方法；最后，为了更深入地将高校教师数据素养表现性评价体系融入高校教师日常教学工作中，本研究提出了评价弱干扰、评价提升性和评价伴随性三个应用原则。

关键词：教师数据素养；表现性评价；理论模型；大数据时代；教师评价

中图分类号：G4 文献标志码：A 文章编号：2096-0069（2023）01-0033-06

收稿日期：2022-03-15

基金项目：江苏省教育科学“十四五”规划2021年度青年重点课题“中职教师信息技术应用能力的精准测评与提升微策略研究”（C-b/2021/03/26）；南京邮电大学2021年教学改革研究项目“互联网+”时代面向高校青年教师数据素养的表现性评价体系构建与应用研究（JG01721JX68）

作者简介：单俊豪（1993— ），男，辽宁沈阳人，博士，讲师，研究方向为教师专业发展；张刚要（1978— ），男，江苏徐州人，博士，教授、硕士生导师，研究方向为教育技术基本理论。

一、问题的提出

数据驱动教师教学是高校精准教学的前提，也是提升高校教学质量的重要举措。高校教师具备良好的数据素养是有效支持精准教学的前提，对高校教师数据素养的有效评价既准确刻画了高校教师能力现状，又为高校教师能力提升提供了准确的证据支持。综观国内外研究，教师数据素养测评已经进入实践阶段，不同组织和研究者采用自评问卷、支持测试和情境访谈法来测评教师数据素养[1]。然而在测评深度和有效性层面，鲜有研究关注高校教师数据素养的表现性评价，即关注教师在真实教学情境中，基于真实的学生数据所做出的教学决策与相关教学干预表现情况的评价。教师表现性评价是提升教师专业技能的重要评价标准，其聚焦教师真实的情境，抓取能够有效表征教师专業能力的教学表现，提升评价的情境性和代表性 [2-3]。本研究以高校教师数据素养测评为研究内容，整合表现性评价理论范式，构建高校教师数据素养表现性评价理论体系。

二、教师数据素养解读

教师数据素养作为教育大数据时代教师专业能力的重要组成部分，受到了国内外各界学者和研究机构的重视。不同学者和研究机构从不同的视角解读了教师数据素养的内涵，并对其能力维度进行解构与阐释。

学术论文研究层面：学者艾伦.B.曼蒂纳契（Ellen B.Mandinach）指出，教师的数据素养能力包含对数据的识别、收集、组织、分析、总结和归类[4]。其在2013年的文章中将教师数据素养的能力维度进一步划分为做出假设、提出问题、解释数据、教学决策、计划、实施和调整教学行动的能力[5]。李青等人[6]梳理了国际上11篇关于教师数据素养核心要素的文章，并通过逻辑梳理得出四个数据素养的一级指标：数据意识、数据技能、教学应用、意识道德。

组织机构研究层面：美国教育数据研究机构“数据质量运动”指出，教师数据素养包含十个方面的能力：从可利用的资源中收集相关数据、组合和分析不同数据、指导并使用考试数据外的其他数据、使用不同类型的数据、参与循环式探究、利用数据为不同学生群体制定教学指导计划、使用学生个体数据的能力、帮助学生了解数据、运用数据与不同利益相关者沟通及认识并学会运用当前适用的、与实践相关的数据[7]。华东师范大学开放教育学院团队从学习成绩分析、学习成果分析、学习行为分析及数据可视化的工具与策略四个维度开展教师数据素养的培训工作，提升教师对数据的利用和教学决策能力[8]。

通过以上综述不难发现，虽然不同学者和研究团体对教师数据素养的能力界定略有不同，但其内涵本质并未改变。本研究参考国内学者李青等人[9]关于教师数据素养的定义，认为高校教师数据素养是指教师利用数据解决实际教学问题过程中各个环节的能力总和。具体包括数据获取与处理能力、数据评价与探究能力以及数据驱动教学决策能力三个子维度。其中，在数据驱动教学决策这一能力维度上，本研究认为高校教师应有效利用数据驱动教学决策，并促进数据驱动的敏捷教学改进。理论模型解读详见表1。

三、高校教师数据素养表现性评价的模型建构

（一）何谓教师表现性评价

教师评价指对教师专业能力的测量与评判。传统教师评价的价值取向关注“定论式”评价，这种评价取向关注对教师能力现状的判断，缺少对教师专业能力提升的有效观照。同时，传统教师评价体系仅仅关注一些事务性和主观性的数据指标，缺乏对教师真实教学表现的关注，无法有效聚焦并解决教师专业能力的痛点。

教师表现性评价为评价教师在真实教学过程中的教学能力提供了专业的标准化支持[10]。教师表现性评价旨在评价教师在真实教学情境中的教学表现，基于多元化教学过程数据对教师专业能力进行系统化评价，来考察教师是否为教育领域的专业实践做好准备。教师表现性评价与传统评价相比，其内涵有三个层面的体现：一是评价过程聚焦教师真实环境中的教学表现，关注真实问题情境中的教师教学能力的多元展现；二是强调教师表现数据伴随性采集与分析，关注教师教学过程的常态化数据采集与评价；三是聚焦专业能力提升，在分析评价数据的同时挖掘评价对教师专业发展的价值潜能[11]。

（二）教师表现性评价基本要素

无论是传统教师评价还是教师表现性评价，都应在体系设计前思考三个问题：“为什么评价”“评价什么”“怎么评价”。其中，“为什么评价”指评价的目标是什么，在本研究的情境中，评价目标指的是高校教师数据素养；“评价什么”是指哪些教师表现性数据可以被拿来测评，为了在真实教学情境中获取教师的表现性数据，应设计的表现性任务，允许教师在任务中展现出相应数据；“怎么评价”是指通过何种指标和量规来评价高校教师数据素养。在表现性评价中，评价量规的规范化设计能够带给表现性评价体系更为梯度化和精准化的评价反馈信息。综上，本研究结合周文叶提出的表现性评价基本要素[12]，将高校教师数据素养表现性评价体系的基本要素定义为：评价目标、表现性任务和评价规则。

（三）高校教师数据素养表现性评价理论体系的构建过程

表现性评价体系的开发要从理论体系构建和体系应用两个环节思考。本研究从表现性评价三要素出发，分别从评价目标、表现性任务和评价规则三个方面构建高校教师数据素养表现性评价理论体系。在构建理论体系过程中，重点关注各要素的设计和开发流程与步骤，以此满足表现性评价的相关内涵要求。

1.评价目标设计

评价目标指期待被评价者通过学习与实践所获得的预期表现成果。理查德·J.斯蒂金斯（Richard J.Stiggins）[13]指出，评价者对评价目标的清晰理解，关乎评价体系的全面性、合理性与系统性。评价目标的分类主要包括横向拓展和纵向分级两种方式。其中横向拓展指的是将评价目标按照一定的维度分解成若干独立、没有内涵重叠、可测量的子目标；而纵向分级方式指的是将每一个子目标划分为若干个独立、可测量的等级标准。周文叶[3]指出，评价目标设定需要基于能力标准对目标进行逐级细化，从而实现评价目标设定的精准性和可测量性。本研究在数据素养评价目标制定方面，选择评价目标的横向分类方式，以本文高校教师数据素养能力维度与内涵为基础，确定评价目标的三个一级维度分别是：數据获取与处理能力、数据评价与探究能力及数据驱动教学决策能力和八个二级维度。评价目标的设计与确定是后续表现性任务开发和评价规则开发的准则，也是引领高校教师数据素养评价的基础性内容。随着智能技术的不断发展，教师数据素养的内涵与能力维度也将进一步提升，评价目标也处于不断的更新迭代过程中。

2.表现性任务设计

表现性任务指为了检验学习者在特定评价目标上的达成情况而精心设计的作业[14]。在本研究情境中，面向高校教师数据素养的表现性任务指能够让高校教师有效表征出相应评价目标的情境性教学任务。美国斯坦福大学评估、学习和公平中心指出，表现性任务：首先应该包括重点突出的任务提示，要求被评价者提供相关证明材料来表征自己的学习成果；其次应设计清晰的任务提示和可测评的标准。本研究基于所提出的高校教师数据素养理论模型，遵循基于真实教学情境、评价目标对标表现性任务及表现性任务可测评三个原则，以挖掘高校教师真实问题情境中面向数据素养的教学表现为目标，提出高校教师数据素养表现性任务，如表2所示（见下页）。本研究面向三个一级能力维度设计了三个表现性任务，任务形式包括微视频、分析报告和计划调整方案三种。所有表现性任务均基于教师真实课堂教学，在真实教学情境中，面向真实学生数据提交任务。

3.评价规则设计

评价规则是由评价者设计和开发的描述性评分方案[15]。从本质上看，评价规则是一种评分工具，清晰准确的评价规则能够准确衡量被评价者在不同能力维度上的表现程度，同时也能够明确被评价者距离更高级别能力表现的差距。一份优秀的评价量规能够将教师专业能力划分为不同的等级，且每个等级与下一个等级之间都会有明确的能力差异，通过高区分度、强颗粒度的评价规则，为教师某些专业能力的发展提供非常明确、聚焦的方向。

评价量规在形式上是一个二维表，主要由四个部分构成：表现维度、表现等级、描述符和表现样例[16]。菲利普·道森（Phillip Dawson）[17]指出，量规设计应该有明确的评价标准、等级分类情况和等级定义。评价量规的开发有两种范式，分别是自下而上和自上而下。本研究采用自上而下的范式，基于提出的高校教师数据素养理论框架，结合高校教师教学特征，指定符合实际情况的评价规则，具体分为四个步骤：明确评价目标概念框架，确定表现维度和表现等级，针对具体表现性任务撰写等级描述，使用评价规则并修订量规表述。本研究基于以上的评价量规开发步骤来开发高校教师数据素养的评价量规。其中，表现维度包括高校教师数据素养的八个二级维度；表现等级分为四级，分别是优秀、良好、一般和有待改进。本研究以二级能力点“数据分析与问题发现”为例，描述本研究评价量规的示范样例，见表3。

四、推进高校教师表现性评价的原则探析

构建高校教师数据素养表现性评价体系是实现其数据素养提升的基础性工作。如何将评价体系应用到高校教师日常教研、教学工作中是更值得思考的问题。笔者认为，高校教师数据素养表现性评价体系的推进工作要注意三项原则：一是评价弱干扰原则，即表现性评价嵌入到教师日常教学工作中，不给教师带来过多的教学负担；二是评价提升性原则，核心内涵在于评价结果并非判断教师数据素养的高低，而是发现其素养薄弱项，从而精准施策；三是评价伴随性原则，强调在教学过程中，常态化、跟踪性地为教师提供评价反馈与能力提升支持。

评价弱干扰原则。表现性评价的本质是通过评价手段为教师能力提升带来针对性、客观性的帮助。为了让表现性评价不给高校教师带来过多负担，本研究认为应遵循聚焦情境、智能数据采集及精准施策三种策略。（1）聚焦情境：选取教自己所教授的一门课程，以这门课程为情境，设计相关表现性评价任务。如高等数学类课程可以聚焦学生日常课后作业和考试成绩分析情境，设计相关问题，考察教师分析学生平时作业完成情况和期末考试成绩的能力情况，以及针对分析结果做出的教学决策准确性与可行性情况。（2）智能数据采集：在表现性任务中，可使用多种技术工具进行教师行为表现的记录，也可以通过游戏化测试、智能测评系统等方式开展常态化、智能化数据采集与分析。（3）精准施策：由于评价规则的分级性和高区分度，可以明确教师在不同数据素养能力维度上的表现等级，从而准确定位教师距离下一表现等级有多远，针对差距，进行精准的资源推送，从而提升教师能力提升效率，降低时间成本。

评价提升性原则。大数据时代，教育评价已经向评价第四范式转化，即数据密集型评价范式。在评价第四范式视角下，教育评价的价值取向转变为发展性和问题导向的评价[18]。这种发展性和问题导向的评价理念强调聚焦教师专业能力发展过程中存在的诸多问题，以问题解决为出发点，针对性、精准化地发展教师专业能力。表现性任务的情境和针对性及评价规则的高区分度，使得面向高校教师数据素养的评价结果更加精准，更加趋向于真实的教师能力现状。因此，在高校教师数据素养表现性评价体系应用中，评价者应始终关注对评价结果的有效利用，秉持“评价即发展”的原则，充分利用表现性评价体系对于教师个体的发展性作用，充分利用表现性任务和评价规则，发现和定位高校教师数据素养的问题与症结，从而“对症下药”，以资源精准适配、教研组精准教研、集中培训等方式查缺补漏，实现数据素养的精准提升。

评价伴随性原则：教师的数据素养是处于不断发展的过程中，不能通过一次测验或一次考核就对教师的能力进行盖棺定论。充分挖掘教师在不同问题情境中同一能力点的表现情况，能够更为准确、系统地掌握教师数据素养的表现，从而对能力点薄弱项的判断更加精确。同时，评价的发展性原则也使得评价并不能仅流于传统的总结性评价形式，而应该关注高校教师数据素养的常态化测评，并从测评中持续发现教师在不同情境中的问题。因此，在评价体系应用过程中应遵循伴随性评价的原则，即在教师的日常教学中，教学数据分析与数据素养评价协同共生，在教师开展数据分析的过程中，能够通过智能系统赋能、专家引领、同伴协作等方式开展数据素养的伴随性评价，从常态化评价中挖掘可以进行能力提升的微能力点，以微能力点作为出发点开展后续的教师培训工作，从而使得教师评价与教师培训无缝对接。

五、结语

大数据时代，对于海量学生数据的分析与精准决策已经成为高校教师的专业能力之一，也是衡量高校教师能否胜任高校教学工作的创新要素。高校教师数据素养发展是保证与提升高校教学质量的关键。表现性评价以关注教师真实教学情境、注重能够有效表征教师专业能力的表现性证据为特色，已成为高校教师数据素养测评的新型范式。大数据时代，教师专业能力的内涵在不断丰富，教师专业能力的边界也在不断拓展。表现性评价有望为教师专业能力评价带来更为精准、全面的反馈体验，为教师专业能力提升带来更为深入和准确的证据支持。人工智能技术的敏捷赋能也使得高校教师专业能力的表现性评价体系能够进一步满足常态化的精准测评要求，实现对教师专业能力的共时分析、精准诊断与分析、敏捷决策等目标。

[1]李艳，刘淑君.国外教师数据素养测评研究及启示[J].开放教育研究，2020，26（1）：37-49.

[2]周文叶，宋词.教师表现性评价：为使教学成为真正的专业——访美国斯坦福大学琳达.达林.哈蒙德教授[J].全球教育展望，2018，47（12）：3-13.

[3]周文叶.中小学表现性评价的理论与技术[M].上海：华东师范大学出版社，2014.

[4]MANDINACH E B.Data use：what we know about school-level use[R].Rockville：special education data accountability center retreat，2009：23.

[5]MANDINACH E B，GUMMER E S.A systemic view of implementingdata literacy in educator preparation[J].Educational researcher，2013，42（1）：30-37.

[6]李青，赵欢欢.教师数据素养评价指标体系研究[J].电化教育研究，2018，39（10）：104-110.

[7] Data quality campaign.Teacher data literacy：Its about Time[EB/OL].（2016-01-26）[2022-07-10].https：//dataqualitycampaign.org /resource /teacher-data-literacy-time /.

[8]華东师范大学开放教育学院.一键提升你的数据素养[EB/OL].（2021-10-03）[2022-09-04].http：//www.sole.ecnu.edu.cn/mh/news/info/2273.html？typeid=987.

[9]李青，任一姝.教师数据素养能力模型及发展策略研究[J].开放教育研究，2016，22（6）：65-73.

[10]WILSON S，WINEBURG S.Wrinkles in time and place：Using perfor-mance assessments to understand the knowledge of history teachers[J].American educational research journal，1993，30（4）：729-769.

[11]单俊豪.整合学生视角的STEM教师教学胜任力表现性评价研究[D].上海：华东师范大学，2021：54-56.

[12]周文叶.学生表现性评价研究[D].上海：华东师范大学，2009：118-121.

[13]斯蒂金斯.促进学生学习的学生参与式课堂评价（第四版）[M].国家基础教育课程“促进教师发展与学生成长的评价项目组”，译.北京：中国轻工业出版社，2005：158-160.

[14]陈瑞生.表现性评价的任务开发：特征、原则与步骤[J].教育测量与评价，2010（4）：4-7.

[15]MERTLER C A.Designing scoring rubrics for your classroom[J].Pracical assessment research and education，2001，7（25）：1-22.

[16]唐玉霞，马兰.教学评估量规的编制及应用[J].远程教育杂志，2011，29（6）：88-93.

[17]Phillip DAWSON.Assessment rubrics：Towards clearer and more replicable design，research and practice[J].Assessment & assessment in higher education，2017，42（3）：347-360.

[18]朱成晨，闫广芬.现代化与专业化：大数据时代教育评价的新技术推进逻辑[J].清华大学教育研究，2018，39（5）：75-80.

（責任编辑 李强 孙志莉）

Performance Assessment of College Teachers Data Literacy

—Theoretical Models and Application Strategies

Shan Junhao， Zhang Gangyao

（College of Education Science and Technology，Nanjing University of Posts and Telecommunications，Nanjing，

Jiangsu，China 210023）

Abstract： In the era of education big data， the data literacy of college teachers has become the core element in improving the teaching quality of higher education.Existing assessment systems of teacher data literacy mostly focus on knowledge and summative assessment forms，but do not effectively pay attention to the assessment of teacher data literacy based on real teaching situations.This study selected the theoretical paradigm of performance assessment and introduced it into the construction of the data literacy assessment system for college teachers.Firstly， based on the review of existing literature，this study proposed a theoretical model of college teachers data literacy. At the same time，three elements of performance assessment were put forward：the design principles and methods of assessment objectives，performance tasks and assessment rules;Finally，in order to further integrate the performance assessment system of college teachers data literacy into the daily teaching work of college teachers，this study proposed three application principles：“Assessment weak interference，assessment promotion and assessment concomitance”.

Key words： Teachers data literacy;Performance assessment;Theoretical model;Big data era;Teacher assessment