教师数据驱动决策能力评价的国际研究述评：框架、工具与实施建议*

2022-08-25杨淑婷

现代教育技术 2022年8期

杨淑婷魏非

杨淑婷1魏非2[通讯作者]

（1．华东师范大学教育信息技术学系，上海 200063；2．华东师范大学开放教育学院，上海 200062）

教师数据驱动决策能力是实现教育数字化转型的重要支撑，但由于其具有情境性、实践性、多元性等特点，评价成为了教师专业发展实践面对的一大挑战。为借鉴国际上相关的成熟经验和优质成果，文章采用文献分析法，对国际上教师数据驱动决策能力的评价实践研究进行总结和梳理，提炼出三种评价框架设计思路和五种评价实施工具。之后，文章从评价框架、评价工具、评价实施方案、评价实施路径四个维度为开展教师数据驱动决策能力评价提出建议，以期为我国开展教师数据驱动决策能力的培养工作提供借鉴。

数据驱动决策能力；数据素养；评价；设计框架；工具开发

引言

在全球教育数字化转型进程中，教师数据素养的培养是不可或缺的重要内容[1]，对教育教学从基于经验的范式转向基于数据的范式具有重要价值。数据驱动决策能力是教师数据素养的核心构成要素，这可从多个国家的教师数据素养评价实践中窥得端倪，如荷兰教育部将教师数据驱动决策能力作为评价教师数据素养的主要内容[2]、澳大利亚将职前教师的数据驱动教学决策能力作为职前教师绩效考核的核心知识和技能之一[3]。

教师数据驱动决策能力指教师系统地收集、处理和分析多种来源数据，并以此为证据干预学习过程、优化学生学习成效的综合能力，也被称为教师数据使用能力[4]、基于数据的教学决策能力[5]、数据启发的教学决策能力等[6]。上述概念虽然表述不完全一致，但都聚焦于教学场景，体现了教师在真实教学情境中依据并利用数据开展分析与改进教学的综合素质。

近几年，新兴技术的发展使教学与学习过程数据的记录、收集、存储愈发便捷，数据俨然成为教育教学的核心资产。《教育部基础教育司2022年工作要点》提出要大力实施基础教育数字化战略行动[7]，开启了中小学教师数据驱动决策能力发展的序章。然而，相较于国外的探索，国内教师数据驱动决策能力的研究刚刚起步，且较多关注内涵与结构、发展策略等议题，尚未将评价设计和实施作为专门的议题进行深入探讨。同时，由于数据驱动决策能力具有情境性、实践性、过程性等特点，开展真实、客观、便捷的评价成为教师专业发展实践面对的一大挑战。在此背景下，本研究系统分析国际中小学教师数据驱动决策能力的评价实践研究，为开展适用于我国国情的教师数据驱动决策能力评价提供建议，以期提升我国教师的数据驱动决策能力。

一研究过程与方法

为借鉴国外的经验和成果，本研究对发表于Web of Science核心数据库中的文献进行精确检索，检索主题词包含与教师数据驱动决策相关的关键词（如“Data Based Decision Making”“Data Driven Decision Making”“Teacher Data Use”“Data Inspired Teaching Decision”等），以及与评价相关的关键词（如“Assessment”“Evaluation”等），文献发表日期截至2021年12月，共得到252篇文献。剔除重复性文献后，为进一步筛选出符合研究主题的文献，本研究还设定了文献纳入标准：①研究主题为教师数据驱动决策能力评价；②研究对象为中小学教师。根据文章标题和摘要，本研究初步筛选出符合纳入标准的文献13篇，随后浏览全文，排除不符合标准的文献11篇，再通过滚雪球法，最终得到6个实践案例，主要来自美国（=4）和荷兰（=2）。

本研究采用文献分析法，对实践案例进行了深入、细致的分析，重点关注教师数据驱动决策能力的评价框架、评价工具和评价实施，以探究国际案例的设计与实施思路。

二教师数据驱动决策能力评价框架设计

深入分析相关文献和案例，可以发现：当前教师数据驱动决策能力评价框架的设计主要有基于决策能力构成要素（=1）、基于决策过程（=4）、整合决策影响因素的综合设计（=1）三种思路。其中，有一个案例综合采用了教师数据驱动决策模型和基于数据的决策模型两个框架。

1 基于教师数据驱动决策能力构成要素的框架设计思路

从教师数据驱动决策能力的构成要素开展评价，侧重于关注能力形成的内在机制，挖掘导致能力差异和变化的根本原因。为更好地理解教师使用数据开展决策的过程，Dunn等[8]提出了由知识、关注度、效能构成的三元变化模型（Triadic Change Model，TCM），并指出这三个要素相互关联、相互影响。其中，知识反映教师在分析、解释数据以及将数据应用于教学决策两个方面的知识掌握程度；关注度表现为教师对数据驱动决策的态度和满意度；效能则指教师对自身成功实施数据驱动决策的信念。

2 基于教师数据驱动决策过程的框架设计思路

从教师使用数据做出决策的一般过程出发细化决策步骤，进而明确教师应具备的特定技能和外在行为表现，是目前教师数据驱动决策能力评价框架设计的常见方式。由Light等[9]提出，Mandinach等[10]改进的数据驱动决策模型（Data Driven Decision Model，DDDM）是较早有关教师数据驱动决策能力的模型，其概念框架如图1所示。该模型将应用数据支持教学的过程分为数据层、信息层和知识层，并结合场所、工具和三个层级之间的相互关系，将教师数据驱动决策能力划分为收集数据、组织数据、分析数据、总结数据、整合数据、定义优先级六个能力维度，教师基于过程做出决策，实施决策并检验影响，再将结果反馈至各维度，通过迭代完善决策。

图1 DDDM模型的概念框架[11]

Means等[12]将教师使用数据做出决策的过程划分为五个具体步骤：数据定位、数据理解、数据解释、数据使用和问题提出，并结合具体情境将能力进一步细化，形成教师数据使用能力框架，如表1所示，以此作为教师数据驱动决策能力评价的依据。

表1 教师数据使用能力框架[13]

除关注教师个人，还有研究者关注教师团队的数据驱动决策过程。例如，Schildkamp等[14]提出教师数据团队进行教学干预时采用的基于数据的决策模型（Data Based Decision Making，DBDM），将教师数据驱动决策过程进一步细化成八个步骤，即问题定义、形成假设或问题、数据收集、数据质量核查、数据分析、解释总结、采取改进措施、评估；Keuning等[15]将初等教育阶段教师团队基于数据的决策过程分为四个核心步骤，即评估和分析学生成绩、为每个学生和班级整体制定学习和表现目标、确定实现目标需要的教学策略、执行教学策略。此外，McDowall等[16]依据教师数据素养模型（Data Literacy For Teachers，DLFT）中教师数据使用的五个基本过程评估职前教师数据驱动决策能力，即识别问题并提出问题、使用数据、将数据转化为信息、将信息转化为决策、评估结果。

3 整合教师数据驱动决策影响因素的综合设计思路

基于影响能力变化的因素预测或判断教师数据驱动决策能力的发展或变化情况，能从多方位、多角度反映教师数据驱动决策能力，为评价提供了更加全面的视角。Reeves等[17]提出可以通过整合教师的数据使用情况和影响因素，来调查教师数据驱动决策能力。这里的影响因素包含三个方面：①教师教育，指教师为使用数据所做的准备和培训，包括职前阶段学习的相关课程、在职阶段参与的相关活动等；②组织因素，指与教师数据使用相关的学校领导力，如管理层使用数据的优先级、是否为教师使用数据提供时间和机会等；③教师特征，指教师的信念和焦虑，具体包括教师对评估的信念、教师数据驱动决策自我效能和教师数据驱动决策焦虑。

评价框架是评价设计的基础和核心。根据对相关文献和案例的分析可知，基于能力的构成要素构建评价框架倾向于关注能力形成的必备条件，基于过程构建评价框架倾向于关注能力表现的具体行为指标，整合影响因素开展综合设计则是将外界环境纳入考量——这三种框架设计思路从数据驱动决策能力理应涵盖的全部内容进行逻辑推演，由此形成较为清晰的“评价对象”画像，进而明确回答“测评什么”的问题，同时形成可操作性的指标，成为了评价工具与评价实施路径开发的依据。

三教师数据驱动决策能力的评价工具

综合当前的相关研究和实践可以发现，在教师数据驱动决策能力评价中较为常见的工具有基于自我评估的问卷调查（=2）、知识测试（=2）、半结构化访谈（=1）、课堂观察（=1）和微认证（=1）。其中，有一个案例同时采用了基于自我评估的问卷调查和知识测试两种工具。

1 基于自我评估的问卷调查

问卷调查是目前教师数据驱动决策能力评价使用十分广泛的方式，研究者多借助在线问卷平台或电子邮件发放问卷。

Dunn等[18]基于三元变化模型（Triadic Change Model，TCM）评价教师数据驱动决策能力，开发了数据驱动决策关注度问卷（Stages of Concern Questionnaire，SoCQ）和数据驱动决策效能问卷（the DDDM Efficacy Survey，3D-ME）。以SoCQ为例，其侧重于反映教师在数据驱动决策过程中产生的一系列感觉、感知、专注、想法、考虑、动机、满意度和挫败感。SoCQ将教师对数据驱动决策能力的关注分为不关注、自我关注、任务关注、影响关注四个关注点，以及不关注、信息关注、个人关注、管理关注、后果关注、协作关注、再聚焦关注七个关注阶段，用于评估教师对自身数据驱动决策能力、教学决策任务和决策能力带来的影响三个方面的关注度。

Reeves等[19]基于教师数据使用情况和影响因素，编制了一套在线问卷。此问卷主要由四个子问卷组成，采用李克特量表计分。其中，教师数据使用实践子问卷涉及教师在学习者与学习、教学内容、教学实践和职业责任方面使用数据的具体行为表现；教师学习机制子问卷针对教师教育因素，包含两个题项，分别关注教师在职前阶段和在职阶段参与数据使用相关课程和活动的数量；领导力子问卷关注学校的组织因素对教师数据使用的影响；教师信念与焦虑子问卷面向教师特征因素，使用评估的概念量表（Conceptions of Assessment—III Abridged Scale，COA-III）、数据驱动的决策效能和焦虑量表（Data-Driven Decision-Making Efficacy and Anxiety Inventory，3D-MEA），分别调查教师对评估的信念、教师数据驱动决策的自我效能与焦虑。

2 知识测试

知识测试主要考察教师对教育数据驱动决策相关知识的认识、理解、掌握和应用程度，为增强教师数据驱动决策能力评价结果的科学性和可靠性，实践中大多与其他工具结合使用。

Kippers等[20]采用包含知识测试、会议评估、日志评估、个人访谈的混合研究方法，分析教师数据驱动决策能力的发展程度。其中，知识测试部分主要借助Ebbeler等[21]开发的知识测试工具，以纸质形式对教师进行前后测，衡量教师在参与项目前后的能力变化。该工具基于DDDM模型和DBDM模型，从教师基于数据驱动决策的八个步骤出发，编制了12道开放性试题，教师需在30分钟内完成测试。随后，研究者综合其他三类评估数据，分析教师数据驱动决策能力。

Dunn等[22]在对教师基于数据的决策知识进行测试时，主要评估教师解释和评价数据的能力、运用数据进行教学决策的能力。具体实施时，该知识测试题主要以问卷的形式通过电子邮箱发放给参与过数据驱动决策培训的教师。

3 半结构化访谈

半结构化访谈是指基于访谈提纲客观记录教师的数据分析与决策过程，并将之作为事实证据的评价方式。当前在数据驱动决策能力评价中使用较多的是情境访谈法，即将教师置于真实情境或拟真情境中，与教师进行对话交流，了解教师的思考与决策过程。

Means等[23]在美国教育部项目中根据教师数据使用能力框架，通过头脑风暴开发了由七种模拟情境构成的访谈工具，每个情境都关联多个针对特定概念或技能的问题，并有明确的判分标准。以其中一种模拟情境为例制作的情境访谈记录表，如表2所示。Means研究团队使用该工具在2007～2008学年测评了美国30所中小学的教师数据驱动决策能力，虽然此项研究已经过去十余年，但仍被视为教师数据驱动决策能力评价实施的经典案例。

表2 情境访谈记录表示例[24]

具体实施时，每次访谈约为45分钟：前15分钟由两位研究员与教师进行开放式访谈，了解教师使用数据时的感受；后30分钟教师依据情境访谈记录表进行回答。教师可以借助纸、笔、计算器等工具回答情境访谈记录表的问题，所有的访谈过程都被录音和转录，以便编码和评分。

4 课堂观察

课堂观察通常基于明确的研究目的，借助感官和预先制定的工具或技术手段系统地收集课堂教学情境中的资料，并将整理、分析、研究后的结果运用于教学评价和教学诊断中。

为了评价培训实施前后小学教师数据驱动决策相关技能的变化，Van等[25]采用学与教的国际比较分析工具（International Comparative Analysis of Learning and Teaching，ICALT）对教师在课堂实录中的教学行为进行编码评分。ICALT工具包含基本教学技能量表、明确和启动教学量表、学习策略量表和基于数据的决策量表，均为四级李克特量表。其中，基于数据的决策量表依据Keuning等[26]提出的初等教育阶段教师基于数据的决策过程的四个核心步骤设置了五个题项，分别是：教师在课程开始时阐明教学目标、教师在课程结束时评估目标是否已经实现、教师根据学生之间的差异调整教学、教师对表现欠佳的学生进行额外指导、教师根据学生之间的差异调整课堂作业。该研究共录制了34名教师的课堂视频，并由四名研究人员对视频进行编码评估。

5 微认证

微认证是国际上通用的一种职业能力认证方式，其在教育领域主要依据教育教学的实践成果对教师具体、明确的“微能力”进行认证，体现了基于证据、面向能力的关键特征。

除了美国非营利组织数字承诺（Digital Promise），由美国多个州的校长协会合作创建的教育领袖网络（Ed Leaders Network，ELN）也采用微认证方式进行教师数据驱动决策能力的评估。以“实施数据驱动的决策”微认证项目为例，该项目涵盖教师实施数据驱动决策时应具备的技能、实施工具、实施方案和文化环境四个方面。成果证据由概述题、操作题、应用与反思三部分构成，分别考察教师在真实教学实践情境中的数据获取和管理能力、操作和分析解释能力、应用与反思能力。其中，概述题、应用与反思以书面形式提交，操作题以电子文件夹形式提交。教师完成课程学习并提交成果证据，通过专家审核后即可获得相应的数字徽章。

多种评价工具的出现和应用，在一定程度上反映了教师数据驱动决策能力评估需求的多样性和挑战性，同时也为研究者选择、组合、创造新的评价工具和实施方案奠定了基础。

四教师数据驱动决策能力评价的实施建议

借鉴国际经验和成果，是快速启动我国教师数据驱动决策能力培养研究和实践的重要策略。然而，我国教师队伍规模庞大、学校信息化环境类型多样、教师信息技术应用能力起点不均，这就要求在开展我国教师数据驱动决策能力评价与培养实践时，需基于我国教师数据驱动决策能力的现状构建评价体系，结合评价实施环境和专业支持队伍的情况灵活选择、调整、组合、创新评价工具与实施方案。根据前文的研究，结合我国的国情，本研究从评价框架、评价工具、评价实施方案、评价实施路径四个维度为我国教师数据驱动决策能力评价的实施提出建议。

1 过程为纲：构建过程导向的教师数据驱动决策能力评价框架

从前文分析可知，已有的教师数据驱动决策能力评价框架设计主要有三种思路，但鉴于我国教师数据素养培养刚刚起步，本研究建议应构建过程导向的教师数据驱动决策能力评价框架。作为教学决策能力在教育现代化背景下延伸出的子能力，教师数据驱动决策能力具有产生于教学实践、贯穿于教学全过程的特点。因此，如果要提升教师应用数据改进和优化教学实践的素养，以过程为导向的评价应当是契合教师实践逻辑和需求的方式，即从教师教学过程分解可能会使用的数据情境，基于数据进行解释、分析并做出决策，同时对每一个环节中使用数据做出决策的目标、内容、方法、手段进行深入挖掘与剖析，如此形成的评价框架与其细化出的评价指标本身就具备教学实践指导的价值。此外，将教师的知识、关注度、效能等影响因素纳入评价范畴，能够进一步延展评价指标的实践启发价值。

2 情境构建：开发基于典型教学实践情境的评价工具

情境是知识转化为能力的重要载体，通过将教师置于真实或拟真的教育场景中更容易还原教师的思考与决策过程，进而全面、客观地展现教师的认知、行为和能力，同时情境通过链接实践也将赋予教师更多的学习空间。测评情境需基于真实教育活动的典型事件或过程进行创设、凝练。从情境表现形式来看，可根据开发条件灵活选择文本、视频以及虚拟现实等方式。文本情境主要通过文字表述实践活动现场和事件；视频情境可以采用真实活动现场录像或典型场景表演方式为教师带来真实感和现场感，再现教育现场的复杂关系；游戏情境依托角色扮演程序丰富主体的参与和交互，可呈现更多维、关联的实践空间；虚拟现实、人工智能等技术赋能的情境则能增强评价的交互性、沉浸性和多元性，并为虚实融合提供更多可能。此外，情境的内容创设也可以考虑不同的学科、教学环境、课型等多方面元素，增强情境的多样性和全面性。

3 工具整合：设计适用于大规模实施的精准化评价方案

规模大、差异明显是我国教师群体的特点，也是开展教师能力评价需要破解的实践难题。已有的评价工具形式各异且各具优势，面对数据驱动决策能力的多层次、综合性要求，单独应用某一种工具往往无法实现全面、有效的评价，因此需要整合多种评价工具。在设计实施方案时，可以采用问卷法评价关注度和效能，采用知识测试评价决策知识。如果依循基于过程的教师数据驱动决策能力评价框架，可以采用半结构化访谈法和课堂观察法评估教师的问题提出、数据理解、数据解释能力；也可以采用微认证评估教师的数据收集和数据分析能力。综合采用多种评价工具，并依托人工智能技术支持的网络平台，既可提高测评的执行性和反馈效率，也能较大程度地减少对专家的依赖，实现规模化和精准化的评价目标；如果整合一定的学习分析模型和画像技术，还能提升测评活动本身的实践指导价值。

4 环境赋能：发展教师数据驱动决策能力评价的实施路径

有效的评价环境不仅需要平台、工具、专家等物化条件，还需要政策、机制、管理等非物化资源。推动教师数据驱动决策能力评价工作的落地和效能发挥，可以从政策引领、团队建设、技术赋能、文化构建等层面进行考虑：①要为教师数据驱动决策能力的发展提供政策引领，如在现有的教师信息技术应用能力标准中体现相关要求，或在教师专业发展项目中增加数据驱动决策学习内容。②培养一支数据驱动决策能力发展的专业指导团队，为各地开展培训与实践提供及时反馈和专业支持。③运用大数据技术、虚拟现实技术、可穿戴设备等构建支持数据伴随性采集与评价的技术环境，为常态化、过程性、无接触式评价实施机制提供基础条件。④要构建数据驱动决策文化，尤其是在学校层面要引导和强调基于数据的问题分析、教学决策和家校沟通；有条件的学校可以建设一支数据驱动研究团队，以引领和带动学校的整体研究与发展。

五结语

教师数据驱动决策能力的培养，需要合理、科学的评价作支撑。为借鉴国际上相关的成熟经验和优质成果，本研究采用文献分析法，围绕评价框架和评价工具系统分析相关文献和案例，在此基础上结合我国教师能力发展现状提出教师数据驱动决策能力评价实施的相关建议。众所周知，当前我国正启动教育数字化转型战略行动，对教师的教育教学工作提出了更加个性、优质、精准的期望，数据素养发展成为未来教师专业发展的重要内容。面对数据驱动决策能力提升的急迫任务，未来除了继续深化内涵结构、发展策略、评价体系等研究，还需从能力标准、培养模式、制度机制等方面完善培养环境，进而服务于我国高质量教师队伍建设。

[1]European Commission. Digital education action plan (2021-2027)[R]. Brussels: European Union, 2020:6-9.

[2][22]Kippers W B, Poortman C L, Schildkamp K, et al. Data literacy: What do educators learn and struggle with during a data use intervention?[J]. Studies in Educational Evaluation, 2018:21-31.

[3][16]Mcdowall A, Mills C, Cawte K, et al. Data use as the heart of data literacy: An exploration of pre-service teachers’ data literacy practices in a teaching performance assessment[J]. Asia-Pacific Journal of Teacher Education, 2020,(5):487-502.

[4][12][13]Means B, Chen E, Debarger A, et al. Teachers’ ability to use data to inform instruction: Challenges and supports office of planning[R]. Washington, D.C: U.S. Department of Education, Office of Planning, Evaluation and Policy Development,2011:5-8.

[5][14]Schildkamp K, Lai M K , Earl L. Data-based decision making in education: Challenges and opportunities[M]. Heidelberg: Springer, 2013:9、55-59.

[6]管珏琪,孙一冰,祝智庭.智慧教室环境下数据启发的教学决策研究[J].中国电化教育,2019,(2):22-28、42.

[7]教育部.关于印发《教育部基础教育司2022年工作要点》的通知[OL].

[8][18][20]Dunn K E, Airola D T, Garrison M. Concerns, knowledge, and efficacy: An application of the teacher change model to data driven decision-making professional development[J]. Creative Education, 2013,(10):673-682.

[9]Light D, Wexler D H, Heinze J. Keeping teachers in the center: a framework for data-driven decision-making[A]. Waynesville:Proceedings of SITE 2005[C].Phoenix, AZ, USA: Association for the Advancement of Computing in Education,2005:128-133.

[10][11]Mandinach E B. A perfect time for data use: Using data-driven decision making to inform practice[J]. Educational Psychologist, 2012,(2):71-85.

[15][26]Keuning T, Geel M V, Visscher A, et al. The transformation of schools’ social networks during a data-based decision making reform[J]. Teachers College Record, 2016,(9):1-33

[17][19]Reeves T D, Summers K H, Grove E, et al. Examining the landscape of teacher learning for data use: The case of Illinois[J]. Cogent Education, 2016,(1):1211476.

[21]Ebbeler J, Poortman C L, Schildkamp K, et al. The effects of a data use intervention on educators’ satisfaction and data literacy[J]. Educational Assessment Evaluation & Accountability, 2017, 29:83-105.

[23][24]Means B, Padilla C, Debarger A, et al. Implementing Data-Informed decision making in schools: Teacher access, supports and use[R].Washington D.C.: US Department of Education, 2009:61-86.

[25]Van der Scheer E A, Glas C A W, Visscher A J. Changes in teachers’ instructional skills during an intensive data-based decision making intervention[J]. Teaching And Teacher Education, 2017:171-182.

An International Research Review of Teachers’ Data-driven Decision-making Ability Assessment: Constructs, Tools and Implementation Suggestions

YANG Shu-ting1WEI Fei2[Corresponding Author]

Teachers’ data-driven decision-making ability is an important support for realizing the digital transformation of education. Sinceteachers’ data-driven decision-making ability is featured with situational, practical, and diverse performance, its assessment has become a major challenge for teachers’ professional development practice. In order to learn the relevant mature experience and high-quality achievements in the world, this paper used the literature analysis method to summarize and sort out the assessment practice research of teachers’ data-driven decision-making ability in the world, and further extracted three kinds of assessment framework design ideas and five kinds of assessment implementation tools. In addition, the suggestions for teachers’ data-driven decision-making ability assessment were proposed from four dimensions of assessment framework, assessment tool, assessment implementation plan, and assessment implementation path, expecting to provide a reference for developing the training work of teachers’ data-driven decision-making ability in China.

data-driven decision-making ability; digital literacy; assessment; design framework; tool development