DCR范式下教学系统质量的评测指标体系构建
2020-04-10何文涛周跃良李鸣华朱玲林李菲茗
何文涛 周跃良 李鸣华 朱玲林 李菲茗
[摘 要] 基于DBR创生的情境性知识进行教学评测，多依赖从教者或专家的个人经验与个人智慧，主观性较强。为克服这一不足，研究基于DCR下的教学系统概念模型及IIS图分析法，以教学系统为研究对象，提出教学系统的质量评测应从教学系统的一致性、适应性和学生参与度三维度考虑，并以此为思考框架，构建出评测教学系统质量的指标体系，包括目标知识点的学习水平与任务类型的一致性、被激活的IIS子图与任务的知识组块的一致性、学习目标的层级多元性、媒体多元性、目标知识点的活动多元性、学生言语参与度、学生知识参与度、知识点总激活量、目标知识点总激活量等九大指标。这些指标值多通过教学系统中信息处理主体输出的信息流推算得来，难以干预，客观性较强。通过这些指标数据能客观、清楚地说明课堂教学的整体交互水平如何、教学手段与学习目标是否一致、学习目标的达成程度如何、教学系统能否应对突发教学问题及学生的课堂参与情况如何等反映教学系统质量的基本问题。
[关键词] DCR; IIS图; 教学系统; 一致性; 适应性; 参与度
[中图分类号] G434 [文献标志码] A
[作者简介] 何文涛（1986—），男，河南周口人。讲师，博士，主要从事教学设计与教学系统分析、媒体技术的教学应用及其分析研究。E-mail：budai2008@126.com。
一、引 言
DBR（DBR，Design-Based Research）研究范式是基于设计的研究，它围绕教育干预展开相关研究，强调教育干预解决教学问题的有效性[1]。一般是根据具体问题作出相关分析，设计出对应的教育干预，然后通过课堂实施教育干预，看其能否解决教学问题来判断教育干预的有效性。在这一过程中，只形成了具体的教育干预，当问题发生改变时，教学干预需要重新设计，而且与具体教学干预配套的设计、实施、评价等相关内容也需要一起更新，只有这样才能适应新的问题情境。但新教育问题总会不断出现，按照DBR的思路，新教学干预的设计也会永不停歇。如果新的教育干预是知识创新的话，那应该是情境知识创新，但新的教育干预不能解决旧的教学问题，不具有技术知识的迁移性。基于问题的情境知识不是教学干预设计的技术性知识，缺乏对解决所有教学问题的指导作用。DBR研究的创生情境性知识不能为教学干预的设计、实施、评价等提供技术指导，没有统一可参考的技术标准，课堂教学的设计、实施与评价只能依赖从教者或专家们的个人经验或个人智慧，主观性较强。
由于教学测评技术性知识的缺失，目前教学测评相对简单粗暴，缺乏科学性，主要表现为主打成绩牌[2-4]、经验性评价[5-6]和有效性陷阱[7]等。学校多从学生分数的高低来评价教学的好坏与教师授课水平的高低，这种方法简单易行，但太过于粗暴，因为学生成绩只是评价教学的一个方面，不能完全反映出教学的全部，为成绩唱赞歌只会掩盖教学中的一些实际问题，反而会阻碍教学的改进。为克服这种单一的教学考评方式的弊端，学校开始采用说课评课的形式，但这种形式也存在很多不足。说课多是提前安排好的，不是真实的教学，“演”的成分较多，“把说课等同于教学”是一个伪命题，对说课式教学进行评价毫无意义。而对常态课堂教学进行评课，尚具有一定的合理性。因为评课者大多是經验丰富的教师或专家，他们通过详细的评课标准多少能反映出教学的好坏，前提是评课标准是科学的，并且具有详细的帮助评课者作出评价决定的操作规范。但现实却恰恰相反，评价项目及其权重设置随意，缺乏严密论证，评课标准不够规范统一，具体的评价操作技术更是始终缺场，致使评课者不得不凭借自己经验与价值倾向作出评价，主观性较强。通过评课即使能找出一些所谓的教学问题，但在教学中也不能确定就是这些问题。为此，一些具备科研素养的教师开始尝试进行以教学效果为参照依据的准实验对比研究，然后把教学效果的取得归因于某一变量，并把这一准结论当成真结论来使用。以教学效果为判据的对比研究看似规范，但存在两个严重的漏洞：（1）某因素在特定情境下的教学效果其实是一种 “令当事人满意”的概念，倾向不同的人面对同一个教学结果可能会持截然相反的观点，因此，“令当事人满意”并不是客观效果;（2）教学效果是课堂教学活动中教师授课水平、学生的接受能力、师生的准备状态、资源的优劣、课堂氛围、知识关联性等各局部要素之间经过复杂的临场相互作用而产生的整体教学情况，如将教学效果简单归因到教学的任何局部要素都是不恰当的[8]。即使有效，那也只是在特定情境下的有效，不具有普适性。加之，课堂教学过程难以重复，这种教学有效性在学理上得不到重复验证。因此，从教学效果切入的准实验并不能帮助教师分析教学问题产生的原因，改进教学更无从谈起。
这些评价方法的不足，归根结底是由DBR研究范式以教育干预为研究对象而未能生产出教学的技术性知识的缺陷引起的，致使在教学评价过程中难以抓住稳定不变的评价对象。针对这一问题，本文尝试基于DCR研究范式，以教学系统为稳定的研究对象，从教学系统的一致性、适应性、参与度三个维度来构建教学系统质量的评测体系，以期改变目前教学质量评价的乱象。
二、DCR范式下的教学系统分析
DCR（DCR，Design-Centered Research）是一种以设计为中心的研究，旨在创造出可以辨真伪且功能清晰明确的教育设计的客观技术知识。因此，DCR与DBR不同，它不关注教育干预本身，而是关注教育干预的具体设计过程，关注教育设计缺陷及教育中的“目标—手段—结果”之间一致性等内容[1]，并试图将教育设计过程中的这些内容转化为技术性知识，以规范并约束教育设计的各项操作，使其教学各操作之间具有较强的数据依赖关系。教育是围绕学科知识点展开的师生交往活动，而学科知识是一种稳定的客观存在，围绕知识展开的教育设计具有客观的数据基础，能够稳定重现，因此，DCR范式下的研究是可以重复的。DCR范式下的教育研究尝试通过分析教育系统的缺陷是否源于教学设计本身，进而找到什么样的教育设计技术能够消除教育系统的缺陷，实现或优化特定教育系统的功能。如果能够实现或优化教育系统的功能，则这种教育设计技术就是有效的，因此，DCR能够产生教育设计技术知识[9]。我们把采用DCR研究取向的教育学称为新教育学。新教育学以教育系统为研究对象，主要研究教学系统如何构造、教学系统运行存在哪些规律及表现出何种整体特征等内容。
新教育学认为教学系统是一个由教师、学生和信息媒体三类信息处理主体所输出信息组成的结构封闭的信息系统，教学系统的概念模型如图1所示[10]。
一个信息处理主体的信息输入是其他信息处理主体的信息输出，所有信息处理主体的输出信息总和便构成了教学信息集合（IIS， Instruction Information Set），这个教学信息集合就是我们所要研究的对象，即教学系统。可见，构成教学系统的基本元素是信息处理主体所输出的信息流之间的流动关系，而不是教师、学生或媒体[11]。信息处理主体的其他方面属于教学系统的环境要素，环境要素影响信息处理主体的信息输出，但这种影响都会通过他们的信息输出表现出来。在概念模型中，IIS代表的是课堂教学的社会建构水平[10]。教学系统是一个信息系统，分析教学系统也应采用信息流分析方法。IIS图分析法是其中一个应用较为成熟的信息流分析法[12]，可用来解析教学过程，推断教学系统的运行质量。在IIS图分析法中，师生或信息媒体输出的言语信息被称之为信息流，信息处理主体通过输出信息流来推动教学系统功能的实现。如将信息处理主体输出的言语信息表征为“<发起者><操作><信息類型><表征形态>
IIS图分析法通过将教学过程转化为信息流序列来计算教学系统的运行特征，可为教学系统质量的评测提供客观的数据基础。信息流序列虽已是教学过程的结构化描述，但仍然太过微观，人们易陷于信息细节而难以形成对教学过程的整体认知。因此，在不丢失底层信息流数据的基础上，我们还需进一步探究反映教学系统质量的评价指标或评价维度。
三、DCR范式下教学系统质量的评测三维度
教学是一个师生相互交互的过程，主要包括教师向学生有效传递适合的学习内容和学生对教师教学进行反馈两类活动。在这两类活动中，师生通过贡献包含IIS知识子图（包含目标知识点或与目标知识相关的先决知识点）的信息流来推动教学系统运行。因此，有效传递利于达成学习目标的教学信息是教学发生的基础，是保障教学系统合理性的前提，而所传递的教学信息是否适应学生的认知或学生的个体差异也是需要考虑的重要问题，因为只有传递符合学生需求的内容，学生才能更好地完成所学知识的自我建构。教学不是教师的自话自说，教师的教还需结合学生的实时反馈来判断所传递的教学内容是否真的适应了学生，并以此动态调整教学。因此，评估教学系统质量，应从教师的教学是否与预想的一致、教师的教学是否适应了课堂的变化、学生的课堂参与情况如何及教学的整体社会交互水平如何几个方面考虑。基于此，本文将教学质量的评测维度预设为教学系统的一致性、教学系统的适应性和教学系统的学生参与度三个方面[14]。
（一）教学系统的一致性
教学系统的运行需要相应的功能保证，完整的教学系统应该包括设计态教学系统、实施态教学系统和教学系统评价三个阶段，教学系统的优劣由这三个阶段共同决定。设计态教学系统即为教学设计，目的在于通过学习内容分析、学习者分析、学习目标分析、学习活动设计及方案优化等过程来形成教学方案。教学方案作为教学手段，包含了教学系统所应具有的功能，教学方案的完备性与合理性是获得可接受教学行动的保证。教学方案是否存在缺陷可通过总激活量、学生参与度、媒体多元性、信息流类型完整性、目标手段一致性等指标进行测量[15]。其中，学习目标和教学手段的一致性是保证设计态教学系统合理性的基本要求，因为脱离了学习目标的教学素材是零散的，凌乱组合的素材也不能称之为教学方案。另外，教学方案到真实的教学行动虽然还有一段距离，但教学方案中的知识信息在多大程度上能在教学行动中得到落实是评判教学优劣的一项基础指标，如果完全脱离了教学方案而进行施教，方案就失去了存在的必要性，教学就失去了实施的依据，变成随性而为，如教学行动和教学方案完全一致，就变成了表演，就不能称为教学了，所以说教学方案和教学行动也不是一致性越高越好。可见，设计态教学系统和实施态教学系统在多大程度上的一致性反映了教学系统的合理性（即手段—结果之间的一致性），是评判学习目标知识信息是否得到有效传递的依据。
只要目标清晰准确，教学手段与学习目标一致得当，教学行动能按教学手段执行，那么这个教学行动就是可接受的，“目标—手段—结果”的一致性保证了教学系统的合理性。这一思维框架是教学系统评价的根本基础，如不能保证一致性，其他指标无从谈起。
（二）教学系统的适应性
教学系统的适应性是指某个教学系统应对它所在的教学实践场合变化的实际能力，即当实际场景发生波动时，教学系统是否仍然有效。探究教学系统的适应性可从两个方面入手：一方面是预设的教学系统功能是否满足了学生的学习需求，这等同于设计态教学系统中目标与手段一致性的问题。只有在教学系统功能符合教学实际需求的前提下，设计态的教学系统才具有应对和指导实际教学实践的能力。而设计态教学系统的适应能力的提高多通过为学习目标设计丰富的多样化学习活动实现。这样，学生才能根据各自情况选择适合自己的学习活动进行学习，满足因材施教的需要。这里的因材施教不是一般情况下所理解的一对一的施教，因为在常规教学中教师不可能做到对每个学生的信息都一一分析并分别为其提供个别化的教学方案或对学生进行分类而提供分类教案。因材施教只能通过在具有丰富的多元性和可选择性的教学环境中让学习者根据自身情况来选择适合自己状态的资源参与教学的方式来实现[16]。另一方面是预设的教学系统功能是否满足了真实的教学需求，如若不能，教学系统能否加以灵活调节来适应教学场景的变化。这个层面上的教学系统适应性虽依赖施教者的个人素养和课堂把控能力，但更依赖包含多样化学习目标和多样化学习活动的高质量的教学方案。需要说明的是，讨论教学系统的适应性是在保证教学系统一致性的前提下进行的。因为只有在保证教学信息得以有效传递的基础上才能讨论所传递的信息能否满足学生的需求。教学系统一致性和适应性是从施教者的角度来考量如何使教学系统更完善、更具迁移性，其对提高教学系统质量具有深远意义。
（三）教学系统的学生参与度
无论是建构主义理论，还是社会文化学说，都认为知识点学习离不开学习者的高度参与和自我建构。教学系统的功能在于通过授教者的有效干预帮助学习者完成对知识、技能和价值观的自我建构[17]。在此过程中，相比教师的直接讲授，鼓励学生进行学习内容的输出，更有利于知识点的学习。学生参与度的高低是评估教学系统质量的一个重要参照。教学系统的学生参与度是指作为信息输出主体的学生在教学系统运行过程中输出信息的情况。这和其他教学观理解的参与度不太一样，我们只考虑有信息输出的参与，不考虑没有输出的学生思维活动，当然，如果学生的思维活动内容能通过文字、语言、体态等方式表现出来，也是教学系统参与度所考虑的范围。教学系统的学生参与分为方案中预设的学生行为和学生的课堂参与。对比方案中预设的学生行为与学生的课堂参与情况，可以帮助教师判定其实际课堂教学是否达到了教学预期，学生行为的预设一定程度上增加了真实教学系统的确定性。一个合理的教学系统要求教师根据学生的参与情况来不断调整自己的教学行为，如学生的参与情况在整体上达到预期期望，则才能进行下一个教学行为或学习活动，否则需要调整教学方式继续进行当前学习活动，或回溯上一个学习活动，或进行课堂教学管理，不允许无视学生的反馈而自话自说。可见，教学中学生的参与情况可作为判断和提高教学系统适应性的依据。教学系统的学生参与问题虽一直都备受研究者和教师的关注[18-19]，但他们的研究多停留在经验层面上，未上升到理论层面，更未生产出显性的、具有操作性的学生参与度评测指标[20-21]。
教学系统的一致性、适应性和学生参与度三个评测维度，为我们客观评估教学质量提供了宏观的思考方向，但仅有思考维度还不足以详细呈现一次教学系统运行过程中的教学特征，教学系统质量的客观评测还需要完善的教学系统评测指标体系的辅助。
四、DCR范式下教学系统质量的评测指标体系
（一）教学系统的一致性评测
只要学习目标清晰准确，采用的教学手段与学习目标保持一致且得当，那么这个教学系统就是可接受的。目标—手段之间的一致性是教学系统的合理性的基本保障。教学系统的目标—教学手段的一致性可通过以下两个指标考察[22]：
1. 目标知识点的学习水平与任务类型的一致性
目标知识点的学习水平（包括记忆、理解、运用三个认知水平，其中记忆和理解水平属于意义建构层次，运用水平属于能力生成层次）与任务类型之间的一致性是指，如果目标知识点的学习水平是意义建构层次（或能力生成层次），那么达成该目标知识点任务的类型也应是意义建构层次（或能力生成层次）。教学系统的目标—手段一致性I的计算可用如下公式：
其中，N代表任务的个数，单个任务目标与手段之间一致取1，不一致则取0，I在0≤I≤1之间取值，I值越大，说明教学过程中采取的教学活动类型越有利于学习目标的达成。
2. 被激活的IIS子图与任务的知识组块的一致性
保证目标知识点学习水平与任务类型的一致性是实现教学系统功能的基本要求，而课堂教学中激活的知识点与教学活动所包含知识点是否一致则更能清楚反映课堂教学是否完成了目标知识及其相关知识点的讲授，是评估教学系统一致性的另一个重要参照。教学中被激活的IIS知识子图与任务设计依据的IIS知识子图的一致性用教学系统的目标—手段一致性II表示，计算公式如下：
其中，N1、N2分别代表的是任务的知识组块中的知识点个数和被激活的IIS子图中的知识点个数;f（N1∩N2）代表二者共有的知识点个数;f（N1-N2）代表任务知识组块中具有而被激活的IIS子图所不具有的知识点个数，f（N2-N1）则反之;N代表任务的个数;另外，α=β=0.5。II值越大，说明课堂教学达成目标知识点及其相关知识点的程度越高，课堂教学质量越好。
（二）教学系统的适应性评测
教学系统的适应性是指某个教学系统应对它所在的教学实践场合变化的能力，主要通过增加符合学习目标的教学手段（学习活动或教学方案）的可选择性来解决教学中的各种突发情况。增加教学手段的可选择性可以通过学习目标的分层分级、学习内容的多种媒体表征、目标知识点的任务多元化等方法达到[23]。所以，在评测教学系统的适应性时，主要从学习目标的层次多元性、媒体多元性和目标知识点的活动多元性三个方面考虑。
1. 学习目标的层级多元性
教学系统设定的学习目标水平层次越多，满足学生个体差异的能力就越强。学习目标的层次多元性评测主要通过分析课堂教学视频，统计课堂教学中每个目标知识点的学习水平层次个数，然后计算目标知识点的平均水平层次个数，即学习目标的层级多元性T，计算公式如下：
学习目标的层次多元性
其中，N为目标知识点的个数，T值大于等于 1。T值越大，说明教学系统的适应性越强，越能满足学生群体的个体差异。
2. 媒體多元性
不同的媒体能提供不同的信息表征形态，丰富信息表征形态有利于学生知识的掌握，教学中允许采用的教学媒体种类越多，学生的可选择性就越多。教学中提倡采用多种教学媒体，媒体多元性一定程度上可提高教学系统的适应性[8]。媒体多元性是指激活目标知识点的信息流的媒体呈现形式的多样性，可用目标知识点表征形态数（即教学中目标知识点所含有的表征形态种类数）和目标知识点的表征形态均值两个指标进行测量。
3. 目标知识点的活动多元性
真实的课堂教学不会完全按照预设的教学方案发生，总会遇到教案不能解决的突发性教学问题，如果一味地依赖教案，反而会破坏教学。突发性教学问题的解决多依赖教师的教学经验，而教师的教学经验除去教师个人素养部分，最核心的内容是教师长时间积累下来的针对不同教学问题的多种解决方案（即教学案例或学习活动）。个人素养虽影响教学抉择，但突发的教学问题最终还是要通过具体的案例来解决。也就是说，教师为目标知识点准备的活动越多，应变突发教学情况的能力就越强，教学系统的适应性也就越强。目标知识点的活动多元性A的计算公式如下， 其中，N为目标知识点的个数。
目标知识点的活动多元性
（三）教学系统的学生参与度评测
教学系统功能的实现离不开学生的参与。学生的教学参与是指作为信息处理主体的学生在教学信息系统中输出信息的情况，可从学生的言语参与和激活知识的参与两方面进行评测。
1. 学生言语参与度
教学系统的学生言语参与度可用学生输出的信息流条数与信息贡献度两个指标测量。信息贡献度是指学生输出的信息流条数与课堂教学的总信息流条数的比值，它反映学生输出的信息流对教学信息集合IIS的贡献比例[24]。在同一教学系统中，某学生输出的信息流条数越多或信息流贡献度越大，说明该学生在课堂教学中越活跃;当横向对比某学生在不同的课堂教学中对教学信息集合的贡献时，可用信息贡献度衡量，信息贡献度越大，说明学生在某课堂中的发言越多。
2. 学生知识参与度
学生的课堂参与并不总是围绕教学主题展开，当学生输出与教学主题无关的言语信息时，根据学生输出的信息流条数多少并不能判定其对教学系统的实际贡献。这种情况下，我们还需借助学生输出信息流所产生的知识点激活量来进一步补充。为表达学生对教学系统运行的实际贡献，我们拟定了两个学生知识参与度的衡量指标：
（1）学生激活参与度（LA1）是指学生参与的整图知识点激活量与教学系统的总激活量的比值，计算公式如下：
其中，LQA是学生参与的单个知识点激活量，N是IIS图中的知识点个数。学生激活参与度LA1比值越大，说明相对于其他信息源，学生对课堂教学中知识点的激活贡献越大。
（2）学生目标激活参与度（LA2），是指学生参与的目标知识点的激活量与教学系统的总激活量的比值，计算公式如下：
其中，LQAT是学生参与的单个目标知识点激活量，Nt是IIS图中的目标知识点个数，N是IIS图中的知识点个数。学生目标激活参与度LA2比值越大，说明相对于其他信息源，学生对课堂教学中目标知识点的激活贡献越大，可反映出学生的课堂参与是否紧密围绕学习目标展开。
理论上，学习者参与度越高，说明学习者对知识的自我建构程度越深入，越有利于学生的知识学习。但在某些真实教学情境中，对知识信息来说，学习者的参与度并非越高越好，也不是越低越好，低参与度也不代表教学的不合理，还需要结合其他指标进行综合考量。
教学系统质量的评测不仅要关注教学系统的具体运行过程，还要考虑教学系统的实际运行结果。通过教学系统的一致性、适应性和学生参与度的相关指标，虽能从不同维度评测出课堂教学的交互过程特征，但难以说明课堂教学的整体交互质量如何。为此，本文在教学系统质量评测三维度相关指标的基础上，增设了一个反映教学系统整体交互质量的综合评测指标，即教学系统的社会交互水平。
（四）教学系统的社会交互水平评测
知识点激活量反映的是单个知识点的激活水平，即学生、教师和信息媒体围绕该知识点的社会交互水平。因此，教学系统的整体社会交互水平（即IIS图中所有知识点的整体激活水平）可用课堂教学中被激活的所有知识点的总激活量或目标知识点的总激活量表示。
1. 知识点总激活量
知识点总激活量（TQA1）反映的是课堂教学中教师、学生和信息媒体所输出的信息流动对教学系统IIS图中所有知识点的总体激活水平，知识点总激活量越大，说明教学系统的整体社会交互水平越高，计算公式如下：
2. 目标知识点总激活量
知识点总激活量反映的是对课堂教学中所有知识点的整体激活水平，但无法反映师生及媒体对学习目标的社会交互水平。而这一不足可用目标知识点总激活量来补充，目标知识点总激活量（TQA2）反映的是课堂教学中教师、学生和信息媒体所输出的信息流动对教学系统IIS图中目标知识点的总体激活水平，计算公式如下：
其中，QAT是单个目标知识点的激活量。目标知识点总激活量数值越大，说明教学系统中围绕目标知识点的社会交互越紧密。
基于以上阐述，本文形成的“DCR范式下教学系统质量的评测指标体系”见表1，基于该指标体系可对反映教学系统质量的教学系统运行过程特征和教学系统整体交互水平进行精确测评。
五、结 语
本文在分析DBR范式下教学评价方式的不足的基础上，基于DCR的教学系统模型及IIS图分析方法，以教学系统为稳定研究对象，提出教学系统的质量评测应从教学系统的一致性、教学系统的适应性和教学系统的学生参与度三维度来考虑，然后以教学系统质量评测三维度为思考框架，构建出了完善的教学系统质量评测的指标体系，包括目标知识点的学习水平与任务类型的一致性、被激活的IIS子图与任务的知识组块的一致性、学习目标的层级多元性、媒体多元性、目标知识点的活动多元性、学生言语参与度、学生知识参与度、知识点总激活量、目标知识点总激活量等九大指标。这些指标值可通过教学系统运行过程中教师、学生和信息媒体输出的信息流，按照一定的算法推算得来，信息流切分一旦完成，人无法干预，具有很强的客观性，用数据说话，在评估教学系统质量优劣时能有效克服凭借经验打分的主观性弊端。通过这些指标能清楚地说明课堂教学开展的整体交互质量如何、教学手段与学习目标是否一致、学习目标的达成程度如何、教学系统能否应对教学突发问题及学生的课堂参与情况如何等反映教学系统质量的基本问题。
[参考文献]
[1] 杨开城.DBR与DCR哪个才能架起教育理论与实践之间的桥梁[J].电化教育研究，2013（12）：11-15.
[2] 万福.远程教育中学生学习成绩评价的探析[J].电化教育研究，2008（11）：86-88.
[3] 高凌飚.高中物理學业评价体系的理念基础和建构[J].中国考试，2018，317（9）：4-10，33.
