协作学习活动设计质量评估方法的个案研究*

崔盼盼 郑兰琴



协作学习活动设计质量评估方法的个案研究*

崔盼盼 郑兰琴[通讯作者]

（北京师范大学 教育学部教育技术学院，北京 100875）

设计是教育研究的重要属性之一，然而目前大多数研究重实施轻设计。协作学习活动包括设计与实施两个方面。大多数研究主要关注协作学习活动实施的效果，缺乏对协作学习活动设计的研究，而设计从根本上影响着协作学习活动的质量和效果。文章从设计的视角出发，旨在开发评估协作学习活动设计质量的新方法。文章探索了协作学习活动设计质量的评估方法，从知识点范围一致性、协同知识建构水平一致性和交互方式一致性三个方面，对协作学习活动的设计和实施过程进行了深入分析。结果表明，知识点范围一致性、协同知识建构水平一致性和交互方式一致性三个指标可以有效评估协作学习活动设计的质量，并为改进协作学习活动的设计提供有价值的参考。

协作学习；活动设计；信息流；一致性

引言

设计是人类有目的的意识活动，其本质在于将事物从现存状态改善到较好状态[1]。自然科学着重探索“是什么”的问题，而设计科学重点探索“应该是什么”[2]。近年来，教育领域经常采用基于设计的研究范式（Design-Based Research，DBR）开展研究。然而，DBR关注教育干预的有效性，侧重发展情境性知识，研究结论难以重复和推广[3]。本研究采用另一种研究范式即以设计为中心的研究（Design-Centered Research，DCR），DCR关注教育中的设计要素，强调教育设计的一致性，通过一致性分析并判断教育设计的好坏[4]。

协作学习是学生以小组形式参与、为达到共同的学习目标、在一定的激励机制下最大化个人和他人习得的成果而合作互助的一切相关行为[5]。协作学习旨在通过同伴的交流互动，提高学习者的协同知识、技能、情感态度、价值观的建构水平[6]。协作学习活动的设计具有举足轻重的地位，从源头上影响着协作学习活动。当学生进行协作学习活动时，为什么有的小组会产生好的效果，有的却不会呢？哪些是由于设计因素引起的？哪些方面偏离了设计意图？已有的研究成果大多关注协作学习的结果或实施过程，而忽略了协作学习活动的设计、协作学习活动设计与实施之间的联系，也缺少对协作学习活动设计的评估。本研究旨在从信息流的视角，开发协作学习活动设计质量的评估方法，进而提高协作学习活动的效果。

一 国内外研究述评

1 关于协作学习活动设计的研究

约翰逊兄弟[7]提出协作学习包含五个要素：积极互赖、个体责任、小组自加工、社交技能、面对面的促进性交互。协作学习活动的设计离不开活动理论的指导，而活动理论与协作学习同时产生于20世纪70年代并逐渐走进研究者的视野。活动理论经历了维果斯基的三角模型、列昂捷夫引入共同体、规则和分工的扩展模型、恩格斯托姆提出的两个交互活动系统模型三代的演变，主要包含主体、客体、共同体、规则、分工等要素[8]。

已有的研究成果主要关注：①课堂中的协作学习活动。如Hämäläinen等[9]提出教师要根据学习目标与需求设计协作学习活动，并采用基于问题的学习方式引导学生在解决问题的过程中协同建构知识，教师作为指导者、监督者和学习伙伴参与学生的协作学习过程。②协作学习活动过程和关键要素的设计。如余亮等[10]提出了协作学习活动的设计框架，该框架主要包含主体（学生）、客体（学习内容）、共同体（学习小组）、工具（学习资源和学习工具）、规则（角色）、劳动分工（任务）等要素；杨开城[11]提出了学习活动的构成要素，主要包括学习目标、活动任务、交互过程、学习成果、学习资源和工具、活动规划等六个方面。本研究认为，协作学习活动设计主要包含目标设计、任务设计、交互方式设计、资源设计和评价设计等五个要素，其中交互方式设计包含交互策略的设计、角色的设计和交互信息类型的设计。

2 关于协作学习活动评估的研究

目前，对于协作学习活动评估不同研究所采用的方法也不尽相同，主要可归纳为以下三种：①采用前后测、问卷或访谈的方法，对学生的学习成绩进行对比[12]；②采用内容分析法或行为序列分析法，来分析学生的讨论记录和行为特征，分析协作学习活动的过程，进而评估其效果[13]；③采用社会网络分析法，分析学生的参与度、成员之间的互动关系等因素，来评估协作学习活动的效果[14]。

总的来说，前后测、调查法只关注学生参与协作学习活动前后的变化，而没有关注学生在协作学习活动过程中的表现。内容分析法、行为序列分析法、社会网络分析法等重点对协作学习活动的实施过程进行分析，却没有对协作学习活动的设计进行分析，也没有将协作学习实施过程与活动设计进行对比，难以促进设计者的反思性分析。另外，以上这些分析方法未能对如何改进协作学习活动设计提供指导，尚未在微观层面分析协作学习活动设计与实施过程的差异。

二 协作学习活动的评估方法

1 操作步骤

本研究团队在前期的研究已经论证了基于信息流的协作学习交互分析方法的有效性[15]。郑兰琴[16]从一致性的视角，分析了课堂教学设计和实施的一致性，发现课堂教学设计和实施在知识点范围和知识点激活量方面高度一致，但在信息流序列方面不一致。基于此，本研究基于DCR的研究范式，采用基于信息流的分析方法来评估协作学习活动的设计质量，主要通过构建相关指标对协作学习活动进行分析，进而为协作学习活动的设计提供技术性知识。基于信息流的协作学习活动设计质量的评估方法主要分为以下三个步骤：

（1）设计协作学习活动

协作学习活动设计方案从学习目标、任务、交互方式、资源和评价方法等五个方面进行设计：①学习目标设计包括知识与技能、过程与方法、情感态度与价值观三个角度；②任务设计要求详细且清晰；③交互方式包括交互策略、角色和交互信息类型的设计——交互策略包括讨论、互采互访、切块拼接、头脑风暴、同伴互评、辩论等，角色包含协调者、总结者、信息搜索者、评价者、鼓舞者等[17]，交互信息类型则主要包括知识语义、事实和范例、问题和答案、目标描述、情境、管理指令、其它相关信息、不相关信息；④资源设计包括学习工具、学习材料等要素；⑤评价方法的设计包括评价方式、评价标准以及奖励规则。

（2）实施协作学习活动

实施协作学习活动包括对学习者开展关于协作学习平台使用方法的培训、学生开展协作学习活动等环节。面对面的协作学习活动需要全程录制视频，在线协作学习活动则需要记录交互信息，以便于后续分析。

（3）评估协作学习活动设计质量

评估协作学习活动采用基于信息流的方法，主要包括绘制知识网络图、切分信息流和相关指标计算等步骤。针对一个协作学习活动设计方案可绘制一个知识网络图，而实施一次协作学习活动也可以生成一个知识网络图。本研究从一致性的视角开发计算指标，进而评估设计的质量。一致性是指如果目标合理、方案与目标一致，且行为按照方案发生，则行为可接受，是DCR关注的重点[18]。笔者认为，协作学习产生何种结果具有不确定性，而这种不确定性可以通过一致性分析来减少。因此，本研究中的分析指标主要包括知识点范围一致性、协同知识建构水平一致性和交互方式一致性。

2 计算方法

（1）知识点范围一致性

协作学习活动设计方案和实施过程在激活的知识点方面既有相同的部分，也有不同的部分。因此，对于活动设计方案和实施过程中知识点范围的一致性可以通过比较两者所激活的知识点的一致性进行分析。通过比较两者知识点范围的一致性，可以反映协作学习活动设计方案的质量。协作学习活动设计方案与活动实施过程知识点范围一致性的计算如公式（1）所示[19]，其中A代表协作学习活动设计方案中所激活的知识点数量，B代表协作学习活动实施过程中所激活的知识点数量，f（A∩B）代表活动设计方案和活动实施过程中共同激活的知识点数量，f（A-B）代表活动设计方案中激活而活动实施过程中没有激活的知识点数量，f（B-A）代表活动实施过程中激活而活动设计方案中没有激活的知识点数量。

公式（1）

（2）协同知识建构水平一致性

协同知识建构水平一致性主要通过计算协作学习活动设计方案和实施中最终生成的知识网络图的一致性来分析。知识网络图是活动设计方案和活动实施过程的具体体现，可以反映学生在协作学习过程中的协同知识建构水平，并反映学生之间的协作是否聚焦于协作学习、是否存在跑题现象等。通过计算两张知识网络图的一致性，可以反映教师期望的协同知识建构水平与学习者实际水平的差距，从而为活动设计的改进提供思路。知识网络图一致性的计算步骤如下：第一步，确定活动设计方案和活动实施所对应的知识网络图M1和M2的知识结点集合N；第二步，对于知识结点集合中每个结点Ni，分别找到活动设计方案和活动实施所对应的知识网络图中与其直接相连的结点，计算其交集中每个结点的知识点激活量总值I和并集中每个结点的知识点激活量总值U的比值，其中交集中每个结点的激活量取活动设计和实施中知识点激活量的均值；第三步，计算活动设计方案和活动实施所对应的知识网络图的一致性，如公式（2）所示。

公式（2）

（3）交互方式一致性

交互方式设计是协作学习活动设计的核心，也是影响协作学习效果的关键。交互方式包含交互策略T的设计、角色R的设计和交互信息类型X的设计等三个方面。其中，交互策略T包含讨论、头脑风暴、同伴互评、互采互访、切块拼接、辩论等子类型；角色R包含组织者、评价者、总结者、信息搜索者、技术员、鼓舞者等子类型；交互信息类型X包含知识语义、事实和范例、目标描述、情境、答案、管理指令、其它相关信息、不相关信息等子类型。交互方式一致性的计算方法如公式（3）所示。其中，TC表示协作学习活动设计方案和实施共同含有交互策略子类型的数量，TZ表示协作学习活动设计方案和实施共同含有交互策略子类型的总数；RC表示协作学习活动设计方案和实施共同含有角色子类型的数量，RZ表示协作学习活动设计方案和实施所含有角色子类型的总数；XC表示协作学习活动设计方案和实施所含有交互信息子类型的总数，XZ表示协作学习活动设计方案和实施所含有交互信息子类型的总数。

公式（3）

三 个案研究及其结果

1 设计协作学习活动

本研究搜集了两个案例，旨在论证基于信息流的协作学习活动设计质量评估方法的可行性和合理性。这两个案例分别针对意义建构类和作品设计类任务。个案一是意义建构类的协作学习活动，协作学习任务是设计人教版七年级课文《皇帝的新装》的教案；个案二是作品设计类的协作学习活动，协作学习任务是制作介绍北京师范大学的PPT。协作学习活动设计方案主要从目标、任务、交互方式、资源、评价方法五个方面进行设计。为了更好地改进协作学习活动设计方案，本研究对每个个案均进行了2次协作学习活动的设计与实施，且2个个案都针对任务内容、交互方式、学习资源、评价方法等内容进行了改进。限于篇幅，本研究省略了改进前后协作学习活动的设计方案。

2 实施协作学习活动

本研究共招募12名学生，包括3名教育技术学专业硕士研究生，3名科学技术与教育专业硕士研究生，6名教育技术学本科生，所有学生均具有该实验所需的知识基础。本研究中的协作学习活动是在微格教学情境下通过面对面的方式进行的，个案一和个案二中的协作学习活动均开展了2次，2次实验选用的学生不同，通过前测显示两组学生的知识没有显著性差异方可进行实验。个案一中前测显示两组学生的成绩没有显著性差异（=0.038，=0.972），个案二中前测显示两组学生的成绩也没有显著性差异（=0.215，=0.840）。

3 评估协作学习活动的设计质量

协作学习活动设计质量评估方法包括三个步骤：第一步，绘制知识网络图；第二步，按照信息流切分规则，对个案一和个案二中协作学习活动的设计方案和实施过程进行切分；第三步，计算相关指标，从而评估协作学习活动设计的质量。

4 计算结果

个案一和个案二在知识点范围一致性、协同知识建构水平一致性和交互方式一致性三个指标的计算结果如表1所示。

表1 个案一和个案二计算结果

（1）知识点范围一致性

根据公式（1）计算得出，个案一改进前协作学习活动设计方案和实施过程的知识点范围一致性为0.78；通过对活动设计进行改进，实施了第二次协作学习活动，发现改进后活动设计方案和活动实施过程的知识点范围一致性为0.84——改进后知识点范围一致性指标提高，说明改进后的协作学习活动设计质量有所提高。个案二同样如此，知识点范围一致性指标的计算结果有所提高，说明改进后的协作学习活动设计质量得到了提高。

（2）协同知识建构水平一致性

通过公式（2）的计算得出，个案一改进前协作学习活动设计与实施过程的协同知识建构水平一致性为0.48，改进后为0.59；个案二改进前协作学习活动设计与实施过程的协同知识建构水平一致性为0.58，改进后为0.64——两个个案改进后相较于改进前的结果均有所提高，说明通过改进协作学习活动设计质量有所提高。

（3）交互方式一致性

公式（3）的计算结果显示，个案一改进前协作学习活动设计与实施过程的交互方式一致性为1.81，改进后为2.38——改进后交互方式一致性有所提高，说明改进后的协作学习活动设计质量有所提高。同样，个案二协作学习活动设计与实施过程的交互方式一致性在改进前为1.33、改进后为2.75，说明改进后的协作学习活动设计质量也提高了。

四 反思性分析

反思性分析的价值在于反思协作学习活动设计与实施过程，为更好地改进协作学习活动提供建议。通过对协作学习活动设计与实施过程进行反思，发现导致相关指标计算结果较低的原因，寻找改进的方法，进而提高协作学习活动设计的质量。

协作学习活动设计是影响协作学习活动效果的重要因素。通过对个案一和个案二中改进前的协作学习活动设计方案进行分析，本研究发现造成知识点范围一致性较低、协同知识建构水平一致性较低、交互方式一致性较低的原因主要有以下几点：①任务要求不明确，开展协作学习时间过短，导致学生对任务理解不透彻，学生不能进入协作学习的状态而难以进行充分的讨论和交流；②资源设计不充分，相关资源欠缺，导致个案一中教案设计内容不完善，个案二中学生制作的PPT内容匮乏单一；③缺少脚手架的设计，导致个案一中学生设计的教案缺乏必要的知识点，个案二中学生制作的PPT主题不全面；④交互方式设计不完善，仅要求学生通过讨论的方式进行协作学习，缺乏其它交互策略来促进学生的深度交互；⑤缺少角色分工的设计，同时交互信息类型设计不完善，导致个案二中小组成员责任感较低，讨论过程中跑题现象严重；⑥评价规则设计不完善，只进行简单的描述，缺少明确的规定。详细的评价规则有助于学生明确任务，激发学生进行协作学习的动机。针对以上问题，本研究分别对个案一和个案二中第一次协作学习活动设计方案进行改进，如个案一中对任务要求、交互策略设计和资源设计、评价规则进行了改进，个案二中对任务要求、评价规则进行了改进，同时增加了资源和脚手架的设计，增加了角色分工，增加了头脑风暴和互采互访交互策略的设计。最后，通过相关指标的计算发现，个案一和个案二中改进后的协作学习活动设计质量与改进前相比均有提高。

五 总结与展望

本研究两个个案的研究初步探索了知识点范围一致性、协同知识建构水平一致性和交互方式一致性三个指标的有效性，进而论证了协作学习活动设计质量评估方法的可行性和合理性。

需要指出的是，本研究的不足主要体现在两方面：①本研究只分析了两个个案，学科仅限于教育技术学；②本研究中协作学习活动设计的评估指标有待进一步完善。在后续的研究中，一方面将进一步扩大样本量进行实证研究，针对不同类型的任务开展协作学习活动；另一方面将从多个维度开发协作学习活动设计质量的评估指标体系。

[1]王文静,谢秋葵,杜霞.教育中的设计:研究与发展趋向分析[J].现代教育技术,2009,(5):13-16.

[2]Mor Y, Winters N. Design approaches in technology-enhanced learning[J]. Interactive Learning Environments, 2007,(1):61-75.

[3]郑兰琴,杨开城.为什么要研究一致性而不是有效性?[J].中国电化教育,2014,(9):20-23,33.

[4]杨开城.DBR与DCR哪个才能架起教育理论与实践之间的桥梁[J].电化教育研究,2013,(12):11-15.

[5]黄荣怀.计算机支持的协作学习[M].北京:人民教育出版社,2003:3.

[6][15][17]郑兰琴.协作学习的交互分析方法——基于信息流的视角[M].北京:人民邮电出版社,2015:66.

[7](美)约翰逊等著,刘春红,孙海法编译. 合作性学习的原理与技巧[M].北京:机械工业出版社,2001:78.

[8]Engeström Y. Expansive learning at work: Toward an activity theoretical reconceptualization[J]. Journal of Education & Work, 2001,(1):133-156.

[9]Hämäläinen R, Häkkinen P. Teachers’ instructional planning for computer-supported collaborative learning: Macro-scripts as a pedagogical method to facilitate collaborative learning[J]. Teaching and Teacher Education, 2010,(4):871-877.

[10]余亮,黄荣怀.活动理论视角下协作学习活动的基本要素[J].远程教育杂志,2014,(1):48-55.

[11]杨开城.教学设计:一种技术学的视角[M].北京:电子工业出版社,2010:101.

[12]Ladage L D, Tornello S L, Vallejera J M, et al. Variation in behavioral engagement during an active learning activity leads to differential knowledge gains in college students[J]. Advances in Physiology Education, 2018, (1):99-103.

[13]Wang S M, Hou H T, Wu S Y. Analyzing the knowledge construction and cognitive patterns of blog-based instructional activities using four frequent interactive strategies (problem solving, peer assessment, role playing and peer tutoring): a preliminary study[J]. Educational Technology Research & Development,2017,(2):301-323.

[14]Zhang S, Liu Q, Chen W, et al. Interactive networks and social knowledge construction behavioral patterns in primary school teachers’ online collaborative learning activities[J]. Computers & Education, 2017,104:1-17.

[16][18][19]郑兰琴.教学设计与实施一致性分析的个案研究[J].现代远程教育研究,2015,(3):95-103.

Case Study on the Evaluation Method of the Design Quality of Collaborative Learning Activities

CUI Pan-pan ZHENG Lan-qin

Design is one of the important attributes of education research, while most research centers on the implementation and neglects the design. The collabotative learning activites include the two aspects of design and implementation. However, major research primay focuses on the implementation results of collaborative learning activites, and lacks the study on the design of collaborative learning activities. In this article, a new method to analyze the design quality of collaborative learning was developed from the perspective of design. Meanwhile, the evaluation method of the design quliaty of collaborative learning activities was explored. In addition, the design and implementation process of collaborative learning activities were analyzed deeply from the three aspects of the consistence of knowledge scope, the consistence of construction level of collaborative knowledge, and the consistence of interactive approaches. The results indicated that the three indicators were effective to evaluate the design quality of collaborative learning activities, and could provide valuable reference for improving the design of collaborative learning activities.

collaborative learning; activity design; information flow; consistence

G40-057

A

1009—8097（2018）10—0064—06

10.3969/j.issn.1009-8097.2018.10.009

本文为北京市教育科学“十三五”规划2018年度重点课题“北京市中小学人工智能课程的学习活动设计与评价研究——基于信息流的视角”(课题批准号：CAHA18089)的阶段性研究成果。

崔盼盼，在读硕士，研究方向为计算机支持的协作学习，邮箱201621010200@mail.bnu.edu.cn。

2018年4月28日

编辑：小西