为什么要研究一致性而不是有效性？

郑兰琴，杨开城

(1.北京师范大学 教育学部 教育技术学院，北京 100875；2.教育信息技术协同创新中心，北京 100875)

为什么要研究一致性而不是有效性？

郑兰琴1,2，杨开城1,2

(1.北京师范大学 教育学部 教育技术学院，北京 100875；2.教育信息技术协同创新中心，北京 100875)

有效性研究一直是实践领域的热点话题，也是教育研究的重要切入点。古今中外大部分教育研究都在证明某种教育行动的有效性。有效性是指某种教育干预在某种研究情境下令当事人满意的程度。它也是近年来盛行的基于设计的研究(Design-Based Research，DBR)的关注点。然而，受制于学习者特征和学习环境千变万化等因素的影响，有效性研究难以重复、迁移和推广，也无法生成可证伪的知识。有效性研究终究在理论建构方面一无所获。因此，该文提出一种新的研究范式：以设计为中心的研究(Design-Centered Research，DCR)。与DBR不同，DCR强调一致性研究。一致性研究关注的是不一致的真实来源和缺陷分析，从而能够生成可证伪的知识。该文深入探讨了有效性研究与一致性研究的差异、一致性研究的一般过程和一致性的计算方法，以供教育研究同行批判和参考。

一致性；有效性；基于设计的研究；以设计为中心的研究

一、引言

自从1990年以后，教育研究领域开始流行一种教育研究取向即基于设计的研究(DBR，Design-Based Research)。基于设计的研究由于强调设计、实施、评价、修正等环节的多重迭代而备受关注[1][2]。DBR也因此给人很严谨、科学的感觉。

事实上，DBR存在诸多问题。首先，DBR强调的多重迭代在实践中受制于时间、经费和精力等常常无法实现，它只是一个理想而已；第二，DBR强调不断根据实际效果而修改原设计，但在实践中很少有研究者报告修改的细节，即如何改进、改进了哪些方面、最终达到了何种效果；第三，DBR研究产生的研究结果信度偏低，主要原因是在DBR的研究中，研究者既要进行设计、实施整个研究，又要继续改进、再实施，研究者的多重角色使其得出客观的结论很难[3]；第四，DBR研究对于情境有很大的依赖性，因此DBR研究不具有可重复性。它得出的结论也是在特定情境下的结论，很难推广；第五，DBR缺乏方法和清晰的标准[4-6]；第六，DBR实际上达不到所期望的目标即同时进行设计评价和理论建构[7]。

为了克服以上问题，笔者提倡采用另一种教育的研究取向，DCR(Design-Centered Research，以设计为中心的研究)，旨在创生真伪可判、功能明晰的客观知识。DCR是一种着重教育干预的设计、旨在发展教育设计的技术知识并关注教育设计的缺陷以及教育中的一致性的研究取向[8]。与DBR不同，DCR关注的不是教育干预本身，而是教育干预的设计过程，试图将设计过程转化为技术性知识。现代教育是一种基于知识产品的教育，知识是一种稳定的客观存在，以知识为基础的教育设计过程是一个以客观数据为基础的稳定重现的过程，因此DCR研究是可以重复的。DCR试图分析产品的缺陷是否来源于设计本身，而又是什么样的设计技术能够消除产品的缺陷，进而提高产品的功能。由于产品的功能是客观的，如果能够提高产品的功能，则这种设计技术就是有效的，因此DCR能够产生设计技术知识。如下表所示，从中我们可以发现DBR和DCR在内涵、切入点、研究重点、研究目的、研究的可重复性、可推广性等方面都具有明显的不同。

DBR与DCR的区别

DCR关注的是教育实践中的一致性。从逻辑上讲，所谓一致性指的是一个形式系统中不蕴含矛盾[9]。DCR之所以关注教育的一致性，是因为教育实践中充满了不一致。教育的不确定性在很大程度上就表现为这种不一致。总的来说，DCR关注的一致性包括设计的目标与手段的一致性以及设计与实施的一致性。比如，教学的目标与手段的一致性指的是教学目标与采用的教学手段之间是无矛盾的、相统一的程度；教学的设计与实施的一致性指的是教学行动中的行为和内容与教学方案中所设定的行为和内容的吻合程度。

二、为什么要研究一致性而不是有效性？

无论是DBR还是早期其他教育研究，都执着于教育教学的有效性。而DCR放弃有效性研究，主张从一致性入手进行教育研究。有效性研究和一致性研究差异很大，具体表现在以下三个方面。

(一)归因机制

在教育研究中，有效性通常指的是某种教育干预在某种(研究)情境下令当事人(甚至蜕变成当权者)满意的程度，关注的是学习成绩的提高、学习动机的增强、学习态度的端正以及对某种教育产品的良好体验等等。有效性研究将教育教学过程看作是貌似可控的过程。但由于教育教学是一个复杂系统，在这个复杂系统中诸多要素交织在一起，经过临场的复杂相互作用而产生了特定的教育教学效果，这种复杂性使得从效果出发难以归因到教育教学活动的任何局部要素。既然难以归因，效果也就难以成为除了行动成就之外其他论断的证据。可是，具体行动是难以复制的，其效果便难以稳定复现。

一致性研究则不同。一致性是从微观数据分析出来的。当我们发现不一致或者某种一致性水平低于可接受的标准时，我们可以从分析机制和微观数据中找到这种不一致的来源。在有些情况下，一致性可以成为证据。比如，目标—手段一致性是教学方案、课程产品的质量证据之一，也是教学设计技术和课程开发技术获得实质改进的证据。教学设计和课程开发技术是可以重用的技术知识，它能使课程和教学领域中的某些一致性普遍达到某种水平。

(二)适用范围

由于“效果”直接源自微观的教学行动，因此有效性研究最适合的领域是教学实践领域，它不具有跨越领域的能力。在教学领域中的有效性归因机制都不明晰的情况下，有效性对于课程领域以及其他中观宏观领域的意义就更不明晰了。比如，课程改革的不良效果几乎是所有要素的贡献，不存在无辜的要素，人们难以将问题简单归结于课程、教师的能力、教育管理、文化差异等单个要素。换句话说，从效果出发，我们几乎对课程改革失败的原因说不出什么真知灼见来。

而一致性这个概念贯穿整个教育领域，不但可以用于教学研究，也可以用于课程研究，以设计为基调的教育实践都与一致性有关。教育实践中，从社会需求感知，到教育目的目标的确定，到课程产品及其体系的构建，到将课程意图转化为教学方案，到教学方案转化为教学行动，直到各种考试测验，都存在着各种一致性问题。整个教育实践的各层次系统之间都应该确保一致性。

此外，由于有效性无法成为理论研究所需要的证据，因此有效性研究也就无法生成可证伪的知识。有效性只是实践领域中适用的概念。而一致性研究，关注的是不一致的真实来源和缺陷分析，从而有能力改进相关的技术知识，因此一致性是实践领域和理论领域都适用的概念。

(三)反思性分析

反思性分析是教育实践的应然职业特征。人们已经习惯了基于有效性的反思性分析。基于有效性的反思性分析逻辑是，一旦教学遭遇无效，那么一定是教学的某个环节出了问题。可是由于有效性的归因机制不清晰，一线教师很容易从效果出发归因到自己关注的教学活动中的那个局部要素，比如方法、技巧、任务、媒体或模式等等，而且这种归因多半是一种简单的主观猜测。若想使反思性分析具有一点客观的样子，那么教学效果就需要得到单独的测量，前测、后测是不可避免的。这使得这种反思性分析难以成为常规的日常职业行为，即使老师们有时间，也不可能为每节课单独准备前后测环节。

一致性虽然不如有效性直观，但它也可以用于反思性分析，而且有其优势。基于一致性的反思性分析的逻辑如下：

(1)若目标是合理且完整的(价值取舍合理、期望合理)；

(2)且行动方案与目标是一致的，且可行(包含着方案设计者对各种规律的理解和遵循)；

(3)且行动与方案是一致的(临场处置没有偏离预设)；

(4)那么行动就是可以接受的(具体何种效果，则取决于非可控要素)。

如果某次行动是不被接受的，那么可以怀疑某处的一致性被严重破坏。沿着上述逻辑链路进行回溯，结合同行对话、经验借鉴，进行反思性分析，考察不一致发生之处、不一致是积极的还是消极的、不一致产生的原因等等，从而改进理念、技巧、技术、经验、视野等等，进而提高职业综合素养。虽然实践中的反思性分析所关注的并非只有一致性，各种教育教学产品的适应性也是重要的方面。但是一致性是最基本的反思切入点。如果教学满足了一致性和适应性要求，却没有达到令人满意的效果，则需要考虑学生的学习能力问题，而不能仅仅考虑教育教学手段自身的质量。

此外，与有效性相比，一致性的测量并不需要为每次教学安排前后测环节。在某种程度上，一致性判定更易获得。

三、一致性的一般研究过程和计算方法

(一)一致性研究的一般过程

研究两类事物X与Y的一致性的过程，就是对X与Y的具体个例x和y用同一种编码系统进行编码以及比较的过程。其大致流程如下：

(1)分别获得X与Y的个例x和y；

(2)确立一种同时适用于X和Y的编码体系C及其分析编码的方法；

(3)对x和y进行分析编码，获得x和y的编码表征C(x)和C(y)；

(4)确立一种计算方法，计算C(x)和C(y)的一致性；

(5)确立可接受的一致性标准，并在此基础上进行反思性分析。

对于教育实践中的一致性来说，由于教育系统本质上属于信息系统，因此应该广泛采用基于信息流的分析编码方法。只有对教学活动进行分析时，行为编码才是可用的，但多数情况下信度较低，得出的结论缺乏启发意义。毕竟教学不是照本宣科地表演过程，教师的临场处置所产生的预期之外的行为未必是无益的。从根本上说，去除了信息内容的抽象的行为编码实际上与教学目标失去了联系，也就不具备教学研究的效度。

我们所倡导的IIS图分析法是一种基于信息流的教学分析方法[10-12]，它可以拓展至分析所有的教育干预。IIS图分析法将教育干预切分成一系列信息流，有些信息流包含着特定的知识点，知识点是学习目标的一个维度，因此信息流与学习目标以及学习结果之间便构成了直接联系。通过对信息流进行结构化编码，再构建一个算法基于每条信息流的某种成分来推算信息流序列的整体属性和特征，由此获得教学的整体属性和特征。由于这些属性和特征与学习目标和结果有着内在的联系，因此IIS图分析法的研究效度会得到保证。

(二)一致性的计算方法

在一致性研究中，一致性的计算方法至关重要，它与分析编码以及反思性分析过程联系密切。不同类型的一致性可采用不同的计算方法。本文在这里介绍几种计算一致性的方法。

1. 利用向量空间的位置关系来推算

利用向量空间的位置关系来推算一致性的方法包括两种很经典的算法，第一种是通过欧几里得距离来计算，第二种是通过余弦法来计算一致性。一致性度量与距离度量成反比，距离越大一致性越小，距离越小一致性越大。

(1)通过计算欧几里得距离来衡量一致性

如果我们要比较两类事物的一致性，而这两类事物都具有N维的特征，则可以通过欧几里得距离来计算一致性。欧几里得距离衡量的是多维空间中各个点之间的绝对距离。计算方法如式1所示[13]，然后再用式2把这个值规约到[0，1]之间来计算二者的一致性：

公式1中，X = (x1, x2, x3, … xn)，Y = (y1, y2, y3, …yn)，xi和yi分别代表X、Y两类事物所具有的特征，d(X,Y)代表欧几里得距离；公式2中，S代表X与Y的一致性。

(2)通过余弦法计算一致性

余弦法主要是通过测量两个向量内积空间的夹角的余弦值来度量它们之间的一致性。夹角越小，余弦值越大，一致性越高。比如，可以用余弦相似性来衡量两个教案之间主题、目标、知识点范围等的一致性。计算方法如式3所示[13]：

公式3中，Xi和Yi分别代表X、Y两类事物所具有的特征，S代表X与Y的一致性。

2. 利用集合对象的重合度来推算

一致性在某种程度上意味着两类事物有重叠的部分。因此，我们可以把要比较的两类事物看做两个集合，然后比较这两个集合中各个对象的重合度，进而比较这两类事物的一致性。

(1)采用Tversky系数计算一致性

Tversky相似系数是用来测量两个集合对象的相似度，其计算方法如式4所示[14]：

公式4中，X和Y分别代表要比较的两个集合，代表这两个集合中交集的元素的个数，代表X集合中存在而Y集合中不存在的元素个数，代表Y集合中存在而X集合中不存在的元素的个数，α和β是可调参数，α+β=1。

(2)采用Jaccard相似系数计算一致性

Jaccard相似系数主要用于计算符号度量或布尔值度量之间的相似度，它可以用来比较两类事物是否一致，计算方法就是两个集合的交集中元素的个数与并集中元素个数的比值，如果交集等于并集，则意味着两个集合完全一致，计算方法如式5所示[13]：

公式5中，X，Y分别代表要比较的两类事物的集合，X∩Y代表两个集合的交集，X∪Y代表两个集合的并集。

3. 利用差异性检验来推算

(1)通过卡方检验来检测一致性

如果变量的取值为百分比，可以通过卡方检验来获得二者是否有显著性差异。如果有显著性差异，则说明二者不一致。

(2)通过T检验检测一致性

如果变量的取值是数值型变量(非百分比)，一般可以通过T检验来衡量二者是否有显著性差异。如果有显著性差异，则说明二者不一致。

(3)采用效应量来检测一致性

为了检测二者的重叠程度，笔者建议采用效应量(Effect Size)来更加精确地检测两类事物的重叠程度。效应量是衡量实验效应强度或者变量关联强度的指标[15]，它受样本容量大小的影响很小。效应量它表示不同处理下的总体均值之间差异的大小，在平均数检验中效应量表示是两组样本的非重叠程度，效应量越大，重叠程度越小，效应量越小则相反。两组均值差异的比较，其效应量的计算常采用Cohen 的d值计算，计算公式如式6所示[16]：

其中，M1和M2分别代表两组的均值，n1和n2代表两组样本的数量，S1和S2代表两组样本的标准差。如果d值为0-0.2，表示低效应，因此一致性程度高；d值为0.2-0.8表示中等效应；d值大于0.8则表示高效应，因此一致程度低。

四、结束语

DCR由于坚持采用科学研究的范式，认为设计才是教育研究的核心，突出研究的可重复性并能生成设计技术知识，将会备受关注并在实践中发挥巨大的作用。而本文倡导的一致性研究是践行DCR的重要方面，它避开有效性这个很含糊的说法，突出了教育的设计属性[17]，具备清晰的指导实践的路径。笔者期望本文提出的一致性研究能够为教育研究者提供参考。未来，我们将进一步对一致性的分析和计算方法进行论证，同时开展大量的实证研究，以期规范并完善一致性研究。

[1]Collins A..Toward a design science of education [M].Heidelberg:Springer, 1992.

[2]The Design-Based Research Collective.Design-based research:An emerging paradigm for educational inquiry [J]. Educational Researcher, 2003, 32(1):5-8.

[3]Barab, S., & Squire, K..Design-based research: Putting a stake in the ground [J]. The Journal of Learning Sciences, 2004, 13(1): 1–14.

[4]Dede, C.. If design-based research is the answer, what is the question?[J]. Journal of the Learning Sciences, 2004, 13(1):105–114.

[5]Kelly, A. E.. Design research in education: Yes, but is it methodological?[J]. Journal of the Learning Sciences, 2004, 13(1):115–128.

[6]Shavelson, R. J., Phillips, D. C., Towne, L., &Feuer, M. J..On the science of educational design studies[J]. Educational Researcher,2003, 32(1): 25–28.

[7]Phillips, D. C., &Dolle, J. R.. From Plato to Brown and beyond:Theory, practice, and the promise of design experiments[A]. In L. Verschaffel, F. Dochy, M. Boekaerts, & S. Vosniadou (Eds.),Instructional psychology: Past, present and future trends: Sixteen essays in honour of Erik DeCorte[C], Amsterdam, The Netherlands:Elsevier.2006.277–293.

[8]杨开城.DBR与DCR哪个才能架起教育理论与实践之间的桥梁[J].电化教育研究, 2013,(12):11-15.

[9]Hans, R..Elements of Symbolic Logic[M]. New York: Dover Publications, 1947.

[10]杨开城.教学系统分析技术的初步研究[J].中国电化教育,2007,(8):1-5.

[11]杨开城,林凡.教学系统的IIS图分析法及其实证研究[J].中国电化教育,2010,(2):31–34.

[12]郑兰琴,杨开城,黄荣怀.基于信息流的协作学习交互分析方法的实证研究[J].中国电化教育, 2013, (11):30–35.

[13]Deza, M. M., Deza, E. Encyclopedia of distances[M]. Berlin Heidelberg: Springer, 2009.

[14]Tversky, Amos. Features of Similarity [J].Psychological Reviews,1977, 84 (4): 327-352.

[15]Snyder, P., & Lawson, S..Evaluating results using corrected and uncorrected effect size estimates[J]. Journal ofExperimental Education,1993,61(4): 334-349.

[16]Cohen, J. Statistical power analysis for the behavioral sciences[M].New York: Academic Press, 1969.

[17]王文静,谢秋葵,杜霞.教育中的设计:研究与发展趋向分析[J].现代教育技术,2009,(5):13-16.

郑兰琴：博士，讲师，硕士生导师，研究方向为计算机支持的协作学习、教学设计、学习分析技术(bnuzhenglq@bnu.edu.cn)。

杨开城：教授，博士生导师，研究方向为教育技术基本理论、课程开发(yangkc_beijing@bnu.edu.cn)。

2014年3月31日

责任编辑：李馨 赵云建

Why We Should Research on the Consistency rather than the Effectiveness?

Zheng Lanqin1,2, Yang Kaicheng1,2
(1.School of Educational Technology, Faculty of Education, Beijing Normal University, Beijing 100875; 2.Collaborative&Innovative Center for Educational Technology, Beijing 100875)

The research on the effectiveness is the central concern in the fi eld of education. Most of studies seek to examine the effectiveness of interventions. The effectiveness measures the desired degree that is defined by researchers in one setting. The effectiveness is also the focus of Design-Based Research (DBR). However, the research on the effectiveness cannot be replicated and generalized. Falsi fi able knowledge cannot be generated because of various learners’ characteristics and learning environments.It is very dif fi cult to construct new theory through the research on the effectiveness. This research proposes a new approach, namely Design-Centered Research (DCR). DCR is very different from DBR, which puts emphasis on the consistency. The consistency focuses on the reason why it is inconsistent and aims to analyze the defect, thus falsi fi able knowledge can be generated in this way. In addition, the differences between the research on the effectiveness and the consistency are examined in this study. How to conduct the research on the consistency and calculate the consistency are also explored in depth.

Consistency; Effectiveness; Design-Based Research; Design Centered Research

G434

A

1006—9860(2014)09—0020—04