开放教育资源TIPS质量保证框架的验证研究

□ [英]保罗·川内

肖俊洪 译

开放教育资源TIPS质量保证框架的验证研究

□ [英]保罗·川内

肖俊洪 译

本文介绍了开放教育资源TIPS质量保证框架（http://www.open-ed.net/oer-quality/tips.pdf）的验证结果。我们最初向世界各地60多位开放教育资源专家征集标准，共收集到205条，然后又将这些标准提交给几次质量保证国际研讨会的与会者讨论，最终形成了65条被认为是必不可少的标准，即TIPS框架。该框架包含四个层次内容，分别是教学和学习过程（Teachingandlearningprocess，即T），信息和材料内容（Informationandmaterialcontent，即I），呈现、产品和格式（Presentation,productandformat，即P）以及系统、技术性的和技术（System,technicalandtechnology，即S）。根据劳希（Lawshe，1975）的观点，我们采用德尔菲法（Delphi）把TIPS框架发送给开放教育资源专家评审，以确定其内容效度。我们逐条计算这65条标准的内容效度比率（ContentValidityRatio，简称CVR），剔除了几条标准之后，得出它们的内容效度指数（ContentValidityIndex，简称CVI）大于0.80。我们还请世界各地目标终端用户验证TIPS框架。大多数开放教育资源都是由大学教师创建的，目的是使资源能在大学得到重新利用，相比之下，大学前教育教师创建的开放教育资源很少。TIPS框架是为学前、小学、中学和职业教育在校（和不在校）教师专门设计的。总的看来，这些教师在开始的时候不了解开放教育资源，但是根据他们的反馈而得出的内容效度指标相当高，他们表示个人愿意在教学中尝试使用TIPS框架，把e-learning技术引入传统教学实践中。根据验证研究结果，我们把TIPS框架修改版作为开放教育资源在线发布。虽然本框架的目的是服务大学前教育教师，但是我们目前还在进行最后一轮验证，对象是学生，目的是检验使用开放教育资源和TIPS框架的教师对学生学习进步的影响。

质量保证；准则；验证；德尔菲法；教师作为开放教育资源创建者

导读：本刊2013年第10期率先发表了保罗·川内教授的研究成果《开放教育资源质量保证准则TlPS框架》。该文是川内教授受英联邦学习共同体亚洲教育媒体中心委托所开展的一项课题的研究成果，后来又被译成其他语言。本文是TIPS框架的验证研究报告。验证报告全文将提交给课题委托方英联邦学习共同体，而这篇文章则是该报告的浓缩版，也是提交给2014年开放教育资源（亚洲）大会的材料。承蒙川内教授的支持，我们将其译成中文发表，以飨读者。

本文是开放教育资源质量保证准则框架研究的延续，介绍了TIPS框架的验证方法、过程和结果。经过这一轮的验证，进一步明确TIPS框架原有的65条标准中24条是“必不可少”的核心标准。该课题一开始征集了205条标准，后来经过多方论证、讨论和合并，保留了65条标准，本次科学验证又确定其中24条为最基本的核心标准。虽然“这样做会在一定程度上影响效度和信度”，但是如果一个质量保证框架包含太多标准，这势必会影响其实用性，因此作者做了取舍，把“制作一种能用于实际工作的高效工具，而且其效度和信度在可接受的水平之上”作为目标。本刊本期发表的德国杜伊斯堡-埃森大学（UniversityofDuisburg-Essen）技术促进学习和创新学习与培训研究所两位博士托马斯·里克特和帕特里克·威斯的文章《论开放教育资源之适宜性质量观》，对川内教授TIPS框架的实用性提出了质疑，认为该框架过于庞杂繁琐。其实，川内教授也一直在追求一个简约的框架，确保其实用性——这点我们可以从课题背景介绍中了解到。我想如果两位德国学者看到这份验证报告，他们会认同川内教授的努力的。我们相信经过不断完善，TIPS框架2.0版本（修改版）必将更加科学，能更有效地指导一线教师（尤其是其目标用户——从事大学前教育的教师）制作、分享和利用开放教育资源。

对于广大读者同行而言，本文另一亮点是其研究方法。模型建构、标准制订、框架搭建等等在学术文献中并非鲜见，但是，毋庸讳言，不少研究缺乏严谨的科学验证手段和工具，因此，支持研究结果可信度和可行性的理据似乎不很充分。川内教授的这项验证研究应该能够在这方面给我们一些有益的启发和指导。建议有兴趣的读者同行进一步阅读完整的验证研究报告。

最后，我们衷心感谢保罗·川内教授对本刊的一贯支持！（肖俊洪）

一、引言

开放教育资源为发展中世界的教师提供了一个前所未有的机会，使得他们能为自己和他人制作学习资源。自从2002年以来，人们一直尝试给开放教育资源下定义（参见Kawachi，2013a）。根据联合国教科文组织—英联邦学习共同体的开放教育资源准则（CoL，2011），即促进教育资源在各种环境——从高度媒体化的面授课堂到远程独立学习——的重新利用，我们认为开放教育资源具有以下特点：免费，附加开放许可协议，允许被改编为其他资源或作为其他资源的补充，允许演绎，在某个阶段以数字化格式呈现。据此，我们给出以下定义：

开放教育资源指的是数字化、可以自我测评的独立教学单元，具有可测量的明确学习目标，它附加有开放许可协议，允许改编，通常可供免费重新利用。本研究采用德尔菲法把原先的TIPS框架提交给开放教育资源质量保证专家评审，以验证其内容效度。哈维和格林（Harvey&Green，1993，p.9）认为：“要确定高等教育质量评估标准，我们就必须了解影响利益相关者偏好的各种（潜在）不同质量观。”哈维和格林的这项研究区分了5种质量观：“例外”、“完善”、“适用性”、“合算”和“蜕变性”。TIPS框架涉及其中三个方面：开放教育资源的重新利用者觉得资源适用、作为免费资源既有效率又有效益，支持全民教育运动、培养现在和未来的学生掌握21世纪技能，实现蜕变。基于上述考虑，我们也调查了作为本框架目标终端用户的发展中世界的教师，他们对质量可能有不同看法，因此，我们希望能了解他们对本框架内容效度的评价。

如果一种工具包括所有已知标准，那么它会有最佳的内容和构念效度（contentandconstructvalidi⁃ty）及最佳信度。但是，内容太多意味着使用不便，因此其实用性受到影响。鉴于此，我们减少TIPS框架标准的总数，把相似标准进行合并，以提高实用性。当然，这样做会在一定程度上影响效度和信度。我们的目标是制作一种能用于实际工作的高效工具，而且其效度和信度在可接受的水平之上。

“质量保证”可以看成是一种横断面（cross-sectional）评估；TIPS框架就是涉及开放教育资源质量保证各方面内容的清单。但是，我们不能止于“质量保证”，我们的目标是“质量提高”（Kawachi，2013b）。因此，我们给TIPS框架中每一条标准都附加评分表，方便用户说明他们在多大程度上采用各条标准（共有5个分值供选择）。用户下一次使用TIPS框架时再次进行打分，这样能方便显示用户经过一段时间后采用这些标准的程度是否有变化，促进他们的反思。TIPS框架修改版添加了评分表。

“内容效度”是一个含义不甚精确的术语。菲茨帕特里克（Fitzpatrick，1983）认为内容效度可以指：①测试项目在多大程度上反映所要测量的内容；②用户对测试项目的理解或反馈在多大程度上反映所要测量的内容；③所有测试项目的整体相关性；④用户理解的整体相关性；⑤内容领域（contentdo⁃main）定义的清晰度；和（或）⑥每一个测试项目和所有项目的技术质量。上述①和②涉及抽样的充分性，因此可归为“构念效度”。

虽然内容效度含义不甚精确，我们可以邀请内容专家对每一个测试项目进行评价（“必不可少”“非必不可少但有作用”或“不必要”）以实现量化检验。专家认为“不必要”的那些项目很可能被放弃。计算每个项目内容效度比率的公式如下（Lawshe，1975）：

公式中的N=全体专家人数，NE=认为某一个测试项目是必不可少的专家人数。如果仅有一半专家认为某个项目是必不可少的，那么这个项目的内容效度比率（CVR）为0，如果超过一半专家认为某个项目必不可少，那么这个项目的内容效度比率（CVR）在0-1之间，说明这个比率是正向性的。

如果专家人数相对较少，每一个测试项目的比率必须接近1才能决定该项目在p＜0.05概率水平上有内容效度，可以保留。如果专家人数相对较多，偶然认为某一个项目是必不可少的这种可能性较小，这时，该项目的比率可以稍微低一些，但是，仍然在p＜0.05概率水平上有内容效度。我们根据劳希（Lawshe，1975）编制表1，以说明专家人数规模与内容效度比率的对应关系。达到或超过最低值的项目可以保留。所有项目的平均内容效度比率被称为内容效度指数（CVI）。一般说来，CVI应该达到或超过0.80才可以认为这个调查工具有内容效度。某些项目的数值异常，这时如果专家的评价不高，可予以删除，而有些异常数值的项目即使专家评价不高，但是如果能够通过其他途径证明有必要保留，那么也可以留用。

表1 可以在p＜0.05水平上予以保留的项目的最低平均值

二、方法

我们最初征集到的205条标准涵盖学习的五个领域（详见http∶//www.open-ed.net/oer-quality/crite⁃ria.pdf），这是迄今最全面的开放教育资源质量保证框架（我们曾对其他18个框架作简要述评，详见http∶//www.open-ed.net/oer-quality/others.pdf）。这205条标准多次提交地区性和国际性研讨会讨论，最终保留 65条，组成 TIPS框架 （Kawachi，2013a）。本研究把这65条标准提交给开放教育资源专家进行内容效度验证，根据劳希（Lawshe，1975）的观点，每一条标准提供三个选项（“必不可少”“非必不可少但有作用”或“不必要”），专家从创建优质开放教育资源的角度对每一条标准进行评价，最终筛选出经过验证的核心标准。

本研究的调查在三类对象中同时展开（调查工具可登录http∶//www.open-ed.net/oer-quality/survey. pdf查看）。第1组是开放教育资源专家，研究者以电子邮件方式向他们逐一发出邀请；第2组是开放教育资源在线社区成员，研究者在相应的小组论坛上发帖，邀请社区成员参加调查；第3组是教学一线教师，研究者以电子邮件方式向他们逐一发出邀请。向2013年泛英联邦开放学习论坛（the2013Seventh Pan-CommonwealthForumonOpenLearning）（http∶//pcfpapers.colfinder.org）提交开放教育资源质量论文的作者也被邀请作为专家参加调查。第1组专家调查持续几周时间，调查对象包括参加第一阶段标准征集的专家，积极参加开放教育资源质量保证在线讨论的专家，来自几所开放大学的专家，以及参加最近举行的开放教育资源学术会议的专家。截至2014年5月9日，共有38名（e1～e38）专家通过在线调查网站提交反馈，我们逐一分析了这些反馈，发现其中32份反馈有效。无效反馈包括：①没有对调查项目逐一评价，有遗漏，和②对所有调查项目做出相同评价（即认为所有项目都是“必不可少”“非必不可少但有作用”或“不必要”）。这两种情况都会影响统计结果和研究结果。

抽样的总人数必须达到要求，因此，我们把第1组32份有效反馈编成标准统计随机数目表，每组10份，并采用分拨分析（waveanalysis）方法（Les⁃lie，1972）对每一组（e1～e10为第1拨，e11～e20为第2拨，e21～e30为第3拨）进行分析，以了解这样的抽样规模是否具备足够代表性。有两份反馈没有被编入分组，但是上述三拨（分组）已经满足分拨分析要求。同样的，我们从第2组开放教育资源在线社区的在线调查收集17份反馈并逐一分析，其中13份有效，随机重新排序后，把第1至第10份（g1～g10）编为第4拨，并将其跟第1组的三拨进行比较。我们从第3组教学一线教师中收集了22份调查反馈，其中19份有效。我们随机抽取一份进行复制，使总数达到20份，并把它们分为两拨（n1～n10为第5拨，n11～n20为第6拨）进行分拨分析。

三、结果

我们在正式调查之前对调查工具进行试测并根据试测结果做了改进。我们原来还计划在教师在线社区进行第四次调查，但因没有收到反馈，最终放弃了。上文所述的三次调查中，研究者逐一邀请的调查对象里约50%提供了反馈，另外，38位参加调查的开放教育资源专家中有27位（约70%）与研究者进行深入的在线交流。总体看，三次调查的64名参与者性别比例合适（37男，26女，另有1人未表明性别），包括各个年龄阶段的人，地理位置分布合理（非洲9人，美洲5人，澳大利亚3人，欧洲12人，东亚18人，南亚15人，另有2人未提供这方面信息）。图2显示第1～4拨，从中可以看出它们的走势比较接近，说明数据可信，所有反馈均可用于分析“必不可少”项目的内容效度比率（CVRE）（详细数据和统计结果在完整的验证报告中呈现，参见http∶//www. open-ed.net/oer-quality/validation.pdf）。

图2 第1组（第1～3拨）和第2组（第4拨）比较

有6条标准被第1组至少27名专家认为是“必不可少的”，它们在p＜0.05概率水平上内容效度指数（CVI） ＞0.80（见表2）。根据劳希 （Lawshe，1975）的标准，如果某个项目仅是“有作用的”，这个项目会被删除。但是，参加本调查的多数人并不清楚这点，因此，我们把“必不可少”和“有作用”的项目加在一起，重新分析它们的内容效度指数（CVRE+U）。重新分析的结果显示，每一条标准的CVRE+U都很高，65条标准的平均CVRE+U达到0.86（＞0.80），说明TIPS框架在p＜0.05水平上有效。

从第2组13份有效反馈中可知，仅有CVRE值最高的18条标准的CVRE+U接近0.80（见表2）。值得注意的是，第1组认为“必不可少”的6条标准也在其中。但是加上“有作用”标准，第2组的平均CVRE+U是0.88（＞0.80），说明TIPS框架在p＜0.05水平上有效。

第3组有19份有效反馈。如上所述，我们随机抽取一份进行复制，以便分成第5拨和第6拨两个分组进行比较（见图3）。

一线教师的观点与开放教育资源专家的观点不同，因此，图3的分拨走势与图2的分拨走势不同。经过分拨分析后，我们删除了复制的那一份反馈，并对19份有效反馈进行内容效度分析，得出第2组 CVRE值最高的18条标准在第3组的平均CVRE是0.76，删除第36条和第51条之后，第3组的平均值提高到0.79，接近第2组和第1组水平。然而，第3组CVRE值最高（0.89）的6条标准却与第1组不同。综上所述，共有24条质量保证标准经过验证（详见表2）。

图3 第3组第5和第6拨比较

四、结束语

有几位开放教育资源专家担心上述一些标准涉及非开放教育资源成分，建议我们的框架仅包含开放教育资源质量保证标准。考虑到专家们的这个意见，我们在TIPS框架修改版中对严格针对开放教育资源的那些标准进行标注。

一线教师从实际出发认为他们必须能够保持课堂教学的自主性，这点是可以理解的。在编制TIPS框架时我们应该考虑作为本框架目标利益相关者的一线教师的观点。事实上，劳希（Lawshe，1975）清楚表明，可以根据预期的实际目的考虑非核心标准的取舍。正是基于这个考虑，我们保留了第3组一线教师评价最高的标准，虽然第1组和第2组并不这样认为。TIPS框架修改版正在完善之中，经过本研究验证的24条标准将被重点标注，开放教育资源作者可以把它们作为基本标准使用。

我们与开放教育资源专家和教师的在线讨论还涉及TIPS框架的其他方面的问题，有些问题的讨论非常深入，目的是使本框架能更有效地指导一线教师创建开放教育资源。比如，举例说明开放许可协议的各种使用形式，对（英语）措辞做些调整，增添开放教育资源制作的演示或例子并上传到当地资源库。总体看，调查参与者支持本课题，认为有必要制订质量保证准则指导大学前教育一线教师制作自己的开放教育资源，促使更多来自发展中地区的一线教师加入开放教育资源建设行列。

表2 三组调查CVI＞0.80的24条标准

致谢：感谢桑佳亚·米什拉（SanjayaMishra）、印度新德里英联邦学习共同体亚洲教育媒体中心（the CommonwealthEducationalMediaCentreforAsia）和加拿大温哥华英联邦学习共同体（theCommonwealthofLearning）对本研究的支持！感谢拉梅什·沙玛（RameshSharma）在调查统计方面给予的技术帮助。读者可登录http://cemca.org.in和http://www. open-ed.net/oer-quality/validation.pdf获取验证报告全文和TIPS框架修改版（2.0版本），也可登录http: //www.open-ed.net/oer-quality/validation.ppt获取幻灯格式验证内容。

[1]CoL(2011).UNESCO-CoLGuidelinesforOpenEducationalRe⁃sources(OER)inHigherEducation:OERWorkshop,25May, Dar-es-Salaam.RetrievedApril25,2014,fromhttp://oerworkshop. weebly.com/uploads/4/1/3/4/4134458/2011.04.22.oer_guidelines_ for_higher_education.v2.pdf.

[2]Fitzpatrick,A.R.(1983).Themeaningofcontentvalidity.Applied PsychologicalMeasurement,7(1),3-13.RetrievedFebruary21, 2014,from http://conservancy.umn.edu/bitstream/11299/101621/1/ v07n1p003.pdf.

[3]保罗·川内（2013a）.开放教育资源质量保证准则TlPS框架.中国远程教育,（10），11-21.[Kawachi,P.(2013a).Qualityassurance guidelinesforopeneducationalresources:TIPSframework,version 1.0.NewDelhi,India:CommonwealthEducationalMediaCentrefor Asia(CEMCA).RetrievedMarch7,2014,fromhttp://cemca.org.in/ ckfinder/userfiles/files/OERQ_TIPS_978-81-88770-07-6.pdf].

[4]Kawachi,P.(2013b).Qualitynotstatic.OERQuality,blogposting 30thJanuary.RetrievedMarch7,2014,fromhttp://oerquality.word⁃press.com/2013/01/30/quality-not-static/.

[5]Lawshe,C.H.(1975).Aquantitativeapproachtocontentvalidity. PersonnelPsychology,28(4),563-575.RetrievedFebruary21, 2014,fromhttp://www.bwgriffin.com/gsu/courses/edur9131/content/ Lawshe_content_valdity.pdf.

[6]Leslie,L.L.(1972).Arehighresponseratesessentialtovalidsur⁃veys?SocialScienceResearch,1,323-334.

译者简介：肖俊洪，汕头广播电视大学教授，《Distance Education(Taylor&Francis)》杂志副主编，《System:An InternationalJournalofEducationalTechnology and AppliedLinguistics(Elsevier)》编委。

责任编辑 池 塘

G420

B

1009—458x（2014）11—0015—05

2014－04－15

保罗·川内（PaulKawachi）博士是教育设计教授，《亚洲远程教育杂志》主编，英国皇家艺术学会会员，亚洲远程开放教育学会理事，亚洲开放大学协会理事会成员和国际远程开放教育理事会成员。