信息检索实习绩效评价量规设计

2012-04-29李谋信

课程教育研究 2012年6期

李谋信

【摘要】信息检索课实习效果评价问题已引起广泛关注，如何客观、公开、公正地对学生实习绩效进行评测是一个难点。本文从评价量规的角度入手，对实习报告的结构内容进行重新设计，使各个项目具有客观评价特征，并就实习报告不同模块的特点提出了相应的判分方法。

【关键词】信息检索文献检索实习实验考试成绩绩效评价量规

1.引言

信息检索课在高校非图书情报专业中被定位于信息素质课，选修专业覆盖文、理、工、农、医、艺术各个专业，开课对象从一年级新生到研究生，在一些学校成了公共选修课甚至专业选修课中的第一大课，关于信息检索课的教学研究成果丰富。笔者选用维普中文期刊数据库采用检索表达式“标题或关键词=（（信息检索+文献检索+情报检索+计算机检索+文检）*（课+教学）-题名=（简介））-作者=（无）”查找与信息检索课相关的论文，再采用检索表达式“题名或关键词=（(文献检索+信息检索+计算机检索+情报检索+文检)*课*(实习+实践+上机) -题名=（简介））-作者=（无）”查找与信息检索课实习相关的论文，剔除不相关的文献后将两者数据进行对比，可以看到从手工检索、联机检索、光盘检索到网络和电子文献教学，研究内容随着检索条件的改善而转移，对于信息检索课的关注大致可以分成三个阶段， 1995以前属起步阶段，1996-2000年是初盛阶段，2001年以来呈蓬勃之势，其间与实习有关的研究从2000年起开始则增多（见表1）。

2004年以后，关于信息检索课学习效果评价的客观、公正和全面的问题开始引起重视。(郭丽翔，郑辉, 2004)认为“准确评定学生在课程结束时的学习成绩，一直是这门课没有很好解决的问题之一。虽然各学校都有自己的考核方法，但始终没有建立一个相对客观、比较统一的、能够反映学生学习成绩的考试系统和标准。”文章建议各高校图书馆协作，通过完善考试题库的方法来解决成绩评定标准化的问题，但没有提到与卷面考试同等重要的实习报告、综合报告成绩评定的客观性和标准化问题。(陈新颜, 2006)认为教师因材施教，学生自主学习，图书馆机检条件和师生利用网络工具双向交流和实习报告的讲评，是构建实习质量评价体系的四要素，开始关注实习效果的测评问题。(何钧, 2006)认为单纯以卷面考试或实习报告（包括综述形式）作为期末成绩主要依据都有问题。看到卷面考试作为测评的局限性，认为这种形式无法考查学生文献检索技能掌握的程度，以及运用检索技能进行信息收集、整理与分析研究能力。同时认为单纯以实习报告或综述报告作为期末成绩评定依据教师作业批改量太大，对教师专业知识要求高，没有标准答案，成绩评定缺乏客观性。文章提出期末成绩由卷面考试、实习报告和出勤率等综合成绩组成，降低实习报告和综述的比重，以此降低主观评定对总评成绩的影响。(杜春光，杨广林, 2007)首次提出了信息检索课学习评价量规，包括信息获取与文化、信息获取、信息甄别、信息利用、信息道德与法律意识五个一级指标，但缺乏可操作性。作者也认为这一量规还需要进一步给出二级指标的权重，选择合适的教学模型才可应用。(刘颖等, 2009)看到了实习成绩评定方法对实习教学的重要性，将思路定位在实习环节多要素的主观评价上，认为“如何利用多元化评定手段，如实习报告、平时上机、综合实践等方法体现该课程的实践性值得研究。”(王玉香, 2010)也看到了单纯以卷面考试或综述报告作为期末总评成绩的问题，提出将平时上机实习成绩和上课表现也纳入期末总评成绩。为了提高对实习能力的考察的客观性，文章提出将上机操作题和对编制检索表达式方面的能力考察以客观题的形式呈现，并纳入标准化考试题库。以这种形式考察信息检索综合能力的方法实际上已被许多学校采纳。

综上所述，信息检索课实习效果评价问题已引起广泛关注，也认识到这一问题的格式化、定量化评测标准的制定是非常困难的，因此所提方案均是避险而行，退而求其次的办法，实际上并不能解决现有的问题。本文从评价量规的角度入手，对实习报告的内容进行重新设计，使各个项目本身具有客观评价特征，并就实习报告不同模块的特点给出了相应的判分方法。

2.信息检索实验量规设计

2.1量规概述

标准化考试引入中国教育界已有很多年，只是在以实践为特征的信息检索课中的应用时间较短。标准化的考试形式不利于学生创造力、批判性思维和想象力的发挥，这种测评手段也不能有效地判断学生在小组合作项目、真实情景任务等复杂学习活动中的表现情况(何晔, 2008)。从教学的角度看，量规（Rubric）是对学生学习绩效，包括学习过程中的行为、认知、态度和各种形式学习成果进行定性或定量评价的一套标准，特别适合于基于任务驱动、项目学习或问题求解的活动，这种学习绩效评价所要求的评价方法不但要关注学习结果，更要关注学习过程。大多数量规在形式上是从多个维度划分等级和规定评价准则的二维表(钟志贤等, 2007)。

一个有实用价值的学习绩效评价量规具有以下特点 (Jonassen, 1999)：

（1）与教学目标、教学特点、学生认知水平和学习环境特点相适应，提高评测的针对性，使训练目标更为突出；

（2）包括含有重要的评测点，便于对学生学习态度、知识领会、能力达标有全面的考虑；

（3）评测点的权重设定与教学重点和重要性相一致。对实习过程中反映出来的诚信问题、态度问题、理解问题、效能问题、粗心问题、笔误问题等应按问题的严重程度给出不同的权值，以利于强化问题意识，加强引导；

（4）评测项目应客观明确，具有可操作性。主观的、粗糙的指标既不公平也不利学生认识问题所在；

（5）评测点是评测项目细分的最小单元，不可再分。只有测评点是不可再分的考查项目，才能使问题具体化、也才能明确学生哪部分内容掌握了，哪部分还没掌握。

（6）评测量规不仅是教师评价学生学习绩效的依据，也是与学生沟通、发现教师教学中的问题的一个平台，因此，量规不仅要便于教师理解，也要便于学生理解。

2.2关于信息检索实习量规设计出发点的思考

一些作者在讨论信息检索实习环节的设计时，考虑了与毕业论文相结合(杨凝清等，2007)，与科研课题相结合(刘维庆，2004)，或者以毕业后的就业取向相结合(张会珍,2010)，其原因就在于，对于非图书情报专业来说，信息检索课是一门实用型课程，学习这门课的目的是为了提升个人的信息素质，而信息素质目标的实现要通过在工作生活中的运用来体现。因此，只有使信息能力的训练环节基于真实情景，才有助于发现学生在卷面考试中不能发现的问题，评估学生的理解能力和操作能力，使学生在完成任务、解决问题的过程中进一步发展高级思维技能(何晔，2008)，提高学生分析问题与解决问题的能力(杨振冰，2010)。

信息检索实习量规设计应遵循以下原则：

真实情境再现原则。真实情境包括与实际相符的操作界面、较长的数据年限、三种基本逻辑检索功能和较多的条件限定。从训练检索能力的角度说，基于实际的网站或数据库进行实习能与以后实际使用无缝对接；对于学生来说，基于实际网站或数据库进行演示和讲解也更生动、更容易理解。

客观性原则。评测标准必须有明确的依据，这个依据可以是拟定的答案，也可以用学生自已填写的其他项目相互验证进行自我判断。这两种类型的评判依据都属于标准答案。

可操作性原则。基于客观性原则的可操作性，要求评测结论能转化为一个系数值，用于标识正确、部分错误、错误三种状态。例如设系数为α，则三种状态的权值分别为α1=1，α2=0.5，α3=0。当某一题的分值为S时，该题的得分为αS。

可验证性原则。对于学生针对实验题目，在自述检索环境和检索策略下得出的答案，应经得起重复检索的验证。这种验证不仅能判断检索结果的相关度，更能考查学生的学习态度，反映学生是否具有诚实的品质。

2.3信息检索实习量规的基本结构

就影响信息检索学习绩效的影响因素来看，有学校网络和硬件等环境条件、学生内在的学习动力、教师的教学水平等，但这些因素相对来说是静态的，同一时期每个学生面对的条件是均等的，可以排除在学习实习绩效的评价要素之外，而学习过程和实习成果则可以综合反映学生的知识储备、理解能力、学习态度、发散性思维和创新能力，甚至人格特征。以检索环节作为实验绩效评价对象，可以更全面的发现学生实习中存在的问题，从而使教师可以给出有针对性的整改建议，使学生可以明确自己在哪些内容上存在认识偏差，进而实质性地提高检索能力。

所有检索环节的行为都离不开三个要素：检索行为的载体、过程和对象，它们分别可以用检索环境、检索策略和检索结果三个维度来描述。以国外学术论文检索实习为例，检索环境、检索策略和检索结果评测量规设计如下（见表2）。

（1）检索环境解析

检索环境描述项进一步划分为：数据库、子数据库和检索窗口三项。我国购买的国外文献型数据库，使用时直接进入数据库首页，而不是进入网站首页。因此将数据库作为检索环境中第一级描述的内容是合适的，可以框定最后记录的检索结果的范围。有些大型数据库真正供读者使用的是子数据库，让学生声明实习时所有的子数据库可以进一步框定检索结果的范围。对于检索窗口，实习时指定使用高级检索窗口或结构式检索窗口，用以对学生进行强制引导，使学生的数据库的高级检索功能有更深的认识。

（2）检索策略解析

实习报告中记录的检索策略指产生了有效的命中文献的检索步骤，包括检索入口、检索式、各检索式之间关系和各种条件限定。实习前就国外文献数据库的使用重点介绍了具有多个子库、条件限定功能比较强的EBSCO数据库，要求学生根据指定课题查找相关文献，但允许学生自己决定选用哪个或哪些数据库，因此检索策略记录的实习格式兼容了其他各种国外数据库。

检索策略是判定命中文献相关性的重要依据，必须如实记录。检索表达式的形式是一行还是多行，构成检索表达式的检索词是一个还是多个，均不作特别规定，但所述检索词应与所记录命中文献数和命中文献高度相关。根据检索词、逻辑运算符和截词符的使用，以及检索精度的限定情况，可以看出学生对前期知识的吸收掌握程度，也能看出学生的诚实品质和学习态度。对检索结果限定项的记录则能看出学生对高级检索功能的掌握程度。

（3）检索结果解析

“检索结果”的各元素中的某些项与检索环境和检索策略具有相互验证作用，“检索结果”的某些项之间也具有相互验证的作用。“检索结果”中记录的有些元素还具有一些特殊作用。例如，如果只查到一篇相关文献（这种情况经常发生），如果学生能利用这篇文献中记录的“关键词/主题词”查找其他相关文献，表明他已吸收了前期的课堂知识，不仅为自己的检索节省了效率，学习绩效也比较高。“原文文种”的判断需要在作为检索结果的书目记录中寻找相关特征，这种判断有助于用户决定是否要下载全文。母体文献和出版发行时间的判断对于用户在国内索取印刷本的全文复印件是重要依据。母体文献类型的判断需要通过国际文献编号和母体文献名称中的特征词进行验证，这项判断对于强化学生对不同文献类型作用的认识、扩展使用其他文摘型数据库的能力有很大帮助。“检索结果”中所有元素的设置都有各自的作用，大多数用于对学生学习绩效的识别，少数则是一种干扰信息，例如“作者单位”就是对“文献类型”的干扰信息，有些同学看到作者单位是中国就会误认为原文是中文，这种干扰项的设置有利于学生加深对一些是似而非概念的认识。另外，检索结果中的作者联系方式对作者姓名、页码页次对出版发行时间则形成一种错误诱导信息，可以测出学生对相关信息是否有正确理解，或者学习态度是否认真。表2是国外学术文献数据库实习绩效评价元素列表。

2.4信息检索实习量规评测等级设计的思考

当量规元素具有可计量、可比较、可验证的特征时，制定客观公正的实习绩效评价标准就具有了可能性。为了使这种可能性转化为可操作性，应做以下约定：

（1）确定评价等级划分的总体思路。第一种方案是各维度的权值相等，检索环境或检索策略中的实质性错误不对其他维度的评分产生影响。第二种方案是检索结果的评分建筑在检索环境和检索策略没有实质性错误的基础上，理由是当检索环境和检索策略有实质性错误时是得不出所列的检索结果的，因此可判定这样的检索结果是杜撰的。

（2）简化各项目的评价等级。各元素的评价等级只分成完全错误、部分错误和无错误三类，便于快速判断。

（3）实习课题的参考信息要摘自一篇中文论文的英文标题、英文摘要和英文关键词。这样的设计的课题具有真实性，有丰富的启发信息，在国外数据库检索时由于同一术语概念国内外表述的区别而增加了实习难点。

（4）按元素的不同特点采用匹配法或验证法判断正误。

第一种情况是有标准答案的，例如选定数据库后，其子数据库、检索窗口、检索入口都是有标准答案的。这种有标准答案的元素采用匹配法判断，即与标准答案完全匹配给予标定值的100%，与标准答案完全不匹配或没有给出答案的给予0值，有笔误或缺字的给予标定值的50%。

第二种情况是没有标准答案，但可以通过特征信息或各元素间的相互验证进行判定。例如，当母体文献中出现“Journal”一词时，或者国际文献编号中选择了“ISSN”时，母体文献类型选择“期刊”是正确的。又如“原文文种”中的词若与题名中的词匹配并且被包括在圆括号中，则“原文文种”项填写是正确的，否则就是错误的。又如，检索表达式中出现的词若没有在检索结果相应的字段中出现应给予0值，超过一行检索表达如果没有声明运算关系，则运算关系项给予0值。

3.进一步思考

信息检索课是一门量大面广的信息素质课，本研究的初始目的是通过格式化的实验报告实现实习绩效评价标准的公开、评价依据的客观和评价结果的公平，最终目的是实现实习报告的计算机自动评测功能。因此，实习题目不仅必须要由教师给出，而且题目要有典型性和可分析性，要为学生提供参考信息或提示信息。对于实习题目教师要在国外数据库试查，保证有适当的命中文献数，以控制检索难度。关于信息检索课实验量规实施方案的讨论，国内文献还未见记载，本文仅作抛砖引玉，希望能引起同行更多的讨论。

参考文献：

[1]郭丽翔郑辉. 信息检索课网络教学、考试系统的探索与实践. 大学图书馆学报, 2004(4) : 41-37.

[2]陈新颜. 计算机检索实习质量控制初探. 大连民族学院学报, 2006(3) : 84-86.

[3]何钧. 信息检索课课程成绩评定的思考与研究. 图书馆杂志, 2006(10): 69-71.

[4]杜春光杨广林. 文献检索课教学效果评价指标的确定. 情报探索, 2007(8): 37-39.

[5]刘颖等. 我国文献检索课实习教学文献研究现状分析. 图书馆学刊, 2009(7): 13-16.

[6]王玉香. 论高校文献检索课考试模式的多元化. 图书馆学刊, 2010(5): 20-22.

[7]何晔. 运用量规评估学生业绩. 湖南师范大学教育科学学报, 2008(1): 77-79.

[8]钟志贤等. 量规:一种现代教学评价的方法. 中国远程教育, 2007(10上): 43-46.

[9]JonassenK，Peck & B. Wilson D.. Learning With Technology Constructivist Perspective. New Jersey, USA: Pentice Hall.Inc., 1999.

[10]杨凝清等. 提高研究生文献检索课实习效果的探索. 中华医学图书情报杂志, (2007(1): 50-52.

[11]刘维庆. 高校文献检索课科研专题实习的探索. 图书馆杂志, 2004(2): 64-65.