汉语能力测试的情境化命题设计
2014-11-28张均兵
张均兵
汉语能力测试的情境化命题设计
张均兵
汉语能力测试是一个涵盖听说读写的汉语综合应用能力的评价项目,究竟如何考查国内尚无先例可循。在借鉴和吸收国内外先进测评理论及语言测评成果的基础上,初步确定了汉语能力测试的内容和形式。为了更好地实现汉语能力考查的目标,坚持情境化命题尤为必要。在情境选择上应遵循传递积极价值、不能冒犯特定考生群体、恰当新颖、便于理解的原则。为了确保情境的等价性,可以尝试成绩统计分析法和参数控制法。
汉语能力测试;情境化命题;情境选择原则;等价情境控制方法
1 引言
2011年1月20日,政治局委员、国务委员刘延东同志在纪念《国家通用语言文字法》颁布10周年座谈会上指出:“要建立健全覆盖听说读写的科学评价体系,使其成为衡量国民语言文字应用能力的重要依据。”[1]汉语能力测试就是为了实现上述目标的产物。汉语能力测试是一个涵盖听说读写的汉语综合应用能力的评价项目,究竟如何考查国内尚无先例可循。按照《国家中长期教育改革和发展规划纲要(2010-2020年)》中提出的:“深化考试内容和形式改革,着重考查综合素质和能力”[2]的精神,在借鉴和吸收国内外先进测评理论及语言测评成果的基础上,初步确定了汉语能力测试的内容和形式。在考试内容上主张“两不、两坚持”,即不考死记硬背的内容,不规定统一教程,坚持综合能力导向,坚持实际运用导向;在考试形式上坚持基于计算机情景测试。为了更好地实现汉语能力考查的目标,坚持情境化命题尤为必要,因为现代测评理论研究表明情境化命题更有利于能力的考查。汉语能力测试中,情境化命题是指让考生应用汉语知识和技能完成某一情境下的某一项任务,然后根据考生任务完成情况的表现来评估考生的汉语听说读写的综合应用能力。
2 情境化命题的提出
2.1 从能力与情境的关系看
国际上许多学者在界定能力时,都强调了能力与情境的密切联系。例如,美国多元智能理论的提出者霍华德·加德纳(Howard Gardner)认为:“智力应该是在某一特定文化情境或社群中所展现出来的解决问题或制作生产的能力。”[3]这里的“智力”就是指“能力”。又如,哈特希等(Hartig/Klieme,2006)认为,能力是“结合具体背景的、处理特定情境和满足特别要求的能力”。[4]再如,比利时整合教学法的倡导者易克萨维耶·罗日叶(Xavier Roegiers)认为,能力就是:“对于某一个体而言,为了解决某类问题情境(情境族)整合调动一套资源的可能性”。[5]这里的“资源”指学生将要调动的知识、知做技能和知存态度。罗日叶还用公式将“能力”形象地描述为:“能力={素能×内容}×情境”[6]。该公式中,素能指做某事的本领、禀赋,是人们进行的一项活动,譬如识别、比较、记忆、分析、综合、归类、排序、抽象、观察等。从以上关于能力的界定可以看出,结合情境来考查一个人的能力很有必要,对汉语能力测试来说更应如此,因为语言能力的发展本身就是社会环境作用下的产物。
2.2 从评价理念的最新发展趋势看
与许多发达国家的教育或课程改革理念相适应,教育考试中的评价理念也在悄然发生着变化,侧重于能力立意的情境化命题越来越引起教育界的关注。20世纪90年代以来,在基础能力导向理论与整合教学法的影响下,有30多个国家和地区在大学教育、职业培训以及中小学教育中,逐步发展了一些以复杂情境为基础的评估机制,旨在引导学生解决问题。例如,在德国“职业能力与职业认同感测评项目”(KOMET)中,每道测试题目都配有相应的情境描述,包括测试任务的背景情况等,这是因为“只有测试题目来自对职业以及职业发展具有典型意义的工作情境或工作任务,测试题目才会具备‘职业效度’”。[7]又如,中国的全国中小学教师教育技术水平考试(NTET)也采用了基于模板基础上的任务驱动的情境化的机考命题方式。再如,在剑桥评价的思维技能考试(TSA)、国际学生评价项目(PISA)中,情境化的命题导向也越来越明显。同知识立意的传统命题相比较,情境化命题对能力的测评更为全面、准确和科学。情境化命题既考查了考生知识与技能的掌握情况,又考查了考生的元认知知识,特别是关于如何使用、何时使用、为什么使用的条件性或策略性知识。在布卢姆的认知目标分类中,问题情境的解决被放在了高级认知水平“综合”的层次。解决问题情境时,考生要面对很多信息处理活动,比如信息获取、解释、推理、决定做出、问题解决、对方法步骤的认识、检查和调节等。可见,情境化命题不仅考查了外显的行为、知识与技能,而且考查了潜在的素质,比如价值观、态度、个性、品质等。[8]我国语文新课标从知识与技能、过程与方法、情感态度价值观三个方面提出了要求,因此在汉语能力测试的命题研发过程中积极倡导情境化命题,不仅体现了当今先进的评价理念,还符合语文新课标中三维目标的要求。
2.3 从“面向行动”的外语教学及其评价理念看
在《欧洲语言共同参考框架:学习、教学、评估》一书中提出了“面向行动”的外语教学新理念,其含义“在于把语言使用者和学习者首先定性为社会人,他们需要在某一具体的社会行动范围内,根据特定的条件和环境,完成包括语言活动在内的各项任务”[9]。同时,该理念认为:“如果说言语行为是通过语言活动实现的话,语言活动本身则是社会环境作用下的产物。正是社会环境赋予了语言活动充分的含义。一个或几个行为主体策略地运用其掌握的能力,去实现某一特定的目标。这就叫行动,或者叫‘任务’。所以,面向行动的教学法理念也会重视作为社会人的学习者所拥有并运用的认知力、情商和意志力”。[10]可见,“面向行动”的外语教学理念特别强调情境在语言教学中的重要性。该书还将语言使用的外部语境划分为公共、职场、教育和个人四个主要领域,认为每个领域的外部情境包括以下要素:地点、机构、人员、物体、事件、行为、文本。[11]与“面向行动”的教学理念相适应,语言评估理念也发生了重大变化,让考生完成某一情境下的任务成为评估的重点。“面向行动”的外语教学及其评价理念反映了语言教学和评价发展的新趋势,符合情境学习理论。情境学习理论认为,知识是具有情境性的,知识是活动、背景和文化产品的一部分,知识正是在活动中,在其丰富的情境中,在文化中不断被运用和发展着。语言的发展更是如此,这是由语言的本质属性社会性决定的。因此,“面向行动”的外语教学及其评价理念为汉语能力测试的情境化命题提供了很好的借鉴。
3 在情境选择上应遵循的几个原则
3.1 传递积极价值
语言文字是人类智慧和文明的结晶,是文化传承的重要载体,是推动历史发展和社会进步的重要力量。在全球信息化、网络化高速发展的时代,汉语作为综合国力的重要组成部分,具有强烈的文化、经济辐射力和传达力。为了传承和弘扬中华优秀传统文化,更好地建设具有中国特色的社会主义文化事业,在汉语能力测试的命题中最好选择能传递积极价值的情境。按照选择背景的不同、给考生的命令类型的不同、赋予情境的目的不同,情境中都可能包含一些价值观。易克萨维耶·罗日叶认为:“一个情境的背景从来都不是中立的。主题、图片、支持工具、场所等都是设计者精心选择的,而这对学生的表现不可能没有影响。我们把情境放在一个暴力背景之中,还是放在一个和平的背景之中,是放在浪费自然资源的背景之中,还是放在保护环境的背景中,这些对学生都会产生不同的影响。通过情境中传递的价值,很多的知存态度都悄然得到了发展。”[12]为了传递积极价值,汉语能力测试在命题情境的选择上,应尽量选取客观、现代、健康、积极、科学、有趣、可读性强的情境,而尽量避免选取内容消极、品位比较低下情境。譬如,新技术、新发明、生态保护、科学饮食、卫生保健、文明礼仪、假日旅游、聚会、过节、名人趣闻轶事、名胜古迹、风土人情、哲理小故事等比较适宜选用,而暴力、性或色情、毒品、死亡、炫富、宗教信仰、铺张浪费、环境污染、食品造假、电信诈骗等就不宜选用。
3.2 不能冒犯特定考生群体
我国幅员辽阔,民族众多,各地区之间经济文化发展很不平衡,城乡差别很大,在大范围内实行标准化的统一考试,必然会造成许多因素影响考试的公平性和有效性。1999年版《教育与心理测量标准》中指出:除了被认为是内容范畴的正当需要外,测验研制人员应努力鉴别并消除一般被人种、族裔、性别或其他亚群体认为冒犯性的语言、标记、短语或其他内容,否则就会造成评价偏见。例如,假定在某次考试的所有题目中,男性被描绘成高收入和地位显赫的人,如律师、医生等,而女性被描绘成低收入和地位卑微的人,如家庭主妇、职员等。显然,“至少一些女生将会受到由于性别不平等而造成的冒犯,由此衍生的沮丧情绪会导致她们难以发挥出最理想的成绩,结果是考分不能精确地表达出这部分女生的能力。另外,对特定种族或者宗教群体的某些负面成见,如语音含糊、字迹不清、喧哗吵闹或者其他的暗示性等,也会造成偏见。冒犯性的内容会分散这部分被冒犯的亚群体的注意力,其后果是他们过多关注试题中的冒犯性内容,而不是在随后的试题中精确地展示出他们的能力。”[13]这启示我们,汉语能力测试在选择情境时还应考虑考生的种族、性别、宗教信仰、成长经历、生活环境等,这主要包括以下几个方面的内容应当尽量回避:一,可能引起考生不愉快的内容,如战争、疾病、强奸、离婚、家庭暴力、地震、旱涝灾害等;二,专业性较强从而明显有利于部分考生的内容,如选取足球类的竞技运动作为题目情境就明显有利于男生,因为男生对该类运动一般比女生更熟悉,也更感兴趣;三,可能触发民族禁忌、伤害民族感情、政治上有错误倾向的内容,如在聚会中应避免提吃猪肉的场景,因为这会触发回族考生的禁忌;四,不具有普适性的话题情境,如有人根据DIF理论,通过研究得出如下结论:对有不同年龄阶段的人参加的语言类测试,对题目主题应格外关注,不同年龄段的人对主题的兴趣度是不一样的,这样就可能产生因主题选择不当,而对某些年龄段的人产生偏见。[14]综上所述,为了保证汉语能力测试项目的公平,除了要关注信度和效度这两个标准外,还应将无偏见(absence-ofbias)作为第三大标准。
3.3 恰当新颖
学生和情境之间的亲近程度将影响考生对问题的解答。如果一个情境对考生来说太过遥远、陌生,那么它可能会给考生带来障碍,以至于他无法解决情境。相反,一个情境如果考生太熟悉,则会消减情境的“问题性”,可能成为复制品或简单的应用。因此,只有为考生创设恰当新颖的情境,并要求考生必须结合情境中给出的特定信息去解答问题,才能有效地考查出考生的汉语综合应用能力。譬如,同样是完成菜单的任务,就可以创设出下列不一样的问题情境:按照不同人的喜好和健康状况为他们配不同的菜单;按照某个人的口味调整一份既定的菜单;按照既定的配料,设计符合某个人口味的菜单;按照某个人的既定特征,在不同的菜单中选择可能适合他的菜单;按照某个人的医疗诊断书配置一份菜单等。
3.4 便于理解
情境是否便于理解主要取决于以下几个因素:首先,命令是否清晰。便于理解的命令应当是清晰的,具有足够的可读性。考生读完试题的表述后,应立刻就能明白自己要做什么。其次,总体架构是否清楚。情境结构是否合理,也会影响考生对情境的理解。情境结构与情境的呈现方式密切相关,这主要涉及条件信息的摆放位置、命令的位置、题目的位置、插图的位置等。再次,语言学性质的不同因素。比如,使用的词汇、句子的长度等,也会影响考生对情境的理解。最后,情境的排版。比如,字体大小、字体样式、插图的清晰性、视频和音频文件的质量等,也会影响考生对情境的理解。因此,汉语能力测试在编写情境化试题时,为了便于考生理解情境,应做到命令清晰、总体架构清楚、语言简洁、排版合理。
4 等价情境的控制方法
4.1 成绩统计分析法
为了保证不同试卷间难度的稳定性和可比性,在汉语能力测试的命题中确保情境的等价性至关重要。等价情境,即同等难度的情境,这些情境可以彼此调换,可以相互使用。但是,环境的差别、感受性的差别、文化的差别等可能会影响情境的等价性特征。尽管如此,从具体操作的角度看,可以通过一些途径来最大限度地降低它的不确定性。易克萨维耶·罗日叶和其研究团队所采用的成绩统计分析法就很值得我们借鉴。该方法认为,建立两个等价的情境应该满足三个条件:这两个情境应该针对同一个能力;它们在能够代表所针对对象群体的一些学生小组中产生的平均分具有可比性;它们也应该具有相同的区分力,就是说优秀生、中等生和差生解决情境的方式是可比较的。[15]根据该理论假设,他们还提供了如下案例[16]:
我们假设一个班有45名学生,其中差生、中等生、优秀生各15名。他们面对5个情境(S1,S2,S3,S4,S5)获得的成绩(20分制)如下,试着确定这些情境是否等价。
全班平均成绩(分)差生的平均成绩(分)中等生的平均成绩(分)优秀生的平均成绩(分)S1 10 6 10 14 S2 12 9 12 15 S3 12 9 12 15 S4 12 6 12 18 S5 12 11 12 13
分析如下:
情境S1当然和其他情境不等价,因为学生在这里得到的总体平均成绩低于其他的情境:它明显比其他情境难度大。
情境S2绝对和情境S3是等价的,因为不仅全班学生以同样的方式成功解决了这两个情境,而且每个小组(差生、中等生和优秀生)内部也以相同的方式成功解决了它们。
情境S4和情境S3不完全等价,因为虽然平均分一样(12),但是不同小组获得的成绩是不一样的。情境S4比情境S3的区分力更强:它更看重优秀生,给差生的惩罚更大。
情境S5也是如此,即使它给出了同样的总体平均分,它也没有情境S3的区分力那么大:它在差生和优秀生之间建立的差别比较小。
他们的经验表明,尽管在严格的统计学和/或心理测量上,情境中所表述的条件不足以证明各情境在学术上的等价性,然而从实用的角度来说这种方法非常有效。因此,我们可以根据该方法,在正式考试前对题目进行试测,通过试测后的成绩来分析判断不同情境的等价性,然后,根据试测成绩的分析,对试卷进行优化组合,从而生成正式的考试用卷。另外,也可以通过分析正式考试后的学生成绩,将情境等价的题目在不同年度考试的试卷中进行重新组合,从而生成新的试卷。后一种方法由于考生样本数量较大,因此通过该法衍生出的试卷质量将会更高,也更具有可比性。
4.2 参数控制法
为了确保情境的等价性,有必要进行参数控制。参数左右着学生要调动哪些知识和技能,以及如何把这些知识和技能联结起来。比如,在案例“进行电话交谈,不需要使用专业词汇”中,涉及一个参数,即“不需要使用专业词汇”。又如,某个情境应该从10~15个句子和儿童文学层次的文章出发,那么这个情境有两个不同的参数:文章的长度(10~15个句子)和语言水平(儿童文学)。参数控制法可以通过以下途径来解决:
首先,赋予情境所要求的难度水平应当明确并适合。针对某个能力准备情境时,应该从学生调动的汉语基本知识和知做技能的性质、数量以及联结类型这三个方面进行考虑。从性质上看,主要考虑在情境中应该突出哪些汉语知识和技能,它们的相对重要性(不能不用、重要、次要)是怎样的?从数量上看,主要考虑在情境中要引入多少汉语知识和技能。如果该情境旨在能够检查学生是否能够有针对性地运用一些明确的汉语知识和技能,那么在情境里引入一些新的汉语知识和技能是欠妥当的。从联结的类型看,可以从不同角度进行命题。比如,为了造一个句子而进行的词汇联结;为了掌握语法而进行的不同句子结构的分析;为了形成一个段落而进行的不同句子之间的联结;为了形成一篇作文而进行的不同段落之间的联结;思想、观点、事实性信息、情感的联结;时间、事件、地点、问题之间的联结;等等。
其次,通过调整已知条件信息以及把它们提供给学生的方式来控制。比如,是否把解决问题所需要的全部条件都呈现给了学生,还是让学生自己去寻找;在情境中引入了什么干扰性条件;应按照什么样的顺序、用什么样的形式来呈现这些条件。
最后,通过使用带有限制的沟通情境来控制。比如,强迫考生使用某些既定的词语、既定的语法形式、某类结构、某个语言形式等来完成某一任务;要求考生从一个口头的或书面的消息出发来完成某一任务;给考生提供一份不完整的资料,要求补充缺失的部分;限制书写的类型或风格水平;以下面的资料为基础撰写这份报告;文章要包括以下表格中的信息。
总之,参数可以在不同的水平上介入进来,在所选择的背景水平上,在支持工具水平上,在所提问题(任务)水平上,在已知条件(内容)水平上等。
5 结语
汉语能力测试作为一个新研发的考试项目,在命题方面还有许多问题有待进一步研究,本文仅从情境化命题的视角对某些问题做了初步地探讨,希望该研究能对汉语能力测试的命题有所帮助,同时对其他考试项目的命题也能带来某些启发。
[1]深入贯彻落实《国家通用语言文字法》全面推进语言文字事业科学发展——刘延东国务委员在纪念《国家通用语言文字法》颁布10周年座谈会上的讲话(2011年1月20日)[EB/OL].(2011-05-08).http://www.fyedu.gov.cn/default.php?mod=article&do=detail&tid=602519.
[2]国家中长期教育改革和发展规划纲要(2010-2020年)[M].北京:人民出版社,2010:40.
[3]陈琦,刘儒德.当代教育心理学[M].北京:北京师范大学出版社,2007:51.
[4][7][德]费利克斯·劳耐尔,赵志群,吉利,主编.职业能力与职业能力测评[M].北京:清华大学出版社,2010:19,21.
[5][比]易克萨维耶·罗日叶,著,汪凌,周振平,译.学校与评估:为了评估学生能力的情境[M].上海:华东师范大学出版社,2011:93.
[6][比]易克萨维耶·罗日叶,著,[比]让—玛丽·德·克特勒,协作,汪凌,译.整合教学法:教学中的能力和学业获得的整合[M].上海:华东师范大学出版社,2011:35.
[8]张均兵.易克萨维耶·罗日叶情境化命题思想的启示[J].中国考试,2013(6):26-32.
[9][10][11]欧洲理事会文化合作教育委员会,编,刘骏,傅荣,主译.欧洲语言共同参考框架:学习、教学、评估[M].北京:外语教学与研究出版社,2008:9,9,50-51.
[12][15][16][比]易克萨维耶·罗日叶,著,汪凌,译.为了整合学业获得:情景的设计与开发[M].上海:华东师范大学出版社,2010:72,129,128-129.
[13]W.James Popham.Classroom Assessment:What Teachers Need to Know[M].Fifth Edition,Pearson Education,Inc.2013:74-75.
[14]张均兵.美国考试中评价偏见的类型与鉴别方法[J].比较教育研究,2011(9):81-85.
Designing Situational Questions in Chinese Proficiency Test
ZHANG Junbing
Chinese Proficiency Test is a cover of listening speaking reading and writing ability of Chinese evaluation items.We have no precedent about how to examine such a test at present in China.Based on referencing and absorbing domestic and foreign advanced assessment theory and the language of evaluation results,the content and form of Chinese Proficiency Test is determined.In order to better achieve the goal of Chinese Proficient Test,it is necessary for us to insist on designing situational questions.In the process of choosing situation,we should follow the following principles:to send a positive value;not to offend certain candidates;to be appropriate and novel;easy to understand.In order to ensure the equivalence of different situations,we can try to use score statistics analysis method and the parameter control method.
Chinese Proficiency Test;Designing Situational Questions;the Selection Principles of Situation;Equivalent Situational Control Measures
G405
A
1005-8427(2014)05-0033-6
本文系国家语委“十二五”科研规划重大项目“国民语言文字能力标准与测评体系研究”(课题批准号ZDA125-1)的研究成果之一。
张均兵,女,教育部考试中心,助理研究员,博士(北京 100084)