效度论据理论及其在留学生预科教学与测评中的应用

赵琪凤

效度论据理论及其在留学生预科教学与测评中的应用

赵琪凤

本研究运用当前效度研究的主导理论——解释性效度论据理论，为留学生预科汉语综合统一考试建立了一整套细化的效度证据研究框架。该框架由范围界定、评估、推广、解释、推断和应用六个推导过程组成，每一个推导过程都呈现出具体的研究和调查取证程序。我们从中发现，效度论据的收集贯穿整个教学和测评的始终，是一个动态、连贯、长期的积累过程。效度论据取证过程所体现的整体性、系统性和多样性的特点，同样适用于预科汉语教学。本研究所呈现的细化程序，试图为预科汉语教学提供尽可能详尽的信息，从而有助于预科汉语教学的开展和完善。

效度；解释性论据；预科汉语考试；预科教学

1 引言

效度研究一直以来作为测试领域的核心问题，是任何考试研究都不可或缺的重要组成部分。当前的效度研究是以Kane（1990，2001，2006，2012）提出的效度论据法为主导思想的研究。来华留学生预科汉语结业考试，作为国内大学预科教育测评的测量工具和评判标准，其效度研究关系到对整个考试质量的探究。本文将运用当前效度研究领域占据主导地位的解释性论据理论，对预科汉语综合统一考试这一新兴的考试类型，做细致的构想效度探析，并结合各类论据，为预科教学与测评提供尽可能具体详细的信息，体现教学与测试效度研究的有机结合。

2 解释性效度论据理论

所谓“效度”是指一个测验在多大程度上测到了它试图去测的那个东西（Courtis，1921）。在效度研究的历史进程中，研究者们从最初关注测验的预测功能和范围分类，逐渐演变为当前的效度论据理论，从解释的角度建立一系列的论据分析过程。

2.1 解释性论据的特征

在效度论据理论中，解释性论据是核心，Kane（1990）概括了解释性论据的五个特征，分别是：

（1）解释性论据是根据测验分数由人为创立和关联的。解释性论据可以根据需要被继续开发、修改甚至删除。解释性论据是被创立的，而不是被发现的。（2）解释性论据是具有结构的，通过一些测验分数与规则的假说建立起来的。（3）解释性论据是不断变化的，会随时根据情况得到调整。（4）解释性论据可能在具体情况下需要调整以适应新的情境。（5）解释性论据是开放的，会根据进一步的发展得以调整和完善。（Kane，1990：28）

我们根据上述的特征可以认为，解释性论据处于发展变化的过程中，是一个动态的解释过程，没有固定的模式或公式，它是根据情况的变化和需要加以调整的，随时有可能被修改、删除。因此，不同测验的解释性效度论据也会有所不同。

2.2 解释性论据的逻辑

2006年Kane在《教育测量》第四版中给出了解释性论据实现的流程图，试图以更为直观的视角说明解释性论的效度检验作用。图1为Kane描绘的解释性论据图（2006：p.33）。

心理测量的测量目标是某种心理特质，即图1中左上方图形中所表示的特质，目标范围指的是与特质有关联的所有可能观察到的现象，可以看出，潜在特质虽然由目标范围来表示，但是范围中也会受到其他特质、情境以及观测方法等因素的影响，通过抽样将得到一个概括全域，从全域中抽取出观测样本。解释性论据呈现在图示的右侧，可以看出解释性论据在解释测验对特质的测量结果时运用了四种主要的推导过程，通过对观测样本的评分得到一个观测分数，观测分数通过概括形成全域分数，然后通过对全域分数的推断形成目标分数，也就是对目标范围的预期值。最后，结合对目标分数的应用得到对特质的解释。

2.3 评估解释性论据的标准

关于评估解释性论据的标准，Kane（2012：p.13）做出了解释，主要包括三个方面：

（1）论据的清晰度：指观测表现、结论以及决策的表述都要清晰，尽量细化。

（2）论据的一致性：指观测表现、结论、决策之间应当是一致的。

（3）推断和假设的合理性：指整个研究假设、分析、解释的过程都要是合理的。

也就是说，Kane要求解释性论据在解释的过程中，对论据的说明要清楚细致，做到细化和可操作性，同时在观测表现、结论、分析之间做到推导的一致性，在推导过程中所提出的研究假设、提供的支持证据、以及之后的推断和应用都要合理可靠。只有达到这些标准，才可以说对一项测验的效度检验提供了解释性论据的研究。

图1 Kane（2006）描绘的解释性论据

2.4 小结

效度的解释性论据理论研究，由评分、推广、推导和应用等推导过程组成，每一个推导过程都会呈现具体的研究和调查程序，这些效度研究证据代表了一种不同的效度检验方法，这种方法不同于以往教育测量（Cronbach&Meehl，1955；Messick，1989）和教育评估中所采用的积累证据的方法（Bachman，1990；Weir，2005）。因为以往积累证据的方法很难确定需要搜集哪种证据，也不能确定需要多少种证据才足以实现效度检验（Shepard，1993）。而解释性效度论据由不同种类的推导过程组成，不同的推导程序能够对效度研究所需的不同类型做出具体检验（Chapelle，2008）。正因为解释性论据推导过程的系统性和可操作性，这一效度研究思路得到了效度研究者们的关注和认可。在实际应用方面，当前国外考试运用解释性效度论据进行分析的报告非常少见，目前只有国际大规模语言水平测试TOEFL考试运用解释性论据理论对TOEFL机考（IBT）做了详细的效度研究（Chapelle等，2008）。国内心理与教育测量界也关注到这一论据理论，田霖、韦小满等（2014）结合该理论对自学考试的效度研究做了初步的设想，但尚未发现对某一具体测验进行解释性论据检验的细化研究。“这种缺乏效度论证的情况，很容易导致考试分数的误用，也很容易使考试收到批评和攻击。”（谢小庆，2013）可以说，运用解释性论据展开的效度检验成为当前效度研究值得探索与应用的领域。

3 解释性论据理论在留学生预科汉语综合统一考试中的应用

3.1 留学生预科汉语综合统一考试

来华留学生预科汉语综合统一考试（以下简称为“预科汉语考试”）是针对外国留学生进入我国大学进行相关专业学习的入学考试，根据教育部的要求，汉语预科教育考核应不同于一般的语言水平考试，它所测的东西是语言与专业、知识与能力的统一体。因此，预科汉语考试专门设计成一种集基础汉语和专业汉语为一体的考试，它具备普通语言水平测试（例如HSK）和专门用途的语言测试双重性质。在基础汉语部分的设计上，以语言能力为考查核心，兼顾语言知识的考查，实现对语言能力的全面测评。在专业汉语部分的设计上，目的是测试预科生运用汉语获取专业汉语知识的能力。预科汉语考试作为一个测评预科教育效果的测量工具，其测试效度如何关系到整个考试的质量，应当进行深入的探究。本文将根据解释性论据理论包含的一系列推导过程，对留学生预科汉语考试的效度进行检验，为国内汉语测试的效度研究提供一个全新的视角，并实现对这一理论的首次运用。

3.2 预科汉语考试中解释性论据的细化与探析

本文主要呈现预科汉语考试“解释性效度论据所需要的一些证据”（Kane，1990，1992，2001，2004，2006，2012）。围绕解释性论据的研究，目的就是更加清楚地对测验分数做出解释和使用，进而为预科汉语教学提供相应的信息。

根据解释性论据所具有的开放性的特点，论据可以根据需要被继续开发、修改甚至删除。本文结合预科汉语考试的特点，将该考试的解释性论据扩展为由范围界定、评估、推广、解释、推断和应用六个推导过程组成，经过一系列假设、求证的推导过程，最后推导出最终结论，即“预科汉语考试测验分数反应了被试在大学学习环境下，在听力、写作和阅读方面理解和使用汉语的能力。这个分数对于帮助学校录取学生，进行分班决策和指导汉语教学都是有用的”。下面具体说明预科汉语考试解释性论据推导的每一个细化过程。

3.2.1 范围界定

范围界定推导过程的研究依据是“我们所观察到的被试在预科汉语考试上的行为表现，揭示出被试在目标范围的代表性情境下，运用汉语的相关知识，技能的能力。”而这个依据又是以三个假设为基础的，我们用表1呈现范围界定过程中的三个假设及其支持证据。

总体来说，预科汉语考试的解释性论据中目标范围界定的推导过程如图2所示。

3.2.2 评估

评估推导过程同样基于一个研究依据，即“通过观测被试在预科汉语考试任务上的表现，我们发现观测分数反映了被试的汉语语言能力”，这个依据是以三个假设为基础的，具体的假设和支持证据包含在评估过程的流程中，如表2所示。

我们将预科汉语考试的解释性论据中评估的推导过程概括如图3所示。

表1 范围界定推导过程

图2

表2 评估推导过程

图3

3.2.3推广

推广推导过程基于的研究依据为“观测分数是对理想分数的估计，需要通过相应的平行任务、平行测验以及平行评分员评分等一系列过程”，如表3所示。

这个复杂的推广推导过程概括如图4所示。

3.2.4 解释

解释推导过程的研究依据是“理想分数被认为体现了被试的专业语言能力”，如表4所示。

我们将解释过程概括如图5所示。

3.2.5 推断

推断过程包含的研究依据为“根据被试在大学汉语学习中表现出的语言学能力，说明预科汉语考试对专业汉语能力构想做出了评估”，具体研究过程如表5所示。

预科汉语考试解释性论据的推断过程概括如图6所示。

3.2.6 应用

应用推导过程同样基于一个研究依据，即“预科汉语考试对被试在大学期间使用汉语的能力进行估计而得到的信息，对大学录取考生、以及为考生提供恰当的课程都是有用的”，如表6所示。

表3 推广推导过程

图4

表4 解释推导过程

图5

表5 推断推导过程

图6

预科汉语考试解释性论据的应用过程如图7所示。

3.3 小结

从上文所呈现的预科汉语考试效度检验的整个推导过程可以看出，解释性论据研究贯穿整个测验运行过程的始终。从最初的范围界定开始，要着力确定测验任务范围、内容范围以及知识技能范围等，这个过程需要预先细致考虑并提出假设来明确，然后搜集相应的证据逐一支持这些假设的成立。第二步的评估推导过程，同样需要考虑一些注意事项，包括评分体系的恰当性、任务管理是否适当、题目的统计测量等研究假设，从而指导具体操作，提供支持证据证明假设成立。推广过程包含了对测验信度的研究，通过运用概化理论检验测验的一致性程度，并通过等值实现不同测验之间分数的可比性，体现测验的整体质量。解释推导过程则包含了传统研究中对不同效度类型的检验过程，运用相关分析法做测验的共识效度检验，运用因素分析法做构想效度检验等，从多个角度搜集证据检验构想效度。推断过程则从测验的外界环境中寻找效度标准，例如个人评价、教师评价、课堂测验成绩等，实现多种效度来源的效标关联效度检验，进一步证明测验的有效性。最后的应用推导过程，则是关注于预科汉语考试的使用效果方面，例如测验分数的含义以及为决策提供信息等，这些内容也被纳入到解释性论据当中，共同组成了丰富多样的解释性论据。

表6 应用推导过程

图7

根据解释性论据的检验要求和对其的评判标准，本研究对预科汉语考试论据检验的每一个过程都进行了细化和分类，并提出相应的假设和支持证据，实现研究假设和证据推断的合理性。同时在六大推导过程中确保论据的一致性和逻辑性，力争清晰地表明观测分数与最终解释及其应用的整体过程。基于上述研究思想，形成了本研究中的具体说明，实现对预科汉语考试解释性效度论据的检验和证明的细化和可操作性。

4 效度论据理论对预科汉语教学和测评的启示

测试作为对外汉语教学的四大组成部分之一，其效度研究是必不可少的。我们运用效度论据理论对预科汉语考试进行效度研究，一方面是为了促进预科汉语考试起到积极后效的作用，推动教学大纲的贯彻执行，使预科汉语考试更好地为教学服务；另一方面是通过一系列的效度检验的整体过程，为预科汉语教学提供动态信息。另外，在本研究的基础上，促进教学与考试的有机结合与理论探讨。

从预科汉语考试中解释性效度论据的检验过程中，我们能够发现，效度论据的证明过程具有整体性、系统性和多样性的特点，这些特征同样体现在预科汉语教学当中，对教学和测评具有一定的启示。

4.1 整体性

从效度论据的取证来看，效度检验需要贯穿整个测验的全过程，包括测验的开发、实施和最终的评价。这种研究的整体性同样适用于预科汉语教学的开展。为确保汉语教学的教学质量和测评效度，在预科教学实施之初，就需要制定相应的教学大纲，根据大纲编制配套的教材，明确教学所需的重点、难点，同时考虑对教学效果进行评定的测验编制问题，可以说制定教学大纲、编制配套教材以及开发测验，为整个预科汉语教学搭起了总体框架。在这个总体框架下，预科汉语教学的安排和开展可以得到一些启发和提示，提前规划一系列教学任务，是后续教学和测评工作顺利开展的基石，避免预科教学过分关注教材开发和课堂教学，忽略制定教学大纲和测试评估等问题的发生。

4.2 系统性

系统性是指整个教学和测评的实施是遵循一定的逻辑性的，是一个系统性的工程，而非杂乱无章、无序可依。根据上文对预科汉语考试解释性论据的六个推导环节的细化和探析，我们不难看到，每一个推导过程都是基于一定的研究依据的，同时提出几个具体的研究假设，并在实际检验中找到对应的支持证据来支持假设，从而证明研究假设的成立，完成对研究依据的证明。每一个推导过程都必须遵循研究的逻辑性，整个解释性论据的检验过程体现了研究的系统性和严谨性。根据这一特征，预科汉语教学在组织教学和进行测评中也同样需要遵循一定的科学性和逻辑性，根据教学需求提出研究假设，同时收集和提供证据来支持假设，从而实现对教学相关课题的研究和论证。

4.3 多样性

在解释性效度论据的检验过程中，多方收集效度证据是效度检验的重要组成部分，同时也体现了效度证据的多样性。这一特征也反映出预科汉语教学和测评同样需要收集多样、全面的信息。本文所说的多样性，包括信息种类的多样性和资料调查范围的多样性。具体来看，信息种类的多样性是指在教学实施过程中留意来自学校、学生、教师、录取大学等多方面的资料和信息。例如在分析预科汉语考试的效标关联效度时，需要收集的效度标准包括学生的平日成绩、教室评价、学生自评、学生背景情况，以及进入大学学习后的考试成绩等，这些方面的资料都需要在总体规划和具体实施教学中随时获取。资料调查范围的多样性是指获取所需的资料信息需要从不同的范围中寻找，例如从预科生所在的院系、预科生考入的大学所在院系、招收预科学生的相关大学的招生管理部门，以及社会上对预科汉语考试的评价等方面，可见信息来源的范围是比较广泛的。

5 总结

在对外汉语教学中，教学与测试互相影响，在研究中应作为一个整体来对待。效度检验不仅为了证明测验的有效性，还能够给教学以反馈信息。本文运用解释性论据理论为预科汉语考试建立了一整套细化的效度研究框架。我们从中可以看到，效度论据的收集贯穿整个教学和测评的始终，是一个动态、连贯、长期的积累过程，很多信息都需要提前规划和布置，并在具体的教学实践当中及时搜集。整个效度论证中突显出的整体性、系统性和多样性的特点，同样适用于预科汉语教学的整体过程，也就是说，效度论据取证过程是伴随预科汉语教学和测评过程始终的，充分了解论据理论在预科汉语考试中的应用，有利于预科汉语教学和测评的开展和完善。

[1]Bachman，L.F.Fundamental Consideration in Language Testing [M].New York:Oxford University Press，1990.

[2]Carl A.Chapell,Mary K.Enright,Joan Routled（eds.）Building a Validity Argument for The Test of Engligh As A Foreign Language [M].London:Routledge，2008.

[3]Courtis,S.Report of the standardization committee[J].Journal of Educational Research,1921（4）:78-80.

[4]Cronbach,L.J.,Meehl.P.E.Construct validity in psychological tests [J].Psychological Bulletin,1955（52）:281-302.

[5]Kane,M.T.Irish J.Med.Sci,1990（160）:17-22.

[6]Kane,M.T.Current concerns in validity theory[J].Journcnal of Edu-cationa Measurement,2001（38）:319-342.

[7]Kane,M.T.Validation[M].In R.L.Brennan（Ed.）,Educational measurement（4th ed.,17-64）.Westport:National Council on Mea-surement in Education and American Council on Education，2006.

[8]Kane,M.T.Terminology,emphasis,and utility in validation[J].Ed-ucational Researcher,2008，37（2）,76-82.

[9]Kane,M.T.Validating the Interpretations and Uses of Test Scoces. The concept of validity:revisions,new directions,and applications [M].edited by Robert W.Lissitz.Information Age Publishing Inc，2009:39-64.

[10]Kane,M.T.Validating score interpretations and uses[J].Language Testing,Vol.29,No.1,2012:3-18.

[11]Messick,S.Meaning and Values in Test Validation:The Science and Ethics of Assessment[J].Educational Researcher,1989（18）: 2,5-11.

[12]Shepard,L.A.Evaluating test validity[J].Review of Research in Education,1993（19）:405-450.

[13]Weir.Language Testing And Validation:An Evidence-based Ap-proach[M].Palgrave Macmillan，2005.

[14]田霖，韦小满，等.2014自学考试的效度及其证据来源探析[J].中国考试，2014（6）：18-23.

[15]谢小庆.效度：从分数的合理解释道可接受解释[J].中国考试，2013（7）：3-9.

Application to Preparatory Students Teaching and Assessment from Argument-based Approach to Validation

ZHAO Qifeng

This study uses the dominant theory of the validity research:Interpretive Argument-based Approach to Validation,and sets up a set of detailed validity evidence research framework for Chinese preparatory test.This framework includes six derivation processes,such as the scope definition,evaluation,generalization,the explanation,inference and application.Each process presents the specific research and investigation procedures. The study finds that collecting the evidences of validity runs through the teaching and assessment.This process is a dynamic,coherent,long-term accumulation process.The process which obtaining validity evidence has the characteristics of wholeness,systemic and diversity.These characteristics also apply to preparatory Chinese language teaching.This study tries to provide detailed information for preparatory Chinese language teaching as much as possible.This study also want to help to carry out and perfect the preparatory Chinese language teaching.

Validity；Interpretive Argument；Chinese Preparatory Test；Chinese Preparatory Teaching

G405

A

1005-8427（2016）02-0014-9

本课题受到北京语言大学校级科研项目（中央高校基本科研业务专项基金资助），项目编号为13YBG16的资助，并“受北京语言大学青年英才培养计划资助”，特致谢忱！

赵琪凤，女，北京语言大学语言科学院汉语考试与教育测量研究所,副研究员，博士（北京 100083）