外语写作思辨能力评价指标构建——一项基于德尔菲法的研究

马利红

(北京科技大学外国语学院，北京)

1.问题提出

作为英语学科核心素养之一，近年来思辨能力的培养和评价引起学界高度重视。外语学习者的思辨能力主要通过口语或写作等输出型活动进行展现，而写作可经过深思熟虑，反映写作者的多个视角，具有评价思辨能力的天然优势。外语写作中的思辨能力是伴随写作过程并指导写作过程的高层次思维，既具有思辨能力的共性，又具有外语写作的特性。在外语写作中评价思辨能力的有效性逐渐得到国内外学者认可，比如Stapleton(2001)从结论表达、论点数量、证据充分性、识别反驳、回应反驳、谬误数量等方面评价日本大学生在外语写作中体现的思辨能力，穆从军(2016)和董焱宁(2017)主要从清晰性、相关性、精确性、逻辑性、深度、宽度等思辨标准评价外语写作思辨能力。上述研究分别基于思辨技能和思辨标准评价外语写作思辨能力，在某种程度上是将思辨技能与思辨标准割裂开来。

诚然，有些研究者尝试将思辨技能和思辨标准结合起来，比如Connors(2008)提出外语写作中的思辨能力多步分析标准包括问题的完整性、答案的精确性、结论的严谨性，MacLaughlin和Moore(2012)提出在写作中评价思辨能力的标准包括主题聚焦性、思维逻辑性、内容完整性、语言恰当性、表达准确性，余继英(2014)提出从观点清晰性、论述切题性、论证逻辑性等角度构建写作思辨一体化评价标准。上述研究融合了思辨技能和思辨标准，是外语写作中评价思辨能力的重要进展，但是多采用思辨的方法构建评价指标，采用德尔菲法构建外语写作思辨能力评价指标的研究较少。德尔菲法又称作专家调查法，主要指研究者组织若干专家，按照规定程序，背靠背征询专家对某一主题的意见，然后对每一轮意见进行汇总，并反馈给专家继续进行分析，经过多次循环，直至专家意见趋于一致(Skulmoski等，2007)。作为收集专家效度的一种方式，德尔菲法在评价指标构建中被广泛应用。因此，本研究尝试基于德尔菲法构建外语写作思辨能力评价指标，试图回答以下问题：

(1)外语写作思辨能力评价指标包括哪些方面？这些指标的具体内涵是什么?

(2)外语写作思辨能力评价指标包括几个评分等级，每个评分等级的具体内涵是什么？

2.评价指标的初步筛选

在思辨能力理论模型中，三元结构模型融合思辨技能、思辨倾向和思辨标准，是较全面阐释思辨能力且在实践领域广泛应用的理论模型(Paul& Elder，2006)。分析思辨技能是评估思辨能力的必要但非充分条件，评估思辨能力还需依据思辨标准，思辨标准可从不同侧面评估思辨能力的有效性和科学性。因此，本研究拟以思辨能力三元结构模型为理论基础，将思辨技能和思辨标准融入外语写作过程，构建外语写作思辨能力评价指标，这不仅对外语教学中的思辨能力培养和评价研究具有借鉴意义，而且对外语学科核心素养的培养和评价研究具有启示作用。

由于思辨能力具有领域特殊性，不同领域的思辨能力存在差异(Moore，2011)，相应地，外语写作思辨能力必然兼顾思辨能力和外语写作的特性。首先，我们以思辨能力三元结构模型为基础，将目的、问题、观点、信息、推理、概念、假设、启示等思辨技能融入外语写作过程。具体讲，思辨能力是有目的的反思性判断过程(Facione，2011)，而外语写作首先需要辨别写作目的；思辨能力是基于具体问题情境的思维技能(Moore，2011)，而写作过程包括提出问题和定义问题；思辨能力需要合乎逻辑地分析、论证和评价观点(Facione，2011)，而写作也需要表达观点或立场；思辨能力强调基于证据捍卫立场、做出推理、得出结论并解释结论(Facione，2011)，而写作同样强调证据的作用；思辨能力既包括推理能力和推理意愿，又包括语言推理和论证分析(Ennis，1993)，而外语写作思维模式的最高级别就是推理式(秦晓晴 文秋芳，2007)；思辨能力是基于证据得出逻辑性结论的过程(Ennis，1993)，而外语写作模型关注能否得出结论以及结论表达的清晰性和严谨性(Connors，2008)；思辨能力是提出假设并验证假设的过程(Ennis，1993)，而写作过程包括检验假设、避免个人偏见等(Wade，1995)。综合思辨技能和外语写作过程，我们发现明确目的、提出问题、表达观点、提供证据、推理论证、得出结论、提出并验证假设、反思评价是外语写作思辨能力的主要表现。对于上述基于文献分析构建的外语写作思辨能力评价指标的合理性和科学性，本文将通过德尔菲法进一步修订和完善。

3.研究设计

3.1 专家团队构成

本研究选择在外语教学以及思辨能力培养和评价领域具有一定理论知识和实践经验，并且有参与调查研究能力、意愿和时间的专家，最终确定的专家团队包括16位高校英语教师，符合德尔菲法通常选择15-35人组成专家团队的基本要求(Skulmoski等，2007)。专家团队的具体信息如表1所示。

表1 专家团队信息

3.2 咨询流程及工具

本研究基于《外语写作思辨能力评价指标咨询问卷》(以下简称《咨询问卷》)，征求专家对评价指标及其内涵和评价等级的意见和建议，每轮咨询内容根据专家意见做相应修改。《咨询问卷》借鉴同类调查问卷的编制方法，包括背景信息、权威程度自评、对评价指标的意见和对指标内涵的意见(马利红 王彩霞，2019)。

专家咨询以电子邮件形式进行，共包括三轮。首先请专家对初步构建的评价指标进行判断并说明修改意见。第一轮调查结果返回后，通过数据统计和语义分析对专家意见进行凝练，再将分析结果发送给各位专家，进行第二轮专家咨询，请专家参考上轮分析结果对修订后的评价指标进行判断，并写出修改意见。第三轮重复第二轮专家咨询的程序，以期提高专家对评价指标判断的一致性。

3.3 指标筛选标准

本研究根据专家意见的均值、满分率和差异系数筛选评价指标，并根据专家提出的修改意见修订评价指标。通常均值(M)得分达到满分的75%时，说明该指标具有较好的适切性；满分率(K)达到0.5时，表示评价指标得到一半以上的专家认可，可予以保留或适当修改后保留；差异系数(CV)是标准差与均值的比值，CV≤0.2时，表示专家意见趋于一致(Hsu & Sandford，2007)。

4.研究结果

4.1 第一轮专家咨询结果

第一轮专家咨询发放问卷16份，回收有效问卷16份。数据分析结果显示，第一轮专家咨询意见均值M=2.22，满分率K=22.2%，差异系数CV=0.19(见表2)，这表明初拟指标结构适切程度较低，仅有1/4的专家认可。根据第一轮专家建议，研究者将“提出假设”和“提出问题”合并，将“反思评价”拆分，删除“反思”，突出评价能力。

表2 三轮专家咨询结果

4.2 第二轮专家咨询结果

第二轮咨询问卷增加了第一轮咨询结果反馈和指标内涵阐释，其余内容和作答方式与第一轮咨询问卷相同。结果表明，第二轮专家意见的均值M=2.59，满分率K=58.8%，差异系数CV=0.19(见表2)。与第一轮咨询结果相比，第二轮专家咨询意见均值和满分率均有所增加，表明修改后的评价指标适切性和专家一致性提高。根据第二轮专家建议，研究者进一步查阅文献，修订了“提出问题”和“表达观点”的内涵，并进一步根据思辨标准明确各项指标的评价标准。

4.3 第三轮专家咨询结果

第三轮咨询问卷增加了第二轮咨询结果反馈和评价等级描述。根据三元结构模型中的思辨标准和评价等级(Paul & Elder，2006)，每项思辨技能分为4、3、2、1四个水平，4表现为思辨的清晰度、准确性、精度、深度、广度、逻辑性、公平性较高；3表现为思辨具有准确性和清晰性，但缺乏深度、精度和广度；2表现为思辨的清晰度、精准度、深度不够；1表现为思辨缺乏准确性、清晰性、公平性、逻辑性。考虑到外语写作文本难以同时反映所有指标，本研究设置了0水平。借鉴穆从军(2016)的写作思辨质量评价标准和Connors(2008)的思辨能力分析框架，本研究对评价指标设置相同权重。第三轮专家咨询意见的均值M=2.89，满分率K=88.9%，差异系数CV= 0.11(见表2)，表明专家对第二次修订后的指标结构以及评价等级较为认可。最终确定的外语写作思辨能力评价指标体系包括提出问题、表达观点、提供证据、推理论证、得出结论和阐释评价，每个指标包括0、1、2、

表3 外语写作思辨能力评价框架

对于提出问题的评价，Paul和Elder(2006)认为问题是思辨的前提，已有外语写作思辨能力分析框架从问题的完整性(Connors，2008)和提出问题的深度(穆从军，2016)进行评分。鉴于已有研究和三元结构模型中的思辨标准，本研究主要从是否提出问题、问题是否有深度、是否对问题进行分析三个角度评价提出问题。

对于表达观点的评价，以往研究多根据观点表达的精确性和简洁性(Connors，2008)、观点与主题的相关性和观点表达的清晰性评分(穆从军，2016)。思辨需要合乎逻辑地分析、论证和评价观点(Facione，2011)。鉴于以往研究和思辨标准，本研究主要从是否表达观点、表达观点的清晰性和逻辑性、能否辩证地表达观点三个角度评价表达观点。

对于提供证据的评价，以往研究根据证据的充分性(Qin & Karabacak，2010)，证据的时效性、代表性、客观性和可信度(Stapleton，2001)，证据的精确性和相关性(余继英，2014)，论点后是否有证据(曹宁，2018)等标准进行评价。鉴于以往研究和思辨标准，本研究主要从是否提供证据、证据是否与主题有关、证据是否充分、证据是否有说服力四个角度评价并提供证据。

对于论证的评价，Qin和Karabacak(2010)认为论证是对有争议的问题进行回应，以往研究往往从整体论证质量进行评分，比如论证是否与问题相关(Connors，2008)、论证的逻辑性和准确性如何(余继英，2014)等。基于以往研究和思辨标准，本研究对论证能力的评价主要从是否进行论证、论证的逻辑性、论证是否基于一定理由三个角度进行。

对于得出结论的评价，以往研究常常根据结论的严谨性进行评分(Connors，2008；Stapleton，2001)。基于以往研究和三元结构模型中的思辨标准，本研究主要从是否得出结论、结论是否有逻辑缺陷、是否能多角度考虑问题并得出结论三个方面评价并得出结论。

对于评价能力，以往研究常常根据评价的说服力进行考核(Paul & Elder，2008)。本研究中，评价是对整体论证质量的评价，主要从是否进行评价、评价立场的客观公正性、评价的宽度和深度三个方面考虑。

以往研究多采用文献法构建外语写作思辨能力评价指标，缺少充分的专家效度。与前人研究相比，本研究基于思辨能力三元结构模型，综合思辨技能、思辨标准和外语写作过程初步构建外语写作思辨能力评价指标，并经过三轮专家咨询，进一步对评价指标进行修改和完善。本研究构建的评价指标基于一定的理论基础，并经过充分的专家论证，在一定程度上提高了研究结果的可信度。

5.讨论与结论

本研究基于思辨能力三元结构模型，采用德尔菲法构建外语写作思辨能力评价指标，既有坚实的理论基础，又经过专家效度验证，不仅可以作为教育测评工具，也可以作为思辨能力理论模型，对外语写作质量和思辨能力评价研究具有一定的启示意义。

5.1 评价指标具有科学性

研究结果表明，提出问题、表达观点、提供证据、推理论证、得出结论和阐释评价是反映外语写作思辨能力的核心指标。问题是思辨的起点，提出问题的水平，如问题的复杂性和多角度(穆从军，2016)，对评价思辨能力意义重大。思辨能力侧重通过逻辑分析表达观点，并以证据支撑自己的观点，并且思辨能力需要的证据必须真实、充分，证据来源必须可靠(Facione，2011)。作为思辨能力的关键技能，论证是基于分析推理而逐步推断出结论的过程，强调通过强有力的论证来理性监控、评估和反思人们的思维和行动(武宏志，2016)。思辨能力的核心是通过对问题、思想、事实的综合分析和推理形成结论，而得出结论的严谨性和逻辑性常常是评价思辨能力的重要标准(Connors，2008；Stapleton，2001)。思辨者常常能自觉反思并评价自己的认知活动，尤其是站在质疑、举证、分析、论证的立场上，多角度审视自己的论证过程(Ennis，1993)。因此，从学理上讲，作为评价外语写作思辨能力的核心指标，提出问题、表达观点、提供证据、推理论证、得出结论和阐释评价契合思辨能力的内涵。

5.2 对外语写作质量评价具有启示意义

从思辨能力的视角对外语写作质量进行诠释，将有助于完善外语写作理论体系，拓展外语写作评价的广度和深度。以往外语写作教学侧重通过讲授审题、立意、篇章、表达、语言等基础写作知识，以及叙述、议论、描写、说明等基本表现手法，让学生掌握遣词造句、谋篇布局、文稿格式、书写规范等方面技巧，重视单项语言技能训练，但忽略了思辨能力培养。研究表明思辨能力和外语写作相互作用、相互影响，作者的思2017)。写作过程既是提出观点、组织证据、写作论证和修改的过程，也是分析、推理、评价和自我调控的思维过程(Chaffee，2012)。通过写作教学可以培养学生的思辨能力，比如记叙文写作时，可从不同角度描述同一语境。写作可以促进思辨能力发展，相反，思辨能力不足会导致写作低效(高霄 文秋芳，2017)。可见，外语写作与思辨能力是相互作用、相互影响的统一体，本研究构建的外语写作思辨能力评价指标可以为外语教师开展思辨能力培养和评价研究提供参考和借鉴，外语教师可基于评价指标引导学生在写作中进行思辨训练，综合运用语言能力和思辨能力评价标准评价学生的外语写作水平。

5.3 对思辨能力评价研究具有启示意义

在国内外高度重视思辨能力发展的背景下，本研究吸收和借鉴外语写作与思辨能力评价的相关研究成果，基于思辨能力三元结构模型，系统分析和深入挖掘外语写作思辨技能，通过三轮专家评议构建外语写作思辨能力评价指标，是迄今为止为数不多的系统采用德尔菲法构建思辨能力评价指标的研究之一，对落实《普通高中英语课程标准(2017年版)》中思维品质的培养和评价以及对《英语专业本科教学质量国家标准》和《大学英语教学指南(2020版)》提出的思辨能力培养和评价具有借鉴意义。

思辨能力具有领域特殊性，特定领域的思辨能力测评效度更好。一项对国际语言学领域SSCI期刊的可视化分析表明，通过写作评价思辨能力是未来语言学领域开展思辨能力评价研究的发展方向(马利红 刘坚，2018)。本研究通过外语写作评价思辨能力是特定学科领域开展思辨能力评价研究的有益尝试，可以为其它学科领域开展思辨能力评价研究提供参考和借鉴；采用德尔菲法构建思辨能力评价指标的研究方法也可为英语学科核心素养评价研究提供方法论层面的借鉴和参考。