构建英语公众演讲能力的评估量规

光彩虹

(长治学院 外语系，山西 长治 046011)

构建英语公众演讲能力的评估量规

光彩虹

(长治学院 外语系，山西 长治 046011)

英语公众演讲；能力；评估；量规

随着英语演讲艺术课程在中国高校的广泛开设，亟需探讨一套适合课程使用的评价体系来测量学生的演讲能力。本文对演讲评估内容和测量尺度的相关文献进行了回顾分析，得出一个由11个项目组成的可广泛使用的评估量表。通过对英语专业学生的40篇信息性和40篇劝说性演讲进行编码和独立评价，用因子分析的方法得出一个较为合理的三因子结构。生成的新演讲评估量规与学生的演讲成绩的相关性对比证实了新量规的预测效度。此研究对提高英语演讲艺术课程评估的信度和效度有一定借鉴作用，并给演讲课的教师和学生提供了一个测试公众演讲能力的有效量表。

演讲课程在西方国家高校的开设历史久远，演讲艺术课程起初只在大学的传媒学院开设，而现今它已成为普通大学生必修的通识课程之一。在我国，除了传媒学院所开设的演讲艺术课程之外，受各大英语演讲赛事的影响，如"外研社杯"全国英语演讲大赛、"21世纪杯"英语演讲比赛等，高校的英语专业逐步开设了英语演讲艺术这一课程，并正在逐步扩展到整个大学英语教育中，旨在提高学生的口语表达、逻辑思维和分析事物的能力。

英语演讲艺术已在我国高校广泛开设，教材普遍使用的是美国威斯康森大学麦迪逊分校Steven Lucas教授编写的全英版"演讲艺术"。虽然教材里很清晰地指明学生在不同阶段学习应该锻炼和提高的具体能力，但是由于我国在英语演讲能力评估方面的研究甚少，教师在演讲测试和演讲评价时仍然缺乏具有较强信度和效度的评价指导体系。多数英语演讲艺术教师仍然按照口语测试的评估标准，从内容、语音、演讲技巧等方面笼统地对学生的演讲进行评估。由于英语演讲和英语口语存在很多异同点，用口语评价标准对演讲进行评估难免会有些片面性。为此，本文从公众演讲能力的评估内容和评估测量尺度两个方面探讨学生公众演讲能力的评估标准，以期探索一套合理有效并适合于评价和测试学生英语演讲质量的标准体系。

一、英语公众演讲能力的评估

(一)公众演讲能力评估内容

上世纪70年代，美国国家传播协会(The National Communication Association，即NCA)开始了一项关于学生演讲核心能力的调查研究，为公众演讲核心能力的进一步发展奠定了基础。Quianthy(1990)分析了NCA所提出的演讲能力衡量标准，他指出演讲能力的考量应主要包含演讲目的、主题选择、内容构思、发音清晰度、语音变化、非言语行为、语言使用和支撑材料等方面。随后，Quianthy and Hefferin (1999)又进一步指出，有效的口头交流包含信息产出和用语言或非语言信号清晰地表达信息的过程(p. 28)。根据近年来相关领域的学者所发表的关于公众演说评价标准的文章 (Lucas, 2007; Morreale et al., 2007; Rhodes, 2010; Thomson & Rucker, 2002)，本文总结了公众演讲的核心能力和共同点，可以分为两大类别，即：信息组合和信息传递。信息组合主要指演讲目的的决定、主题的选择和口语语篇功能的完成，整个过程包含筛选恰当的论述观点、提炼支撑材料、精选词汇和过渡句；信息传递包含语音变化、语言表达、语言使用和非语言行为。演讲者还需通过良好的人际交流技巧、自我意识能力和话语表达方式进行演讲。

在Quianthy提出NCA公众演讲评价标准之后，又出现了PSCI、CSSEF、Lucas和VALUE演讲评估标准。下文将分别对以上四种评价标准进行分析。Thomson and Rucker's (2002) 公众演讲能力量表(PSCI)是公开发表的评价演讲能力的参考标准之一。此五点量表评价标准由7大类、20个分项组成，包含演讲的开头、内容组织、支撑材料、演讲的结尾、语言表达、非语言表达和综合能力。除语言使用之外，Thomson and Rucker的PSCI标准体现了演讲评估中创造信息和表达信息的两大组成部分。之后，Morreale et al. (2007)对优秀公众演讲者评价量表(CSSEF)进行了广泛的测试。CSSEF是由一个包含8项评价标准的三点量表图组成，八项内容主要测试学生在主题选择、演讲目的、言语表达、内容构思、语音语调、肢体语言、语言使用和支撑材料使用八方面的表现。八项内容和Quianthy(1990)提出的演讲能力考量标准完全吻合。

此外，Lucas(2007)所著的公众演讲艺术一书中依据演讲内容和构思过程，提出了由5大类、22个测量分项组成的演讲评估五点量表，主要分为演讲的开头、演讲的主体、演讲的结尾、演讲的表达和总体评价五大类。事实上，此教材的主体内容也是基于五大评价类别而编写的，它不仅给演讲课教师提供了教学与测试评价参考，而且学生也可根据此标准设定目标、逐项练习并最终达到目标。同年，美国大学联盟也进行了一项关于测量大学生核心学习成果的评估建构Value Assessment of Learning in Undergraduate Education (VALUE)。其中，口头交际能力是此评估建构的核心内容之一。相比以往的评估量表，此四点评估量表涉及范围更广泛，它包含演讲内容组织、语言使用、语言表达、支撑材料和核心信息五大项能力。此评估量表的设计主要是为了让广大高等教育机构在通识教育阶段所采用。

通过对上述四类公众演讲评价标准对比分析发现，其中共性的九项核心能力比较明显突出并和Quianthy (1990)所提出来的评估标准基本一致。这九项能力分别是演讲主题和目的的决定、支撑材料的使用、观点的构思、演讲的开头、演讲的结尾、语言的使用、语言传递、非语言传递和受众分析等。上述评估标准中唯一区别在于，PSCI和Lucas演讲能力评估项目中演讲的开头和结尾两部分从Quianthy演讲评估列表的内容构思一项中分割出来，目的是为了便于更具体地对演讲能力进行评估。除此之外，根据公众演讲教科书里对信息性演讲和劝说性演讲的演说能力评估要求，视觉辅助工具和说服力两项能力也应当加入评估标准。因此，通过对演讲评价标准的相关文献回顾得出了十一项能力作为演讲评价的新标准。

(二)公众演讲能力评估的测量尺度

公众演讲能力评价工具的评估需要以下两项标准：评价工具对评价内容测量的覆盖程度和测量方法的有效性。用这两条标准衡量上述讨论的四类演讲评价工具发现，每类标准所测量的精确度仍然存在很多局限性。在精确度方面，测量项目或者不够精确，或者太过于具体。比如，Rhodes (2010)提出的VALUE评价量规仅仅列出了五项常规标准，缺乏精确性。在CSSEF中，八项测试能力中的七个方面都在测试是否适合不同的听众和场合，而受众适应和演讲实践是不同的两个概念，即使演讲者使用了大量的支撑材料进行演讲，听众极其有可能产生对演讲者所引资料可信度的质疑。Thomson and Rucker's (2002) PSCI和Lucas (2007)公众演讲评价标准都包含了20项以上详细具体的评估标准。虽然此类评估标准可以从多方面多层次评估演讲并增加精确性，但是评估效率和时间均会受到影响。因此，上述讨论的四类演讲评价标准都有待完善。

关于测量方法，文中提及的演讲评价标准的测量方法基本类似，都使用了等级测量表，但评定量表缺乏具体性，而且打分时存在模糊性。与之相比，描述性量表则可对分项、总项和加权平均分分别计分，使评估更具说服力，并可针对每个演讲者给出详细的反馈意见。但描述性量表唯一不足的是耗时太长，考评人工费过高。等级量表和描述性量表各有利弊。因此，此研究的宗旨是找出一个更完善、更可信的测量方法，一个既能测量多项演讲能力的精确评估量表，又能给学生提出充分反馈意见，从而更加科学地进行公众演讲能力评估。

二、研究方法

为建立一个可以在演讲比赛、课堂教学、学生自我评估等方面应用的英语公共演讲评估体系，且基于对演讲能力评估相关研究的分析，本研究工具拟评估演讲能力的九项核心能力和两项附加能力，共十一项能力(见表1)。五点量表被用来测量演讲能力中的每项能力，能力的测量等级分为非常熟练、熟练、合格、基本合格、不合格五级标准。演讲能力的五个级别与相应的分数和描述符号可为教师和学生提供更加精确的评估反馈。

表1 公众演讲能力评估标准

此研究涉及到的语料库均来自于一所地方师范院校外语专业大二学生，共40篇信息性演讲和40篇劝说性演讲。英语演讲与艺术课程为专业选修课，研究者在期末考试时录像机拍摄下了学生的演讲过程。为保证评价者间一致性 (inter-rater reliability), 在对演讲录像进行评价之前，两名演讲课的教师接受了如何使用五点评估量规的培训和练习。然后，评价者对演讲视频进行独立评价，如果某一分项的评价结果有较大分歧，评价者需澄清问题并阐明所给评价的原因。评价者间一致性测量结果显示其组内相关系数为r= 0.7。通过分析绝对组内相关一致性，测试评价者可更科学地对表一中每个项目及其与总项间的共同度进行探讨。其次，使用探索性因子分析亦可调查其潜在因子结构模型。最后，除了测试评价者间的一致性和因子结构分析，还要通过比较公众演讲能力新量表的评估结果和学生演讲的实际分值，检测此评估量表的预期效度。

三、结果和讨论

通过检验组内系数表明了各项和总项的编码者一致性，说服性演讲的编码者一致性略低于信息性演讲(见表2)。抽样适度测定值(KMO)为0.86，巴特利特(Bartlett)的统计量为(X2 (36)=223.06, p=.000)，以上两项数据表明此样本符合做探索性因子分析的前提。

所有数据都在SPSS中进行了探索性因子分析，其中前两类因子特征值大于1，第三类因子的特征值为0.925，解释了总变量的71.54%。通过对碎石图和各个项目的共同度检验得出，三因子模型更适合于此数据。结果显示由九个项目组成的分类量表解释了总变量的81.75%，其中第一项和第九项( 演讲主题的选择)归类在第二因子中(α=.745)，第二项到第七项(演讲的表达)归类到第一因子中(α=.826)，第八项(演讲的非言语表达)独自形成第三类因子(见表3)。

表2 组内系数(r)

表3 因子载荷和共同度，1-9项

当把第十项(视觉辅助工具的使用)添加到前九项数据中做因子分析，且对碎石图和共同度检验之后发现，三因子模型仍较为合理, 解释了变量的82.45%。第1、4、6、9项，即主题适应性，被归类到一个因子中(α=.765)；第2、3、5、7、10项，即演讲的表达，被归到另一个因子中(α=.843)；第8项(非言语表达)再一次独自形成第三类因子(见表4)。

表4 因子载荷和共同度，1-10项

当把第十一项(构建有效劝说信息)添加到第1-9项数据中进行因子分析时，通过对碎石图和共同度检验得出，三因子模型仍然比较合理, 解释了变量的83.36%。第1、9项，即主题适应性，被归类到第二因子中(α=.775)，第2、3、4、5、6、7、11项，即演讲的表达，被归类到第一因子中(α=.861)，第8项(非言语表达)依旧独自构成了第三类因子(见表5)。

表5 因子载荷和共同度，1-9,11项

为使测量更具效度，本研究所采纳的量表得出的演讲总成绩平均值应当与学期中所使用的评分标准所得出的总成绩平均值的结果呈正相关。学期中所使用的信息性演讲评分标准是由二十个项目组成的五点量表的评价标准；劝说性演讲的评分标准是以开放式结构观察为指导的评价量规，包含九个分级类别。鉴于两类演讲评分标准的不同，本研究分析其总项和各项平均分与给定演讲类型(即：信息性演讲和劝说性演讲)的演讲成绩的相关性。在信息性演讲中，所有演讲者都使用了视觉辅助手段。信息性演讲成绩和总项成绩出现了显著相关性(r=.71,p=.00)；与第三因子(第1、4、6、9项)成绩呈显著正相关(r=.67,p=.00)；与第一因子(第2、3、 5、 7、10项)的成绩也显著相关 (r=.68,p=.00)；但与第8项呈反相关(r=.29,p=.14)。在劝说性演讲中，演讲者都没有使用视觉辅助手段。劝说性演讲成绩和总项成绩也呈显著相关性(r=.62,p=.00)；与第一因子(除第1、8、9项的其他项目)的成绩出现了正相关(r=.60,p=.00)；与第二因子(第1项和第9项)(r=.23,p=.31)呈反相关；与第三因子也呈反相关(r=.025,p=.91)。

通过对量表的信度和潜在因子结构分析，确认了本研究所提出的新量表的相对合理性。对于信息性演讲，此演讲评价量表充分表明了足够的信度和预测效度；对于劝说性演讲来说，较低的编码者间信度在某种程度上可能会削弱它的预测效度。其中，视觉辅助工具和说服力两项的加入也可能是影响预测效度的因素之一。另外，信息性和劝说性演讲中使用的不同等级评估准则也可能削弱其效度。此外，虽然演讲提纲和演讲时间的控制是演讲能力中知识面和应对特殊场景的具体体现形式之一，但是这两项并不一定能全方位地证明演讲者的演讲能力，因此没有在量表中体现。

另外需要讨论的还有两点。当第10项(视觉辅助) 添加到因子分析的数据中, 其潜在因子结构发生了改变, 第4项和第6项被移动到不同因子中。究其原因主要是因为视觉辅助工具的使用与语言组织的清晰度和动态性有着密切的关系，而非是主题适应性。比如，对表四仔细观察后发现，与语言组织相关的项目大部分都被归到第一类因子。由于学生在演讲过程中使用幻灯片能让听众更好地区分或识别演讲的开头、主体和结尾部分，因此视觉辅助手段的使用与演讲组织的清晰度有极大关联。其次，视觉辅助手段与声音表达有关，因为两者都属于传递交付的评估方式。此种项目排序可能导致第4项(支撑材料)和第6项(语言使用)与通过支撑材料创建消息和语言适应性之间的关联性更强。以上研究还发现，第8项(非语言行为)一直存在于独立因子中，它与信息性演讲和劝说性演讲都没有相关显著性。然而，尽管在演讲测试时有许多非语言以外的其他因素可能会发挥作用，缺乏相关显著性的结果是可以预测的。在今后的研究中可以选择去掉此项目或者将非语言行为细化到肢体语言和眼神交流等。

四、结语

总之，分析表明新的英语演讲评估量表呈现出相对可靠性和预测效度。英语演讲评估中教师评价者能够理解每个项目的具体描述内容并且实际操作具有可持续性。所有项目在因子分析里的导入结构相对简单整齐并呈现较高的共同度。试验中每个因子内的各个子项目间的关系与理论的预测基本一致。因此，此测量方法可以在演讲的教学和评估中作为衡量公众演讲能力的有效途径。值得注意的是，此研究结果出现了一个多因子的解决方案,而非是一个单因子解决方案。尽管此结果不是在预料之中，但是可以对此结果做出解释。虽然演讲需要对多方面的专业知识都有所了解，包含对演讲主题的研究、对演讲内容的构思和根据不同受众所采用适当的方式来表达思想等，但是演讲内容的组织和表达能力是有效衡量有能力的演讲者最重要的两个方面。在课堂教学方面，两类演讲的演讲能力评估和学生演讲练习都可以充分使用此量表。除此之外，此量表还可以为学生演讲的自我评估提供指引和反馈。

[1]Lucas,S.E.Instructor's manual to accompany the art of public speaking (9th ed.) [M]. New York: McGraw-Hill,2007.

[2]Morreale,S.P.,Moore, M. R., Surges-Tatum,D.,&Webster, L.The competent speaker speech evaluation form (2nd ed.)[M].Washington,DC:National Communication Association,2007.

[3]Quianthy,R.L.Communication is life:Essential college sophomore speaking and listening competencies[M].Washington,DC:National Communication Association,1990.

[4]Quianthy,R., &Hefferin, D. Speak up!A college competency assessment tool[J]. Popular Measurement, 1999,27-30.

[5]Rhodes,T.(Ed.). Assessing outcomes and improving achievement: Tips and tools for using rubrics[M].Washington, DC: Association of American Colleges and Universities, 2010.

[6]Thomson,S., & Rucker, M. L.The development of a specialized public speaking competency scale:Test of reliability[J].Communication Research Reports, 2002,(67),449-459.

Construction of Evaluation Rules of English Public Speech Ability

GUANG Cai-hong

(Department of Foreign Languages, Changzhi University, Changzhi Shanxi 046011, China)

English public speech; ability; evaluation; rule

In response to the demand for an accountable rubric that effectively assesses students' English public speaking competence, this paper analyses the public speaking evaluation content and measurement scale, an 11-item descriptive rubric designed to be comprehensible to use in public speaking competence assessment. 40 informative speeches and 40 persuasive speeches from English majors were coded and assessed, which revealed a relatively simple three-factor solution by using exploratory factor analysis. Comparison of new rubric scores with student speech grades also supported the measure's predictive validity. This study plays an important role in improving the reliability and validity of English public speaking competence rubrics and provides a valid and accurate measure for both faculty and students to assess public speaking ability.

2095-2708(2017)02-0121-06

2016-06-29

山西省教育厅高等学校教学改革项目(2012106)阶段性研究成果。

光彩虹(1983-)，女，山西平定人，副教授，主要从事应用语言学、英语演讲和口译研究。

H311.9

A