评价主体多元化导向下的高中英语写作反馈研究
——基于被评价者认同视角的现状调研
2022-07-22林诗培
林诗培
(上海市嘉定区第二中学 上海 201802)
一、引言
写作反馈是学习者了解自身英语写作水平的直观媒介,也是提升写作能力的重要抓手。《普通高中英语课程标准(2017 年版2020 年修订)》(下简称《新课标》)指出,教学评价应以形成性评价为主,辅以终结性评价,定量评价与定性评价相结合,注重评价主体的多元化、评价形式的多样化、评价内容的全面性和评价目标的多维化。[1]从不断完善教师为评价主体的反馈方式,到尝试将学生纳为评价主体,对写作反馈方式的探索始终是研究者关注的热点。然而,写作反馈是否有成效,不仅受反馈本身质量的影响,也与被评价者的认同程度紧密相关。了解被评价者对不同评价主体高中英语写作反馈形式的认同程度,有利于写作反馈的改进和教学质量的提升。
本调研通过问卷调查、访谈和课堂观察等方式了解以不同群体为评价主体的高中英语写作反馈的基本现状和被评价者对所用反馈形式的认同程度,主要回答以下问题:
其一,现行写作反馈的主流评价主体有哪几类?对应写作反馈的具体实施情况如何?
其二,被评价者对所用写作反馈形式有何看法?
其三,不同评价主体的写作反馈形式主要存在哪些问题?
二、调研背景
写作反馈指梳理写作文本优势与不足,为修改润色提供建议的写作活动,是过程性写作(process writing approach)的关键要素之一、成稿必经的环节。[2]
近年来,写作反馈中评价主体多元化的问题备受关注:现有的研究挖掘了评价主体多元化的价值和 实 施策略[3][4][5];细化了 多 元主体评价 中 制定量表的依据、考评维度及使用方法[6];认为以学生为评价主体能提升课堂参与度[7]。相比之下,兼顾写作评价主体差异和被评价者认同程度的高中英语写作反馈现状调研寥寥:个别研究就师生对写作反馈的 态度做 过小样本 的单次调研[8][9];少部分研究对英语写作同伴互评中学生的态度略有提及,但均属主观的经验小结,没有数据支撑[10][11][12]。
综上,评价主体多元化号召之下,基于被评价者认同程度视角进行的高中英语写作反馈比较性、历时性现状调研尚缺,本调研实属必要。
三、调研设计
(一)研究目的
本调研在梳理高中英语写作教学现行主流评价主体类型的基础上,旨在了解《新课标》落地后,以不同群体为评价主体开展的写作反馈实施现状、学生对所用写作反馈形式的态度、反馈存在的问题等,并基于调研结果拟出优化方案。
(二)调查对象与研究方法
本研究为分层抽样的跟踪调查,通过问卷调查、访谈和课堂观察结合的方式推进,历时两学期。研究对象为上海某区2021 届高中师生。学生总数2029 人,预设学生调查整体置信水平为90%,抽样误差±5%,确定样本容量为241 个。
学生问卷于2020 年10 月、2021 年6 月各发放241 份(对象为同批学生),回收前测问卷240 份、后测问卷223 份,剔除无效问卷后,各保留217 份,有效率分别为90.42%、97.31%。教师问卷于2021 年6月发放37 份(学生样本对应的教师),回收37 份,问卷有效率100%。
(三)研究工具
本研究使用的研究工具主要为师生调查问卷、访谈提纲。
学生问卷由两部分构成。第一部分了解学生基本情况,并了解样本所用反馈模式的评价主体及具体反馈方式;第二部分收集学生对写作反馈示范、评阅、修改等方面的评价及对现行模式的认同度。笔者就学生问卷第二部分(以Likert scale 五级量表计分)进行信效度检验。经测,问卷前测KMO检验系数为0.914,后测为0.836,P 值均小于0.05;前测Cronbach’s α 系数分别为0.768,后测为0.835,可见问卷的信效度良好,结果有效可靠。
教师问卷由两部分构成。第一部分了解样本教学背景,确定样本在写作教学中常用的评价主体和反馈方式;第二部分反映样本对于自身所选反馈方式的认知与看法。笔者就教师问卷第二部分(以Likert scale五级量表计分)进行问卷信效度检测,其KMO 检验系数为0.756,P 值小于0.05,Cronbach’s α 系数为0.798,问卷信效度良好,结果有效可靠。
结合师生问卷结果,研究针对典型问题拟定师生访谈提纲,对有效问卷中部分师生做匿名访谈和跟踪观察。
四、调研数据分析
秉承严谨的科研态度,本调研所有数据均以匿名问卷与访谈的方式获得。所回收问卷经筛选,排除呈规律性、同一性作答、留白三题以上的问卷,所得有效变量采用SPSS20.0、SIMCA14.1 进行偏最小二乘判别分析。
(一)写作反馈概况
本调研共回收有效学生前测和后测问卷各217份,覆盖市、区重点高中、普通公办高中和民办高中各层次学生群体;回收有效教师问卷37 份,基本覆盖各教龄、学历、职称的高中英语教师群体,有较好的代表性。
1.评价主体
师生问卷反映,现行评价主体主要有两类——师生双主体(约占样本总体的32.43%,均为书面反馈,其中重点高中和普通高中的比例约6:4)和教师主体(约占样本总体的67.57%,其中书面反馈62.16%,口头反馈5.41%)。
支持学生参与反馈的教师更注重学生能力和素养的培养,自身主导反馈的教师更注重评价的质量和效率。教师选择将学生纳入评价主体的前五位因素依次是:利于提升学生批判性思维(36.36%)、利于培养学生自主学习能力(27.27%)、利于培养学生自主学习意识(18.18%)、利于提升写作学习的竞争意识(9.09%)、评语规避模式化对学生更有吸引力(9.09%)。选择教师单评价主体的前五位因素依次是:教师能尽可能识别所有写作中出现的问题与错误(65.38%)、便于挑选典型示范教学(19.23%)、评阅过程公正客观(7.69%)、能提供具体可行的修改建议(3.85%)、评阅周期短(3.85%)。
2.反馈频次与用时
整体上,师生双主体的写作反馈较教师单主体的写作反馈频率更高、单次用时更长,如表1 所示。
表1 不同评价主体写作反馈频率与用时统计
3.反馈方法
师生双主体和教师单主体的反馈中,分别有90.91%和96.15%为抽样反馈;9.09%和3.85%为全覆盖反馈。尽管所有教师均认同多次反馈修改有利于提升写作水平和质量,但仅有54.55%的师生双主体反馈为多次反馈,100%教师单主体和45.45%师生双主体的反馈为单次反馈。
问题反馈方面,师生双主体和教师单主体的反馈中,分别有9.09%和15.38%的教师直接对学生的错误进行纠正;45.46%和30.77%的教师在圈画提示后引导学生自主纠正(如画出时态出错的动词并标注“注意时态”);36.36%和23.08%的教师仅圈画错处;9.09%和30.77%的教师不做细节反馈,仅给出整体印象(如给出分数或等级)。佳作示范方面,以教师单评价主体和师生双评价主体的反馈中,分别有45.45%和11.54%的教师以学生自主传阅的方式推广优秀习作;54.55%和46.15%的教师组织学生共同赏析;另分别有0%和38.46%的教师将优秀习作整理润色后发给学生自主品鉴。
4.反馈重点
整体上,师生双主体的写作反馈对各维度的关注度较均衡,教师单主体的反馈各维度的关注度则差异较大,如表2 所示。
表2 不同评价主体写作反馈的重点统计
(二)学生对不同评价主体反馈方式的态度
被评价者对写作反馈的认同度,决定了反馈的采信程度和反馈的实际效果。为研究学生对师生双评价主体(以下简称A 组)和教师单评价主体(以下简称B 组)两类写作反馈模式所持的具体看法及历时变化,研究初期和末期分别采用问卷、访谈和跟踪观察采集信息,如表3 所示。
表3 写作反馈认同程度(学生问卷)结构
问卷数据标准化后,A 组被评价者对4 个考察维度前测评分依次为46.24、52.15、66.24 和38.87,后测依次为67.14、66.76、66.25 和67.61;B 组被评价者对四个维度前测评分依次为70.44、59.04、56.03和66.58,后测依次为71.37、59.22、55.56 和66.58(满分100 分)。总体上,A 组前测认同度较低,后测提升显著,B 组前后测认同度基本持平。
1.调研初期学生对不同写作反馈方式的态度
写作反馈认同度的前测中,A、B 组问卷各题项得分均分为2.66、2.93(满分5 分),处于中上水平。学生对教师单主体的写作反馈认同度整体高于师生双主体的写作反馈。
单以均分、标准差和Z 检验等指标做比较无法判定两组数据内部特征的异同,且数据个体信息损失较大,无法真实体现数据情况。偏最小二乘判别分析,是多变量数据分析技术中的判别分析法,用以处理分类和判别问题。通过对主成分适当的旋转,PLS—DA 可有效对组间观察值进行区分,并找出导致组间差异的影响变量。
为进一步研究A、B 两种不同评价主体写作反馈下,学生对其认同度的差异,笔者运用PLS—DA就A、B 两组样本对各自所用写作反馈模式认同度的前测结果进行分析。
表4 对A 组内写作反馈认同度前后测区分贡献较大的题项
经测,A、B 两组样本的聚类良好、显著分离,可知学生对于两种主体的写作反馈模式在认同度前测上存在显著差别,如图1 所示。两组数据评价PLS-DA 模型质量的关键指标,R2X=0.493、R2Y=0.871、Q2=0.863,说明模型的稳定性和预测性良好。
图1 A、B 两组反馈方式认同度前测PLS—DA 投影
笔者进一步采用变量权重重要性排序(Variable Importance in Projection,下简称VIP),如图2 所示,结合Z 检验Z 值,对PLS-DA 模型中差异性较大的写作反馈认同度问卷题项进行筛选。Z 值大于1.96 的变量即A、B 两组样本中对所用写作反馈模式态度方面存在显著差异的题项,VIP 大于1.0 的变量即对分类贡献较大的题项。经测,使A、B 组写作反馈认同度前测区分显著的主要是范文价值、语言质量提升、反馈作用、素材丰富性、反思改进效果等维度。
图2 AB 组反馈方式认同度前测VIP 值
结合反馈认同度问卷前测中A、B 两组得分,如图3 所示,在范文认可度(如:Ba2 阅读范文是否对自身写作有益)、语言质量提升度(如:Ba6 阅读范文是否有助于提升语言表达水平)、评价效果的认同度(如:Ea1 是否希望继续采用该种反馈模式)等若干方面,B 组更有优势;而灵感激发(如:Ba3 阅读他人作品是否有助于启发思路)、丰富素材(如:Ca4 阅读反馈是否有助于充实写作内容)和反思促进(如:Da5 评后反思是否有助于后续提升)等若干方面,A组优势更大。
图3 A、B 两组反馈方式认同度前测均值
访谈对上述结果的解释如下,其一,教师提供的范文历来是学生模仿的对象,学生对其权威性和质量深信不疑,而对同伴习作的质量多持怀疑态度。其二,由于写作反馈的重点长期集中在语法和词汇的纠错上(分别占34.56%和24.88%),学生对上述维度尤为关注。调研初期,A、B 两组都仅对教师的语言水平、纠错能力等表现出更多的信任(A 组学生认为同伴有碍于语言水平,无法对语言质量做出公允、精准反馈)。其三,同伴互评环节的纳入让学生不再拘泥于教师个体的想法,输入的信息更多、思路更开阔。其四,由于互评中竞争的压力持续存在,同伴间开放的挑战和质疑使得文本的薄弱点受到更挑剔的审视。其五,反思改进方面,在评价量规的辅助下,学生从读者的角度审视同伴习作,易被教师忽略的问题(如行文逻辑等)在互评时也因较易引起理解障碍而受到学生的关注,为在同伴间的比较中脱颖而出,不少受访学生开始从输入性活动中总结各类写作策略与技能,并运用于输出性活动。
2.调研后期学生对不同写作反馈方式的态度
写作反馈方式认同度的后测与前测采用同一问卷,A、B 两组问卷各题项得分均分为3.395、2.94(满分5 分),处于中上水平。学生对师生双主体的总体认同度略高于教师单主体的写作反馈模式。
以PLS—DA 就AB 两组样本对各自所用写作反馈方式认同度的后测结果进行分析。
经测,AB 两组样本聚类良好、显著分离,两者认同度问卷后测上的结果有显著差异,如图4 所示。两组数据评价PLS—DA 模型质量的关键指标,R2X=0.435、R2Y=0.849、Q2=0.84 说明模型稳定性和预测性良好。
图4 AB 两组写作反馈认同度后测PLS—DA 投影
进一步采用变量权重重要性排序后,如图5 所示,结合Z 检验Z 值,筛选PLS—DA 模型中差异性较大的认同度问卷题项。经测,使A、B 组写作反馈认同度后测区分显著的主要是灵感激发、逻辑严密性提升、语言质量改进、反思改进效果等维度的评价,如表3、表5 所示。
图5 AB 组写作反馈认同度后测VIP 值
表5 对AB 组学生写作反馈认同度后测区分贡献较大的题项
结合反馈认同度问卷后测中A、B 两组得分,在语言质量的提升程度方面,B 组始终具有绝对优势;在提供灵感、丰富素材和反思促进等方面,A 组认同度依旧高于B 组,如图6 所示。
图6 A、B 两组写作反馈认同度后测均值
与前测明显不同的是,A 组在范文认可度(如:Ba2 阅读同伴习作是否对自身写作有益)、写作逻辑及提升度(如:Ca7 阅读反馈是否有助于自身写作体现思维层次、形成逻辑闭环)、反馈认可度(如:Ca2反馈是否对写作水平提升有帮助)、评价效果的认同度(如:Ea1 是否希望继续采用该种反馈模式)等方面有大幅提升甚至超越B 组。这说明经过一段时间教学后,学生感受到师生双主体的写作反馈模式在习作交流、互评和习作修改方面的优势,认为从中受益。
此次访谈对上述数据变化做出如下解释:B 组方面,尽管教师反馈对学生习作语言质量的提升保持较高的权威性,但自身能做的努力似乎仅有依赖记忆策略背诵语块和句型,表示认同的同时也流露出无措感。同时,教师反馈的形式较简略,大同小异,有时因为教师反馈过于抽象,学生甚至会遭遇理解困难,改进更是无从谈起,在一定程度上影响了学生修稿的积极性。此外,由于教师忙于聚焦语言形式的谬误,正面反馈较少,即便学生能认识到教师良好的出发点,依然难以消除读取负面反馈时的挫败感。总体上学生对教师为唯一主体的反馈模式态度与前测差异不大。A 组方面,同伴互评多以一对多的形式开展,部分互评活动得益于评价量规的辅助,同伴反馈大多详实细致。此外,互评双方因年龄相仿颇有共鸣,商榷式的反馈语气更易被采纳;更重要的是,互评中存在的良性竞争激发了学生修稿提升的动力,评价标准的解读与制定让学生更明确了修稿的方向,多稿多评也让学生切身感受到反馈和修稿的成效。经历两学期的体验,多数学生逐渐意识到互评的价值,对师生双主体的反馈形式认同度提升。但值得关注的是,也有部分开展
将A 组Ea1 题项(是否希望继续采用同伴互评反馈方式)非中立作答的70 个样本(NA总=71)分为两组,Ea1 后测大于3(持支持态度)的为Group 2,小于3(持反对态度)的为Group 1,并比较两组Ea1前后测均分。如图8 所示,Group 2 在Ea1 题项上前后测评分的增幅高于Group 1。
图8 A 组Ea1 题项非中立样本Ea1 前后测均分
为厘清学生对师生双主体反馈模式支持度两极分化及Group 2 在后测中对该模式支持率大幅上升的原因,笔者对师生进行访谈和课堂观察。
结果反映,Group 1 在纳入同伴互评的近一学年里,对该模式始终存在较严重的不信任感和焦虑感(互评采纳的均分2.07,远低于Group 2 同题均分3.66)。主要潜在因素如下:其一,Group 1 的访谈对象对同伴的评价能力存在质疑,认为对方的写作的认知水平远低于教师,同伴评价的结果与考试的标准偏差较大,互评是事倍功半;其二,Group 1 中89.66%学生的教师将互评分以较高比自由互评(无明确量规,教师几乎无跟进反馈)的学生认为,同伴互评虽较教师单一反馈发现了更多待改进的问题,却依然无法明确问题出现的根源,一定程度上阻碍了改进。
3. 师生双评价主体反馈模式下学生态度的内部差异
数据分析过程中,有一个特别的现象值得关注:A 组内部对师生双评价主体反馈的态度呈明显的两极分化,如图7 所示。例(40%~75%)纳入平时成绩作为考核,学生担心平时成绩录入综评网会对升学造成潜在影响,因此存在打分虚高虚低的现象,学生普遍对互评结果产生焦虑;其三,Group 1 中86.21%的学生反映教师都采用公开互评(署名或当面互评)的形式,学生因人际关系的亲疏,存在不同比例抬高或拉踩评分的情况,学生认为互评不公正、可信度低;其四,Group 1 中的教师普遍没有给学生提供可参考的评价量规,部分互评缺乏依据和针对性;其五,有41.38%的学生反映,互评之下教师的反馈量、反馈覆盖面极小,教师对学生撰写的反馈鲜有回应,致使学生参与评价的动力降低,继而对整个反馈模式持消极看法。
图7 A 组Ea1 题项后测选择情况占比
在Group 2 的访谈与观察中,学生对反馈模式的采信度较高,氛围好。主要因素如下:其一,92.68%的学生反映教师不仅在同伴互评初期进行互评的指导,遇到各写作体裁、题材时,其互评指导也是贯穿学期始终的,教师群体重视互评与修稿的质量,持续跟进各学习环节,会针对互评与修稿的情况做评价、给建议,帮助学生提升评价能力;其二,82.92%的学生同样反映教师将互评分数记入平时成绩,但占比较低(少于40%),因此多数学生并不纠结分数的高低,坦然面对互评分,乐于捕捉同伴的优点,公正地参与互评;其三,73.17%的学生反映同伴互评的小组是定期流动的,较有效地避免了“互评倦怠”,保护了互评的积极性。
可见,同是师生双主体的反馈模式,互评组织方式的差异极大地影响了学生对模式的认同度。
五、研究结论
结合问卷与访谈的信息,高中英语写作反馈主要呈现出以下特点:
第一,静态终评,笼而统之。无论何种评价主体的反馈,或受制于应试观念,或受累于繁重的批阅量,多数反馈仍为一次性评价,且两类评价主体给出的反馈均有少数无细节指导。这也间接导致了师生“反馈即给分”“得分即目标”的错误认知,无以解决“重结果、轻过程”的顽症。访谈揭示,绝大多数学生希望反馈不局限于分数和圈划,认为反馈的丰富和有效性极大影响了自身的写作热情。多主体、多样化、多维度、多频次、多引领的形成性评价能更大程度地满足学生的需求,学生对反馈的认可度、落实率更高,自我效能感更强。
第二,维度局限,囿于纠错。教师单评价主体的写作反馈中,绝大多数教师的反馈焦点与圈划纠正聚焦于语言形式且以负评居多,这有助于提升学生写作中语言质量,但学生普遍感到枯燥与挫败。教师单评价主体的写作反馈对习作内容思想、行文逻辑等方面较少关注,即便少数教师对此有所提及,也大多未能及时提供具体、明晰的改进路径。而在学生参与的同伴互评中,得益于评价量规的导引和良性竞争意识的激发,学生对原本备受忽视的写作维度主动关注改进,相关元认知策略被有意识地优化。
第三,忧心成效,信心不足。对学生语言水平、识错能力缺乏信心,开展互评的多为学生综合能力较强的重点高中。未将学生纳入评价主体的教师认为学生参与反馈会影响评改的正确性与效率。未经系统培训的互评中,学生在初期对同伴的评改能力有较多质疑。
第四,亟需指导,跟进必行。部分同伴互评空有形式:放任学生自行互评或缺乏评前培训,导致学生对同伴的评价产生严重的怀疑和焦虑;教师指导缺位之下,学生评价者对错误类型无法归类溯源,反馈稿“满目疮痍”,原作者无从下手,一定程度上影响了学生对反馈的落实和接受度;忽视对学生反馈的评价易于挫伤学生参与互评的积极性,进而堕入胡评乱改的恶性循环,直接影响了学生对同伴评价的采信度和对反馈模式的认同度。反馈采纳率、互评支持率高的样本背后,教师均将评价指导与反馈贯穿始终,最大限度地确保评价者对反馈量规解读充分、对同伴习作评价合规,且大多采用了师生合作的多轮次评价。
第五,章法引领,匡助内化。将学生纳入评价主体的情况下,超半数的教师使用了写作反馈量规。经过培训后,在正确解读量规的前提下,学生不仅将量规作为评价他人的准绳,也在潜移默化中以量规检视自身习作,继而发现了自身个性化的薄弱点,利于后期进行有针对性的干预。参与互评的学生在自主反思、落实修改和对思维逻辑严密性的关注度等方面的表现更优。
第六,关注公允,重视氛围。学生极少对教师的反馈提出权威性、公正度方面的质疑。然而碍于人际关系亲疏的牵绊和成绩等级的压力,评价者对待互评的态度往往发生一定程度的扭曲,致使被评价者对互评的不信任和对评价结果的焦虑加剧。在匿名评价、流动结对、重评语轻打分(适度降低学生给分在最终成绩中的比例,增加教师对学生所撰写反馈的考评比例)制度下,调查对象对反馈的认同度和反馈采信率较高。
六、研究启示
(一)写作反馈理念有待更新
第一,静态终评向动态反馈转变。反馈是为了更好地跟进与改进。《新课标》要求评价方式由终结性向过程性、形成性转变。因此,无论何种群体为评价主体,评价者都要摒弃笼而统之的一次性反馈,立足于被评价者的实际需求,关注其学习体验,充分利用反馈实现评价者与被评者间多频次的交流,提示错误类型、分析错误根源、给出改进路径、点燃学习热情、激发提升潜能。
第二,浅层局部向深层整体转变。写作语言的准确性固然重要,但过度拘泥于语言形式细枝末节的基础问题,忽视语言意义,易陷入舍本逐末的泥沼,也易使学生产生挫败感和厌倦感,导致学生机械地依赖记忆策略。有教师引领、评价量规辅助的同伴互评,能确保高效覆盖各层各类的评价维度,有助于写作中全局意识的培养和高阶思维能力的发展。同时,学习共同体内的良性竞争有利于写作兴趣的唤醒。
第三,消极规避向积极尝试转变。以教师为唯一主体的反馈模式下,学生角色始终如“牵线木偶”,综合能力与素养难以提升,一味接受教师的观点和评定,易陷入被动学习的怪圈。评阅反馈的最终目的是培养学生的自我评改能力。[13]互评绝非绩优生的“专利”。学习本身就是从无到有的过程,正是因为学生不善评价,学习如何评价才显得必要。写作反馈的意义远不止提升文本质量,还在于培养学生的批判性思维和自主学习能力。
(二)写作反馈方式有待改进
第一,任其自流向追踪循环转变。学生参与互评并不意味着教师角色的抽离。互评仍须借助教师反馈的传统优势,充分利用教师自身专业能力和教学经验,全程跟进、循环指导,以助力学生参与反馈、内化反馈。
第二,无标可依向有章可循转变。在适切评价工具的辅助下,以学生为评价主体的实际效果要好于师生预期,且对自主学习能力的提升更显著。此外,有研究表明,学生在精心设计、周密实施的互评中同伴反馈更精确有效。[14][15]因此,除了运用现成量规,教师也可根据写作实际,同学生共析佳作、同定量规,以便学生更全面地理解评价标准、更高效地实施评价。
第三,焦灼无序向透明公正转变。高利害、公允性难以保证是同伴互评实操过程中的主要隐患。只有在安全性高的合作学习氛围下,学生才能更加专注于学习成果与评价标准间的关系。[16]因此,适当弱化结果导向元素的干扰(如:轻给分、重评语等)、强化刺激学生改进的活动(如:关注写作水平增量、对学生的反馈及时给予反馈等),有利于营造轻松向上的互动学习环境,使学生更高效地投入学习本身。