全国高考英语试题与课程标准一致性研究:基于SEC 视角的分析*
2022-10-29骆瑞琪高旭阳
骆瑞琪 高旭阳
《普通高中英语课程标准(2017 年版2020 年修订)》(以下简称课程标准)是教材编撰、课堂教学、试题编制、教学评估的纲领性文件。[1]4如何将课程标准理念真实有效地贯彻到课程和教学实施的每一个环节,一直是外语界探究不衰的热点话题。作为教学评估中承载极高社会权重的高考必将成为检测标准是否达成的重要依据。那么,英语高考试题是否回应了英语课程标准对学生语言能力和学科素养达成结果的描述?高考英语试卷与英语新课程标准之间在多大程度上达成了一致?这无疑是广大教育测量学研究者亟待直面的重要命题。因此,本文采用SEC(Surveys of Enacted Curriculum)课程实施调查一致性分析模式,以2020-2021 年高考英语全国卷Ⅰ阅读理解试题为研究切入口,对其与课程标准间的一致性进行尝试性探究,以期为我国高考英语试题编制和评估提供启示。
一、研究方法
(一)研究对象
本研究选取2020、2021 两年的高考英语全国卷Ⅰ为样本,因阅读理解部分在试卷中占比较大,本文将以两套试卷中的阅读部分为研究载体,从而达到“管中窥豹”的效果。
(二)研究工具
判断和分析课程各个要素吻合程度的理念、程序和方法的总和被称为“一致性分析模式”。[2]由美国政府资助,威斯康辛教育研究所的两位研究者安德鲁·帕特(Andrew Porter)、约翰·史密森(John Smithson)合作研发而成的SEC 一致性分析模式,以其方法灵活、计算简便且应用广泛等主要特点而受到国内外广大测试工作者的一致好评。[3]
SEC 一致性分析模式又被称为“二维矩阵法”,它是以知识的深度和知识的广度为框架进行构建的,其中一致性评价的核心是“知识深度”。[4]该模式第一步是确定描述内容主题和认知水平的同一语言,即“描述符”,搭建一个“内容主题”和“认知水平”的二维矩阵框架;第二步是在此框架下,对课程标准和试题内容进行编码、统计,利用该框架计算出对应的比率值数据代入一致性系数公式中,计算得出一致性系数;最后依据一致性系数的大小判断其所比较项目一致性程度的强弱。[5]帕特(Porter)一致性系数公式如下:
在帕特(Porter)一致性性系数公式中,n 代表二维矩阵中单元格总数目,Xi、iY各自表示X、Y 两个二维矩阵中归一化后的数值(1 ≤i≤n),P 代表帕特一致性系数,且 0≤P≤ 1,数值越大,代表两者间一致性越高。故而,我们可根据值的大小比较不同年份高考英语试题与课程标准间的一致性差异。[6]
(三)一致性分析的研究框架
SEC 二维矩阵分析框架从内容主题和认知水平两个维度搭建,形成“内容主题*认知水平”的二维矩阵分析框架。为保证二维矩阵编码的客观性,本研究遵循课程标准及国内外相关权威文献以择定划分内容主题与认知水平两大维度。
1.内容主题分类
郭宝仙、章兼中在我国中小学外语阅读结构框架体系中,将阅读内容主题分为“语言”“内容”和“结构”。[7]本研究在此基础上细分为语言(词汇、语法、语篇、语用、修辞)、内容(信息、事实、观点、主旨、意图、情感、态度、价值观)和结构(宏观结构和微观结构)三个一级维度和15 个二级维度,其中,三个一级维度用于计算一致性系数P 值,15 个二级维度用于对课程标准和试题进行更准确的编码,具体见表1。
2.认知水平分类
郭宝仙在我国中小学外语阅读结构框架体系中指出,阅读的认知水平分为感知与识别、定位与提取、理解与整合、分析与推理、赏析与评价和迁移与应用六个层次。[8]其中,“感知与识别”指学习者能够通过视觉捕捉、辨认和区分书面语言和符号,是最低层次的认知水平;“定位与提取”指学习者能根据记忆,确定所需信息所在的位置,并能找出具体信息;“理解与整合”指学习者能领会所读内容所表达的意义,并将其与已有的知识建立联系;“分析与推理”指学习者能理解所读信息的内在关系,并结合已有的知识和经验做出推测与联想;“赏析与评价”指学习者能感受与体味所读文本的内容、形式、情感等,并根据自己的经验或客观标准对其进行评价;“迁移与应用”指学习者能联系实际,将阅读中获得的知识、技能、情意等用于新情境中。具体见表1。
表1 SEC 一致性分析二维矩阵框架
3.研究框架的确定
据上所述,本文最终拟定SEC 一致性分析模式的高考英语阅读理解试题与课程标准的二维矩阵分析框架,如表1。
笔者对课程标准与试题进行编码时采用15 个二级内容主题维度*6 个认知水平维度,即15×6 的二维矩阵分析框架,在计算之前,需要将课程编码以及试题编码结果统计和比率表简化为3 个一级内容主题维度*6 个认知水平维度,即3×6 的二维矩阵分析框架,故n 取值为18,从统计学角度看要到达0.05 水平,该数据矩阵达到显著性一致,采用双侧检验,Porter 数值必须达到0.9142,才具有统计学范畴上显著的一致性。[9]
4.研究资料的编码
(1)严格选择编码者
研究团队由一名从事英语学科教学研究的教授、两名副教授以及多名硕士研究生组成。团队成员分为两个小组,对两套试题进行独立编码,在编码中经过多轮意义协商,逐渐达成共识。
(2)对课程标准编码
本研究将课程标准中关于阅读的五大项质量描述进行解构研究,将其精准拆分为20 条质量描述子目标,再依据细分后的子目标进行内容主题和认知水平维度的分类。[10-11]例如,课程标准的学业质量水平二中“能识别语篇中的内容要点和相应支撑论据”这一表述,笔者在编码统计时将其拆分为“能识别语篇中的内容要点”“能识别语篇中的论据”两条具体质量描述子目标,均归类到“感知与识别(A)”水平。笔者按照此方法对课程标准进行分析梳理、统计数值,并计算对应的比率值,如表2、表3 所示。
表2 课程标准编码结果统计
表3 课程标准编码结果比率
(3)对高考试题编码
笔者对2020、2021 年全国卷Ⅰ高考英语阅读理解试题进行分析梳理、统计分值,并计算对应的比率值,如表4、表5、表6、表7 所示。以2021 年第21 题为例,该题分值为2.5 分,主要考查学生定位与提取信息的能力,归类到“定位与提取*信息”(即B6)中,在相应水平和内容维度中记2.5 分,并以此类推。[12]
表4 2020 年高考英语阅读全国卷Ⅰ编码结果统计
表5 2020 年高考英语阅读全国卷Ⅰ编码结果比例
表6 2021 年高考英语阅读全国卷Ⅰ编码结果统计
表7 2021 年高考英语阅读全国卷Ⅰ编码结果比例
二、结果分析
(一)内容主题维度的数据分析
在内容主题维度上对课程标准和两年试题进行比较,如图1 所示。
图1 “内容主题”比较
观察图1 可知,普通高中英语课程标准在阅读板块重点聚焦“内容”,比率值为0.6000,其次是“结构、语言”,比率值分别为0.2500、0.1500。2020 年高考英语阅读试题重点考查的内容主题维度依次是内容、结构和语言,比率值分别为0.8072、0.1143、0786;2021 年的英语阅读试题依次重点考查的内容主题维度是内容、结构和语言,比率值分别为0.8000、0.1154、0.0846。两年试题在“内容”板块上的考查比重契合课程标准的要求。
(二)认知水平维度的数据分析
在认知水平维度上对课程标准和两年试题进行比较,如图2 所示。
图2 “认知水平”比较
观察图2,不难发现高中英语课程标准在阅读板块主要聚焦在理解与整合、感知与识别等认知层面,然后是定位与提取,比率值分别为0.4500、0.3500、0.1000。2020 年高考英语试题重点考查的认知水平依次是理解与整合、分析与推理,比率值分别为0.6357、0.2787;2021 年的英语试题重点考查的认知水平依次是分析与推理、理解与整合,比率值分别为0.4461、0.4385。两份试题重点考查的认知维度均是理解与整合、分析与推理。这与高中课程标准英语阅读试题命制“能力”立意相吻合,也满足了高考所肩负的“鉴定和激励”功能的需要。[1]51
(三)总体一致性的数据分析
1.总体一致性系数情况分析
将2020、2021 年高考英语阅读全国卷Ⅰ的比率值数据代入Porter 一致性系数公式,得到2020 卷值为0.4857,2021卷值为0.5635,二者均低于临界值0.9142,故两年的试题与课程标准之间不具备统计学意义上的显著一致性,但从2020 年卷到2021 年卷,一致性系数数值在递增。
2.总体一致性曲面图分析
为更加直观、全面、清晰地呈现两套高考英语试题与课程标准的差异,笔者将三者编码结果比率表绘制成相应的立体曲面图。在图3、4 和5 中,横轴为5个认知水平维度,纵轴为3 个内容主题维度,图中不同色块表示权重不同,本文将其划分为5 个区块维度,每相邻区域相差0.0500;维度一:0.0000—0.0500 用灰黑色表示;维度二:0.0500-0.1000 用灰色表示;维度三:0.1000-0.1500 用深灰色表示;维度四:0.1500-0.2000用黑色表示;维度五:0.2000-0.2500用白色表示。因此,在曲面图中,白色区域越大,表示课程标准与试题在对应的内容主题和认知水平维度上高度关注;灰黑色区域越大,表示试题与课程标准在内容主题和认知水平维度上的关注度越低。
(1)课程标准曲面图
分析可知——①认知水平维度(横轴):从前景区域(去除背景区域)在横坐标上,水平C 位于白色区域,水平A 位于黑色区域,认知水平B 位于深灰色区域,认知水平D、E、F 位于背景区域。②内容主题维度(纵轴):从纵轴的分布中,“内容”和“结构”板块位于白色区域,“语言”板块位于深灰色区域。③认知水平—内容主题(交叉点):曲面图中,横轴上水平A、C 与纵轴上“内容”板块的交叉点,即水平A+“内容”、水平C+“内容”分别位于黑色和白色区域,表明课程标准重点关注“内容”板块,并且认知水平要求重点聚焦于理解与整合、感知与识别。
(2)2020 年试题曲面图
分析可知——①认知水平维度(横轴):相较于课程标准的曲面图分布情况,在2020 年试题中,水平C、D 均位于白色区域,水平B 位于灰色区域,水平A、E、F 均位于背景区域。②内容主题维度(纵轴):从2020年试题的纵轴分布来看,“内容”板块位于白色区域、“语言”板块位于深灰色区域、“结构”板块位于灰色区域。③认知水平—内容主题(交叉点):曲面图4 中,横轴上水平C、D 与纵轴上“内容”板块的交叉点,即水平C+“内容”、水平D+“内容”分别位于白色区域,表明课程标准重点关注“内容”板块,并且认知水平要求重点聚焦于理解与整合、分析与推理。
图3 课程标准的曲面图
图4 2020 年高考试题曲面图
图5 2021 年高考试题曲面图
(3)2021 年试题曲面图
分析可知——①认知水平维度(横轴):2021 年试题中,同2020 年试题一样,水平C、D 均位于白色区域,水平B 位于灰色区域,水平A、E、F 均位于背景区域。②内容主题维度(纵轴):从2021 年试题的纵轴分布来看,“内容”板块位于白色区域、“结构”板块位于深灰色区域、“语言”板块位于灰色区域。③认知水平—内容主题(交叉点):曲面图5 上,横轴上水平D、C 与纵轴上“内容”板块的交叉点,即水平D+“内容”、水平C+“内容”分别位于白色区域,表明课程标准重点关注“内容”板块,并且认知水平要求重点聚焦于分析与推理、理解与整合。
三、研究结论与改革建议
(一)研究结论
基于计算获得的一致性系数P 可知:2020 年、2021 年高考英语全国卷Ⅰ之阅读理解部分与课程标准之间不具有统计学意义上的显著一致性,但相较于2020 年卷,2021 年卷与课程标准的一致性吻合度更高。
其中,在内容主题方面,两年试题均凸显“内容”板块的考查;相较于课程标准,两年试题均弱化了“结构”和“语言”板块的考查。在认知水平方面,①两年试题与课程标准均聚焦“理解与整合”能力;②试题考查范围小于课程标准的规定,前者只涉及“定位与提取”“理解与整合”和“分析与推理”,后者在前者基础上还包括“感知与识别”“迁移与应用”;③在认知维度考查的比重上,高考试题与课程标准中所规定的有出入。课程标准中所规定的考查比重从大到小是“理解与整合”“感知与识别”“定位与提取”“分析与推理”“迁移与应用”,2020 年卷中各层次认知水平比重从大到小是“理解与整合”“分析与推理”“定位与提取”,而2021 年比重排序则是“分析与推理”“理解与整合”“定位与提取”。
(二)改革建议
1.高考英语试题与课程标准之间的一致性有待进一步提高
课程标准中规定学业质量水平二是高考命题的主要依据。[1]93同时高考英语试题对教学存在重要的反拨作用。[13]如果高考英语试题与课程标准一致性程度偏差较大,不仅影响试题的信度和效度,还会削弱一线教师对标课程标准进行英语教学的动机。坠入题海、以题定教、反复简单操练,以此提高学生的英语水平和学习成绩显然是不符合当今需求的。从2020 年到2021 年试题与课程标准的一致性吻合度逐步提高这一现象可知,诸多专家学者和一线教师的努力正在见效,但与一致性系数的临界值还有差距,这意味着要进一步提高高考英语试题与课程标准之间的一致性,以便更好地推动一线教师对标课程标准进行教学,从而更好地发挥高考的反拨作用。
2.均衡不同内容主题维度的分布比例
基于本研究结论,笔者建议在高考阅读理解试题中减少学生对于阅读文本“内容”层面的考查,适当提高对于阅读“语言”和“结构”的考查比重,且尽可能与课程标准中所规定的考查比重保持一致,分别为60%的“内容”、25%的“结构”以及15%的语言。阅读教学是培养学生核心素养的重要途径。[14]因此,高考阅读理解试题的考查不应该只满足于考查学生阅读文本“内容”的能力,即获取阅读文本信息、事实观点等,而应逐步培养学生分析文章框架和语篇逻辑框架的能力。教师在现实教学中可通过预设特定任务和问题引导阅读或开展相关专题讨论等方式来实现。[15]
3.平衡不同认知水平层次的考查
高考英语阅读理解试题应持续注重考查学生“理解与整合”阅读文本的能力,也要适当通过读后续写、写作等其他题型加大对“感知与识别”“赏析与评价”和“迁移与应用”能力的考查,同时也要平衡各个认知水平层次的考查,尽量做到与课程标准要求相一致,即35%的“感知与识别”、45%的“理解与整合”、10%的“定位与提取”以及均为5%的“分析与推理”和“迁移与应用”。当然,教师在教学过程中要辩证地看待课程标准和高中英语试题的导向作用,不仅要在课堂教学中贯彻落实课程标准的理念,也需紧扣高考命题的发展方向。对于二者都没有考查到的认知水平,如学生“赏析与评价”阅读文本的能力,教师也应在实际教学过程中有所践行,坚持阅读教学的本质。