基于SEC范式的地理试卷与课程标准一致性研究

王 宇 章新平（湖南师范大学 资源与环境科学学院, 湖南 长沙 410081）



基于SEC范式的地理试卷与课程标准一致性研究

王 宇 章新平
（湖南师范大学 资源与环境科学学院, 湖南 长沙 410081）

摘要：试卷与课程标准的一致性是教师进行教学和对学生开展学习评价不可忽视的问题。本文选取2015年新课标全国文综卷I地理必修部分和湖南省普通高中地理学业水平考试试卷为研究对象，采用SEC（Surveys of Enacted Curriculum）一致性分析范式，从内容主题和认知水平两个方面对课程标准和试卷进行编码，通过计算Porter一致性指数分析试卷与课程标准的一致性。研究结果表明，2015年全国新课标文综卷I地理必修部分和湖南省高中地理学业水平考试试卷与课程标准之间的一致性水平较低，而且2015年全国新课标文综卷I地理必修部分与课程标准的一致性低于湖南省高中地理学业水平考试试卷与课程标准之间的一致性。

关键词：地理课程标准；地理高考试卷；一致性

一、问题的提出

地理学习质量评价作为学习系统的反馈调节机制，在学习与教学过程中起着重要的作用。新课程改革和《普通高中地理课程标准（实验）》颁布以来，对传统的地理学习评价方式提出了许多新的要求和一些合理的建议。同时，地理学习评价又是地理课程评价的一部分，学习评价方式的选择和质量的高低直接影响着课程目标的实现。目前，我国高考和学业水平考试是高中两个十分重要的阶段性考试，研究地理高考试卷和学业水平考试试卷与课程标准的一致性，对于更好地在教学过程和试题命制中贯彻新课程改革的理念具有重要的参考价值。

二、研究方法的选择

1.一致性研究范式的选择

美国一致性研究范式以Webb分析范式的构建为标志，在开发Achieve、SEC和SRI等一致性分析工具的基础上实现了一致性分析的转型。本研究在综合考虑以上四种研究范式之后，决定选取SEC一致性分析范式。SEC的开发者波特等人以内容矩阵构建为基础，对不同来源的数据加以编码，利用公式计算数据之间的一致性指数（alignment index），通过指数反映一致性程度的高低，并判断是否具有良好的一致性。波特等人在研究中验证了不同的一致性指数方法，得到了衡量试卷与课程标准一致性量化的Porter一致性指数（P），计算公式

为[1]：

公式中i表示二维矩阵的行，j表示二维矩阵的列，则Xij表示第一个二维矩阵ij单元格的数值，Yij表示第二个二维矩阵ij单元格的数值，Xij和Yij是从0到1的百分数，两个二维矩阵的差值是Xij-Yij，总的差值就是

2.研究对象的选择

本研究选取了2015年新课标全国文综卷I地理中必修内容和2015年湖南省普通高中地理学业水平考试试卷作为研究对象。其中全国新课标文综卷I必修部分90分，由11道选择题和3道材料分析题构成。湖南省学业水考试试卷题型包括25道选择题和5道材料分析题，总分是100分。

三、研究过程

1.内容标准的选择

依据《普通高中地理课程标准（实验）》高中地理课程由三个必修模块和七个选修模块组成，必修三个模块中地理1侧重自然地理，地理2侧重人文地理，地理3在地理1和地理2的基础上，探讨区域可持续发展。本研究选取地理必修三个模块进行编码，由此确定《课程标准》的十个内容主题为“宇宙中的地球”“自然环境中的物质运动和能量转换”“自然环境的整体性和差异性”“自然环境对人类活动的影响”“人口与城市”“生产活动与地域联系”“人类与地理环境的协调发展”“区域环境与人类活动”“区域可持续发展”“地理信息技术运用”[2]。并且把地理三个模块分别用1、2、3进行编码，每个模块下的内容标准分别用1.1、1.2、1.3……来编码。

2.认知水平的划分

布卢姆教育目标分类理论从认知、动作技能和情感等三大领域出发，确定认知领域的目标分为识记、领会、运用、分析、综合和评价六个层次。地理课程标准中课程目标从知识与技能、过程与方法、情感态度与价值观三个维度来表述。本研究结合地理课程实际决定将认知水平划分为“了解”“理解”“运用”三个水平，每个水平下所用的行为动词主要有：（1）了解：了解、知道、说出、举例说出、描述、简述、概括等；（2）理解：理解、解释、说明、举例说明、概述等；（3）运用：运用、分析、归纳、总结、掌握、解决等。

3.研究过程

（1）对内容主题与认知水平进行编码，构建“内容主题×认知水平”的二维表格。其中内容主题按地理三个模块，十个主题进行编码，认知水平按了解、理解和运用来编码。同时对课程标准中的内容主题进行分析，确定每条主题要求达到的认知水平，进行统计后得到内容主题共有60个知识点，每一个知识点对应一个认知水平，再次进行统计后填入构建的二维表格中，由此得到一个“10×3”的二维矩阵。内容主题中各认知水平的知识点数目及比率如表1所示，其中，知识点数目比率值由知识点数目除以知识点总数（60）进行标准化得到。

表1　地理课程标准中的知识点数目及比率

（2）对2015年新课标全国文综卷I地理必修部分进行内容分析，形成试卷“内容主题×认知水平”的二维表格。在对试卷进行分析时，首先确定该题目的知识点在内容主题中的归属，其次重点分析该题的难易度，结合得分率来确定题目的认知水平，将该题的分值填入所属的二维表格之中。最后统计各个内容主题在三个认识水平层次上的总分值，以此得到一个“10×3”的二维矩阵。2015年新课标全国文综卷I地理必修部分的各内容知识点分值及比率如表2所示，其中知识点分值比率由知识点分值除以试卷编码分数（90）标准化后得到。

表2　地理高考试卷知识点分值及比率

（3）采取同样的方法对2015年湖南省高中地理学业水平考试试卷进行编码，得到另一个“10×3”的二维矩阵。2015湖南省地理学业水平考试试卷内容知识点分值及比率由表3所示，其中知识点分值比率由知识点分值除以试卷编码分数（100）标准化后得到。

表3　地理学业水平考试卷知识点分值及比率

（4）根据以上研究数据，计算Porter一致性指数。并从内容主题和认知水平两方面绘制柱状图进行比较，以此来分析2015年全国新课标文综卷I地理必修部分和湖南省高中地理学业水平考试试卷与课程标准之间的一致性水平。

四、研究结果

1.一致性指数

利用Excel中的函数功能，结合统计数据和Porter一致性计算公式，计算得2015年新课标全国文综卷I地理必修部分与课程标准一致性指数P1=0.295，2015湖南省普通高中地理学业水平考试卷与课程标准一致性指数P2=0.599。Porter一致性系数的数值介于0到1之间，当P越接近0时表示试卷和课程标准之间的差异越大，当P越接近1时表示二者差异越小。那用什么办法才能检测两个矩阵在统计意义上的显著一致性？本研究采取美国学者Fulmer的研究思路，利用matlab软件里的unidrnd函数[3]，将60个知识点随机赋值到一个矩阵中，将试卷分值随机赋值到另一个矩阵中，对两个矩阵标准化处理后计算出一个值，将这样的过程重复20000次，就可以得到关于P的正态分布，根据统计学原理，对于10×3的矩阵，采用双侧检验。表4为P的正态分布的均值、标准差和95%水平的参考值。

表4　P的正态分布的均值、标准差和95%水平的参考值

从表中可以看出，要达到0.05水平统计学上的显著性，则需要P≥0.8584。在本研究中，经计算得高考试卷和学业水平考试试卷与课程标准的一致性指数P均低于95%水平上的一致性临界值，说明2015全国新课标卷I地理部分和湖南省普通高中地理学业水平考试试卷与地理课程标准之间不存在统计学意义上的显著一致性，而且地理高考试卷与课程标准的一致性程度要比地理学业水平考试试卷与课程标准的一致性程度要低。

2.内容主题比较

2015全国新课标卷I地理部分和湖南省普通高中地理学业水平考试试卷在内容主题与课程标准上的比较如图1。

图1　内容标准比较

从内容主题方面分析，课程标准各个内容主题所占比例较为均匀，比例都没有超过20%，其中在0.1和0.2之间的有“1.2自然环境物质运动能量转换”“2.1人口与城市”“2.2生产活动与地域联系”“3.2区域可持续发展”四个部分。地理高考试卷则在“1.2自然环境物质运动能量转换”这一部分所占比例达到了0.556，另外在“1.3自然环境的整体性和差异性”“2.1人口与城市”“3.1区域环境与人类活动”“3.3地理信息技术运用”四个部分所占比例为0。地理学业水平考试试卷在各个内容主题上都有一定的比例，从比率上看主要其中在0.1和0.2之间，有“1.1宇宙中的地球”“1.2自然环境物质运动能量转换”“2.1人口与城市”“2.2生产活动与地域联系”“3.2区域可持续发展”五个部分，其中“1.2自然环境物质运动能量转换”比率最大，达到0.2。由此也可以看出，无论是地理高考或是学业水平考试在“自然环境物质运动能量转换”这一内容主题上所占的比率都是最高的。

3.认知水平方面的比较

2015全国新课标卷I地理部分和湖南省普通高中地理学业水平考试试卷与课程标准在认知水平上的比较如图2所示。从认知水平方面来看，课程标准中三个认知水平以理解为主，但总体上比例分布较为均匀。在2015全国新课标卷I中，了解这一层次为0，但理解所占比例却达到66.7%，与此相反的是学业水平考试试卷中，了解这一层次比例最大，运用层次比例最小。

图2　认知水平比较

由图1可以看出，相对于课程标准，高考试卷提高了理解和运用这两个层次的比例，加大了试题的难度，这反映了高考作为高等院校选拔性考试的特点，学业水平考试试卷则降低了理解和运用层次的比例，尤其是运用这一层次比例只有14%，而了解层次的比例却达到了58%，这也体现了学业水平考试是检测高中生在校期间学习情况的基础性考试。

五、结论与反思

本研究表明2015年全国新课标文综卷I地理必修部分和湖南省普通高中地理学业水平考试与《普通高中地理课程标准（实验）》之间的一致性水平较低，经过计算得到的Porter一致性指数均低于参考的临界值。从认知水平和内容主题两个方面分析三者之间的差别时发现地理高考试卷在认知水平层次上要高于课程标准，尤其是了解这一层次的题目在高考试卷中是没有的。地理学业水平考试试卷在认知水平层次上则要低于课程标准，表现为了解层次的题目增多，运用层次的题目明显偏少。在内容主题上，地理高考试卷主要集中在几个主题上，在四个主题上的比例为0。而学业水平考试试卷则在内容主题方面与课程标准一样分布较为均匀。

本研究的结果对今后地理教师在平时教学中编制试题具有参考作用，尤其是在传统的应试教育理念下，很容易在命题时单一的追求繁难偏杂，而忽视了课程标准对教学和评价的指导作用，导致教师的教学与对学生的学习质量评价偏离了正常轨道。通过对地理试卷与课程标准的一致性分析和研究能够帮助地理教师很好的解决这些问题。但应该说明的是，在实际的学习评价中，除了考虑课程标准之外，还有许多的因素，尤其是一些大型的选拔性考试，这其实也是地理高考试卷和学业水平考试试卷与课程标准一致性水平较低的一个原因。另外SEC一致性分析范式本身也存在一些局限性，例如由于SEC一致性工具采用了编码基础上的比较研究方式，缺乏各要素之间学习目标的直接匹配，因而也就无法提供一致性的细节信息，使得定性信息不够丰富等[4]，这也使我们构建本土化的学习评价与课程标准的一致性评价范式显得尤为重要。

参考文献：

[1] Porter,A.C.Measuring the contene of instrucyion: Uses in research and practice [J].Educational Researcher, 2002,31（7）:3-14.

[2] 中华人民共和国教育部.普通高中地理课程标准（实验）[M].北京:人民教育出版社,2003.

[3] Fulmer,G.W..Estimating critical values for strength of alignment among curriculum, assessments, and instruction [J].Journal of Educational and Behavioral Statistics,2011,36（6）:381-402.

[4] 杨玉琴,王祖浩,张新宇,美国课程一致性研究的演进与启示[J].外国教育研究,2012,39（1）:113-121.