高中地理学业水平考试情境化试题难度的影响因素研究*

姚泽阳 段玉山

（华东师范大学 地理科学学院, 上海 200062）

一、引言

情境化试题，是指通过定义场景或者描述现实问题、自然现象以及实验步骤等方式，为构建回答问题与提供补充信息的一种试题类型。[1]此类试题不仅可以深度评估学生的知识理解与迁移能力，还能够全面考查学生的复杂思维过程，已被广泛应用于国内外大规模教育测评项目。[2]例如，国际学生评估项目（PISA）的试题基本上都设置了问题情境，国际数学与科学趋势研究项目（TIMSS）也有近78%的试题是基于情境设问的。[3]随着新一轮高考改革工作的启动以及普通高中各科课程标准的颁布，通过真实情境考查学生核心素养已成为我国高考试题改革的重要方向，情境化试题在高中各科学业水平考试试题中的比重正在逐年增加。[4][5][6]

当前，我国正在试行的高中学业水平考试承担着鉴定、监测与选拔三种功能，建设高质量的情境化试题题库对于发挥高中学业水平考试的各项功能具有重要意义。[7]作为一种新的试题类型，澄清情境化试题难度的影响因素是题库建设过程中亟待解决的首要问题。情境化试题的解答过程相较于传统试题更为复杂，学生必须获取情境材料蕴含的主旨内容，明确试题所涉及问题的学科实质内涵，将试题情境呈现的设问空间转换并表征为个体有待解决的问题空间。在这一过程中，情境材料导致的信息量增加有可能引发学生与所测建构无关的其他反应，进而干扰试题分数解释的可靠性与有效性。有国内学者揭示了高考试题难度的部分影响因素。例如，程力等人以实测数据为基础，证实了认知层次、物理过程的复杂性和数学过程的复杂性是影响自学考试物理选择题难度的重要因素。[8]陈燕等人开发了高考实验题难度评估工具，认为阅读量、背景、内容量、推理、数学技能、开放度以及阶梯性会对高考实验题难度产生影响。[9]但以往研究一方面将试题情境作为影响试题难度的整体因素，并未对其特征展开深入分析；另一方面分析过程大多依赖专家个人经验与主观判断，缺少客观数据的支持。对于近年来在高中学业水平考试中逐渐兴起的情境化试题而言，其试题有哪些情境特征？这些特征又如何影响试题难度？上述问题须系统性的实证研究。有鉴于此，本研究以2019～2020年高中地理学业水平考试的试题为研究对象，从情境类型、文本复杂性、图表复杂性、概念抽象性及建构关联性入手，剖析试题的情境特征，并实证检验其对试题难度的影响，以期为地理情境化试题的科学设计提供理论与实践指导。

二、研究设计

1.研究对象

本研究选取2019～2020年6省市11份高中地理学业水平考试试卷中的情境化选择题为研究对象。样本试题中：单一情境对应多道小题的题组题55道，包括小题137道，非题组题10道，共计147道试题。

2.分析方法

(1)试题难度标定

经典测量理论认为，试题难度值是指试题答对人数占总人数的百分比。难度值越大表明答对的人数越多，试题越简单；反之，难度值越小表明答对人数越少，试题越难。试题难度是一种相对测量值，其取值因受试者样本大小而不同。[10]为了兼顾数据的可获取性与准确性，本研究收集了全国25所高中有关样本试题的模拟考试数据，对各所学校的试题难度值相加后取均值，最终将平均值标定为样本试题难度。样本试题的受试人数最多为13300人，最少为1011人，平均受试人数为6613人；难度值最低为0.280，最高为0.940，平均难度值为0.620。

(2)试题情境特征编码方案

本研究借鉴鲁伊斯普里莫（Ruiz-Primo）等人提出的试题情境特征编码方案，该方案已被研究者应用于多项大规模测评的试题情境特征分析，如PISA、美国国家教育进步评估项目（NAEP）等。[11]根据我国高中学业水平考试试题的具体特征，最终修订形成的编码方案包括情境类型、文本复杂性、图表复杂性、概念抽象性以及建构关联性等五个维度十三个指标。

如表1所示，试题情境特征编码方案的具体指标如下：①情境类型，是指试题情境的环境类型设定，包括“日常生活类”“专业工作类”以及“学术信息类”3类。②文本复杂性，反映考生理解情境文本内容的困难程度。试题情境一般通过长短不一的文本呈现，它可以被考生转化为不同想法，并可能蕴含或多或少的无关信息。文本复杂性的衡量指标包括文本长度、概念数量以及无关信息3项。③图表复杂性，反映考生理解情境中图表材料的困难程度。图像、表格、曲线图等是试题情境的重要非文本支撑材料，是表征相关学科信息的载体与工具，对于考生理解文本、解决问题具有重要意义，与试题难度密切相关。图表复杂性的衡量指标包括图表类型、图表数量、图问相关水平及图表复杂水平4项。④概念抽象性，是指试题情境所涉及概念的抽象程度。对考生而言，日常教学未涉及的陌生抽象概念属于新的知识内容，在一定程度上会影响考生对情境信息的理解。试题情境通常会采用案例、解释等方式使抽象概念具体化，更容易理解，以避免其制约对学生迁移应用能力的考查。概念抽象性由概念抽象水平、概念解释水平、概念关联水平3项指标衡量。⑤建构关联性，是指试题情境与所测建构的关联程度。在教育测评中，建构是指所要测量的某种心理属性，如学业成就或核心素养。建构关联性高的试题情境，不仅应激活与所测建构相关的知识、技能或能力，为回答问题提供必要信息，还应避免让不具备相关能力的考生直接从情境中得出答案。建构关联性的衡量指标包括建构聚焦水平、问题关联水平、建构保真水平3项。

表1 试题情境特征编码方案

3.分析过程

根据上述编码方案对样本试题进行分析。题组题以小题为分析单位，非题组题以整题为分析单位，以试题的情境特征及其与情境的关系为分析内容。为检验编码方案中定义与编码标准的清晰性和可操作性，确保编码过程的客观性，编码工作由两位高中地理教师和一位在读博士研究生分别完成。三位研究人员编码结果的肯德尔一致性系数为0.826，表明编码结果的一致性很高，具有可信度。编码完成后使用SPSS软件对编码结果进行统计：首先，对试题情境各维度频次进行描述统计；其次，采用t检验对不同试题情境类型的难度差异进行检验；最后，采用多元回归分析进一步考察试题情境特征对试题难度值的影响。

三、结果与分析

1.试题情境的特征分析

第一，情境类型的数量分布不均。如表2所示，情境类型以“学术信息类”为主，占比55.8%；“专业工作类”与 “日常生活类”试题情境相对较少，分别占比23.1%与21.1%。

表2 试题情境类型的频次统计

第二，情境文本的精简程度相对较高。如表3所示，试题情境的文本长度普遍偏短，76.2%的试题情境文本只有1～3个句子；文本蕴含概念不多，85%的文本仅蕴含1～2个概念；文本语言较精炼，86.4%的文本有少量无关信息或没有无关信息。

表3 样本试题情境文本复杂性的水平频次统计

第三，情境图表材料以图像为主，图问相关水平仍有改进空间。如表4所示，试题情境普遍具有图表材料，并非以单独文本形式呈现，有图表材料的试题情境占总数的71.4%；试题情境主要利用地图、地理景观照片以及示意图等图像表征地理信息，表格或曲线图的使用频次相对较少，其中81%的图表类型是图像，剩余的图表类型为表格或曲线图；材料数量较为固定，86.7%的试题情境配有一幅图表材料；图问相关水平有待进一步提高，虽然有48.6%的图表是解决问题的必备材料，但也有19.0%的图表与问题理解无关，特别是部分题组题并非所有设问都与图表材料相关，例如，某题第一问要求从地图中总结区域特征，第二问要求提出与地图信息无关或弱相关的区域发展策略；图表材料的复杂水平相对较低，有56.2%处于简单水平，有28.6%处于一般水平，处于复杂水平的试题最少，占比15.2%。

表4 试题情境图表特征的水平频次统计

第四，情境概念抽象性总体较低。如表5所示，抽象概念出现频次相对较少，75.5%的试题会使用教材中出现过的地理概念描述不同区域或现象的地理特征以实现情境化；有24.5%的试题情境包含抽象概念，其中88.9%的试题情境又为抽象概念提供了解释说明；概念关联水平较高，89.8%的试题情境的概念逻辑关系较为明确，容易被考生识别。

表5 试题情境概念抽象性的水平频次统计

第五，情境建构关联性总体较高，建构保真水平有待提升。如表6所示，试题情境具有较高的建构聚焦水平，有91.2%的试题情境非常聚焦或一般聚焦于所测建构，能够激活学生与所测建构相关的知识或能力，避免误导学生应用其他无关知识；情境与问题之间具有较高的关联水平，有97.9%的试题情境与试题问题非常关联或一般关联，只有极少数试题问题在无需情境信息的情况下仍能作答；试题情境的建构保真水平有待进一步提升，有24.5%的试题可直接从情境材料中获得答案。如果试题情境的提示线索过于明显，就可能导致试题正确率过高，无法反映考生真实能力水平。

表6 试题情境建构关联性的水平频次统计

2.试题情境特征对试题难度的影响

第一，不同情境类型的试题不存在显著难度差异。如表7所示是试题情境类型的平均难度及其差异检验结果，从中可知：“学术信息类”试题最难（M=0.604）；“专业工作类”次之（M=0.639），难度最小的是“日常生活类”试题（M=0.650）。但方差分析发现，三类情境的难度差异并不显著（p=0.312）。

表7 试题情境类型的平均难度

第二，建构关联性、概念抽象性、图表复杂性、文本复杂性对试题难度变异的解释贡献率存在差异。如表8所示是文本复杂性、图表复杂性、概念抽象性以及建构关联性对于试题难度影响的多元回归分析结果。如表中模型1～模型4的确定系数R2所示，建构关联性、概念抽象性、图表复杂性、文本复杂性分别能解释54.6%、52.3%、44.3%、5.5%的试题难度变异，表明建构关联性、概念抽象性、图表复杂性、文本复杂性对试题难度的解释力度依次减小。可见，相较于情境类型与文本复杂性等表面特征，建构关联性、概念抽象性、图表复杂性等与测评内容相关的实质情境特征对试题难度的影响更加明显。

第三，图问相关水平、图表复杂水平、概念关联水平、建构聚焦水平、问题关联水平、建构保真水平对试题难度有显著影响。如表8所示，从文本复杂性来看，模型1通过了F检验，但文本长度、概念数量、无关信息对试题难度都没有显著影响。从图表复杂性来看，材料相关性与材料复杂水平对试题难度有显著影响，其标准化回归系数分别为-0.206和-0.727，表明试题情境的图问相关性越强、图表复杂水平越高，试题难度值越小，试题越难。地理要素的分布、格局以及时空变化等关键地理信息需要依靠图表作为支撑材料呈现，试题问题与图表材料相关水平越高，考生越需要从图表中获得更多的信息支持，试题就越困难。随着图表材料复杂水平提升，考生正确获取信息的难度会提升，试题难度也会随之增加。从概念抽象性来看，概念关联水平对试题难度有显著影响，其标准化回归系数为0.679，表明试题情境的概念关联水平越高，试题难度值越大，试题越简单。试题解决过程需要考生基于概念之间的关系进行推理，情境中概念之间的逻辑关联越明显，考生推理得到正确结果的难度就会越小。从建构关联性来看，建构聚焦水平、问题关联水平、建构保真水平对试题难度有显著影响，其标准化回归系数分别为0.346、0.241、-0.315，表明试题情境的建构聚焦水平及问题关联水平越高，试题难度值越大，试题越简单；建构保真水平越高，试题难度值越小，试题越难。试题情境越聚焦于所考查的相关能力，与试题问题的关系越明确，越不会误导考生做出错误回答，考生的正确率就越高。此外，考生一般无法从高保真水平的试题情境直接获得答案，导致其比低保真水平试题更难。

表8 试题情境特征与试题难度的回归分析

四、讨论与建议

情境化试题是评估学生核心素养的有效途径，深入分析情境化试题难度的影响因素对于建设高质量的题库、保障高中地理学业水平考试各项功能的实现具有重要意义。以实测数据为基础，本研究初步澄清了试题情境特征及其对试题难度的影响，相关研究结果能够为科学设计情境化试题提供理论与实践指导。

1.切实保障试题情境与所测建构的实质关联

研究结果表明，情境建构关联性是解释试题难度变异贡献率最大的因素，建构聚焦水平、问题关联水平、建构保真水平对试题难度有显著影响，以建构为核心应是试题情境设计的基本原则。因此，在试题情境设计时，一方面要在试题情境中恰当“隐藏”与所测建构相关的提示线索，避免考生不需应用相关能力就能直接得出答案。例如，2020年文科综合全国Ⅲ卷第4题，以2010年我国西部某市 50 岁以下各年龄组女性户籍人口与常住人口数为情境素材，要求考生根据当前各年龄组人口数推断人口出生率最高的时间段。此题巧妙地使用时间间隔将人口出生率与当前人口数关联起来，能够更加有效地考查考生从图表材料提取地理信息并进行合理推理的能力。另一方面要确保试题情境能激活与所测建构直接相关的学习表现，避免对考生的错误引导。例如，2020年文科综合全国Ⅱ卷第4题，以巢湖平原某地农业生产实际为试题情境，重点呈现了城镇化发展、机械化普及和青壮年劳动力外出务工的时代背景，成功引导学生关注农田耕种的新变化，有效避免考生对农田耕种特征进行不必要的错误分析。

2.合理配置试题情境的图表材料

研究结果表明，图表复杂性是试题难度的关键影响因素，图问相关水平、图表复杂水平对试题难度有显著影响。事实上，对于地理学科情境化试题而言，图表材料在信息呈现方面发挥的作用要强于文本材料，合理配置图表材料对试题情境设计至关重要。首先，根据问题选择必要支撑图表材料，防止图问无关内容影响试题难度。例如，为考查考生分析空间格局的能力，2019年文科综合全国Ⅱ卷第1～3题选择长江三角洲城市群的城市协调发展水平变化示意图以及长江三角洲城市群的范围及城市分布图作为支撑材料，要求考生利用图表材料信息逐步分析城市的分布规律、格局特征以及变化机理。其次，在明确图问关联性的基础上，还应保持图表材料复杂水平与所测能力水平的一致性。例如，2019年文科综合全国Ⅳ卷第19～20题使用祁连气象站山谷风风向与风速变化曲线图呈现风向、风速随时间的变化特征，考生需要根据曲线图的时间变化特征分析气象站山谷风风向、山谷走向以及地形特征，进而实现对考生时空演变分析能力的有效考查。最后，注意各种图表类型的组合应用。不同图表类型所表征的地理信息一般不尽相同，地图多用于表征空间分布信息，示意图常用于体现地理要素之间的关系，景观图常用于呈现区域综合体的全貌，表格与曲线图可很好地反映出时空演变的量化特征。改变当前图表材料配置较为单一的局面，进行情境设计时将多类型图表以组合图的形式呈现，如地图组合景观图、地图组合表格、多地图组合等，可以多维立体地展现地理信息，全面深入考查学生地理学科核心素养水平。

3.适当增加试题情境类型的多样性与文本篇幅长度

情境类型与文本复杂性是试题情境的重要表面特征，确定情境类型与文本篇幅是情境设计的关键步骤。研究结果表明，情境类型的数量分布不够均衡，文本的精简程度相对较高。今后的试题情境设计一方面可以在借鉴其他大规模教育测评情境分类方案的基础上，根据地理学科特征进一步细化地理试题的情境类型。例如，PISA科学测试将考生在进行科学学习过程中涉及的知识产生和应用情境依据应用领域和应用尺度划分为15类，应用领域包括健康与疾病、自然资源、环境质量、灾害以及科学技术前沿，应用尺度包括自我、家庭和个人群体（个人）、社区（地区/国家）以及世界各地（全球）。这样的情境类型划分使得情境设计更具针对性与可操作性。另一方面还可以适当增加文本篇幅长度。为营造出更强和更真实的临场感，PISA科学测试的试题情境文本大多为2～3段文字，对考生的阅读与信息获取能力提出了更高要求。我国地理情境化试题也可适当增加文本篇幅，根据真实生活或学习情况如实描述问题情境，不必刻意删减信息，使其更具真实性。