中学生化学实验学习能力评价指标体系构建

2022-05-07马善恒夏建华王后雄

化学教学 2022年4期

马善恒夏建华王后雄

摘要：采用文本分析法、德尔菲法、内容效度检验法、层次分析法，构建中学化学实验学习能力评价指标，包含实验目标、实验设计、实验实施、实验效果、实验反思等5项一级指标及15项二级指标和33项三级指标。该指标体系信效度检验良好，权重分配较为合理，为有效开展中学化学实验学习能力的评价提供科学测评依据和循证基础。

关键词：化学实验学习能力; 评价指标; 权重赋值; 问卷调查法; 层次分析法

文章编号： 10056629（2022）04001407

中图分类号： G633.8

文献标识码： B

1 问题提出

创造是人的最大骄傲，究竟什么是创造？尼采认为，“评价就是创造……評价本身就是被评价之物的财富和珍宝。评价然后才有价值;没有评价，生命之果是空的”[1]。

化学是一门以实验为基础的学科，实验教学是中学化学学科教学中的重要一环，实验教学利于学生创新能力和综合素养的提升。当下，中学生化学实验学习能力评价只注重实验操作评价，忽视实验目标、实验设计、实验效果、实验反思等实验诸环节的评价，不利于充分发挥实验的教育功能[2];体现出中学生化学实验学习能力评价体系不够健全，需进一步完善实验学习能力评价机制，把实验教学情况纳入教育质量评价监测体系，这既是新时代我国人才培养需求战略性、全局性的判断，又是深化教学评价体制改革的必然选择[3]。

2 研究思路及方法

本研究试图构建中学生化学实验学习能力评价指标体系，研究思路如下：第一，使用文本分析法，初步构建中学生化学实验学习能力评价指标;第二，使用德尔菲法，对所构建评价指标进行内容效度指标检验;第三，使用德尔菲法和层次分析法，确定所构建评价指标体系的权重。

2.1 文本分析法

文本分析法贯穿研究始终。不管是对国内外中学生化学实验学习能力测评的相关文献梳理，还是对评价指标内容效度指标检验中的实证访谈数据分析，均使用文本分析法[4]。

2.2 德尔菲法

在内容效度指标检验和评价指标的权重构建两处使用到德尔菲法。利萨（K. Reza）和瓦西里斯（S.M. Vassilis）认为德尔菲法样本量10～15位足以支撑研究成果的科学性，此观点已得到学界的认可[5～10]。本研究中，内容效度指标检验样本量为10份，指标权重样本量为16份，两项所请专家部分重合，均符合研究的科学性要求。

2.3 内容效度指标检验

内容效度指标（content validity index， CVI）只涉及评价者之间均认为量表项目与相应内容维度相关的一致性，而不是常用的评价者间全部的一致性。CVI除可用于内容效度的评价外，还可为量表项目的替换、删除或修改提供信息[11，12]。

2.4 层次分析法

指标权重的确立直接影响中学生化学实验学习能力评价指标体系的科学性及公正性。层次分析法（Analytic Hierarchy Process， AHP）是一种将定量与定性结合起来的分析模式。因其在处理复杂决策问题上的有效性，已成为使用范围较广的一种量化方法。层次分析法将复杂问题分解成各组成要素，将这些要素按照其内在逻辑排成有序的递进层次结构，并通过两两比较的方式确定各要素的相对重要程度，然后综合集体的判断以形成各因素相对重要性的总的顺序[13～16]。使用该方法的基本步骤可概括如下：

第一，构造判断矩阵。以A表示目标，ui、 uj（i， j=1， 2， …， n）表示因素。uij表示ui对uj的相对重要性数值。并由uij组成AU判断矩阵P。

P=u11u12…u1n

u21u22…u2n

un1un2…unn

指标间重要程度指数采用1～9标度法确定，指标间重要程度指数及其含义见表1。

本研究采取群决策的方法，邀请16名化学学科专家进行问卷打分，此人数的选择足以支撑研究成果的科学性[17～22]。与专家逐一交流填写的技术性问题，发放问卷16份，回收16份。通过对相关数据的整理分析，可确定各层指标可靠的判断矩阵。

第二，重要性排序计算。运用判断矩阵计算出其λmax（最大特征根）所对应的w（特征向量），计算公式为Pw=λmax·w。求得的w（特征向量）经归一化处理，为权重分配，即各评价因素的重要性排序。

第三，一致性检验。为检验上述方式所求权重分配的合理性，需进行判断矩阵的一致性检验，计算公式： CR=CIRI。其中，CR表示判断矩阵的随机一致性比率，CI表示判断矩阵的一致性指标，计算公式： CI=λmax-nn-1。式中，n为判断矩阵A的阶数，RI是n阶判断矩阵的平均随机一致性指标，此项指标可通过查表获得，具体见表2。

当判断矩阵P的CR<0.1时或λmax=n， CI=0时，即为P的一致性通过，否则需要调整P中元素至达到满意的一致性。

第四，层次总排序检验。为得到层次结构中某一层元素对总体目标组合权重及其与上层元素的相互影响，需利用该层全部层次单排序的结果，进而算出该层元素的组合权重，该过程即为层次总排序。本研究中，按照从上至下的次序，依次计算出一级指标、二级指标权重，最终得到最底层元素（即三级指标）的权重。层次总排序是基于层次单排序形成的，其形成过程与层次单排序的过程基本相同[23，24]。

CR=wi1CI1+wi2CI2+Λ+wimCImwi1RI1+wi2RI2+Λ+wimRIm

若总排序一致性CR<0.1，则表示总排序一致性检验通过，否则需调整模型或重构一致性比率CR较大的判断矩阵。

第五，得到权重计算结果。

3 文献分析

关于中学生的学习能力评价有较多的相关研究，如王磊构建的基于学习理解、应用实践和迁移创新导向的多维整合模型，构建学科能力的3×3要素[25];王祖浩等将学生的化学实验认知能力划分为4个水平，依次为实验仪器及操作的识别和描述、化学实验事实的加工和处理、化学实验原理的理解和运用、化学实验方案的设计和评价[26];义务教育课程标准对科学探究过程与情感表现构建了评价表，对教学活动的以下环节进行评价打分——提出问题、猜想与假设、制定计划、进行实验、收集证据、解释与结论、反思与评价、表达与交流[27];郑长龙构建了学生实验课常规项目的评价标准，设定的评价项目及分值为：实验预习情况（10分）、课堂纪律情况（5分）、实验观察与思维习惯（5分）、爱惜节约药品（5分）、保护实验仪器（5分）、清洁整洁的实验习惯（5分）[28];美国私立学校联盟（Mastery Transcript Consortium）构建的新评价体系A New Model，包括8种能力体系，共计61项具体能力的评价指标[29]。上述研究对中学生化学实验学习能力评价指标构建，具有较强的借鉴价值，但存在有的指标从学生的整体发展角度，评价过于宏观，不具有针对性;有的只从实验操作层面进行考量，缺少实验目标设定、实验反思等维度，未能完整地测评学生实验的全过程或缺少发展性地看待学生实验的眼光，均具有一定的片面性或不科学性。

整合已有研究，笔者认为中学生化学实验学习能力测评应包括目标设定、实验设计和实施、实验效果及反思等所有环节。有效学习始于准确把控需达到的目标，实验目标是有效学习的前提与关键，它支配着实验学习的全过程，并规定着实验研究的方向，可以依托布鲁姆目标分类学及核心素养相关理论，从认知领域、动作技能领域和情感领域开展实验目标的划分。实验设計是达成实验目标的具体路径及方法，实验研究源自于对问题的解答，有效提出问题并设计实验方案验证猜想便显得尤为重要。实验实施是完成目标的行为体现，实验实施包括结合实验设计的实验准备、实验操作、实验结果记录、展示讨论，以及为优化实验方案和提升实验效率而进行的实验调控。实验效果是实验目标完成度的有效检验，检验维度与实验目标相呼应，同样围绕认知领域、动作技能领域和情感领域开展。实验反思是提升知识自我意识性教育价值实现的重要方式，是深度学习的重要品质，在实验反思进程中，增强对知识的理解，促进学生认知的发展，实现自我的超越提升[30～33]。

基于以上思考，将中学生化学实验学习能力评价体系的一级指标界定为实验目标（objective）、实验设计（design）、实验实施（implementation）、实验效果（effect）、实验反思（reflection），即ODIER评价模型。

4 专家论证

多次与化学教材编写人员、化学学科教学论教授或省级教研员举行专家指标论证，进一步完善二、三级评价指标及具体描述。初步构建的中学生化学实验学习能力评价模型由5个一级指标、15个二级指标、33个三级指标和具体描述组成。为进一步检视所构建ODIER评价模型的内容效度，采用内容效度指标检验法，并使用量化和质性2种分析方法。在量化方面，使用专家打分，结合相关公式计算调整出的Kappa值;在质性方面，整理分析专家提出的建议文本[34，35]。

CVI检验步骤为：第一，选定专家。选择10位专家打分，所有专家一直从事化学教学工作、教龄均超过20年、均在核心期刊发表多篇化学实验研究论文、专业能力均得到业内认可，每位专家形成一份样本;第二，设置4点量表供专家勾选“4=高度相关、3=强相关、2=有点相关、1=不相关”，对每个条目和所属维度间的相关性进行打分，计算打分4或3的专家人数所占比例，即为CVI检验的数值。为避免专家对选项的随机选择导致影响CVI检验的判断，通过Kappa值的计算对随机一致性进行校正，调整后的Kappa用K*表示，当K*>0.74时为优秀，0.60≤K*≤0.74时为良好，0.40≤K*≤0.59时为一般。专家间的一致性越高，则CVI值越大，Kappa也会越大[36，37]。限于篇幅，本文只呈现ODIER评价模型一级指标的CVI检验专家打分表，见表3。

从表3可以看出，10位专家对ODIER评价模型一级指标内容效度的各项评价指标及评价结果。从结果可知，大部分评价结果为优秀，“实验效果”指标为“良好”等级。针对专家提出的建议进行修订，剔除或修订低分值指标，完善指标的具体描述方式。将修订后的问卷重新发给专家，专家一致认为，问卷所涉及的指标及具体描述清晰完整、逻辑严密。

经过3轮专家咨询后，专家对中学生化学实验学习能力评价的指标及描述的认同程度大致相同，内容效度评价符合要求，各项指标体系基本确定。中学生化学实验学习能力评价指标体系包含5项一级指标、15项二级指标和33项三级指标及具体描述（见表4）。

5 评价指标的权重

针对中学生化学实验学习能力评价指标，构建指标权重问卷量表，基于问卷的分析整理，形成《中学生化学实验学习能力评价指标权重》。具体过程如下。

使用层次分析软件，根据其实施步骤，首先构建出中学生化学实验学习能力评价指标结构模型，见图1。

根据专家问卷的调查数据，构造出各层指标的判断矩阵，使用公式计算出最大特征值λmax、一致性CR值、CI值。如表5为1号专家填写的一级指标重要程度的判断矩阵。

此矩阵维度n=5，对表5进行列归一化处理，得到表6。

进而计算出实验目标、实验设计、实验实施、实验效果、实验反思的权重分别为： 0.0317、 0.2071、 0.5719、 0.1248、 0.0645;过程行列式Aw为0.1713、 1.1112、 3.0972、 0.6602、 0.3338。

一致性CR求解： λmax=∑（Aw/w）/n=5.33; RI=1.12; n=5; CI=（λmax-n）/（n-1）=（5.33-5）/（5-1）=0.0825; CR=CI/RI=0.0825/1.12=0.0737。

从表5中分析数据可得最大特征值λmax=5.33，CI=0.0825，一致性CR=0.0737，CR<0.1，一致性检验通过;最终可得到1号专家一级指标的初始权重值。

通过这种方式计算出1号专家二级指标和三级指标的权重，其他专家亦用此方式计算。经计算，所有专家的CR值均小于0.1，一致性检验通过，采用算术平均值的方法计算出群决策权重，最终得到中学生化学实验学习能力评价指标权重，见表7。

化学实验是对化学理论知识学习的印证过程，对学生创新意识和实践能力培养具有不可替代的作用。从表7中可以看出，实验目标为0.1805、实验设计为0.139、实验实施为0.3879、实验效果为0.1857、实验反思为0.1069，这其中实验实施权重最大;在二级指标中，实验操作占比最大（0.1211），这与初、高中化学实

验中注重实验操作考核是相匹配的，但实验操作仅是15项二级指标中的一项，由此呈现出当下中学化学实验考核的缺陷，这种缺陷在纸笔考试中有所弥补，但因纸笔考核与实验操作考核的内容错位导致实验考核的全面性、科学性、公平性受到了挑战，该学生化学实验评价体系的构建为解决此问题提供了有利的理论支撑[38～40]。

6 结论与启示

中学生化学实验学习能力评价体系与新时代人才培养目标息息相关，关乎能否培养学生综合能力、落实学科核心素养、建设人力资源强国等诸多功能。从质和量维度规划中学生化学实验学习能力评价指标体系，在评价指标设定、评价常模研制、实验质量监测报告等核心环节的学生化学实验质量监测上形成突破[41～43]。目前各地中学化学实验教学开展现状不尽如人意，根源是对化学实验学习质量评价特征及机制研究不足，導致评价标准不同、缺失规范、监测缺位，严重地影响人才的培养。扭转这种局面的重要条件之一，就是切实加强中学生化学实验学习质量监测体系研究，促进实验教学培养主动适应社会对多样化高素质人才的需求[44～47]。

该评价指标体系提醒化学教师对实验教学的关注，不应只集中在实验操作层面，而应关注实验探究的全过程。对问题的解答是一切教学实践的起源，教师是问题情境的创设者，是学生问题意识的发展者和指导者，教师在教学中应创设情境引导学生更好地找出问题、分解问题，并构思如何设计实验方案解答相关问题。现行的中学化学教材实验多数已设计好实验步骤，只需教师讲解原理、学生按要求操作完成即可，这一情况在初中化学实验教学中尤为明显，这种重实验讲授、重验证实验现象、重实验技能培养，而轻实验设计、轻实验讨论、轻实验反思的现象，严重忽视了学生思维特点的倾向，不利于学生综合素养的提升[48～50]。中学生化学实验学习能力评价体系的构建，为中学化学教师实验教学中应关注的诸环节提供科学依据和循证基础。

参考文献：

[1]周国平. 尼采：在世纪的转折点上[M]. 北京：东方出版社， 2017： 89.

[2]黄恭福，邹海龙. 学科核心素养视域下的中学化学实验教学研究综述[J]. 化学教学， 2020，（2）： 24～28+50.

[3]魏燕. 推进实验教学改革，构建实验探究能力评价体系[J]. 高等工程教育研究， 2019，（S1）： 206～208.

[4]

[5]

[11]

[17]

[34]

[36]LEcuyer， Kristine M， Subramaniam， Divya S， Reangsing， Chuntana. Development of the Preceptor SelfAssessment Tool and Use of the Content Validity Index [J]. JOURNAL OF CONTINUING EDUCATION IN NURSING， 2020，（51）： 469～476.

[6]

[12]

[18]

[35]

[37]

史静琤，莫显昆，孙振球. 量表编制中内容效度指数的应用[J]. 中南大学学报（医学版）， 2012， 37（02）： 49～52.

[7]

[13]

[19]

张万朋，柯乐乐. 基于德尔菲法和层次分析法的研究生学习成果评价研究——以教育经济与管理专业为例[J]. 现代大学教育， 2018，（1）： 93～99.

[8]

[14]

[20]

Yin， Q.. An AHP model for the evaluation of college experimental teaching quality [J]. Journal of Technology and Science Education， 2013. 3（2）： 59～65.

[9]

[15]

[21]

田夏. 基于层次分析法——熵权法的教学实验室评价体系构建[J]. 实验室研究与探索， 2020， 39（7）： 264～269.

[10]

[16]

[22]刘大伟，周洪宇，陈俊. 中国教育智库评价指标体系构建——一项基于德尔菲法与层次分析法的研究[J]. 教育学术月刊， 2019，（2）： 29～35.

[23]

[28]

[49]郑长龙等. 化学实验教学论[M]. 北京：高等教育出版社， 2003： 74.

[24]

[29]