理科专业认证标准的指标设计与元评估结果统计与分析*

代昭 马明 纪妍妍 李颖 孙玉

（1.天津工业大学化学工程与技术学院；2.天津工业大学生命科学学院）

随着工程教育认证在我国的逐步推行，已经形成了对工科专业的标准化、量化、可持续监督与改进的有效教学建设手段。工程教育认证标准的核心是“毕业要求”，要求学生通过专业培养方案的学习获得处理“复杂工程问题”的能力，具有明显的以成果为目标导向（OBE）特征。这要求工程类高等教育从业者具备良好的逆向思维与设计能力，在整体教学过程按照工程教育认证标准与流程进行设计与执行，并得到可持续改进的“毕业能力”量化分析结果。这为高校重新检视本科教学的角色，加强专业建设间的横向对比奠定了良好的基础与第三方监督建立了良好的基础。截至2021 年底，全国共有288 所普通高等学校1977 个专业通过了工程教育认证，涉及机械、仪器等24 个工科专业类[1]。

目前对于理科专业的建设与评估并未形成一套类似的、可量化的第三方机制，这对于理科类专业的建设是不利的。随着工程教育认证逐步获得学生、高校和社会的承认，以及工程教育认证积累了足够多的积累，对整体全部本科类专业进行标准化、量化、可持续改进的第三方评估是未来的建设方向。这对整体掌握本科教育建设基本信息，对我国高校建设进行整体规划至关重要[2-3]。

自2022 年起，隶属于理学化学类的应用化学专业可以申请工程教育认证，这是由于应用化学专业可以授予工学学位。而应用化学专业申请工程教育认证的难点在于，整体学生培养方案更偏向于理科，工科的课程并不多，因此针对工程教育认证标准的支撑较弱。因此，本文拟从工程教育认证标准和CDIO 国际认证标准中提炼出来适用于理科专业的认证标准，对其核心内容“毕业要求”进行分解，设计元评估量表，邀请专家依据元评估量表对毕业要求进行评估，并使用数学模型对元评估数据进行分析。

一、CDIO 国际认证标准

CDIO 国际认证标准属于典型的OBE 教育理论，将学生应获得的能力分解为Conceive、Design、Implement、Operate（即，构思-设计-实现-运作）四个基本模块，构筑成毕业能力的主体。与中国工程教育认证中各专业可自主分解毕业要求不同，CDIO 认证标准详细的列出了各级分解能力的要求，如表1 所示。

表1 CDIO 认证标准中的一级与二级毕业能力要求

虽然CDIO 国际认证依然属于工程教育认证，但其OBE 内核值得各认证参与者借鉴与学习，但是在对应申请者来说，CDIO认证的要求较为全面，申请者的灵活性明显低于中国工程教育认证，尤其是CDIO 认证标准详细的规范到了三级能力的要求，这对申请认证提出了极高的要求。

二、理科专业认证标准的毕业要求

中国工程教育认证只规定了12 个“毕业要求”，与CDIO 国际教育认证相比，这十二个“毕业要求”相当于CDIO 的二级能力要求。而在申请工程专业认证时，申请者可以自行对毕业要求进行观测点分解，这是CDIO 与中国工程教育认证标准的主要区别。

经对课题组对天津工业大学应用化学专业进行调研，依据中国工程教育认证标准和CDIO 国际认证标准，依据OBE 教育理念，设计了理科专业认证标准，并采用CDIO 国际认证标准的模式，将核心内容 “毕业要求”设计为6 个一级能力，9 个二级能力，23 个三级能力，如图1 所示。

图1 理科认证标准中的“毕业要求”与相应分解能力

在整体“毕业要求”的设计上，借鉴CDIO 认证标准的模式，将一级能力设计为“构思”“设计”“操作”“实施”“交流”“发展”六大基础能力。其中，以提高理科专业在解决复杂专业问题领域的实际能力为OBE 理念，提出以“构思-设计-操作-实施”作为解决复杂专业问题的四大核心能力。以“交流”和“发展”作为个人素质和职业发展的能力要求。

在三级能力的设计上，注重从“自然科学基础”到“专业基础”的整体理科专业素养的培养，再从能力全面性角度考虑，设计了“人文素养”和“通识教育”。在解决复杂专业问题的具体环节要求上，设计了“文献查阅”“问题分析”“信息综合”等的信息获取能力，还设计了“方案设计”“合理性评估”“流程设计”的规划设计能力，然后通过使用“实验操作”“分析数据”，结合“选取现代工艺”，从而正确对结果进行分析。

三、元评估量表

对于一个认证标准是否合理进行事前评估，是目前国际上常用的评估手段。Scriven 等人提出了“元评估”这一概念与方法，即对某个评标准进行评估。 Scriven 提出，元评估应以实用性、可行性、合理性和准确性作为四个评估指标[4-5]。随着元评估领域的应用逐渐推广，在美国等注重标准化的国家，已经广泛涉及教育、医疗等领域对使用标准进行评估。本文拟采用Stufflebeam 的11 项 指 标 对[6]表2 中的23 项能力进行元评估分析，基于这11 项指标的元评估量表如表2 所示。

表2 元评估量表

课题组邀请专家10 位，其中5 位来自本单位，5 位来自外单位，组成元评估专家团，在对评估指标打分时采用百分制，60分为基本合格，70 分为合格，80 分为良好，90 分为优秀，对本课题组设计的“理科教育认证标准”中的“毕业要求”进行了元评估。每位专家依据表1 对“毕业能力”中的23 项三级能力依据11 项元评估指标要求进行评分。将10 位专家的所有数据统计记录后，从统计学的一致性、信度、效度三个方面对所有数据进行统计分析。

四、元评估结果分析

（一）一致性评估

对于认证标准的元评估来说，来源不同的专家对认证标准的一致性评估是非常关键的指标，所得评估结果是否具有一致性是对评估结果的是否具有普遍认同性的代表性指标，其结果代表评审专家是否取得了共识，本文采用肯德尔和谐系数法（Kendall W）对评估结果的一致性进行分析[7]，其公式为：

式中Rw 为Kendall W 系数，K 为评审专家人数，N 被评价的指标数，Ri 为每一个被评价的指标方差和。

采用统计分析软件SPSS 25对所有专家的23 项指标评估结果进行统计分析，所得结果为，一致性最低的指标为能力18（人文素养）的“重要性”，Rw=0.875；一致性最高的指标为能力15（科学方案实施），Rw=0.968。所有指标的显著性P均＜0.05，具有明显的显著性和统计学意义，这表明所设计23个能力合理，具有明显的一致性。通过与评估专家进行沟通，部分专家认为，“人文素养”与“跨学科交流”存在部分内容重叠，可进行优化设计。

（二）信度评估

信度评估一般采用克朗巴赫系数（Cronbach's α），具体公式为[8]：

使用SPSS 25 软件对10 位专家的评估结果进行统计，所得结果为，信度最低的指标为能力20（跨文化交流）的“关联性”，α=0.713；一致性最高的指标为能力10（分析数据），α=0.882。所有指标的显著性P均＜0.05，具有明显的显著性和统计学意义，这表明所设计23 个能力的设计合理，具有明显的一致性与可信性。

（三）效度评估

内容效度（content validity rate, CVR）是一种经常使用的效度评估参数，它是指被评估的样本是否取样范围是否合适，由于所有的评估都无法完全覆盖真实的被评估内容，也就是所有的评估都存在取样行为，而无法实现全内容考核，对于本文来说，就是对10 位专家的评估结果是否能覆盖认证标准的全部内容，达到评估的目的，其计算公式为[9]：

式中ne为所有评估专家中，认为某个认证指标达到了所认真标准设计时的要求或可以很好的促使学生获得该项“毕业能力”的同时并达到元评估11 项标准中的某一项；N 为参与评估的评估专家总数。

以基本认同（>70 分）作为基准，若某项指标被评估专家认同，则ne 数+1，若全部专家对某项指标的评分小于70 分，则CVR 为-1；若一半专家不认同某指标，则CVR 为0；若全部专家认同该指标，则该指标的CVR 为1。此外，评审专家人数对内容效度比有一个最小接受参考值，当评价专家在10 人左右时，其最小可接受参考值分别可设为0.62[10]。

对10 位专家的评估结果进行内容效度比分析，所得结果为，效度最低的指标为能力19（跨学科交流）的“可信度”，CVR=0.6；一致性最高的指标为能力10（分析数据），CVR =1。所有指标的显著性P 均＜0.05，具有明显的显著性和统计学意义，这表明所设计23 个指标合理中，能力19 的设计还可以进一步优化。

五、结论

针对目前国内没有理科教育认证体系与标准的情况，本文通过研究国际CDIO 认证标准与中国工程教育认证标准，设计了符合OBE 理念和理科教育特点的“理科教育认证标准”的核心内容“毕业要求”。并参考CDIO认证理念将“毕业要求”设计成了三级，并使用“元评估”理论建立元评估量表，对23 个三级能力进行评估分析，依照统计模型对评估结果的可靠性进行研究，结果表明，所设计的23 个三级能力均通过了评估，表明所设计理科专业认证标准的较为科学有效。