基于多平台的健康评估在线课程考核评价指标体系的构建研究

齐秀杰，高 寒，马 莹，黄金凤，刘 雪，麻经纬

长春医学高等专科学校，吉林长春 130031

学生学习成果是检验在线教学质量的重要指标，如何通过客观、科学的教学评价指标对学生学习成果进行评价已成为在线教学必须关注的问题之一。健康评估课程是护理专业的核心课程，因其具有理论性强、对实操技能要求高的特点，增加了在线课程考核评价的难度，特别是形成性评价的难度。目前，对健康评估课程考核评价的研究多聚焦于线下课程、结果性评价方面[1]，考核内容多以“理论+技能”为主，对在线课程考核评价的研究则较少见[2]。基于以上研究现状，在兼顾形成性评价和结果性评价的基础上，本研究整合平台优势，以学堂在线(医苑在线)和云班课平台内置模块为考核评价基本指标，拟探讨各指标之间的权重分配，形成基于多平台的健康评估在线课程考核评价指标体系，为健康评估线上课程的考核评价提供参考。现报告如下。

1 研究方法

1.1 成立研究小组

研究小组由1名教授、3名副教授、4名讲师和1名助教组成，其中教授与副教授长期从事护理专业教学管理工作，讲师长期从事健康评估课程教学工作，助教从事教学辅助工作。

1.2 确定评价指标

1.2.1指标的来源

学堂在线(医苑在线)和云班课平台是目前在线教学中应用比较广泛，且相对成熟的平台。其中学堂在线(医苑在线)平台内置考核评价模块，涵盖视频学习、作业成绩、考试成绩、讨论回复、期末成绩和线下成绩6个部分。云班课平台设置轻直播功能，该功能可使教师边上课边了解学生的学习状态，且可动态记录每一位学生的学习行为。本研究以上述平台内置考核评价模块为依据，初步拟定考核评价指标。

1.2.2确定评价指标

根据学堂在线(医苑在线)和云班课平台内置考核评价模块，初步确定学生在线学习成果考核评价指标：一级指标2项(Ⅰ-1 过程性评价、Ⅰ-2 结果性评价)、二级指标7项(Ⅱ-1云班课成绩、Ⅱ-2视频成绩、Ⅱ-3作业成绩、Ⅱ-4考试成绩、Ⅱ-5讨论回复、Ⅱ-6期末考试成绩、Ⅱ-7线下成绩)。

1.3 专家共识会议(consensus development conference，CDC )

CDC是指由各相关专家、群体、代表等以投票、排序或其他达成共识的互动方法(公开讨论的方式)，针对决策或研究发现进行评估，再将这些多元化的决议整合出最重要的指导建议的方法[3]。CDC可以为专家提供面对面交流和讨论的机会，从而产生更多的建议和意见[4]。本研究拟采用CDC初步确定基于学堂在线(医苑在线)和云班课平台的健康评估在线课程评价指标的各项分值。具体步骤：遴选参会专家，召开共识会议，确定基于学堂在线(医苑在线)和云班课平台的健康评估在线课程考核评价指标的各项分值，评价各项指标分值分配方案并确定各级指标权重。按照CDC遴选专家的相关原则[5]，遴选10名护理教育领域专家，召开CDC。纳入标准：具有中级及以上职称；具有5年及以上教龄；承担健康评估在线课程教学任务或从事护理专业教学管理工作；使用学堂在线(医苑在线)、云班课平台进行教学；自愿参与本研究。排除标准：未使用学堂在线(医苑在线)、云班课平台进行教学者；愿意参与本研究，但不能保证一直参与到研究结束者。召开CDC, 请与会专家就基于学堂在线(医苑在线)和云班课平台的健康评估在线考核评价指标各项分值发表意见并进行讨论，直到意见统一。

1.4 初步分配方案的验证

1.4.1构建层次结构模型

基于CDC达成的初步分配方案，采用层次分析法(analytic hierarchy process，AHP)，运用yaahp 10.0软件构建各级指标层次结构模型。

1.4.2计算各级指标权重

采用yaahp 10.0软件，根据初步分配方案中各级指标分数的高低，遵循Saaty1-9标度法[6]，构建各级指标两两比较的要素判断矩阵，采用幂法对已经构建的判断矩阵的次序一致性和基本一致性进行检验，并计算各级指标层次总排序权重。

1.5 数据处理与统计分析

采用SPSS 22.0软件和yaahp 10.0软件分析数据。其中，专家一般资料采用描述性统计分析。采用幂法对判断矩阵次序一致性和基本一致性进行检验，一致性比例CR值<0.10表示判断矩阵通过一致性检验，层次总排序权重合理。

2 结果

2.1 专家一般资料

专家年龄33～50岁，平均(42.00±5.44)岁；工作年限7～24年，平均(16.90±6.69)年。专家一般资料见表1。

表1 专家一般资料(n=10)

2.2 各级指标分值初步分配方案

通过1次CDC初步形成基于学堂在线(医苑在线)和云班课平台的健康评估在线课程考核评价指标分值初步分配方案(以下简称“初步分配方案”)，见表2。

表2 各级指标分值初步分配方案

2.3 初步分配方案的验证结果

2.3.1健康评估在线考核评价指标体系层次结构模型

健康评估在线考核评价指标体系层次包括决策层、准则层(即一级指标)、方案层(即二级指标)，结构模型见图1。

图1 健康评估在线考核评价指标体系层次结构模型

2.3.2各级指标一致性检验结果

采用幂法检验判断矩阵次序一致性和基本一致性并计算各级指标排序权重。各级指标权重均通过检验一致性检验(CR值均<0.10)。各级指标一致性检验及排序权重结果见表3。

表3 各级指标一致性检验及排序权重结果

3 讨论

3.1 研究结果的可靠性分析

从指标来源、使用研究方法两方面分析研究结果的可靠性。首先，指标体系设立的一级指标兼顾了过程性评价和结果性评价，这与刘永兵等[7]的研究一致，尤其是新教育改革实施后，形成性评价作用日益凸显[8]。指标体系所设立的二级指标均来源于学堂在线(医苑在线)和云班课平台。云班课平台是目前使用较广泛的形成性评价平台[9]，该平台能够记录学生的学习轨迹，为教师提供可信的教学质量报告和数据[10]。本研究将云班课成绩纳入过程性评价指标，指标来源可靠。学堂在线(医苑在线)平台能够较好地对学生的学习情况进行监控[11]，该平台设立的考核评价模块构成了二级指标的主要来源，包括视频成绩、作业成绩、讨论成绩、考试成绩。值得注意的是本研究中的考试成绩是指学生期中测试成绩，反映了学生阶段性的学习成果，有利于帮助学生更好地查缺补漏。上述指标较为全面地对健康评估在线课程学习过程进行了评价。综上所述，指标来源可靠。其次，研究方法方面，本研究在确定指标权重分配的时候主要用到了CDC和AHP。目前，CDC主要被用于临床指南的确定，是一种公认的较为权威的方法，该方法主要针对决策或研究发现进行评估，再将这些多元化的决议整合出重要的指导建议[3]。本研究依托于学堂在线(医苑在线)和云班课平台内置评价指标，形成了指标体系的初稿，然后采用CDC形成专家共识，方法得当。在权重分析方面，AHP是一种定性和定量结合的方法，被广泛应用于决策中[12]，减少了评价的主观性。学生成绩的评价具有多层次、多指标性。所以选用AHP分析该问题具有一定的科学性。上述方法的使用保证了指标体系构建过程的规范性和合理性，进而使研究结果具有可靠性。

3.2 指标体系的科学性分析

从指标体系内容和权重两方面分析指标体系的科学性。

3.2.1指标体系内容

各级指标体系的内容均是以学生为中心，基本涵盖了学生的课前考勤、课中授课、慕课学习、课后随堂测试、完成作业和讨论等在线教学的全过程，基本涵盖了课前、课中和课后三个阶段，弥补了现有评价指标体系不能对学生课前、课中和课后学习效果进行评价的不足[13]，能够较为全面反映出学生的学习情况，指标内容设置科学。

3.2.2指标权重分配

受限于在线教学时空分离的特点[14]，所以评价仍以结果性评价为主，过程性评价为辅，这种考核评价权重与现有研究一致[15]。本研究中，一级指标权重分配为：Ⅰ-1过程性评价(0.275)、Ⅰ-2结果性评价(0.725)，权重分配较为合理。二级指标权重分配情况依次为：Ⅱ-6期末考试成绩(0.526)、Ⅱ-7线下成绩(0.199)Ⅱ-2视频成绩(0.100)、Ⅱ-3作业成绩(0.075)、Ⅱ-4考试成绩(0.050)、Ⅱ-1云班课成绩(0.025)、Ⅱ-5讨论回复(0.025)，期末考试成绩主要是指学生期末考试卷面成绩，线下成绩则是指学生实训报告、实训考核成绩。其中，期末考试成绩权重为0.526，反映了学生健康评估理论知识掌握情况。健康评估课程是护理专业核心课程，也是护理专业由基础通向临床的桥梁课程，只有掌握了良好的理论基础才能更好地进行护理实践，所以，本研究中期末考试成绩权重最大。另一方面，健康评估课程着重培养的是学生的护理评估能力，所以，除了扎实的理论，学生还应掌握身体评估、常见症状评估等技能，所以技能考核十分重要。在本研究中，学生实训技能的考核结果以线下成绩的形式体现，该部分权重为0.199，权重分配较为合理。以上两方面兼顾理论和实训，从两大方面呈现了学生的结果性考核。依托于学堂在线(医苑在线)平台的精品在线课是健康评估课程开展在线学习的重要资源之一，学生通过观看在线视频，能够完成课前预习、课后复习，实现课中有目的的学习。学生该部分成绩是考核评价的基础，所以，该部分权重为0.100。课后作业是对学习成果的检测，能够帮助老师了解学生知识掌握情况，在教学反馈系统中具有重要的作用，所以，该部分权重为0.075。考试成绩是学生阶段性学习成果的展示，即期中考试成绩，在形成性评价中，因其同作业成绩相比缺乏一定的连贯性，所以，其权重为0.050，课后讨论是对学习成果的进一步升华和提炼，更适合自主学习能力较强、学习积极性高的同学，所以学生在该部分的成绩可能存在一定的差异，同其他成绩相比重要性略逊，所以，该部分权重为0.025。云班课成绩是学生日常考勤和参与轻直播学习的体现，因大部分学生学习态度较端正，缺乏一定的鉴别性，同其他成绩相比重要性略逊，所以，该部分权重为0.025。上述5个指标从各个维度反应了学生的过程性评价结果，权重分配合理。综上所述，指标体系具有一定的科学性。