医学在线教学资源评价指标体系的构建

王 军，张 坤，张淑华，邓明俊，张 华

(北京协和医学院 1.继续教育学院； 2.教学服务中心， 北京 100730)

近年来，中国教育信息化进入新发展新阶段，教育现代化改革迎来新机遇，教育信息化“十三五”规划的总体部署和教育部关于加强高等学校在线开放课程建设应用与管理的意见等，均强调教育信息化对教育改革发展的引领作用，指出要深化在线教育资源开发应用和供给服务，由此产生了较大规模的在线教育资源。

1 在线教学资源评价研究的现状

1.1 背景

优质在线教育资源充分地流动和利用，对促进教育资源应用与共享，全面提高教学质量意义重大。而评判在线教育资源的优质或否，则需要建立一定的标准。《教育信息化十年发展规划(2011—2020年)》指出需制定在线教学资源建设与共享的基本标准，建立在线教学资源评价与审查制度[1]。国家教育信息化“十三五”发展规划也强调在线教育资源建设需建立准入、评价指标体系、评估方法及监管机制。随着在线教学资源的规模化扩增，迫切需要评估、评价指标体系保证教学资源的质量。

1.2 在线教学资源评价中存在的问题及原因

关于在线教学资源及评价模型的相关研究，主要为在线教学资源的设计、建设及应用[2]，及提出构建课程建设的相关评价指标体系。涉及到评价的内容，则主要是从服务质量评价展开[3]。具体方式通常是首先建设在线课程，再使用服务评价、学生学习效果评价方法等。而针对医学在线教学资源的评价的相关研究较少，尚无一套具有综合评价体系的模型，教学绩效评价也较局限，导致投入很多资源建设的医学课程并没有充分发挥其应有的作用。

分析其主要原因一是教学资源建设投入和产出难以量化，尤其是医学教学资源，其利用效率统计涉及多方面，如学生的满意度、医学学科资源布局合理程度、师生对大量的临床实践课需求是否满足，课程自身的医学或科普价值和使用后的效果等，必须通过长期追踪才能获取较准确的反馈数据；二是现代化教学资源迭代更新速度快，数量成指数级增长，同时医学教育需要临床指导教师多、实践教学占比高、临床教学的实际操作感替代难度大等特点使教学资源呈现出种类的复杂性和多样性，因此相应的评价体系就需要有不同的标准和要求，用统一的标准来评价资源的有效性难度较大。

2 在线教学资源评价研究的框架

2.1 评价目标

教学资源评价目标需指向明确，使最终指向不仅应包括对在线教学资源在教学性等方面的质量的检验，同时也可对教学资源进行发展方向的引导。可先将教学资源具体化为视频资料类、微课类、课件类、手术示教类、机能实验类、试卷类、互动答疑类等具体的素材资源；再细化、量化素材的视频数量(个数)、时间(分钟)，学科系统化的课程的门数、题库数、互动次数；最后是要和授课教师、学生需求相匹配，设计指标可包括用户活跃度、反复观看的视频段、建设完成率、教师的在线课程复建率等，并逐项说明目标设立绩效。

2.2 评价体系基本要素

评价指标体系的三要素包括评价主体、评价方法及评价指标。

评价主体：因参与评价的不同主体的观念和立场不同，评价标准则不尽相同。需要根据专业主体评价者的身份设计不同的类别。目前根据实际使用情况可分为系统管理员、授课(示教)教师、医学专家、在校医学生或者医学继续教育等其他使用者等几类。在评价的时候，根据不同的需要，可以进行单独或者多个个体的组合。

评价方法：通过定量和定性相结合的方法对教学资源的价值进行判断。定性的评价方法存在较强的主观性，可在主观评价上引入精确的技术手段，将复杂问题分解成若干个小问题，并充分利用人们分析、判断综合问题的能力，对复杂问题进行量化分析，将定性问题进行量化处理，主流的方法有层次分析法、回归分析法、模糊综合评判法、数据包络分析方法EDA等[4]。

评价指标：评价指标是评价目标的可操作化分解，需要根据评价对象和主体设计，重点反映教学资源质量的优劣，并有利于未来教学资源的优化发展。

3 医学在线教学资源评价指标体系

3.1 评价指标体系构建原则

针对不同学科类型的教学资源建立分类评价指标，是科学地开展教学资源评价的基本原则。医学教育资源可按照教学学科专业性的不同进行分类管理，现阶段教学资源类型主要包括临床教学素材、教学课件、在线课程、教学案例、手术示教、病案资料、机能实验、虚拟仿真和科普知识等，并根据教学技术的发展不断扩充和深入。

3.2 分类评价指标体系构建

在线教学资源评价因受多种因素的影响，需融合成综合评价系统，系统主要由评价指标、评价标准和权重系数三个要素有机组合而成，同时根据不同的评价目标，可建立不同的评价指标体系。根据医学教育特点，初步构建了医学在线教学资源评价指标体系，将指标设置为教学资源使用量、使用满意度、相关活动均衡性、产出数量等4个大类的一级指标，再设置多个二级指标完善数据统计。具体见表1。

表1 医学在线教学资源评价指标体系Table 1 Evaluation index system for online medical teaching resources

续表1

3.3 评价方式机制和策略

3.3.1 定性评价与定量评价相结合方式L通过充分应用专家、管理者、师生的主观评价和以数学模型定量分析相结合的手段，从多个角度分析教学资源的应用情况和存在不足。在资源开发上线应用时成立评价专家小组，对教学资源进行全面的主观定性评价，在资源发布后通过师生在线访问教学资源情况，利用数学模型和统计方法自动化定量评价相应的教学资源，最终采用一定的软件工具将专家组的意见和线上行为量化的指标综合，形成一份可视化的评价报表，通过此信息来评估教学资源的整体情况。

3.3.2 运用PDCA循环理论优化评价指标的方式:教学资源的建设、应用和评价分析需充分考虑资源利用的全过程周期的整体情况，设计一个评价管理体系非常重要[5]。PDCA(戴明循环)是按Plan(计划)、Do(执行)、Check(检查)、Act(纠正)的顺序进行质量管理，建立动态的评建结合的机制，可以使在线教学资源的建设逐步优化到一个良性循环的状态，实现“资源评价→建设→反馈→优化→建设”的机制，不断完善评价指标的范围和质量，推动教学资源建设评价的良性循环。

3.3.3 以学习者为中心的评价策略:医学教育不仅包括大量的理论课程，还有复杂的实验、解剖、手术示教等课程，学习者在使用在线教学资源学习时，与教学者互动的部分难以完全达到传统教学中的面对面传授知识的效果。因此在建设在线教学资源时，应充分以“学习者为中心”，充分发挥学习者的学习主观能动性，调动学习者的积极性和主动性[6]，进而跨越时空对学习者进行指导，突破教学平台、教学方式等变化及课程学科孤立等障碍,对课程进行阶段性、持续性评价。让医学学习者在学习全过程中积极使用、反馈意见，扭转传统课堂教学只针对认识的评价，重视非认知的评价，进而在完成在线教学资源学习过程后进行讨论，对指标体系进行优化整理。

3.3.4 强调教学专家评判策略:制定教学医学专家评价体系非常重要。医学教育是精英教育，作为医学学习者，其被传授的教育内容跟国家卫生安全、人民生命健康息息相关，教学资源内容必须严谨，慎之又慎。不同领域医学学科专家的授课经验和指导意见充分发挥了医学教育“传、帮、带”的重要作用，能从不同的工作领域及高层次医学思维角度对相关研究提出全面的客观建议[7]，因此在线教学资源效果评价中尤其需重视征询医学专家的意见及态度。一般可采用德尔菲法征求专家意见，并根据其经验和主观判断对涉及的在线教学资源的内容、应用、理论知识点的合理性、实用性等进行评判。

4 讨论

医学教育是理论知识繁复、实践性强、资源投入巨大的教学过程，利用在线教学资源可以不受时空限制地展示实践活动，不但方便有效地提高理论知识的教学效果，而且有助于教学成本的控制。目前中国优质医学教育资源稀缺，加强在线教学资源的建设与评价控制，构建一套在线教学资源使用的评价体系，不仅可以扩大优质医学资源的受众范围，为课程学习者提供高质量的学习服务，提高医学教学的影响力和社会价值，还可为其他同类课程进行在线开放教学资源建设提供借鉴，促进教学资源利用的良性发展。本文初步建立包含4个一级指标和48个二级指标的医学在线教学课程绩效评价指标体系，在具体评价时，根据医学课程及应用特点设计不同的评价手段和方法，先梳理清楚在线教学资源建设的相关要素，再选择建立合理的指标体系，并在实践中不断地优化完善，明确评价主体的范围，形成一种建设的长效机制，指导评价教学活动的开展，为提高教学质量提供科学的建设参考。