程序性评价在全科临床诊疗思维课程评价中的应用

【摘要】 背景 全科临床诊疗思维是全科医生为患者提供高质量诊疗服务的关键，但因其属于无法被直接观察的抽象能力，所以并不适合用传统的方法进行评价。目的 本文旨在通过优化课程教学评价方法提高全科医生临床诊疗思维培训效率，丰富医学教育评价。方法 于2022年9—12月，以同济大学医学院38名全科方向硕士研究生为对象，根据学习与工作经历分为在职组16名与住培组22名。培训课程包含核心、案例、结果3个模块，采取混合式教学方法开展实践。定量评价的内容为技能评分表、PBL评分表与案例评分表，主观评价的内容来自多源反馈。结果 两组学员核心和案例模块首次课程评分比较，差异无统计学意义（Pgt;0.05）；两个模块末次课程得分比较，差异有统计学意义（Plt;0.05）。将总体学员以及两组学员核心和案例模块首、末次课程的定量评价得分比较，差异均有统计学意义（Plt;0.001）。主观评价性质分为肯定性评价与改进性评价，问诊能力、体格检查、辅助检查、健康管理、慢病管理课程的肯定性评价占比较低，而改进性评价占比较高；医患沟通、病历书写、多病共存、心身疾病、未分化疾病课程的肯定性评价占比较高，而改进性评价占比较低。结论 程序性评价能够丰富全科思维评价体系、促进学员循序建构全科思维，同时也发现了“翻转课堂”是程序性评价的呈现形式。

【关键词】 全科医学；教学；教育，研究生；程序性评价；临床诊疗思维；翻转课堂

【中图分类号】 R-05 【文献标识码】 A DOI：10.12114/j.issn.1007-9572.2023.0743

Effects of Programmatic Assessment in Clinical Reasoning Courses in General Practice

ZHAI Jiayi1，2，3，LU Yuan1，3，4*，SHI Jianjun1，3，4，YU Dehua1，3，4

1.Department of General Practice，Yangpu Hospital of Tongji University，Shanghai 200090，China

2.Community Health Service Center of Jiading Town in Jiading District，Shanghai 201899，China

3.Academic Department of General Practice，Tongji University School of Medicine，Shanghai 200090，China

4.Shanghai General Practice and Community Health Development Research Center，Shanghai 200090，China

*Corresponding author：LU Yuan，Chief physician；E-mail：lussy@126.com

【Abstract】 Background The clinical reasoning of general practitioners is the key to providing quality medical services to patients，but it is not suitable for traditional methods to evaluate this ability because it is an abstract ability that cannot be directly observed. Objective This paper aims to improve the efficiency of general practitioners' clinical reasoning training and enrich the evaluation of medical education by optimizing the evaluation method of curriculum teaching. Methods From September to December 2022，38 master's degree students of the Medical School of Tongji University were divided into the in-service group （16） and residential training group （22）. The course consists of three modules，namely core，case and result，and adopts blended teaching method to carry out teaching. The content of quantitative evaluation is different kinds of rating scale，while the content of subjective evaluation comes from multi-source feedback. Results The final course scores for the core and case modules were statistically significant for both groups（Plt;0.05），but the first course scores were not（Pgt;0.05）. The quantitative evaluation scores of the whole class and the two groups of students in the first and last courses of the above two modules were compared，and there was statistical significance （Plt;0.001）. Subjective evaluation can be divided into positive evaluation and improvement evaluation. The positive evaluation of the courses on consultation skills，physical examination，auxiliary examination，health management，and chronic disease management is relatively low，while the improvement evaluation is relatively high；the positive evaluation of the courses on doctor-patient communication，SOAP，multiple diseases coexirelatively high，while the improvement evaluation is relatively low. Conclusion Programmatic assessment can enrich the evaluation system of general clinical reasoning，promote students' construction of general clinical reasoning in order，and also found that \"flipped classroom\" is a form of procedural evaluation.

【Key words】 General practice；Teaching；Education，graduate；Programmatic assessment；Clinical reasoning；Flipped classroom

全科临床诊疗思维（全科思维）是一项复合能力，将全科医生问诊、查体、辅助检查运用与解读等专业能力“串连”起来［1-2］，是为患者提供高质量全科临床诊疗的关键。目前全科思维的培训形式越发多样化［3-5］，如以问题为导向的学习（PBL）和以案例为导向的学习（CBL），而全科思维评价作为衡量培训效果的重要手段，也存在着多种评价形式。但是，单一的评价形式难以全面、客观地反映出学员的整体全科思维能力［5-7］。根据米勒金字塔理论［8］，全科思维培养分为“knows”“knows how”“shows how”“dose”4个阶段，前3个阶段的评价被称为“标准化评价”，其通常采用理论考、技能操作考试等成熟方法进行评价；“dose”阶段则需要运用“非标准化评价”［8-9］，由于综合专业知识技能、人文和协作等复合能力被称为“独立于领域的技能”，既往方法难以做到对该能力进行全面性评价，需要在课程全程采用定性与定量相结合的“非标准化评价”。程序性评价（PA）最早由VAN DER VLEUTEN等［7］在2005年提出，其主要遵循“意义建构”“纵向评价”“持续反馈”“学员主体和自我负责”及“评价为了学习且本身也是学习”五大原则，并强调“评价为了学习且本身也是学习”，兼顾了上述两种评价要求 ［9］。PA结合“形成性评价”促进学员反思和“终结性评价”概括结果的优势［10］，采用标准化评价和非标准化评价对全科思维进行混合评价。任何一种评价方式均无法全面反映学员整体全科思维，因此只将其作为一个“像素点”，当“像素点”达到一定数量形成清晰“图像”后，才作出合格与否的决策［11-15］。除了优化教师评价决策，PA更重要的作用是使学员主动建构专业知识，提高培训效率［11-14］。

《全科临床诊疗思维》是同济大学全科医生岗位胜任能力提升精品课程，也是同济大学全科医学方向两类研究生的共同必修课程，经过研究者多年实践与探索，已在课程建设与完善上取得了一定成效［1-2］。本研究通过在同济大学医学院全科医学系的全科医学方向硕士研究生必修课程《全科临床诊疗思维》中引进PA，来探索改善评价方法、提高培训效率的有效措施，为培养高质量全科医生提供思路。

1 对象与方法

1.1 教学对象

将2022年参加《全科临床诊疗思维》课程的38名学员作为研究对象，包括在职全科医生、有全科转岗意愿的专科医生及全科住院医师规范化培训（住培）医生，并根据学习与工作经历分为在职组与住培组。在职组包括16名研一学术型硕士研究生（在职学员），住培组包括22名研二“四证合一”专业型硕士研究生（住培学员），学员基本情况见表1。

1.2 课程内容

《全科临床诊疗思维》课程总计32学时，分为核心、案例及实践三大模块（总论除外）。该课程采用理论课、讨论课和实践课等多种形式开展，具体分配课时数见表2。课程的核心模块包含病史采集、体格检查、辅助检查、医患沟通和门诊病历（SOAP）书写等内容；案例模块包含健康管理、慢病管理、多病共存、心身疾病和未分化疾病5个方面的全科医学典型案例；结果模块则通过案例汇报的形式考核学员全科思维，并检验学员全科思维完整度。

1.3 PA设计

1.3.1 PA设计理念：PA包含标准化评价、非标准化评价及总体评价3个模块 ［8-9，12，16］，其中：标准化评价模块包含“能力特定，并非通用”“客观性有别于可靠性”“评价中提问的作用大于回答”“有效性‘内置’”4个原则；非标准化评价模块包含“偏见是专业评判的固有特征”“评价的有效性取决于工具的使用者”“主观内容的重要性”“有效使用反馈”4条原则［12，16］。" PA具体内容及设计步骤见表3。

1.3.2 标准化评价模块原则内容阐述及应用。（1）“能力特定，并非通用”原则：指学员在任何一种能力测试中的结果不一定代表其在其他测试中的能力，如理论成绩好的学员不一定操作优秀，称为临床能力的“内容特异性”［12］。PA结合了形成性评价与终结性评价的特点，将框架设计在纵向评价基础上、终结性评价设置在学员课程结束后、形成性评价设置在课程运行中。此外评价内容需要考虑全面，在评价问诊、查体、辅助检查、病历书写等“全科思维”核心能力的同时，也要考察医患沟通能力等内容。

（2）“客观性有别于可靠性”原则：其表明即使像客观化结构化临床考试（OSCE）这类具有机构化、客观性的特点评价，也同样面临可靠性的问题，试题的全面性才是关键，在该情况下主观评价同样也具有可靠性［12］，因此在课程中应设置直接观察评估和现场点评等主观评价方式。

（3）“评价中刺激的作用大于回应”原则：其指出决定评价内容的是“刺激”而非“回应”。“刺激”指评价形式，如提问、考核、测试等；“回应”指学员答题的过程和结果［12］。这项原则提示了评价设计中应该重视“刺激”的质量和形式，如采用真实案例和场景。本课程中案例模块均来自基层诊室全科工作案例［1-2］，能够增强“刺激”的真实体验。在形式方面，核心与案例模块采用PBL与CBL等“翻转课堂”形式开展，过程中再进行课堂表现评价，进一步丰富“刺激”形式。

（4）“有效性‘内置’”原则：该原则强调了评价与课程质量改进措施，包括评价前做好设计、评价中做好指引、评价后最好进行分析总结［12，16］。

1.3.3 非标准化评价模块原则、总体评价内容阐述及应用。（1）“偏见是专业评判的固有特征”原则：强调了无论是何种评价，偏见是始终存在的，但应该减少偏见对综合专业评判的影响［12，16］。为减少偏见，课题组在评价中遵循了三角测量原则：一方面，每次均由2名教师进行定量评价，形成小型决策委员会；另一方面，采用“翻转课堂”理念增加师生互动评价，改变其刻板印象，减少偏见。

（2）“评价的有效性取决于工具的使用者”原则：强调了师资能力应该有持续提升的过程［12］，课题组为此组建了设计团队与师资团队：设计团队由6名副高级以上全科医学和医学教育领域的专家组成，在课前了解学员的基本情况和需求，课后收集学员反馈意见，在总体框架不变的情况下对课程与评价进行适当改进，同时邀请同行专家对课程与评价方案进行评议，保证质量；师资团队由6名具有中级以上职称、5年以上教学经验的全科教师组成，并在开课前对其进行统一培训、试讲。

（3）“主观内容重要性”及“有效使用反馈”原则：其提到了当反馈成为评估的核心时，如果师生互动是有效反馈的中介，那么定量信息就有明显局限性，而主观的评价内容则具有优势［12］。回顾评价内容，核心能力、沟通与课堂表现均可采用定量评价与主观评价相结合的方法。根据PA中“意义建构”原则，希望学员能够自己建构全科思维，因此增加学习能力评价。在框架设计阶段，核心模块和案例模块最后均设置了反馈环节，并且以提高学员下一次表现为目的，因此对于反馈的方式再一次进行改进，集合了学员自评、学员他评、教师评价、SP评价等多源反馈（MSF）。

（4）总体评价：该部分包含了“没有完美的评价方法”和“评价可驱动学习”原则，其对于评价设计的启示是课程评价中所有内容尽可能定量与主观评价相结合，先打分后点评。

1.3.4 基于“像素点”理论的评价内容设计：基于PA的“像素点”理论［11-14］，结合课程核心、案例和结果三大模块，将全科思维核心能力、沟通能力、课堂表现和自主学习能力等评价内容细化，评价每个课程的内容，最终形成定量评价与主观评价结合的“像素点”。课程内容及评价内容设计见表4。

定量评价为各模块百分制量化评分表，定性评价为各模块MSF中主观评价，分为肯定性评价与改进性评价［17］。肯定性评价指针对学员表现亮点做出的评价，改进性评价指针对学员表现不足需要改进做出的评价。最终“像素点”集合反映学员完整全科思维的“图像”。

1.4 教学实践过程

于2022年9—12月，对38名学员开展教学实践，课程开始前向全体学员充分告知研究内容并确保其知情同意。首次课程为总论课程，用于和所有学员以及师资团队成员介绍课程概况，同时也说明了课程的评价形式与师生配合情况，为后续PA开展预设基础，总论课后对全体学员进行基本情况调查，随后开展课程学习与

评价。

（1）核心模块：分为知识巩固和实践两部分。在教师引导学员进行复习知识后，由学员扮演医生在标准化病人（SP）身上进行实践，同时设置另一名学员扮演辅助角色，当学员遇到困难时辅助角色可以帮助其共同解决问题。在学员实践过程中，将由教师、其他学员与SP对其进行打分，并在课程结束后进行MSF。

（2）案例模块：采用线上授课形式，每个案例分2次进行授课，每次1个课时。首次授课内容为PBL讨论，第二次授课内容为学员汇报。授课教师于课前将学员分为6组，每组6～7名，每次PBL案例提前1～2 d下发。教师于首次授课时先让各组通过“头脑风暴”提出问题，随后教师总结并督促小组逐一认领所提出的问题。小组组长组织学员于课后讨论所认领的问题并准备汇报材料（教师以线上方式参与讨论），每组推选一名学员在下次授课中汇报讨论结果，汇报后由教师点评和总结知识点。该模块由教师和小组组长对学员的讨论和课堂表现进行打分，最后通过MSF对学员进行现场反馈。

（3）结果模块：采用线上案例汇报形式，汇报分三次进行。学员需自行准备一个具有全科特色的病例撰写材料，并把汇报材料提前一周上交给教师。教师将对材料进行等级评价，根据评价结果决定汇报顺序：提交A级材料的学员优先汇报，提交B、C级材料的学员预留时间，参考A级学员汇报情况并结合现场汇报及点评情况后对汇报材料进行修改，待修改通过后再行汇报。现场汇报由2名教师进行打分，汇报结束后进行MSF。

1.5 统计学方法

采用SPSS 22.0软件对定量评价结果进行统计分析，计数资料以相对数表示，组间比较采用χ2检验；符合正态分布的计量资料以（x-±s）表示，组间比较采用t检验。以Plt;0.05为差异有统计学意义。

2 结果

2.1 定量评价结果

在职组与住培组末次课的核心模块、案例模块得分比较，差异均有统计学意义（Plt;0.05）。结果模块案例汇报部分总体得分（85.82±4.27）分，其中在职组得分（87.86±4.37）分，住培组得分（84.40±3.68）分，在职组与住培组案例汇报的结果模块比较，差异有统计学意义（Plt;0.05）。总体、在职组及住培组在首次课、末次课的核心模块及案例模块得分比较，差异均有统计学意义（Plt;0.001），见表5。

2.2 主观评价结果

对转录后主观评价进行分析，结果显示核心模块中问诊能力、体格检查、辅助检查课程的肯定性评价占比较低，改进性评价占比较高，医患沟通、病历书写课程的肯定性评价占比较高、改进性评价占比较低；案例模块中健康管理、慢病管理课程的肯定性评价占比较低、改进性评价占比较高，多病共存、心身疾病、未分化疾病课程的肯定性评价占比较高、改进性评价占比较低，见表6。

3 讨论

3.1 PA能丰富全科思维评价体系

课题组根据本课程的学员定量与主观评价，发现PA反映学员全科思维较全面。以往对于全科思维的评价常采用病例报告、理论考试、客观化结构化考试（OSCE）、临床操作技能评估（DOPS）、迷你临床演练（Mini-CEX）等评价，教学考核和组织实施形式单一，教学评价手段匮乏，导致评价结果与学员的真实思维水平相差较大［1-5］。本研究所设计课程评价有别于传统评价，其是在定量评价的基础上融入了主观评价，对教学效果开展混合评价，丰富了全科思维评价体系。与人们通常认为主观评价存在信度不足的“刻板”印象不同，本次评价采用学员自评、教师与学员双向评价、学员互评、SP对学员的评价组合而成的MSF，符合“三角测量”原则，从而得出了与VAN DER VLEUTEN等［7］一致的结论，即“主观评价在评价高级抽象能力时同样可靠”。因此，面对以往单凭理论知识无法衡量学员技能水平，如“插胃管”等临床操作难以反映学员查体技能水平等问题，混合评价能够完整地反映学员全科思维，如通过定量评价起到直观评价的作用，通过主观评价起到补充与侧面评价的作用。

3.2 “翻转课堂”是PA的呈现形式

有别于传统教学，“翻转课堂”是以学员为主体，教师及其他同学作为学习指导和促进者来帮助学习者知识内化，强调了学员对自主学习、交流反思和团队协作的运用［18］。本次教学对象为全科方向硕士，具备一定的专业基础，因此教师主要起到引导作用，帮助学员建构自身全科思维，而非传授基础理论。核心模块中问诊、查体等均是全科医生接诊能力的“基本功”，为后续全科思维将各项能力“串连”打下基础。核心模块主要是技能为主的内容，将之融入实践内容能让学员快速提升技能水平，但实践的重点并不是加强技能的熟练度，而是实践运用技能的“思维”，因此采用案例的形式进行实践。同时为避免学员因能力不足无法达到预期效果，设置了其他学员担任辅助角色协助其处理问题，这既是一种训练，又能成为评价反馈。

案例模块均来自具有代表性的全科真实案例，该模块是提升“串连”能力的主要路径，从PA理论角度来看，也是“串连”能力建构的主要过程。案例模块采用PBL形式，但评价形式采用形成性纵向评价，即在每个课程内容结束后进行评价，观察学员在整个模块培训期间的全科思维发展情况。在PA设计中，课程中形成性评价需要对反馈环节进行调整，以促进学员在下一个课程内容中的表现为目标，最后案例汇报反映学员“串连”能力建构的结果。该模块同样需要融入反馈，只有通过持续动态评价反馈，才能让学员逐渐形成主动学习意识，并将现有基础知识进一步建构形成全科思维。课程在充分遵循“意义建构”“纵向评价”“持续反馈”“学员主体和自我负责”“评价为了学习且本身也是学习”PA五大原则的同时，最终以“翻转课堂”形式呈现“案例、实践、讨论、反馈”等内容。

3.3 PA推动学员循序建构全科思维

在PA中，任何一种评价结果都无法代表学员的最终结果，因此对于最终合格与否的决策而言，单一的评价结果是“低利害”决策［6-9］，所有定量与主观评价的集合的结果则是“高利害”决策。生源异质性问题导致的学员定量评分差异在既往研究中已被证实［1-2］，本次研究中，两组核心与案例模块首次课程得分未体现差异，而在末次课程中存在差异，这可能与PA决策的“利害性”有关。以往核心与案例模块的相关研究证明，无论是授课前还是授课后，在职学员的表现均优于住培学员，这种情况主要是因学员实践经验的不同所导致［4-5］。但从授课形式、课程适应度等角度出发，两组学员面对的均是未知的情境，因此导致了本次课程前两组学员表现无差异，随后在课程进行过程中，在职学员经验优势逐渐占优，最终所有模块的表现优于住培学员。

在核心与案例模块首、末次课定量评价比较以及主观评价中，通过比较历次课程肯定性评价与改进性评价数量，能够发现学员表现逐步提升，这在一定程度上体现出PA能够推动学员将已有知识的逐渐内化，同时在全科理念的灌输后逐渐建构出全科思维。以往的小组讨论、师徒式带教、理论授课、门诊带教等均是常用的全科思维培训模式［1-5］，不同的教学模式适用于学员不同能力的培养［5］，但没有一种教学模式能够全面提升学员所有能力。全科思维是立足于理论知识与临床技能的基础上，将理论与技能“串连”并灵活运用的能力，因此全科思维既抽象，又涉及学员在多方面的能力，需要在实践中融合多种教学模式。比如在本次PA实践中，以课前基线调查、课中形成性评价与课后解决性评价相结合的方式保证课程质量；在PBL与CBL的设计，甚至在CBL实践中，创新加入的辅助角色与帮助学员，则是遵循了PA“评价为了学习且本身也是学习”原则。

虽然反馈是影响课程质量的重要因素，但目前课程中存在“事前”“事中”反馈缺失、学员知识达成度缺失等问题［19］。本课程中的反馈与以往形成性评价的反馈不同，除促进学员反思外，还能利用PA继续评价学员在后续课程中面对同类问题时的改进情况，从而推动学员进步。例如，课程反馈通过MSF实现课程“事中”反馈，同时也反馈给学员知识达成度，促进了课程质量。因此从主观评价的数量分析能够发现，随着课程的深入，核心模块与案例模块的肯定性评价数量与百分比呈持续上升的趋势，改进性评价数量与百分比则呈持续下降的趋势。在PA理念下的“翻转课堂”中，学员能够通过课程中师生互动、学员实践与合作得到及时的反馈，进而最终在专业知识和技能基础上建构出全科思维。

4 小结

本课程遵循了PA与米勒金字塔的理论原则，对同济大学全科方向硕士必修课《全科临床诊疗思维》评价进行优化，在课程中引进PA并开展教学实践，发现PA能够丰富全科思维评价体系、推动学员循序建构全科思维，同时也发现了“翻转课堂”是PA的呈现形式。本研究主观评价内容限于篇幅未能完全展示，后续将进一步完善，并再次对PA的应用效果进行实证。

作者贡献：翟佳燚负责文章构思与设计、研究的实施与可行性分析、撰写论文；陆媛负责文章的英文的修订、文章的质量控制及审校；石建军负责研究的实施；于德华负责论文的修订、监督管理，对文章整体负责。

本文无利益冲突。

翟佳燚https：//orcid.org/0009-0007-3891-435X

陆媛https：//orcid.org/0000-0002-4360-8476

石建军https：//orcid.org/0009-0003-3117-779X

于德华https：//orcid.org/0000-0001-7652-938X

参考文献

翟佳燚，陆媛，钱曙蕾，等. 同济大学全科硕士研究生临床诊疗思维课程设计［J］. 中国全科医学，2023，26（25）：3202-3206. DOI：10.12114/j.issn.1007-9572.2022.0715.

翟佳燚，陆媛，葛许华，等. 基于胜任力的全科临床诊疗思维课程设计与实施［J］. 中华医学教育杂志，2022，42（12）：1079-1082. DOI：10.3760/cma.j.cn115259-20220502-00566.

易江，魏涛，于志渊，等. 全科住院医师规范化培训中临床思维训练体系建立初探［J］. 中国毕业后医学教育，2020，4（4）：311-314，324. DOI：10.3969/j.issn.2096-4293.2020.04.006.

陆媛，于德华，张斌，等. PBL教学模式在全科医师规范化培训中的实践应用［J］. 中国全科医学， 2014， 17（16）：1880-1883. DOI：10.3969/j.issn.1007-9572.2014.16.019.

战京燕，娄景秋，王少坤，等. 我国全科住院医师规范化培训教学模式及应用效果研究［J］. 中国全科医学，2021，24（19）：2401-2407. DOI：10.12114/j.issn.1007-9572.2021.00.201.

VAN DER VLEUTEN C，VERHOEVEN B. In-training assessment developments in postgraduate education in Europe［J］. ANZ J Surg，2013，83（6）：454-459. DOI：10.1111/ans.12190.

VAN DER VLEUTEN C P M，SCHUWIRTH L W T. Assessing professional competence：from methods to programmes［J］. Med Educ， 2005， 39（3）：309-317.

MILLER G E. The assessment of clinical skills/competence/performance［J］. Acad Med， 1990， 65：S63-67.

VAN DER VLEUTEN C P M，DANNEFER E F. Towards a systems approach to assessment［J］. Med Teach，2012，34（3）：185-186. DOI：10.3109/0142159X.2012.652240.

闻德亮. 医学教育中的形成性评价方法［J］. 高校医学教学研究（电子版），2011，1（1）：36-38.

TORRE D M，SCHUWIRTH L W T，VAN DER VLEUTEN C P M. Theoretical considerations on programmatic assessment［J］. Med Teach，2020，42（2）：213-220.

VAN DER VLEUTEN C P，SCHUWIRTH L W，SCHEELE F，et al.

The assessment of professional competence：building blocks for theory development［J］. Best Pract Res Clin Obstet Gynaecol，2010，24（6）：703-719. DOI：10.1016/j.bpobgyn.2010.04.001.

VAN DER VLEUTEN C P，SCHUWIRTH L W，DRIESSEN E W，et al. A model for programmatic assessment fit for purpose［J］. Med Teach，2012，34（3）：205-214.

VAN DER VLEUTEN C P M，SCHUWIRTH L W T，DRIESSEN E W，et al. Twelve Tips for programmatic assessment［J］. Med Teach，2015，37（7）：641-646. DOI：10.3109/0142159X.2014.973388.

SCHUWIRTH L W T， VAN DER VLEUTEN C P M. A history of assessment in medical education［J］. Adv Health Sci Educ Theory Pract，2020，25（5）：1045-1056.

JOHN A DENT，RONALD M HARDEN，DAN HUNT.医学教师必读——实用教学指导 （6版） ［M］.王维民，译.北京：北京大学医学出版社，2020：282-289.

MONICA VAN DE RIDDER J M，STOKKING K M，MCGAGHIE W C，et al. What is feedback in clinical education？［J］. Med Educ， 2008， 42（2）：189-197.

张金磊，王颖，张宝辉. 翻转课堂教学模式研究［J］. 远程教育杂志，2012，30（4）：46-51.

丁才成，陈炳和. 高职院校课程质量诊断与改进策略［J］. 职业技术教育，2017，38（8）：55-58.

（收稿日期：2023-11-14；修回日期：2024-05-14）

（本文编辑：程圣）