基于病例开发和教学评价视角的护理本科生虚拟问诊数据分析

杜景榕，王娟，王子文，郑晶，朱晓雯，赵娟娟，李琨

(1.中山大学 护理学院，广东 广州 510080；2.广东药科大学 护理学院，广东 广州 510310；3.暨南大学 护理学院，广东 广州 510632)

护理问诊，是临床护士需要掌握的核心技能，也是护理教学的重点、难点内容[1]。基于人工智能和各信息终端的虚拟患者(virtual patient,VP)被认为能够模拟真实的临床情景，提高学生的问诊沟通能力，为学生进入临床实践做好准备[2-3]。然而，现有的VP在应用中存在两个难题，分别是病例质量和教学效果的评价。理想的VP应符合真实病人的反应，能够正确回答学生的询问。但由于开发成本高昂，目前能够实现人机之间自然语言交互的VP较少[4]，仅极少研究报道VP的质量[5]。另一方面，教学评价的目的不仅是检验学生的问诊水平，更重要的是发现学生问诊时存在的问题，为教学提供依据。而目前研究多为验证VP的干预效果，极少反映VP对教学的指导作用[6]。本课题组开发了“中大虚拟病人”微信小程序(中国版权保护中心登记号：2017SR0265888)。现应用VP对护理本科生进行问诊考核，从病例开发和教学评价视角对考核记录进行数据分析，评价病例质量并定位学生在问诊中的不足和缺陷，为今后的问诊教学提供方向和依据。

1 对象与方法

1.1 研究对象 2020年3月至2021年1月，采用便利抽样选取广东省3所学校的全日制护理本科生为研究对象。纳入标准：(1)本科二年级，处于《健康评估》课程所在学期末的阶段；(2)拥有手机或平板等移动终端电子设备；(3)具备网络环境并会使用微信。排除标准：(1)在整个《健康评估》课程学习中缺勤1周课时以上；(2)因各种原因留级、转学、休学的学生。最终174名护理本科生完成了问诊考核，所有学生均知情同意，自愿参与本研究。本研究经校伦理委员会审批通过(2021ZSLYEC-345)。3所学校共174名学生参与研究，来自Z、J和G学校的学生分别占28.2%、20.7%和51.2%。其中男27名(15.5%)、女147例(84.5%)。年龄为18～23岁，平均(20.0±2.32)岁。

1.2 方法

1.2.1 虚拟患者软件介绍及使用 “中大虚拟病人”中虚拟病例的设计以功能性健康型态理论(functional health patterns,FHPS)为框架，涵盖了护理问诊的重点内容[7-9]。每例虚拟病例共包含17个模块，详见表1。该VP软件的形式为微信小程序，可以实现学生和VP之间的自然语言交互。学生完成注册登入该小程序后，经授权可进入考核问诊病例，系统会弹出该VP的年龄、性别等基本资料及符合病例基本资料的人物形象图等。学生可通过输入“语音或文字”对VP进行询问，VP可识别学生的询问内容并给予回复，回答时可伴有“眨眼、嘴巴动”等动作。每次问诊时间为30 min，问诊结束后点击“结束问诊”按钮来结束对话，系统会根据学生问诊内容的完整性自动评分。

表1 护理问诊虚拟患者设计框架

1.2.2 资料收集方法 研究对象均已学习《健康评估》课程中的“常见症状问诊”内容，因此选取1例以“咳嗽、咳痰”为典型症状的VP进行考核。由于3所学校的课程安排不同，因此Z、J大学均在2019年春季学期末完成考核，G大学于2020年秋季学期末完成考核。每名学生至多问诊3次，以得分最高的一次为有效考核问诊，其分数作为问诊考核成绩。软件会自动将学生和VP之间的问诊记录保留在后台管理系统，方便研究人员对其进行数据分析。

1.2.3 评价指标

1.2.3.1 虚拟患者的质量评价 基于病例开发者视角，对于学生提出的询问，理想的VP不仅应能给予回答，而且应该回答正确。因此，通过内容完整性和内容准确性两个指标来评价其质量。(1)虚拟患者的内容完整性=VP能够回答的询问数/学生产生的总询问数×100%。对于不能回答的询问，它会回复“我不太清楚您的问题”。(2)虚拟患者的内容准确性=VP正确回答的询问数/学生产生的总询问数×100%。研究者会逐一检查所有VP的回复，对于其虽然有回复、但是答非所问的语句，即列为回答不正确。例如，学生询问“您的家人有患肺气肿吗？”，VP回复“我有过气管炎和肺气肿”，则记为回答不正确。

1.2.3.2 教学评价 基于教学评价视角，首先通过学生的问诊考核分数来反映学生问诊的实际表现以及成绩的分布情况；通过模块覆盖率、条目覆盖率和条目命中率来定位学生问诊中的缺陷。(1)VP的评分方法：由5名护理教育专家通过面对面的会议决定，5名专家均具有博士或硕士学位、副教授及以上职称，并参与过《健康评估》课程教学。最终确定总分为100分，各个模块中病人的每个应答都被赋予相应的分数。各模块分数所占的比例根据其重要性确定，现病史模块占总分的60%，其余16个模块共占40%。(2)模块覆盖率(%)=询问到某一模块内容的学生数/学生总数×100%。模块覆盖率越低，说明学生在问诊时对这一部分发生了遗忘。(3)条目覆盖率(%)=某一模块被问诊到的问题数/该模块设置的总问题数×100%。某一模块的条目覆盖率越低，说明学生对该模块的问诊内容理解越不充分，掌握越不全面。(4)条目命中率(%)=询问某一问题的学生数/学生总数×100%，精确体现了学生在问诊中的不足之处。VP小程序后台管理系统可实现对学生成绩的统计分析功能，以上3个指标均可由系统计算得出，计算便捷。

2 结果

2.1 护理本科生问诊考核成绩 174名学生共完成了482次问诊(每名学生产生了1～3次问诊记录)，共产生了28 305次询问。学生每次问诊考核问题数为53(33，79)个，问题数范围为2～193个。以每名学生得分最高的一次问诊作为有效考核问诊，174次有效考核问诊共产生了13 497次询问，学生有效考核问诊问题数为72(53，93)个，问题数范围为20～193个。虚拟问诊考核平均成绩为(58.53±14.32)分，成绩为21.40～82.50分。79.9%的学生在《健康评估》课程的理论测试中取得合格的成绩，具体成绩分布见表2。

表2 护理本科生的问诊考核成绩(N=174)

2.2 问诊考核病例的质量 根据有效考核问诊，174名学生共产生13 497次询问，其中VP未回答的询问数有509次，该虚拟患者的内容完整性为96.23%。VP虽然有回答，但是回答不正确所对应的询问有558次，该虚拟患者的内容准确性为95.87%。

2.3 教学评价结果

2.3.1 模块覆盖率和条目覆盖率 根据有效考核问诊的记录，通过数据分析得到学生虚拟问诊中模块覆盖率最低的3个模块是个人史(50.57%)、认知与感知(50.57%)及角色与关系(51.72%)。学生虚拟问诊中条目覆盖率最低的5个模块是个人史(25.00%)、认知与感知(33.33%)、活动与运动(33.33%)、家族史(33.33%)及营养与代谢(40.00%)

2.3.2 现病史模块的条目命中率 条目命中率可以精确反映学生在问诊中的不足之处。现病史作为问诊学习中的重点内容，其条目命中率值得重点关注。学生虚拟问诊现病史模块条目命中率最低的5个问题，见表3。

表3 考核虚拟患者现病史模块的条目命中率(N=174)

3 讨论

3.1 病例开发者视角下，VP质量的评价结果令人满意 本研究显示，考核VP的内容完整性为96.23%。在病例设计过程中，研究者提取多人、多次的询问句中的关键词，结合AND、OR等形成布尔逻辑运算式，只要VP识别学生的询问，就能通过逻辑运算式匹配到相应的回答。学生的询问没有得到回答，主要的原因可能是问诊问题中的关键词没有纳入到逻辑运算式中，因此虚拟病例需要被不断地测试和修订。本课题组前期测验的VP内容完整性为83%[10]，本次考核VP的内容完整性高于前期结果，可能与本次考核所用病例经过了多轮的测试和修订，从而包含了问诊问题的更多表达方式。本研究显示，内容准确性为95.87%，优于Maicher等[11]用于培养医学生问诊能力的虚拟患者的准确性(92%)。VP回答错误的主要原因是答非所问，即VP根据现有的布尔逻辑运算式将学生的询问错误地匹配到另外一个回答。因此，每一轮应用之后都需要对这些逻辑运算式中的缺陷进行逐一检查并修改。

3.2 VP实现了对大样本学生的客观、标准化问诊考核 本次虚拟问诊考核中，174名学生共完成了482次问诊，生成了28 305个询问问题，证明了VP在问诊实践中的实用性和便捷性。以往的问诊考核多采用真实患者或标准化病人，同一名患者难以完成对大样本学生的问诊考核，即使是受过培训的标准化病人，也难以消除主观性的影响。VP的应用克服了这一难题，能够实现对大样本群体的标准化客观问诊考核[6,12]，为客观的教学评价提供了基础。本研究中学生总体考核成绩处于中等偏低水平，且差异较大。这可能与学生刚完成《健康评估》课程的学习，缺少问诊实践经验，难以灵活应用理论知识有关。本研究使用的VP软件，不仅可用于考核测评，也可以用于今后护理教学中增加学生的问诊实践机会，提高学生的问诊能力。

3.3 教学评价视角下，检验学生的问诊能力并定位其薄弱之处 本研究中，模块覆盖率和条目覆盖率均最低的两个模块是个人史和认知与感知。学生在这两个模块问诊不足，一方面是由于学生问诊时对相关内容有遗漏；另一方面，可能与学生不能正确理解这两部分的内容，因此不能在实践中应用相关知识有关。在今后的教学中，应加强对学生问诊薄弱之处的关注，让学生能将所学知识更好地应用到问诊实践中。教师不仅可以了解学生问诊的薄弱之处，还能对具体的问诊缺陷进行定位。现病史作为护理问诊最重要的部分[13]，通过对现病史模块中每个问题的条目命中率的比较，发现条目命中率最低的是对近期痰液颜色的询问，可能与学生尚未进入专业课(如《内科护理学》)的学习，缺乏临床经验和临床评判性思维有关。另外，结果显示有一半的学生忽视了痰液的黏度和性质，没有问诊相关的问题。通过条目命中率，能够精确定位学生问诊中的缺陷，为《健康评估》和《内科护理学》课程提供相关的教学建议。

4 小结

从病例开发视角，用于问诊考核的虚拟患者质量令人满意，确保了学生的用户体验。从教学评价视角，分析系统保留的问诊记录客观地反映了教学效果，发现学生问诊中的薄弱之处，并精确定位其问诊缺陷，可为今后的教学提供方向和依据。高质量的虚拟患者通过模拟真实的临床问诊情景，可以满足护理问诊的考核需求。尽管本研究中虚拟病例的内容完整性和准确性令人满意，但仍有提升的空间。在今后的教学中，基于虚拟患者的应用和教学评价有望提供更多信息，实现更大的应用价值。