类ChatGPT大规模语言模型对医学生的影响

马亚男,杨瑞丰,何小东

(1.兰州大学第二医院第二临床医学院; 2.兰州大学信息科学与工程学院,甘肃 兰州 730000)

随着人工智能(AI)技术的迅猛发展,各个行业都面临着深刻的变革,其中医学教育领域也不例外[1-2]。近年来,采用深度学习技术的大规模语言模型(Large Language Model,LLM)通过大量文本数据的训练可以生成自然语言文本。由OpenAI开发的GPT系列(Generative Pre-trained Transformer,生成式预训练变换器)是最为著名的LLM之一,其采用了Transformer架构,并通过无监督的预训练方式来提高模型的语言生成能力。GPT目前已经发布了多个版本。最初的版本GPT-1包含1.17亿个参数,是一个单向的语言模型,能够在句子级别上生成类似人类的语言。GPT-3在GPT-1和GPT-2的基础上进一步改进模型并训练,参数数量超过1 750亿个,可以生成更长、更准确、更连贯的语言文本,并可以执行更多的自然语言处理任务。近期发布的GPT-4的参数数量是GPT-3的16倍,其采用的多模态预训练大模型更具备了高水平的识图与高级推理技能。GPT-4被认为是目前最强大的自然语言模型之一,可以生成人类语言水平的文本,其强大的语言、图像与语音生成及零样本学习能力为自然语言处理带来了巨大的潜力和可能性[3]。

基于自然语言处理(NLP)的AI平台——聊天机器人生成预训练转化器(Chatbot Generative Pre-trained Transformer,ChatGPT)是GPT系列的一种变体,由于其可以生成真实、流畅的语言,并且可以与人类用户进行自然交互,并能够生成类似人类反应的能力而获得了广泛的关注,已成为自然语言处理的一个重要研究方向[4]。各种类ChatGPT大规模语言模型也在不断涌现,其发展已在社会上引起广泛关注[3],正推动人工智能生成技术(Artificial Intelligence Generate Content,AIGC)的快速发展与市场应用。AIGC已经正被应用于广告、新闻、文学创作及医疗诊断等领域,将为人们提供了更加丰富、多样化的内容。在医学教育领域中,人工智能或者类ChatGPT也可以作为一种辅助教学工具,为学生提供高质量、个性化的教育体验[5-6],或者是带来新的挑战[7-8]。

但是类ChatGPT作为新出现的实用工具,其人群知晓率较低且没有切实有效的实践研究来评价其在医学教育的前景和实用性,故本文将首先从介绍技术原理及其在医学领域的应用出发,以学生主体,通过调查问卷的形式落实学生中类ChatGPT在医学生中普及率问题、实用性问题以及主观态度感情问题,阐述类ChatGPT在医学生中的使用现状、主要用途以及分析其中出现的问题,评估类ChatGPT在医学生中使用的可行性。

1 类ChatGPT的技术原理及其在医学领域的应用

1.1 类ChatGPT的技术原理

类ChatGPT其工作原理主要是通过强化学习(RL),提示优化[9](Prompt Tuning),思维链[10](Chain-of-thought)等技术手段,每一次工作时可以概括为以下几个步骤[11]：①处理输入。当用户在输入端输入问题后,输入文本被转换成计算机能够理解的数字形式。这些数字被传递给一个神经网络,这个神经网络已经通过大量的训练学习了如何理解自然语言。②理解上下文。神经网络分析输入文本,并尝试理解用户正在寻求什么样的回应。它会分析语法、句法和语义,还会考虑上下文,以便更好地了解用户意图[12]。③生成回应。一旦类ChatGPT理解用户的意图,它就会生成一个相应的回应。这个回应也是一条文本消息,目前的类ChatGPT并不能进行视觉或语音交互。④增强学习。类ChatGPT不断地学习、自我修正和改进自己的回答,以提高效率和自然度。在与用户的对话中,类ChatGPT会记录对话历史,并进行反馈和自我评估,从而不断提高自己的回答质量。

总体而言,类ChatGPT的工作原理是基于自然语言处理技术,通过训练大型神经网络以实现对案例的自动语义理解,然后以此与用户进行自然的聊天(图1)。

图1 类ChatGPT的问答流程图

1.2 类ChatGPT在医学教育领域的使用

作为大型语言模型,类ChatGPT体现出了与传统学习方式相比强大的可塑性与便捷性。这主要体现在ChatGPT能够提供方便的信息检索功能、文献回顾功能[13],相比于传统的文献检索能够更加方便地获取领域内的最新研究并且整理学习。例如,当用户输入“糖尿病的治疗方案”,ChatGPT可以搜索医学知识库中的相关文献,并根据不同治疗方案对文献进行归纳和分类(表1),返回给用户相关的信息。此外,类ChatGPT可以作为一个知识库,提供有关医学方面的各种问题的解答,从而帮助医学生更好地理解学术知识。加之类ChatGPT的自然语言属性,甚至可以对医学生提供思想教育、自我管理和职业发展。

表1 ChatGPT总结的糖尿病治疗方案以及参考文献*

但是目前相关研究仅仅集中在理论阶段,并没有相关研究深入落实到学生群体实地考察,为解决这个问题,以兰州大学第二临床医学院的学生为切入点,通过问卷调查探究学生对类ChatGPT的真实感受,以期能够更全面地了解医学生对ChatGPT的认知度和使用体验,并从中获取有关ChatGPT在教育中应用的反馈和建议。

2 调研对象与研究方法

本次调查通过无记名网上问卷调查,使用问卷星软件(https://www.wjx.cn/)设计调查问卷并在线上进行发放,调查群体为兰州大学第二临床医学院全体学生。调查问卷问题主要分为四个部分:了解程度与了解途径、使用情况与主要用途、积极影响与消极影响、风险评估与整体认识。通过四个方面十五个问题的阐述,可以基本评价以兰州大学第二临床医学院为代表的医学生对于类ChatGPT的认识程度与潜在问题。

本次调查共回收问卷684份,其中有效问卷621份,有效率90.8%。最终纳入至研究中的本科生463人,研究生95人,博士生63人。通过判断页面停留时间、作答问卷时间和前后矛盾排除等方法排除无效数据,维持问卷质量水平。

本研究中所有的图表和统计量计算均来源于Origin 2022b(https://www.origi nlab.com/),所有的假设检验的检验水平α均为0.05.

3 类ChatGPT认知度调研结果描述与分析

3.1 兰州大学第二临床医学院学生对类ChatGPT的了解程度与了解途径

通过对调查问卷的初步分析,可以看出在621份有效问卷中,自觉对类ChatGPT(如ChatGPT、文心一言、Bard等)有一定了解的人(包括了解但不深入和相当了解)共有255份,占到了有效问卷的41.1%,其中相比于本科生,研究生和博士生对于类ChatGPT的了解程度更好,知晓率均在50%以上(图2),将纳入人群重新分成本科生、研究生和博士生,通过卡方检验(Pearson卡方)计算得出χ2=16.891,卡方检验的P=0.002<0.05,说明在此研究中,本科生对类ChatGPT的知晓率总体上要低于研究生与博士生。

图2 类ChatGPT在兰州大学第二临床医学院各年级中的知晓率

本研究中纳入的本科生较多,但是整体而言本科生对类ChatGPT的认识缺明显低于研究生和博士生,出现此类原因的情况可能是由于类ChatGPT在医学生中主要用于文献查阅、文献管理和论文写作,而本科生相关需求量较少,导致本科生中了解ChatGPT的人相对偏少;同时研究生、博士生接触科技前沿知识的机会相较本科生较多,这也可能是导致研究生和博士生中使用类ChatGPT人数较多的原因之一。

在了解途径方面,可以看到在较为了解的255位同学中对类ChatGPT的了解途径来源于新媒体平台(包括微信公众号、抖音和社交平台等),占比在70%以上(表2)。除去新媒体平台外,也有小部分人获取ChatGPT的途径为朋友介绍或者科研学报得知,从卡方结果来看,了解但不深入的学生和了解且深入的学生了解途径并无差别(χ2=4.577,P=0.334)。这说明自觉了解类ChatGPT的学生的了解途径大部分均为网络途径。

表2 兰州大学第二临床医学院了解类ChatGPT途径[n(%)]

从这一部分而言,兰州大学第二临床医学院的学生对类ChatGPT了解比较少且了解途径较为单一,大多数都来源于网络,这样的分布特点可能致使学生们对类ChatGPT的理解有所误差。

3.2 兰州大学第二临床医学院学生对类ChatGPT的使用情况与主要用途

根据上一部分的统计,曾经使用过类ChatGPT的人一共有97人,只占到了有效人数的15%,在后续反馈中可以得知大家使用类ChatGPT较少的原因是类ChatGPT一般要使用虚拟专用网络,对于医学生而言有一定难度。

在使用过类ChatGPT的97人中,大多数人选择使用类ChatGPT用以查询普通资料或者单纯对类ChatGPT感兴趣(图3),这可能与了解途径多偏向娱乐性质(新媒体平台)相关。除此之外,也有多数学生选择用类ChatGPT来查询资料,后续反馈中得知这部分学生主要是看重类ChatGPT方便的交互功能,省去了传统资料查阅中的信息识别和整合步骤,更加方便快捷的得出问题的答案。只有约1/3的学生选择利用类ChatGPT进行学术论文指导或者学业知识答疑。

图3 类ChatGPT在兰州大学第二临床医学院学生中使用情况调查*注:*多选题选项百分比=该选项被选择次数÷有效答卷份数;含义为选择该选项的人次在所有填写人数中所占的比例。

通过观察分析,可以发现使用过类ChatGPT的大部分学生是兴趣使然,仅有少部分学生将类ChatGPT功能使用在与医学教育相关的学术论文指导或者学业知识答疑中,这一方面说明医学生对类ChatGPT的了解不甚广泛,另一方面也充分说明了类ChatGPT在医学生教育中的潜在市场。

3.3 兰州大学第二临床医学院学生认为类ChatGPT的积极影响与消极影响

在类ChatGPT可能对医学生的积极影响方面,了解并接触过类ChatGPT的学生中有80.78%认为类ChatGPT能对医学前沿有很好的掌握能力(图4A),同时大部分人(84.71%)都认为类ChatGPT能为人们极大提升工作效率,并且能够提供更好的智能服务(图4B)。使用过类ChatGPT的学生均认可类ChatGPT在医学教育领域尤其是在医学前沿方面的广泛前景,并且确实能为人类带来便利,使用过类ChatGPT的学生对医学前沿与类ChatGPT关系的认识相较未使用过ChatGPT的学生而言有一定提升(表3)。

图4 类ChatGPT的学科优势与积极影响*注:*多选题选项百分比=该选项被选择次数÷有效答卷份数;含义为选择该选项的人次在所有填写人数中所占的比例。

表3 使用过类ChatGPT与未使用过ChatGPT医学生对类ChatGPT在医学教育领域应用的认识[n(%)]

在面对类ChatGPT的缺陷时,了解类ChatGPT的255位学生大部分都对类ChatGPT的准确性和客观性存疑,认为此类人工智能无法保证其绝对的正确回答,同时对隐私问题和信息安全表达了担忧(图5A,图5B)。

图5 ChatGPT的暴露问题与消极影响*注:*多选题选项百分比=该选项被选择次数÷有效答卷份数;含义为选择该选项的人次在所有填写人数中所占的比例。

由此可见在积极影响方面,虽然大部分学生都仅是兴趣使然才使用类ChatGPT,但是使用过类ChatGPT的学生大部分都认为类ChatGPT能很好地利用于文献查找或者前沿研究。出现此情况的原因可能是因为类ChatGPT的出现解决了医学生阅读文献困难的痛点,能够为医学生切实带来学业上的便利和科研上的进步,并且这一特点已经得到了大多数使用类ChatGPT人群的认可。

反观消极影响方面,大部分学生都认为类ChatGPT展现出来的算力不足以让人信服,甚至有时会提供虚假信息来达到回答问题的目的。类ChatGPT的底层逻辑包含根据上下文推断的功能,故可能出现依从性和客观性的矛盾,此事再面对真实问题的回答可能会缺乏真实性和客观性。此外运用类ChatGPT期间的网络安全问题也值得讨论,尤其是将来如果类ChatGPT应用于医学领域面对的伦理问题和患者隐私问题也值得讨论。

3.4 兰州大学第二临床医学院学生对类ChatGPT的风险评估与整体认识

但是总体而言,在面对新技术时,学生们依然能保持中立的态度(表4),使用过类ChatGPT医学生对于类ChatGPT持乐观态度的比例也明显增长(χ2=14.826,P=0.002)。大部分学生(489人,78.74%)在面对类ChatGPT时能够保持自信的态度,认为大学生的创造力要优于类ChatGPT,而且这个认知与是否使用过类ChatGPT无关(表五,χ2=2.973,P=0.085)。

表4 兰州大学第二临床医学院学生面对类ChatGPT的态度

表5 兰州大学第二临床医学院学生对类ChatGPT与大学生之间的创造力比较

4 类ChatGPT现状总结与潜在影响讨论

4.1 现状总结

通过上述分析过程,立足于兰州大学第二临床医学院,分析可能存在于现在医学生应用类ChatGPT的问题和现状,可以得出以下结论:①医学生对类ChatGPT缺乏固定认识途径,缺乏全面、合理的认识,大部分学生通过网络途径认识并了解类ChatGPT;②医学生对类ChatGPT使用率较低,主动应用于医学教育领域的情况较少,但是可以对类ChatGPT有正确的认识,认可其在医学教育领域的发展潜力;③大多数医学生认为类ChatGPT可以解决自身在学习上的困难,但是仍然对类ChatGPT存在一定担忧;④大部分学生认可类ChatGPT的同时也不否认人本身的创造力,在面对类ChatGPT时能够保持中立态度,在使用过类ChatGPT后也有更多的学生持乐观态度,认为类ChatGPT的出现可以引领新的科技革命。

4.2 可行性分析与用途展望

通过调查问卷与研究分析,我们初步认为类ChatGPT在医学教育中的应用是可行的。首先,使用类ChatGPT模型能够切实提高学生的医学素养和科研能力,降低学习成本;其次,大多数学生对于类ChatGPT抱有较为乐观的态度,并不排斥类ChatGPT作为工具为自己的学习生活带来便利;最后,由于类ChatGPT主要沟通方式是文字交流,与传统书本形式贴合又具有便捷性和及时性。而医学作为前沿学科,保证及时性可以极大开拓医学生的视野,有利于医学生的培养。

除前文提到的医学教育的帮助之外,类ChatGPT可以提供许多关于各种医疗卫生方面的问题和解答,包括疾病、诊断[14]、治疗等。这些问题和解答可能会激发医学生对医学问题的好奇心,鼓励他们去更深入地学习相关主题。同时,医学生可以通过类ChatGPT处理他们的职业规划和目标。作为聊天机器人,类ChatGPT可以回答求职信,提供工作建议,并且对预算规划、现实中的医疗实践进行模拟,让学生更加了解自己所需要的工作。在一定程度上可以帮助医学生减轻学习道路中的困惑,帮助医学生建立信心,对未来职业道路有更加明确的认识。

4.3 类ChatGPT对医学生的潜在影响

4.3.1 过度依赖

如果类ChatGPT在医学教育中广泛应用,医学生可能过度依赖这种技术来完成学习任务。这可能导致他们在学习过程中缺乏独立思考和解决问题的能力。过度依赖类ChatGPT会削弱医学生的批判性思维,使他们在面对现实世界的复杂问题时感到无所适从[15]。

4.3.2 辨别真假

尽管类ChatGPT具有强大的学习和处理能力,但其知识库并不是随时更新的,这意味着其所提供的信息可能已经过时。医学是一个不断发展的领域,新的研究和发现每天都在涌现。因此,医学生若完全依赖类ChatGPT的知识,可能会导致他们对最新的医学进展认识不足,甚至接收到“虚假”的信息[8]。加之医学生对专业领域的认识不强,研究不深入,很容易导致过度信任类ChatGPT提供的信息从而导致接受错误的医学知识,不利于医学生自身发展。故在技术未达到完全成熟之前,医学生的学习仍需要以课堂学习、实践能力训练为主,不能完全依靠类ChatGPT[16]。

4.3．3 类ChatGPT的逻辑局限性

尽管类ChatGPT依托其强大的语言理解功能能够和人类进行自然、流畅的语言交流,但是作为一种语言模型,其底层逻辑依然依托于深度学习算法和自然语言处理技术,人类在日常生活的自然交流中可能出现的思维跳跃、深层语义和复杂名词而言,类ChatGPT理解其背后的含义还有一定的难度,故在一次会话之中应当尽量选择同一主题的内容对类ChatGPT进行训练以达到更好的效果。

4.3．4 ChatGPT在医学伦理中可能存在的问题

医学生或者医生在向类ChatGPT询问医学咨询和建议时,需要考虑到医学伦理方面的问题[21],例如如何平衡医学治疗效果和患者的个人意愿和价值观等问题。在类ChatGPT提供建议后,医生应该遵循相关的医学伦理原则和规定,不能完全接纳类ChatGPT提供的建议,并尽可能地减少因提供不当建议或咨询而导致的风险,尤其是在类ChatGPT向患者或者医生提供错误的咨询和建议导致患者的健康问题时,由谁来负责是一个值得讨论的问题。

5 结论

在本文中,我们从调查问卷入手,总结了医学生以及医学教育在面对类ChatGPT时可能会出现的问题,之后评估了医学生在面对类ChatGPT时的现状,以及类ChatGPT在医学教育中的应用和对医学生的潜在影响。总体而言,类ChatGPT作为聊天机器人能够在医学教育中起到积极作用,能够帮助医学生完成学业、精进知识、开阔眼界、探索未知领域。相比于传统的阅读医学课本和其他医学文献期刊,类ChatGPT具有易于掌握、方便快捷等特点,可以预见其未来在医学教育领域的前景是十分广阔的[16-18]。

但是类ChatGPT作为工具依然存在其局限性,这主要体现在:①太在意语言逻辑而缺乏本身的客观性和真实性;②可以通过语言训练使类ChatGPT回答自己想要得到的答案,而医学作为一门自然科学和社会科学的结合,面对客观事实要保持一定的理性,这与类ChatGPT的训练特点存在一定的矛盾;③类ChatGPT拥有自己的语言逻辑,虽然尽可能模拟了自然语言,但是在面对复杂问题时仍然表现乏力,在使用类ChatGPT前应该经过一定的学习,以便快速让类ChatGPT理解并回答提出的问题,同时我们也要秉承技术服务于人的原则,防止滥用人工智能[19]。此外由于本研究仅在兰州大学第二临床医学院开展,其背后暴露的问题可能并不适用于全部的医学生,如果要综合评价所有医学生对于ChatGPT的现状认识,需采用多中心的研究数据进行分析讨论。