基于影像三维可视化技术的解剖教学模式研究

卞冰阳,孙圣博,佟伟华,滕 岩,肖莉莉,孙 野,王 烁,苗 政,纪铁凤,张 磊

(吉林大学 第一医院,长春 130021)

0 引 言

三维可视化技术是一种基于计算机图形学的数据模拟,通过对现有数据进行提取,分析,使用包括虚拟现实、透射式增强现实(OST-AR:Optical See-Through Augmented Reality)、混合现实(MR:Mixed Reality)等可视化技术为用户提供包含多类型实时交互模式的高可及性图像信息。目前在迅速发展的计算机三维技术和光学技术合力推动下,医学三维可视化技术已被广泛应用于解剖示教、术前规划、临床教学等多领域并已获得了较好的反馈与转化成果,即将成为新医学教学模式的重要组成部分之一。

在现有的临床教学中,肝脏解剖已成为外科教学的重点之一,其复杂的脉管结构与多样的变异类型在传统外科教学模式中仅能通过简化的示教模型,平面化的图谱案例进行讲解,借助单向教学模式的抽象化概念灌输致使学生接受度偏低[1-3],难以形成系统化学习路径[4]。而作为传统教学素材的手术视频常因拍摄环境影响导致预期效果与实际反馈差异较大。在信息化医学教育工作的推动下,基于计算机图形学与临床医学的医学影像三维可视化技术已成为临床教学模式的新方向。通过对现有二维断层影像图像序列进行后处理操作,影像数据由平面转化为真实生动的三维图像,器官的解剖结构与病理形态被精确而直观地展示在课堂中。学生们通过手术切割操作模拟了基于真实病例的实操过程,在显著降低练习与培训成本的基础上高效地完成了教学实践。随着远程医疗技术的发展,基于混合现实(MR)技术的多视角共享与远程标注可以把先进教学单位的技术成果实时传输至各地的科研与临床教学部门,实现大范围内的技术同步与经验交流。因此,基于影像三维可视化技术的临床教学模式将成为新医学教学背景下的重点之一。笔者提出基于影像三维可视化技术的解剖教学模式,以提高临床解剖教学改革质量,促进课程的教学水平,真正驱动解剖技能在未来工作中学以致用。

1 基于影像三维可视化技术的临床教学模式

1.1 医学三维可视化技术概述

医学三维可视化是基于医学成像技术的数据处理方式,其目的是将二维切片序列构建为可被直观感受和理解的三维表现形式,其可分为医学图像的处理绘制技术与基于计算机图形学的3D显示技术。

1.1.1 医学图像处理绘制技术

医学三维可视化的实现基础是基于医学成像设备对人体扫描获取的二维影像断层序列。从二维影像到可视化的过程如图1所示。第1步,通过读取生成的DICOM(Digital Imaging and Communications in Medicine)数据生成RGB(Red,Green,Blue)或灰度图像。第2步,进行图像预处理。滤除图像生成过程中产生的干扰和失真,进行适当的配准融合操作,实现图像的清晰化。第3步,基于不同组织的特性,使用特定的分割算法[5]对处理后的图像数据按照需要对目标组织或器官进行边缘检测和图像区域提取等操作,进而获得需要进行可视化显示的特定影像范围。第4步,对提取后的图像数据进行重建。重建方式的选择取决于重建部位的结构特性,重建后的图像数据将以三维点云或面片的形式展示。第5步,可视化渲染显示。通过计算机可视化技术对重建的组织器官进行渲染和伪彩染色,便于医学工作者进行观察与研究。目前,已有多种影像处理软件可以实现自动化的影像可视化渲染与数据分析[6],显著降低了医学研究者处理大量数据集的时间,大大提高了诊断与科研的精确性与效率[7]。

图1 二维影像到三维影像可视化流程图

图像的三维可视化技术,即影像数据的重建方式可分为三维面绘制(Surface Rending)和三维体绘制(Volume Rending)两种主要重建方向。三维面绘制是一种基于物体表面的三维重建方法。根据重建过程中对基本单元的处理差异,可分为基于切片级的重建与基于体素级的重建。

以轮廓连接法为代表的切片级重建提取二维轮廓特征,连接相邻轮廓顶点构建三维面片,通过拼接拟合形成重建曲面。该类型重建方式简单效率较高,但因面片拼接拟合的特性导致应用较为局限,在三维表面曲率变化较大时重建效果较差。而体素级重建的必要步骤是对等值面的提取与拟合。基于MC(Marching Cube)算法的Marching Tetrahedral方法通过将原有的立方体体素分割为四面体构建等值面,在避免原有算法出现二义性的同时实现了高精度重建。

三维体绘制有别于基于点面构建的面绘制方式,基于单个体素进行重采样的色彩透明度融合投影可以清晰直观地将内部信息表现出来。作为底层技术,光线投射算法由Levoy[8]提出,其原理是光线从每个像素点沿视线发出,在穿越三维数据场的过程中进行等距采样,将颜色与透明度按照一定方向合成投射至二维平面上。体绘制高清晰度的绘制效果也伴随着较为缓慢的处理速度,难以应用于实时交互。

随着计算机图形学技术的发展,基于已有重建方式的可视化算法不断被提出,最大密度投影(MIP:Maximum Intensity Projection)与多平面重建(MPR:Multiplanar Peconstruction)也在三维可视化测量与转换中发挥着不可替代的作用,多类型图像处理绘制技术的共同作用也促进了可视化教学模式的发展与普及。

1.1.2 3D显示技术

经过图像绘制重建技术的处理,平面化的影像数据被转换为立体直观的三维图像。而3D显示技术的引入使三维图像得以融入现实。虚拟现实、增强现实(AR:Augmented Reality)与混合现实(MR)技术的发展使自然化的实时交互成为可能。

虚拟现实技术[9]通过构建基于数字化的虚拟环境实现了自然交互与虚拟物体互动的效果,因光学硬件实现方案较为简单,产品形态多样化且开发难度相对较低[10],目前已作为较普及化的技术应用于三维可视化的教学与研究工作中。使用者在沉浸界面下通过自然交互手势对重建模型进行提取、分割,并已获得较为良好的使用反馈[11]。在临床教学中,沉浸式的交互体验能帮助学生认识并掌握器官的解剖结构等教学重点。

增强现实技术通过将虚拟影像叠加于现实环境中发挥信息标注与引导功能,其分为光学透视增强现实(OST-AR:Optical See-Through Augmented Reality)与视频透视增强现实(VST-AR:Video See-Through Augmented Reality)两种实现形式[12]。光学透视增强现实是通过偏振棱镜、自由曲面镜等光学方案将自然光与屏幕显示的虚拟图像按一定比例投射入人眼,相比视频透视增强现实具有更好的现实接近感,与人眼的匹配精确度更高,因此已被应用于计算机辅助外科手术(CIS:Computer Integrated Surgery)中为医生提供器官准确的空间信息与体征信息[13]。

混合现实技术(MR)是基于虚拟现实技术和增强现实技术衍生的一类新型可视化技术。相比增强现实,生成的虚拟影像将基于环境信息,符合正常的透视规则与自然视觉感受。相比虚拟现实,现实环境的良好融合将有助于用户在习惯环境下进行观察与模拟操作。优越的现实交互性可以在外科操作培训中为学生提供针对化、拟真化的训练与指导[14],并能在对弱视等疾病的诊断治疗中发挥一定的作用[15]。

随着5G等信息技术的发展,远程医疗、实时手术指导与远程操作等概念性设想也将逐渐成为现实。基于身体数据采集和传感器感知技术的视觉融合教学也被证明了其可行性与使用价值[16]。基于低延时通信的远程共享、方案规划与实时手术指导也获得了受试患者与家属称赞[17],已有的研究成果也证明了开展可视化临床教学模式的可行性与优势性。

1.2 可视化临床教学模式

可视化临床教学模式是一种基于临床教学重点,针对抽象内容将真实病例的影像数据通过可视化软件进行处理后形成三维数据并融入传统授课的教学形式,是目前在医学中一种概念直观化的教学方法。

1.2.1 临床解剖教学现状分析

在临床教学中,解剖学对理论与实践结合要求较高,仅通过教材的图片资料与概念模型难以掌握器官解剖结构与脉管走行等知识点。基于实际病例的影像学教学是辅助学生建立知识体系的重要环节,也是现有临床教学模式的重点[18]。

在传统的临床教学过程中,教学者常采用影像学教材和解剖学教材如《医学影像学》《局部解剖学》进行理论授课,使用CT(Computer Tomography)二维图像与手术视频等图像资源进行辅助讲解。但以肝脏为代表的器官解剖结构复杂且变异率高,由此产生的大量手术是难以通过有限的视频资料实现全面的讲解。同样地,传统的单向“教学-接受”模式并不适合抽象概念的讲解,平面化的二维影像资料难以使学生对教学重点产生直观认识,从而对相关知识体系难以建立完备的思维路径与联想能力。为解决此类问题,人们提出了基于三维影像可视化的临床解剖教学模式概念。

1.2.2 临床可视化教学策略

传统授课模式以教材为基础对相关器官的解剖及其疾病进行教学,包括形态、位置、生理与病理状态及相关诊断方式,以PPT(Power Point)授授课作为教学形式,通过问诊、影像检查、鉴别诊断与治疗策略等形式进行模拟接诊训练[19]。可视化模拟教学基于现有的影像序列资料进行三维重建与渲染等可视化操作,并使用模拟软件进行手术练习和真实视频资料的对比观摩。

临床可视化教学内容基于解剖学等学科,常采用传统授课与可视化模拟教学相结合的教学策略。针对不同的教学内容,临床可视化具有多样性的教学方式,其中以3D系统软件与3D打印示教为主要教学形式。

以3D-Slicer为代表的3D系统软件具有医学图像的分析处理能力,可以将二维CT、MR断层数据进行融合重建,实现直观拟真的效果,目前已在国内外广泛应用。通过对脉管走形等特征实现对器官的分段与染色[20]。并且随着数字人技术的数据积累,3D解剖学数据库也建立了针对移动端的可视化软件[21]。模型素材采用临床CT/MRI(Magnetic Resonance Imaging)影像数据进行重建,可根据需要进行旋转缩放,隐藏显示等操作,实现完整层次与空间关系的观察。移动端可视化软件相比桌面端系统软件,具有不受环境与设备限制的优势。随着混合现实等虚拟现实技术的发展,沉浸式、高交互度与多感知的信息交互特性为基于现实环境的模拟解剖提供了可能。数字孪生体增强交互框架的构建[22]也拓展了可视化教学技术延伸的方向。

影像重建生成的三维数据奠定了3D打印技术在临床可视化教学的发展,通过对模型进行切片叠加,使用光固化立体成形技术(SLA:Stereo Lithography Apparatus)或激光熔融沉积(LMD:Laser Melting Deposition)、金属激光熔融沉积(LDMD)等方式[23]将材料分层固化并将二维轮廓叠加形成实体部件。在解剖学教学中,基于真实影像的实物可视化现场讲解将有助于对解剖结构的理解。通过对现有影像处理提取生成的stl三维文件使用3D打印技术,可对不同组织进行模型打印与后期染色[24],帮助学生对解剖结构与病理类型形成更直观的认识。

1.2.3 临床教学三维可视化教学意义

医学是一门实践性很强的学科,临床教学的目的是将学生培养为具有独立诊断能力与较高操作水平的合格医师[25]。临床培训对患者安全性的影响一直备受关注。临床可视化教学通过建立高拟真度的虚拟模型实现了无接触性的手术操作训练,教学过程中积累的经验可有效避免因训练不足导致的并发症[26]。同时,因可视化教学具有生动直观优势,学生的学习兴趣更易被激发,提高课堂的活跃度,从而有助于提升学生对三维空间想象力,更有利于知识的记忆与巩固。

通过总结现有的可视化教学研究报道,发现在理论解剖知识成绩与满意度方面,可视化教学组显著高于对照组[27]。根据一项可视化教学满意度的调查,97.5%的受访者表示可视化技术相比传统教学在解剖学教学中具有优越性,91.8%的受访者认为可视化教学有助于提高解剖学测试的分数[28],由此说明临床可视化教学将成为解剖学教学发展的新方向。

2 针对临床教学的可视化拓展性研究

随着医学数据库、计算机辅助检测/诊断(CAD:Computer Aided Detection/Diagnosis)技术、视线追踪技术在医学的引入,针对临床可视化教学的发展方向也将被延伸与拓展。

2.1 基于视线追踪技术的临床操作训练研究

视线追踪是一类基于传感器获取受试者当前注视方向的技术[29]。出于安全性考虑,非侵入式的视线追踪可穿戴设备应用较为广泛。在既往的研究中,针对视觉兴趣点的注意力采集已被证明可有效解释与理解影像科医生的诊断决策与方案制定。1981年,Carmody等[30]对基于影像放射学的视线追踪进行了探索性研究,通过采集放射科医生在诊断过程中的视线路径策略,得出视觉策略与诊断错误率呈高度相关。基于CT造影视频的视线追踪研究也表明了视觉策略与临床经验的相关性,经验更丰富的阅片者具有更高的病变识别率[31]。

在基于腹腔镜模拟手术的视线追踪临床可视化操作教学研究案例中,对受试者的眼动轨迹进行标定,使用操作视频作为教学资源,实验组使用附加有视线轨迹的教学视频素材进行引导式学习,在眼动数据预采集后进行操作练习,期间获取被试者的反馈信息与眼动采样率,共重复10次操作。

研究结果显示两组分别10次操作的完成时间均随着练习次数的增加而减少,前5次操作的结果趋于一致,在后5次操作中,视频对照组平均完成时间为140.51±4.65 s,眼动组平均完成时间为116.59±14,29 s。眼动组平均操作时间明显低于视频对照组[32]。根据研究结果可知,通过观摩熟练医师在操作中的眼动轨迹有助于视觉与操作的协调,在针对学生的可视化教学中可提高培训效率。

2.2 基于案例库的临床教学研究

案例教学又称实例教学,是引导学生阅读已有案例并进行分析,同时基于案例讨论与教学的一种形式[33],案例库的建立就是基于该教学模式形成的。

案例库的构建基于现有的教学素材,通过教师的共享实现内容的扩充。对教师,案例库的构建可以在减少重复工作的同时促进彼此间的沟通,有助于教学水平的共同促进。对学生,基于大量案例形成的教学素材具有更全面的知识涵盖,有助于临床知识体系的建立。同时,丰富的教学资源为教学形式的创新提供了可能。相比传统的单向授课模式,包含PBL(Problem-Based Learning),CBL(Case-Based Learning)的引导式、讨论式综合授课模式可进一步激发学生的学习兴趣与知识接受度。而整个教学过程收入教学案例库,实现了基于自身的二次迭代,迭代的过程有助于优质教学资源的使用与积累。

作为指导诊断与治疗方案的重点学科,基于医学影像学的案例库建设也被提上日程。由医院病案系统提供的丰富影像数据不仅可以为医学影像学专业的学生与医师提供学习资源,也可以帮助其他医学专业学生进行相关知识的认识与学习。87%的影像教学案例库试用学员认为此类案例库对临床思维、知识拓展具有帮助作用[34]。

3 讨论与展望

从接触医学知识到成为一名合格的医务工作者,是一个漫长且艰难的过程。基于知识点的理论教学和基于临床的实践教学彼此交融。随着医学教学与临床技能培养模式的发展,可视化教学与基于案例的学习(CBL)模式的融合式教学成为了新医科教学发展的探索方向,如何建立针对临床的可视化临床解剖案例库将成为讨论的关键问题。

3.1 基于影像可视化技术的临床解剖案例库建设的讨论

3.1.1 CBL教学模式

CBL教学模式是一类基于案例为教学驱动的学习模式,由以问题为基础的学习模式(PBL)发展而来。其特点针对问题的共同学习模式,通过老师与学生对教学点的讨论开展教学,依次遵循探索、发现、解决问题的流程。相比传统教学,CBL教学具有更好的临床融入性与基于案例的针对性,在解决同种方向的不同案例学习过程中,可以提供在多场景临床技能实践的机会[35]。

3.1.2 基于影像案例库的CBL在教学的应用

基于案例的教学模式的开展离不开案例库教学的支持,基于真实病例的案例库建立也是评判案例教学效果的重要依据。国内外基于影像案例库的CBL教学已有先例,并已经取得一定的成果反馈。

在针对急腹症的教学过程中,潘淑淑等[36]以138名在放射科轮转的住院医师规范化培训学员为研究对象。对照组采用传统教学模式,实验组采用CBL教学法,以急腹症影像案例库提供的影像学图片和附带的临床病史资料作为教学素材,使用线上教学平台进行探讨教学,通过教学过程中的理论测试与阅片分析进行考核,同时提供问卷调查。结果显示,实验组学生的理论考核、阅片成绩和总分均显著高于对照组。问卷调查的结果也表明了实验组学员对提升诊断思维、沟通交流的满意度高于对照组,表明基于影像案例库的急腹症教学可以有效帮助学员接受理解所学知识,同时基于网络平台的教学模式有助于激发学生自主学习的能动性。

在针对口腔诊断的教学过程中,Tostes等[37]以59名本科口腔医学专业学生为研究对象,对照组采用影像学断层图像作为教学资源,实验组采用包含影像学资料的全病例案例进行教学,包含患者主诉、病史、体征与图像学资料。通过对提供的资料进行学习研究,对两组学生给出的诊断假设与真实病例的诊断结果进行比较分析,采用Likert五级评分量表进行针对CBL教学模式的问卷调查。结果表明,87.5%的调查问卷表示CBL教学利用案例的教学方式有助于相关知识的学习,表明基于影像学的案例库教学有助于学生对医学知识进行增强化的理解。Liu等[38]研究认为,基于融合CBL的案例教学模式对学生在知识认知与学习方面具有更好的帮助作用。由以上案例可见,基于影像案例库的CBL教学模式在培养与提高学生发现与解决问题能力,提高教学质量等方面具有重要作用与研究意义。

3.1.3 基于影像可视化技术的临床解剖案例库的建立

由既往的影像学案例库教学模式的实践可见,虽然此类教学模式可帮助学生认识与理解抽象知识点,但采用的二维影像素材具有一定局限性,如前文所述,仍具有不易掌握空间关系,可接受度性相对较低的不足。同时,案例库的相对封闭性与格式单一性制约着基于影像的临床案例库教学模式的普及,为此,笔者提出了一种基于影像可视化技术的临床解剖案例库教学模式。

基于影像可视化技术的临床解剖案例库是基于现有影像可视化技术,通过获取PACS(Picture Archiving and Communication Systems)系统内CT、MRI等影像序列的记录通过高级后处理中心进行三维可视化处理,结合HIS(Hospital Information System)系统内患者病史、体格检查、临床诊断、鉴别诊断、治疗过程与预后转归形成基于真实病例的教学案例素材。使用包括混合现实的多类型可视化技术进行立体化的教学展示,并将曾使用本案例库教学的记录进行整理归类建库,实现基于案例库的二级库建立,结合使用中对案例考核产生的反馈实现自身的不断优化与更新。基于三维可视化技术的影像解剖案例库构建与应用如图2所示。

通过教学团队与院内各科室的共同合作与努力,案例库涵盖了神经、消化、呼吸系统等科室的案例。通过院内的高级处理中心将影像的后处理方面最大限度地围绕正常、变异、疾病状态下的解剖结构表现进行完美呈现。经信息处理形成基于真实病例的多媒体教学课件紧密关联临床案例与影像解剖学,进一步对课程素材提供精细化、深加工,形成优质教学资源。通过与学生沟通建立适合教学路径的试题与详尽准确的解析,并根据学生在教学过程中形成的反馈进行二次优化与迭代。

形成的可用案例通过细化到系统、器官、疾病和专题进行分类存储,根据应用方向可分为专题与综合型案例两类。专题型案例可用于特定章节教学中知识点的针对性授课,包括理论教学、三维可视化影像观察,并根据授课内容进行测试; 综合型案例可用于面向临床的教学,通过基于影像可视化的综合案例讨论进行学习,同时设置问题巩固知识。明确且针对性强的案例分类有助于教学者开展案例式教学,帮助学生明确教学目的,增强主观能动性。

教学人员将基于案例使用频次与教学反馈对案例库内的素材进行定期质量评估,对反馈误差或针对教学目的的改进建议进行定向的修正与删改,建立的评分机制将案例进行队列排序,在较长时间区间内引用次数较少或低分反馈较多的素材将被重组或淘汰,基于临床或教学过程中产生的新案例与教学思路将被记录与评估,最终形成二级教学案例库,为可视化案例库提供更新的指导方向。

基于PBL、CBL与MDT(Multi-Disciplinary Team)等案例集的多模式教学将根据教学思路进行选择,采用重建软件、模拟操作与虚拟现实的可视化技术将根据不同的教学场景进行展示应用。教研组内人员可通过视线追踪技术分析学生对案例的浏览重点进行针对性的试题编撰与考核,考核结果与学生反馈将作为类似方向的参考便于案例库更新。

3.2 展 望

医学三维可视化技术将平面而抽象的影像信息以生动直观的立体结构展示在教学中,为教学者提供了新的教学思路与教学模式,拓展了医学教育的发展方向。目前利用CBL案例教学模式进行的临床教学已经在实际教学中取得较好的效果,相关的融合性研究也在不断进行。

医学成像技术和计算机图形学的发展离不开科研者与工程师的共同努力,医学教学案例库的建设也并非一蹴而就。医学可视化技术的教学应用是一项依赖临床科室与教研人员长期合作、交流的工作,也离不开师生间积极的沟通反馈。由于医学教育融合化的发展趋势与特殊性,单一的教学模式受其局限性影像并不能取得较好的效果。因此,随着可视化、视线追踪和数据库技术的快速发展与逐步引入,基于三维可视化技术的临床案例库教学模式将是今后研究的重要课题。随着混合现实等新技术的深入,可视化案例库教学也将具有广阔的前景。