人工智能在根尖周囊肿病理诊断中的初步应用
2023-05-20郝逸航黄美畅李茂汤亚玲梁新华
郝逸航,黄美畅,李茂,汤亚玲,梁新华
1.口腔疾病研究国家重点实验室国家口腔疾病临床医学研究中心四川大学华西口腔医院口腔颌面外科,四川成都(610041);2.口腔疾病研究国家重点实验室国家口腔疾病临床医学研究中心四川大学华西口腔医院病理科,四川 成都(610041)
根尖周囊肿是与牙髓坏死相关的炎症性囊肿,是最常见的炎症性牙源性颌骨囊肿[1],其在颌骨牙源性囊肿中所占比例为59.9%[2]。大多数根尖周囊肿是由龋病或牙外伤造成的牙髓坏死引起,是颌骨最常见的放射透射病灶[3]。根尖周囊肿是牙髓坏死根尖区上皮受到炎症刺激而形成的真性上皮衬里囊肿。上皮通常来源于Malassez 上皮剩余[4],但也可能是龈沟上皮、鼻窦衬里上皮或窦道衬里上皮。其由纤维结缔组织囊壁、衬里上皮和含有囊液和细胞碎片的囊腔构成[5]。精确评估根尖周病损对准确诊断和制定恰当的治疗计划至关重要。
全视野数字切片(whole slide image,WSI)是将玻璃切片上的组织整体转化为高分辨率的数字切片[6],其具有方便存储、不褪色等优点。近年来,数字切片技术以及其在各病理亚专业的应用呈指数级增长,带动传统病理向数字病理转型[7]。人工智能(artificial intelligence,AI)利用WSI 形成的丰富的数据提取样本的特征[8],检测数字切片中的病变区域并量化各项指标,使得AI 能够基于临床上不断积累的WSI 数据对病理图像进行分析,能充分发挥在大数据样本上的优势,推动病理定量分析的发展,辅助病理医生完成病理诊断[9]。AI 在医学领域最成功的应用是病理学、影像学的图像分析,其准确度不劣于相关领域医学专家,而它的分析速度之快则又是临床医学专家所不及的[10]。但是目前,AI 在口腔病理学领域的应用罕见报道。本实验以87 例根尖周囊肿为研究对象,构建U-net型结构的神经网络[11],首先用其中72 例进行训练,然后对15例进行测试,评估该网络分割结果与人工标记结果符合率,将AI 应用于根尖周囊肿的病理诊断中,初步探索AI 在口腔病理学领域中的应用。
1 资料和方法
1.1 病例选择
选取2018 年1 月1 日至2019 年12 月31 日在四川大学华西口腔医院病理科诊断为根尖周囊肿的87 例患者的病理图像作为AI 阅片的研究对象。本研究经四川大学华西口腔医院伦理委员会批准(审批号:WCHSIRB-D-2021-037)。纳入标准:病理诊断为根尖周囊肿;临床病理资料完整;患者知情同意。排除标准:病理切片上皮极少,无法标记;病理切片褪色或脏污。
1.2 图像获取
采用Olympus 全自动数字切片扫描系统(BX61VS,Olympus,日本)将根尖周囊肿病理切片扫描成WSI(200 倍)。
通过病理图像处理软件Image J 将所产生的.vsi格式的数字切片转换为标记软件能识别的.tiff格式。
利用Labelme 图像标签标注软件(v3.16.2,MIT,美国)对根尖周囊肿的衬里上皮进行标记,产生标记文件。
1.3 图像预处理
因扫描所得的WSI 图像尺寸过大,首先对其预处理。
按图像的灰度特性,使用OSTU 阈值分割法将标记与背景区域区分开,在后续过程中去除这部分无效的背景区域图像。
将WSI 进行切分,分割成固定尺寸的图像块(256 像素×256 像素),建立神经网络所需数据集。
1.4 神经网络构建
构建U-net 型结构的神经网络(图1),该网络由编码器和解码器两部分组成。前者是图像下采样过程,增加感受野,在输入图像资料后由神经网络模型提取抽象的图像特征;后者是所对应的特征图的上采样过程,对图像特征进行分析归类;二者之间存在着相应的跳跃连接,便于神经网络对多尺度的图像特征进行融合。同时,为了提高神经网络模型的学习速度,增加深监督机制,以解决深度神经网络收敛速度过慢的问题。
图1 U-net 神经网络结构示意图Figure 1 U-net neural network structure diagram
1.5 图像数据分组与训练和验证
数据集包含87 幅根尖周囊肿的HE 图像和标注图像。其中72 幅图作为训练集,15 幅作为测试集,分别用于训练模型和测试模型。训练集由学生做好标注,是用来训练机器算法的图像数据,一般要占用全部数据的绝大部分。验证集是指在上述训练模型完成后,对部分数据进行验证。最后评估该网络分割结果与人工标记结果符合率。
1.6 统计学分析
本实验用SPSS20.0 进行统计分析,采用两种评价指标:目标级指标和像素级指标。F1 分数[12]是代表性的目标级评价指标,定义如(1),TP是真阳性、FP是假阳性以及FN是假阴性,它是精确率和召回率的调和平均数,精度率定义如(2),召回率定义如(3)。代表性像素级指标是Dice 系数[13],定义如(4),P是分割结果,T是相应的真值。它将像素与像素进行比较,可用于评估分割质量。平均Dice 系数是所有Dice 系数的平均值。ROC 曲线评价U-net 模型在根尖周囊肿上皮识别中的能力。
2 结 果
2.1 图像标记
采用Labelme 图像标签标注软件对根尖周囊肿HE 切片中的衬里上皮进行标记,使用绿色标记线,其中典型3 例根尖周囊肿的HE 切片及对应标记结果见图2。
图2 3 例根尖周囊肿患者全视野数字切片上皮标记Figure 2 Epithelial labeling was performed on WSIs in three patients with periapical cysts
2.2 图像处理及模型训练
对所有原始图像及标记文件进行分析,进行背景和前景区分并可视化,前景即为神经网络模型所需识别并分割的目标(图3a)。引入学习衰减策略learning decay[14],每进行50 轮训练进行一次衰减,衰减指数为0.5,让神经网络更好的收敛,使得到的神经网络模型更加稳定(图3b)。
图3 图像处理可视化及模型训练优化策略Figure 3 Visualization of image processing and optimization strategy of model training
2.3 U-net 网络模型识别根尖周囊肿病理图像的性能
通过计算得出15 例根尖周囊肿测试数据Dice系数值(表1),对测试集的15 例根尖周囊肿的所有指标评分分别取平均值,F1 分数为0.75,表明U-net 网络模型正确预测根尖周囊肿上皮的概率为75%。平均Dice 系数0.685,表明U-net 网络模型分割结果与人工标记结果符合率为68.5%(表2)。其中6 例根尖周囊肿病理图像及相应的分割结果图像见图4。
图4 根尖周囊肿全视野数字切片与分割结果可视化Figure 4 Visualization of WSIs and segmentation results of periapical cysts
表1 15 例根尖周囊肿测试数据Dice 系数值Table 1 Dice coefficient values of 15 cases of periapical cysts
表2 U-net 网络模型识别根尖周囊肿病理图像的性能Table 2 Performance of the U-net network model in identifying pathological images of periapical cysts
2.4 U-net 网络模型的ROC 曲线
曲线下面积(area under curve,AUC)为0.878(图5),表明该模型在识别根尖周囊肿上皮中效果很好(AUC>0.85)。
图5 U-net 网络模型的ROC 曲线Figure 5 ROC network curve of the U-net network model
3 讨 论
AI 最早提出是在20 世纪五十年代,是指制造智能机器的科学与工程,是计算机科学的一个分支[15],该分支是基于机器学习的方法去模拟人类活动,而基于机器学习是指机器从输入的数据中学习,而深度学习是从人工神经网络中进一步发展起来的,卷积神经网络(convolutional neural networks,CNN)是深度学习的代表性算法之一[16],其优秀的计算能力使得研究者们对其的探索不断深入,从2012 年的AlexNet 开始,ZFNet、VGGNet、GoogLeNet 和ResNet 等越来越多的CNN 被开发应用[17]。在医学图像领域中,AI 用于检测、分割、诊断和分析数字化图像[18],并且展现了极好的准确性。
Bychkov 等[19]结合了卷积和循环结构评估了420 例结/直肠癌患者HE 染色的肿瘤组织芯片(tumour tissue microarray,TMA)样本,结果表明,相较于人类专家以低级别和高级别患者分层时TMA 和整体切片水平进行的组织学评估,仅以小组织区域作为输入的基于深度学习的结果预测效果更好。与经验丰富的人类专家相比,最新的深度学习技术可以从结/直肠癌的组织形态中提取更多的预后信息。Esteva 等[20]使用像素和疾病标签作为输入,利用单个CNN 对皮肤病变进行分类,在21个专业皮肤科医生活检获得的临床图像上,通过两个关键的二元分类测试了癌与脂溢性角化病以及恶性黑色素瘤与皮肤痣。CNN 在这两个鉴别诊断上的表现均达到了所有测试的专家水平,显示出AI 能够对皮肤癌进行分类。Turkki 等[21]将CNN方法与基于纹理的分类以及由两名病理学家进行的诊断进行了比较,结果表明,在一组123 442 个标记的超像素中,CNN 方法在区分免疫细胞丰富和细胞贫乏区域方面获得了0.94(0.92~0.94)的F1 评分,而通过基于纹理的分类获得的F1 评分为0.88(0.87~0.89)。与200 幅图像的视觉评估相比,采用CNN 方法量化免疫浸润的一致性为90%(κ= 0.79),病理学家之间一致性为90%(κ=0.78)。这些研究表明,这种CNN 方法既减少病理学家工作量,同时又增加了诊断的客观性。
有研究者提出了一种空间约束卷积神经网络(spatially constrained convolutional neural network,SC-CNN)来检测细胞核。采用了一种与CNN 结合的新型邻近集合预测子(neighboring ensemble predictor,NEP),以更准确地预测细胞核的类别,这种检测和分类方法不需要分割核。大肠腺癌图像的大型数据集评估结果表明,与其他方法相比,SC-CNN 和NEP 的联合检测和分类产生的平均F1评分最高[22]。Korbar 等[23]对包含2 074 张病理图像的数据集开发了多种深度学习方法,包括五种常见类型的息肉(即增生型、无柄锯齿状、传统锯齿状、管状和管状微管/绒毛状)。然后在239 张WSI的独立测试集上评估并测量了标准的机器学习评估指标的准确性、召回率和F1 得分及其95%置信区间。评估表明,残差网络体系结构方法对WSI的结直肠息肉分类具有最佳性能(总体准确度:93.0%,95%置信区间:89.0%~95.9%)。
2015 年,Ronneberger 等[24]在国际医学影像计算和计算机辅助介入会议中提出了一种基于全卷积神经网络(fully convolutional network,FCN)改进而来的U-Net。神经网络因具有的结构和层次不同,在学习能力方面表现出差异。一般来说层次的加深与结构的优化能够增强神经网络的特征性学习能力。U-Net 具有对称的U 型结构,这种结构可以将低尺度高分辨率的特征图与高层次高语义的特征图的信息充分结合,可以为后期的分割提供关于待分割对象更丰富的高层语义信息[25]。基于U-net 结构的特点是编码和解码路径之间的跳跃连接,并且已有研究证明该结构在各种医学图像分割任务中是有效的[26]。本实验建立U-net 网络模型,对训练集的15 张根尖周囊肿WSI 进行训练,得到对象级指标F1 分数为0.75,结果表明,像素级指标Dice 系数为0.685,分割性能较好,对ROC曲线分析发现其AUC=0.878>0.85,表明该U-net网络模型识别根尖周囊肿上皮的准确率很高,其识别根尖周囊肿的能力很好,能够进行根尖周囊肿病理学辅助诊断。
【Author contributions】Hao YH performed the experiments andwrote the article.Huang MC, Li M, Tang YL analyzed the data.Liang XH revised the article.All authors read and approved the final manuscript as submitted.