多尺度ResNeSt-50聚合网络与置信度传播的息肉图像分割
2023-09-27夏平张光一雷帮军邹耀斌唐庭龙
夏平, 张光一, 雷帮军*, 邹耀斌, 唐庭龙
(1.三峡大学 水电工程智能视觉监测湖北省重点实验室,湖北 宜昌 443002;2.三峡大学 计算机与信息学院,湖北 宜昌 443002)
1 引 言
结直肠癌是现今发病率排第三的癌症[1-2],而大肠息肉是结直肠癌的早期病变特征,早期诊断是预防结直肠癌的重要手段。研究表明[3],定期进行结肠镜检查能减少30%的结直肠癌发病率,临床中结肠息肉的判断往往需要经验丰富的医生进行定位,存在一定的误诊概率;因此,对结直肠息肉图像分割是为提高医生充分利用结肠镜影像来发掘影像中所反映的解剖及病例信息,便于医生的诊断及病情评估。由于息肉的形状、颜色、大小往往各不相同;此外,息肉与周围黏膜的边界不清晰,影响医生对息肉的判断,因此,息肉图像的分割和定位存在一定困难。由于大肠息肉图像的复杂性,传统方法对大肠息肉图像分割效果不理想,随着医学图像处理技术的发展,深度学习技术在医学图像处理中的应用大放异彩[4-5],基于全卷积网络的医学图像分割算法逐渐取代了传统的基于颜色、纹理、外观及形状等特征组合的息肉分割方法[6-7],分割的效果大幅提高。
作为FCN(Fully Convolutional Networks)[8]网络的变体,U-Net[9]使用编码-解码模型实现全卷积医学图像分割,使用跳跃连接保留浅层细节信息和深层空间信息,并融合不同深度的特征信息,在医学图像分割中取得了很好效果;但当图像特征较复杂时,其编码结构无法有效地提取其特征信息,因而,基于U-Net的息肉图像分割效果不佳。U-Net++[10],ResUNet++[11]等网络用于息肉图像的分割,分割效果有了较大提升,但这些网络与U-Net存在同样的问题,无法清晰地分割病变边缘,且对微小病变存在完全漏检的情况。
研究者提出了其他一些大肠息肉图像分割方法,如,采用PraNet(Parallel reverse attention Network)[12],DoubleUNet[13]网络等,网络中均采用了多尺度感受野模块,提升了息肉图像分割的效果,从而说明了采用多尺度感受野对提高息肉分割效果是一种有效的方式。ABCNet(Area-Boundary Constraint Network)[14],ACSNet(Adaptive Context Selection Network)[15]网络在提高息肉分割精度的同时关注了网络的泛化能力,随后提出的改进型双U型网络[16]引入多尺度选择核心通道注意力和空间注意力等方式提升网络的分割精度;结合HarDNet和反向注意力的息肉分割[17]一文中提出了用HarDNet来提高预测速度;这些都取得了较好的分割效果。
注意力机制在网络构建中被广泛应用。ResNet[18]网络加入SE通道注意力模块形成SENet[19],SE-Net通过自适应重新校准通道特征响应来引入通道注意力机制;SK-Net[20]则利用两个网络分支引入特征图注意力,自适应调整自身感受野; ResNeXt[21]则在瓶颈层(ResNet bottle)中采用组卷积,将多通道结构变为统一操作。ResNeSt[22]借鉴了ResNeXt[21]网络思想,在ResNet中加入拆分注意力模块[22-23],跨不同的特征图组实现特征图注意力。
针对息肉图像特点,本文提出了多尺度ResNeSt- 50聚合网络与顺序树重加权置信度传播(Tree-reweighted message passing,TRW-S)的息肉图像分割方法。为定位和分割轮廓模糊的息肉图像,通过构建的多尺度ResNeSt-50聚合网络获取图像的弱特征信息,该网络架构由编码、解码两部分组成,编码部分用卷积模块和ResNeSt模块构建ResNeSt-50骨干网络,解码部分由多层分支感受野(Receptive Field Block,RFB)模块和密集聚合(Dense Aggregation)模块构成,以提高网络的表达能力与微小病变检测能力。网络输出的息肉分割图像经测试时数据增强(Test Time Augmentation, TTA)模块及构建的顺序树重加权置信度传播(TRW-S)算法强化分割边缘,增强息肉图像内部分割的连贯性,提升模型的泛化能力,实现了息肉图像的有效分割。
2 本文方法
本文构建的息肉图像分割模型由编码-解码器、TTA、及TRW-S等三部分组成。为提升模型的表达能力与泛化能力,编码网络采用一级卷积模块和四级ResNeSt模块[22]级联构建ResNeSt-50骨干网络;解码部分采用多层分支感受野(RFB)[24]模块和密集聚合(Dense Aggregation)模块[25]构建而成,以融合上下文信息,并采用8倍上采样跳过最上两层信息实现快速解码输出。
采用测试时数据增强(TTA)模块[26]对训练后的模型采用水平和竖直翻转两种方式实现数据增强,并将增强的结果与原图预测结果取均值得到最终预测图,以此提升本文模型的预测及泛化能力。
模型最后在TTA输出的预测图中构建马尔科夫随机场的顺序树加权置信度传播(TRWS)算法,结合全局信息对分割图进行平滑,以提高分割图像边缘的连续性和分割区域内部的一致性。TRW-S采用动态规划方法,正反向遍历节点来迭代传播树的信息并更新结点权重,以此实现其全局收敛;相对于树加权信息传递算法,本文TRW-S算法收敛性更好[27-28]。如图1所示。
图1 本文模型Fig.1 Model of this paper
2.1 ResNeSt-50编码模块
ResNeSt网络将输入分成k个基数组(Cardinal),每个记为Cardinali,每个基数组拆分为r个部分组成,每部分内部通过卷积核分别为1×1,3×3两级卷积运算,提取特征信息后,将拆分的r个部分模块信息输入拆分注意力模块中,实现基数组信息输出。将k个基数组信息全连接,经1×1模块卷积运算输出,特征图组数量取决于基数超参数k,引入基数超参数r指示基数组内的拆分数,共有G=k×r组。拆分注意力思想借鉴了SE-Net[19]与SK-Net[20]中通道选择模块和感受野选择模块的思路,由特征图组和分割注意力操作组成;如图2所示。基数组通过求权重再融合的方式实现了特征通道间权重分配;在其上进行全局平均池化,得到c(C/K)维特征向量,表示各通道权重。第k个基数群表示[22]:
图2 ResNeSt中拆分注意力模块Fig.2 Split-attention in ResNeSt Block
其中:∈Rh×w×c/k,h,w与c表示块输出特征图大小。
全局上下文信息[22]:
基数群加权融合实现通道注意力聚合,经两个全连接层权重重新分配;由于全连接或卷积层的输出为对称、非稀疏分布,对其使用BN与Re-LU能产生更加稳定的分布,因此,BN层和Re-LU位于线性单元之后,并用softmax操作保证基数组间特征层拆分权重独立分布,有[22]:
其中:aki(c)表示通过softmax函数分配的权重,映射Gi根据全局上下文表示sk确定第c个通道的权重。
最后与原始特征组相乘后按式(4)得基数组输出。
本文采用一级卷积模块和四级ResNeSt模块[22]级联构建ResNeSt-50的骨干网络如图3所示。文后的消融实验验证了本文构建的ResNeSt-50骨干网络对模型的泛化能力有较明显地提升。
图3 本文ResNeSt-50编码结构Fig.3 ResNeSt-50 encoding structure of this paper
2.2 并行解码模块
本文并行解码模块由多层分支感受野(RFB)[24]模块和密集聚合模块[25]融合上下文信息构成。解码器的三层RFB模块与编码模块中第三、第四、第五级级联,编码输出的特性信息分别输入解码器的各层RFB中。RFB[24]模块采用并行的多尺度感受野,前三个分支先用大小分别为1×3,1×5,1×7卷积核进行卷积运算,再采用大小分别为3×1,5×1,7×1的卷积核进行卷积运算,最后用3×3的空洞卷积进行运算,膨胀系数分别为3,5,7;第四个分支采用1×1的卷积运算,实现输入、输出特征图长宽比例的同时获得不同尺度的感受野,因此,本文使用多尺度感受野模块提升小病变区域的分割能力。
RFB模块每一层包含不同尺度的膨胀卷积,有利于增大分割网络的感受野,且不会引入过多的计算量和增加网络深度,本文RFB模块输出通道数均为32,这也减少了网络的参数量。文后的消融实验说明,加入RFB模块有利于提升模型的泛化能力。文献[12]亦证明,该模块有利于改善大肠息肉分割的效果。如图4(a)所示。
图4 RFB与密集聚合模块Fig.4 RFB and dense aggregation module
密集聚合模块采用逐元素相乘与上采样的方式连接不同尺度的特征图信息,经通道级联,将特征图信息合并输出。本文模型改变了U-Net中跳跃连接的线性信息传播方式,使用聚合方式实现不同阶段的信息融合,通过聚合与短连接形成的密集网络加强了新信息的传递,对特征图信息的反复利用强化了网络的理解能力,减少了网络参数量。RFB模块之后通道数均降至32,密集聚合后的网络达到了较理想的分割效果。若采用U-Net的对称解码结构,网络参数量会大大增加。文献[29]已证明,最上两层的跳跃连接对模型整体准确度贡献小,但参数数目大量增加,因此,本文采用8倍上采样跳过最上两层信息实现快速解码输出。如图4(b)所示。
2.3 置信度传播后处理
本文构建的TRW-S算法中,节点概率分布状态以消息传播方式传递给相邻节点,经多次迭代后,每个节点的置信度收敛到稳态。如图5(a)中,节点i对应状态值xi,观测值yi为其像素值,二者统计依赖性用似然函数ϕ(xi,yi)=P(yi|xi)描述;相邻节点i,j间相互作用以势能量ψ(xi,xj)表示,其联合概率:
图5 置信度的消息传播Fig.5 Message propagation of confidence level
其中,Z为归一化常数。
由图5(b),所有传入节点i消息:
其中:k为归一化常数,消息mji表示节点j对节点i当前标记的影响。
相邻节点i,j消息更新时,由节点j向节点i发送消息为mji,其满足:
其中:N(j)i表示节点j四邻域系统中不含节点i;向量mji(xi)每一维元素描述节点j在相应标记xj(xj∈L)对节点i状态的影响。mji(xi)为:
由式(6)和式(7)可知,节点i、节点j的联合概率:
结合式(6)和式(9),节点i的边缘概率:
TRW-S算法利用节点间相互传递信息来更新当前MRF标记的状态,并依据传递后的信息更新节点的置信度。
定义标记场能量[30-31]:
定义特征场能量:
后验概率P(xi|yi,xN(i))最大对应的最优标记:
其中:P(xi|xN(i))为标记局部概率,N(i)为节点i邻域.
式(13)等价于能量最小,即:
树加权置信度传播算法:mtji为在t次迭代时节点j向节点i传递信息,cji为ρjiρj,即在ρ中任一颗树,给定包含节点j的条件下,包含边(j,i)的可能性;信息更新规则[27]:
经t次迭代后,节点i的置信度:
由最大置信度计算节点i的边缘概率最大时对应的标记:
TRW-S[22]算法中消息的迭代从正反向遍历整个随机场内节点,节点按扫描线遍历,实现正反向传递消息;正向遍历时,每个节点向其右下邻域节点传递消息,后向则向其左下邻域传递消息,直至达到最终的收敛状态。
3 息肉图像分割算法
采用第2部分构建的模型对息肉图像进行分割。具体步骤:
Step1.数据集。用公开数据集CVC-ClinicDB[33]、Kvasir-SEG[34]作为训练样本;CVC-ClinicDB包含612幅大小为384×288的息肉图像及其人工标注,数据集Kvasir-SEG包含1000幅大小不一的息肉图像与人工标注;两数据集均用9:1比例分割成训练集与测试集,分别在Kvasir-SEG[34],CVC-ClinicDB[33],ColonDB[35],ETISLaribPolypDB[1],CVC-300[36]等五个数据集上对分割模型进行测试;其中, ColonDB、ETIS-LaribPolypDB,CVC-300三个数据集对训练样本而言为未知数据集,采用该三个数据集测试和检验本文模型的泛化能力。如表1~表2所示;
表1 本文使用的五个数据集Tab.1 Five datasets used in this paper
Step2.模型训练。本文未采用传统数据增强方法,而使用多尺度训练方式,将数据分别以352×352大小的0.75倍、1倍、1.25倍输入模型进行训练,既达到数据增强目的,又缩短了训练时间。优化函数采用RAdam[38],学习率为1×10-4,训练30轮后收敛;
Step3.息肉图像分割。将数据集Kvasir-SEG,CVC-ClinicDB,ColonDB,ETIS-Larib-PolypDB,CVC-300的测试图像输入模型得到分割结果,使用测试时图像增强(TTA)提升模型预测及泛化能力;
Step4.分割图像后处理。采用构建的TRW-S算法对TTA模型输出结果进行后处理,提高分割图像边缘的连续性和分割区域内部的一致性;
Step5.模型评价。
4 实验结果与分析
4.1 实验环境与评价指标
实验环境:Ubuntu18.04LTS,Python3.6.5,pytorch2.1.0, CPU为Intel(R) Core(TM) i7-8 700 K,频率为3.70 GHz,GPU为GeForce GTX 1080。
将本文模型与U-Net[9],U-Net++[10],SFA[38],ResUnet++[11],PraNet[12]等模型进行对比实验,从定性和定量分析两方面评价算法的分割效果;并将本文模型与本文编码-解码模型、本文编码-解码+TTA模型进行对比实验验证模型构建的合理性。
本文引入组合损失函数进行模型训练,该损失函数Lseg由加权交并比(LwIoU)[39]和加权二元交叉熵(LwBCE)[40]组成:
其中,λ表示权重,本文设为1。
采用平均交并比(mIoU)、平均置信度(mDice)、结构性度量(Smeasure)[41]及平均绝对误差(MAE)作为客观评价指标;用平均交并比(mIoU)衡量算法分割的目标区域与人工分割的目标区域交叠率,mIoU为每一类IoU结果的累加平均,实现基于全局分割效果评价;mIoU∈[0,1],值越大则分割效果越好。定义:
其中:L为图像分类数,TP,FP,TN,FN分别表示真阳性、假阳性、真阴性、假阴性。
用平均置信度(mDice)系数度量算法分割图像与人工分割的相似性;mDice为每类置信度(Dice)累加平均,mDice∈[0,1],值越大分割效果越好。定义:
Smeasure[41]是结合图像结构相似性度量与区域结构相似性度量的分割评价指标,S0为图像结构相似性度量,Sr为面向区域的结构相似性度量,α取值为0.5。Smeasure∈[0,1],值越大分割效果越好。
采用平均绝对误差(MAE)度量分割的偏差。MAE为算法分割区域和人工分割区域值间绝对误差的平均值,范围为[0,+∞),算法分割区域与人工分割区域重合时为0,MAE值越接近0表示分割效果越好。
式中,分别为算法分割区域和人工分割区域。
4.2 实验结果及对比分析
4.2.1 模型的单元模块对分割效果影响
4.2.1.1 ResNeSt-50与RFB模块的消融实验
为讨论ResNeSt-50与RFB模块对整体分割性能的影响,本文在ColonDB与ETIS-Larib-PolypDB数据集中进行消融实验。其中,模型a为UNet模型;模型b是将模型a的编码器改为ResNeSt-50;模型c为在模型a基础上加入RFB模块;模型d为图1中TTA前的分割模型。实验结果如表3所示。模型b分割效果相比于模型a,mDice及mIoU结果均有所提升;模型d实验结果最好。如此实验效果得益于ResNeSt-50中拆分注意力结构能有效地聚焦不同分组,RFB模块通过不同空洞感受野分支获取多尺度上下文信息,提升了模型的mIoU值。消融实验验证了本文采用模块的有效性和方法的合理性。
表3 ResNeSt-50模块的消融实验(训练集为Kvasir-SEG,ClinicDB)Tab.3 Ablation experiment of ResNeSt-50 module(training on Kvasir-SEG and ClinicDB dataset)
4.2.1.2 多尺度训练及RAdam优化对模型分割影响
本文网络的特征图被缩小至原图的1/32,因此, 识别息肉图像中微小病变的特征存在一定困难;为此,通过输入更大、多尺度图像进行训练,能在一定程度上解决这一问题,提高模型对息肉图像中微小病变分割的鲁棒性; 表4的结果表明,多尺度训练对提升本文模型分割精度是一种有效的途径。
表4 多尺度训练对模型分割的影响Tab.4 Effect of multi-scale training on model segmentation
数据集较小时,自适应学习率优化器Adam在训练开始时学习率方差偏大,此时其波动较大,易使启动时因过度跳跃导致模型收敛至局部极小。RAdam[38]为防止在迭代早期学习率剧烈变化采用了整流器函数,动态地开启或关闭自适应动量,阻止其全速跳跃,直至数据方差变化稳定。
由表5,使用RAdam优化尽管比Adam收敛稍慢,但有利于模型收敛到一个合理值, 实验结果的mDice,mIoU,Smeasure,MAE等评价指标均有所改善。
表5 RAdam优化对模型分割的影响Tab.5 Effect of RAdam optimizer on model segmentation
4.2.1.3 TTA增强与TRW-S后处理对模型分割影响
图6给出在CVC-ClinicDB[33],Kvasir-SEG[34]数据集上对本文编码-解码模型、本文编码-解码+TTA模型及本文模型训练后,在ETIS-Larib-PolypDB[1]数据集上分割结果比较。本文模型采用数据增强和TRW-S后处理,使得模型对微小病变十分敏感,对微小病变定位准确性更高,分割图像区域一致性更好,在未知数据集中检测微小病变的效果较好;此外,本文模型对大病变组织的分割边缘亦较清晰;由此说明,模型中加入TTA模块及构建TRW-S算法,有利于提升模型检测微小病变的能力以及模型泛化能力。
图6 在ETIS-LaribPolypDB[1]数据集下测试的分割结果Fig.6 Segmentation result of testing on the ETIS-LaribPolypDB dataset
由表6,模型加入TTA模块后,在已知数据集中的mDice提高了2%,mIoU提升了3%;因此,TTA的加入有利于提升模型的预测准确率。相对于本文编码-解码模型和编码-解码+TTA模型,本文模型的mDice提高1%以上,mIoU提高2%以上;MAE值与另两种算法一致,尽管Smeasure值有所降低,但仍高达0.921,反映了本文模型采用TRW-S处理后,分割效果整体优于本文编码-解码模型和编码-解码+TTA模型。
表6 在CVC-ClinicDB[33],Kvasir-SEG[34]数据集中训练,Kvasir-SEG[34]数据集中测试效果比较Tab.6 Trained on CVC-ClinicDB[33],Kvasir-SEG[34] dataset, compare the test results on Kvasir-SEG[34] dataset
表7比较了三种模型在未知数据集上的表现。加入TTA模块后,mDice提高了1.1%以上,mIoU提高了1.6%以上,其中,在数据集ETIS-LaribPolypDB[1]上提升最多,相比于编码-解码模型,mDice和mIoU分别提升了5.8%,5.8%;从而说明TTA模块对提升模型的泛化能力的有效性。本文模型在三个未知数据集上性能指标均有提升,在ETIS-LaribPolypDB[1]数据集上,相比于本文编码-解码模型,mDice提高了6.4%以上,mIoU提高了6.3%;相比于本文编码-解码+TTA模型,本文算法的mDice提高了0.6%,mIoU提高了0.7%;在未知数据集ColonDB上,本文算法的mDice与mIoU均提高了0.3%以上;在未知数据集CVC-300上,mDice与mIoU值亦均有不同程度的提升;结果表明,本文模型加入TRW-S后处理有利于提升模型的泛化能力。
表7 在CVC-ClinicDB[33]、Kvasir-SEG[34]数据集下训练,分别在ColonDB[35],ETIS-LaribPolypDB[1],CVC-300[36]数据集中测试结果比较Tab.7 Trained on the CVC-ClinicDB[33],Kvasir-SEG[34]dataset, respectively compare the test results on ColonDB[35],ETIS-LaribPolypDB[1],CVC-300[36]
4.2.2 已知数据集中模型分割效果比较
对比实验的训练集采用CVC-ClinicDB[33],Kvasir-SEG[34]数据集,测试集采用Kvasir-SEG数据集,分割效果如图7所示。
图7 在Kvasir-SEG[34]数据集下测试的分割结果Fig.7 Segmentation result of testing on the Kvasir-SEG[34] dataset
图7给出采用U-Net[9],U-Net++[10],PraNet[12],ResUnet++[11],SFA[38]以及本文模型的分割结果。从分割效果看,息肉图像经编码-解码模块分割、TTA处理、TRW-S处理后,输出较理想的分割图像;由图7知,本文算法不仅对大范围息肉病变有很好的分割效果,对小面积息肉病变分割效果亦较理想。本文算法分割图像的边缘清晰,且分割区域内部连贯、区域内部一致性较好,分割图像边缘与轮廓清晰度、细节信息捕捉能力等方面均好于其他五种模型。
表8结果表明,本文算法相比于基准PraNet[12]算法,mDice提高了1.8%,mIoU提高了2.3%;Smeasure提高了0.6%,MAE降低了0.7%,因此,本文算法的四种评价指标均有不同程度改善。相比于U-Net[9],U-Net++[10],ResUnet++[11],SFA[38]等算法,本文模型分割效果的评价指标提高更多;从而说明了本文算法对息肉图像分割的可行性和优势。
表8 在CVC-ClinicDB[33],Kvasir-SEG[34]数据集中训练,Kvasir-SEG[34]数据集中测试效果比较Tab.8 Trained on CVC-ClinicDB[33],Kvasir-SEG[34] dataset, compare the test results on Kvasir-SEG[34] dataset
4.2.3 模型检测微小病变能力比较
为验证本文模型检测微小病变的能力,在550幅CVC-ClinicDB[33]图像、900幅Kvasir-SEG[34]图像中对U-Net[9],U-Net++[10],ResU-net++[11],SFA[38],PraNet[12]及本文模型进行训练后,在数据集ETIS-LaribPolypDB[1]中进行测试;由图8知,本文算法对于微小病变具有较高的检出能力。
图8 ETIS-LaribPolypDB[1]数据集中测试微小病变的分割结果Fig.8 Segmentation result of testing small lesion on ETIS-LaribPolypDB[1]dataset
由图8和表9,对微小病变而言,本文模型定位准确,而PraNet[12]等模型几乎无法找到微小病变位置,分割效果也差强人意;此外,采用本文模型分割的各项指标均优于其他5种模型,病变边缘的分割亦十分清晰。
表9 在CVC-ClinicDB[33],Kvasir-SEG[34]数据集下训练,在ETIS-LaribPolypDB[1]数据集中测试效果比较Tab.9 Trained on CVC-ClinicDB,Kvasir-SEG dataset, compare the test results on ETIS-LaribPolypDB dataset
图9采用箱线图比较8组数据中,本文模型与PraNet模型分割微小病变的置信度(Dice)性能;8组数据按照病变由小到大进行分组,由图可知,本文模型的分割效果整体优于PraNet模型,且病变组织越大检测效果越好。
图9 本文模型与PraNet模型分割微小病变的效果比较Fig.9 Comparison of the effect of the model used in this paper and PraNet model in segmenting minimal lesions
4.2.4 模型的泛化能力比较
在U-Net[9],SFA[38],U-Net++[10],ResU-net++[11],PraNet[12]以及本文模型中采用在1 450幅Kvasir-SEG[34]和CVC-ClinicDB[33]数据集组合而成的训练集上进行训练,训练后模型分别用380幅ColonDB[35]图像、196幅ETIS-Larib-PolypDB[1]图像、以及60幅CVC-300[36]图像等未知数据集进行测试,检验本文模型的泛化能力。如图10和表10所示。
表10 在CVC-ClinicDB[33],Kvasir-SEG[34]数据集下训练,分别在ColonDB[35]、ETIS-LaribPolypDB[1],CVC-300[36]数据集下测试结果比较Tab.10 Trained on the CVC-ClinicDB[33],Kvasir-SEG[34]dataset, respectively compare the test results on ColonDB[35],ETIS-LaribPolypDB[1],CVC-300[36]dataset
图10 ETIS-LaribPolypDB[1]数据集中测试的分割结果Fig.10 Segmentation result of testing on the ETIS-LaribPolypDB[1]dataset
测试结果的定性和定量评价表明,本文算法在这三个未知数据集上分割效果均有提升,特别是在ETIS-LaribPolypDB[1]数据集上,相比于PraNet[12]基准算法,本文模型的mDice提高了16.4%,mIoU提高了14.5%;说明,本文模型具有很好的泛化能力,并具有较强的分割微小病变的能力。
5 结 论
本文提出了多尺度ResNeSt-50聚合网络进行粗分割与马尔科夫随机场的TRW-S算法进行再分割的两阶段息肉图像分割方法。针对病变区域与正常组织间边界区分度不高的问题,构建编、解码多尺度聚合网络提升骨干网络的表达能力,捕捉和提取息肉图像的弱特征信息,网络中密集聚合模块融合不同尺度的特征图信息,实现上下文信息的关联,采用TTA模块提升模型预测及泛化能力,最后,构建马尔科夫随机场的TRW-S算法强化分割边缘,增强息肉内部分割区域内部的一致性和边缘的连续性,实现息肉图像的有效分割。
理论推导和对比实验验证了本文模型在息肉图像分割的有效性,本文模型能够有效地和精确地实现息肉病灶区域的分割,且具有的良好泛化能力和检测微小病变的能力,有助于提升医生临床诊断中诊断的准确度和精确率。后续研究将在降低模型的参数量、提高模型的推理速度等方面进一步优化,并进一步关注模型的泛化能力,提升模型的分割性能。