APP下载

基于双重过滤残差网络的乳腺组织OCT图像分类方法

2024-01-15丁李昊高志山朱丹袁群郭珍艳

光子学报 2023年12期
关键词:残差分量乳腺

丁李昊,高志山,朱丹,袁群,郭珍艳

(南京理工大学 电子工程与光电技术学院,南京 210094)

0 引言

近年来,乳腺癌已经成为发病率最高的肿瘤,严重影响着女性的生理健康[1-2]。由于乳腺癌没有特别好的预防方法,所以在目前的医疗领域中,保乳手术是早期(I 或II)乳腺癌的主要治疗方法之一[3]。然而,乳腺癌组织的切缘诊断较为困难,导致手术的再切除率较高(高达15%~25%)[4-5]。目前主流的切片诊断技术存在三种缺陷:1)定位取材困难;2)乳腺的脂肪组织较多,导致制片困难;3)乳腺中高度散射的组织通常看起来极其相似,人为诊断具有主观性,容易发生误诊[6-8]。

针对上述三种缺陷,研究人员尝试将光学相干层析术(Optical Coherence Tomography,OCT)与计算机辅助诊断技术相结合,以实现对乳腺组织OCT 图像的自动分类。2014 年,伊利诺伊大学的SOUTH F A等[9]在ERICKSON-BHATT S J[10]的研究基础上研制出了对生物组织双折射敏感的偏振敏感型OCT(Polarization-Sensitive OCT,PS-OCT),能够根据正常组织和浸润性导管癌(Invasive Ductal Carcinoma,IDC)之间的胶原含量差异,提供更明显的显微结构信息,并且具有较好的实时性。2018 年,同是伊利诺伊大学的WANG Jianfeng 等[11]利用PS-OCT 的光强信息和偏振信息,结合统计学方法对纤维脂肪、基质和IDC 图像进行分类,达到了89.4%的分类精度。2020 年,BUTOLA A 等[12]提出了一种新型卷积网络模型“LightOCT”,整体网络中只有两个卷积层和一个全连接层。模型在分类44 张正常和44 张IDC 乳腺组织OCT 图像时,达到98.9%的准确度;在分类超过100 000 幅图像的大型公共数据集时,达到了96%的测试准确度。2021 年,ZHU Dan 等[13]利用机器学习和PS-OCT 技术对人类乳腺组织中肿瘤、纤维脂肪和基质图像自动分类,模型总体准确率达到93.5%。

在乳腺组织OCT 图像中,基质和肿瘤两类组织在整体结构上具有极高的相似性。而先前对乳腺组织OCT 图像分类的研究中,大多使用传统的机器学习或是层次结构较浅的卷积神经网络(Convolutional Neural Networks,CNN)模型[14-16],按照指定顺序提取图像特征,对高低频分量没有侧重,导致模型可能提取较多的低频分量,造成信息冗余,从而降低模型整体的分类精度。虽然可以通过增加CNN 模型的结构层深度来解决特征提取不够充分的问题,但是一味地加深结构层不仅会增加整体模型的参数计算量,还会造成梯度消失或梯度爆炸现象[17]。因此,本文将图像中含有丰富结构信息的高频分量作为关键特征信息,以残差网络(Residual Network,ResNet)[18]为整体框架,使用八度卷积(Octave Convolution,OctConv)[19]和轻量的注意力模块(Convolutional Block Attention Module,CBAM)[20]相互配合提取特征信息,构建了一种改进的“双重过滤(Double Filtering)”残差网络(DF-ResNet)模型,该模型在特征提取时更侧重于高频分量,对于结构近似的基质和肿瘤两类OCT 图像表现出更好的分类识别能力。

1 网络架构组成

构建的DF-ResNet 模型结构和工作流程如图1 所示。首先,DF-ResNet 模型整体采用ResNet-18 作为结构框架,以免发生梯度消失或者梯度爆炸现象;其次,在保证感受野不变的情况下,用3 个级联的3×3 小卷积层堆叠代替初始网络结构中7×7 的大卷积层,减少参数计算量并起到隐式正则化的作用;接着,分别在级联的小卷积层和最后一层卷积层之后加入通道注意力模块与空间注意力模块相互结合的CBAM,实现图像特征的自适应细化;同时,利用OctConv 替换原始模型中大小为3×3 的卷积层,使网络在提取图像特征时具备调整高低频分量占比的能力;最后,利用全局平均池化层(Global Average Pooling,GAP)[21]代替全连接层,减少网络参数计算量,并对网络结构做正则化处理,防止模型发生过拟合。

图1 DF-ResNet 模型工作流程Fig.1 DF-ResNet model workflow

1.1 初始层结构

DF-ResNet 模型中使用3 个级联的3×3 小卷积层堆叠代替初始层中7×7 的大卷积层,目的是在保证感受野大小不变的情况下,利用小卷积层堆叠把原先大卷积层进行非线性分解,不仅减少了模型参数计算量,还起到了隐式正则化的作用。接着,在级联的小卷积层之后连接批量归一化层(Batch Normalization,BN)[22],并使用非线性激活函数ReLU[23]进行激活,最后使用最大池化层进行下采样降维,去除冗余信息,提高模型整体的收敛速度。图1 中绿色组合块代表经过修改后的初始层结构。

1.2 CBAM 工作原理

DF-ResNet 模型分别在级联的3×3 小卷积层和最后一层卷积层之后加入CBAM 过滤特征信息。CBAM 是一种用于前馈CNN 中的简单而有效的注意力模块,相比于挤压激励网络(Squeeze-and-Excitation Networks,SE-Net)[24]和高效通道注意力网络(Efficient Channel Attention,ECA-Net)[25],CBAM 不仅实现了通道和空间注意力的双机制,而且模块采用最大池化相加和平均池化堆叠代替单一的最大池化和平均池化。对于一张输入的特征图F,CBAM 机制先对其进行通道维度计算,得到一个与原始特征图大小相同的通道注意力权重矩阵,将通道注意力权重矩阵与原始特征图F相乘得到权重修正后的特征图F′;然后对特征图F′进行空间维度计算,得到一个与特征图F′大小相同的空间注意力权重矩阵,将空间权重矩阵与经过通道注意力机制修正后的特征图F′相乘以进行自适应特征细化,最终得到经过通道和空间注意力机制双重修正后的特征图F″。特征图F′和F″的计算公式为

式中,Mc表示通道注意力图,F′∈Rc×w×h,R表示实数空间,c、w、h分别表示输入特征的长度、宽度和高度,σ表示sigmoid 函数[24],MLP 表示一个多层感知器,AvgPool 表示平均池化操作,MaxPool 表示最大池化操作,W0和W1分别为MLP 第一层和第二层的权重参数,W0∈Rc/r×c,W1∈Rc×c/r,r表示缩减率,表示通道注意力中的平均池化特征,表示通道注意力中的最大池化特征。

式中,Ms表示空间注意力图,f7×7表示7×7 大小的卷积核,表示空间注意力中的平均池化特征,表示空间注意力中的最大池化特征。

1.3 OctConv 工作原理

一张图像的中低频分量代表图像强度变换平缓的区域,通常是连续渐变处;高频分量代表图像强度变换剧烈的区域,通常是含有大量结构信息的细节轮廓处。显然特征图也属于图像,可以认为经CNN 模型特征提取后得到的特征图同样具有高低频分量信息。

CHEN Y 等[19]在2019 年以ResNet-18 为基础框架,利用OctConv 替换部分卷积层,构造出改进的残差模型Oct_ResNet-26 用于提取图像中的高频分量。OctConv 是一种新型卷积结构,通过降低低频分量占比,使卷积核更专注于提取特征图中的高频分量,减少了特征图在空间维度上的信息冗余。OctConv 在进行卷积操作之前,会先将特征图分为高频分量XH和低频分量XL,再使低频分量XL的分辨率降低至原来的二分之一。OctConv 的卷积核可根据其结构中的低频维度占比参数α分成4 个部分:高频到高频OH→H,高频到低频OH→L,低频到高频OL→H,低频到低频OL→L。其中α取值为[0,1],并且应为0.125 的整数倍。

OctConv 将输入的高低频分量经过对应的卷积核,通过调整各自分辨率和点加等操作最终可以得到低频输出特征图YL和高频输出特征图YH。

1.4 残差单元

残差单元是残差神经网络最基本的结构块,残差神经网络令残差单元不直接学习目标映射,而是学习残差I(x)=E(x)-x,E(x)表示观测值,x表示上一层输出的特征映射,即为估计值。所以原始的残差映射由一个线性映射x→x和一个非线性映射I(x)两部分组成,最终变更为I(x)+x。残差单元一般是由卷积层、批量归一化层和激活函数ReLU 层构成。

假设第l个残差单元的输入为xl,那么该层的输出xl+1可以表示为

式中,fR表示激活函数ReLU,I(xl,Wl)表示残差函数;Wl表示该残差函数对应的权重参数。式(3)是xl和I(xl,Wl)维度相同的情况,若是两者维度不同,则可以通过连接一个线性映射WS来使两者维度匹配,即

2 分类实验

2.1 数据集简介

本次分类任务的图像数据来源于伊利诺伊大学香槟分校,包含41 位接受了保乳术、缩乳术或者乳房全切术的受试者。所有受试者在术前均签署了知情同意书,允许对其组织进行研究使用。术中切除的组织样本浸泡在生理盐水中,并放置于低温保温箱内保存,在术后24 h 内利用自建的OCT 系统[11]完成对其成像。利用墨水对已经成像完全的样本的成像区域进行标记,然后将样本浸泡在10%福尔马林溶液中并固定72 h 以上。固定完成后,由专业人员按组织学检验标准流程对样本进行切片以及苏木精和伊红染色(Hematoxylin and Eosin stains,H&E stains)。对获得的组织切片图像与OCT 层析图以组织切片的病理检验结果作为黄金标准进行相关性检验。

2.2 数据集制作和预处理

本文挑选了3 类成像效果较好的样本,每类样本选取20 个主要包含纤维脂肪、基质和肿瘤的感兴趣区域进行成像,获得多组512×512×2 048(帧数,宽度×深度)的图像数据集。由于前后帧图像极为相似,为了保证图像数据的独立性,从图像数据集中每隔32 帧截取一帧图像,并选择合适的深度方向区域进行裁剪,这样对于一个成像区域可以获得16 张尺寸为512×256 的图像,因此一共获得了960 张乳腺组织OCT 图像,将其作为初始数据集。其中包含320 张纤维脂肪(FibroAdipose)图像,320 张基质(Stroma)图像和320 张肿瘤(Tumor)图像,具体结果如图2 所示,图中比例尺代表400 μm。

图2 三类原始数据图像Fig.2 Three types of raw data images

在进行分类实验之前,为了满足CNN 模型训练对于数据量的要求,减少过拟合,对初始数据集中960 张乳腺组织OCT 图像进行数据预处理[26-27]。首先,从每一张OCT 图像中随机截取大小为224×224 的区域作为新数据集中的一幅图像;接着,对新图像添加高斯噪声和椒盐噪声;最后,随机改变新图像的亮度、对比度和饱和度。对于原始数据集中的每一张OCT 图像重复10 次上述数据增强操作[28],使原始数据集数量扩充10 倍,最终得到9 600 张乳腺组织OCT 图像用于模型训练、验证和测试。

2.3 训练策略

考虑到数据集中每一类图像以16 张为一组来自相同的成像区域,而同一成像区域中的图像结构具有相似性,模型在训练时会重复学习到相同的特征,容易出现过拟合现象,最终导致测试集的分类精确度虚高,因此不能随机将数据集按比例分为训练集、验证集和测试集。将从每类样本的一块成像区域中获得的图像分成一组,一共得到20 组图像数据,因此使用二十折交叉验证法训练模型,按顺序每次选择18 组图像数据作为训练集,剩下的2 组图像数据分别作为验证集和训练集。

针对可能出现的过拟合问题,所提的DF-ResNet 模型首先在训练前通过数据增强,使得数据集扩充10 倍。其次,选择ReLU 作为激活函数,ReLU 函数的特点会使网络中部分神经元的输出为0,通过减少参数间的相互依存,增加网络的稀疏性。另外,在模型中的卷积层之后加入BN 层以此对模型参数进行归一化,从而提高网络泛化能力。最后,在训练过程中每经过5 个周期就将验证集代入模型中验证并保存模型参数,若本次验证集的分类精确度高于上一次,便保存本次模型的参数;若低于上一次,便舍弃。这样即使周期选的很大,模型也能保存最合适的参数,以此来缓解过拟合问题。

2.4 实验环境

本次分类实验代码均采用Python 语言编写,选择Pytorch(科学计算框架Torch 在Python 上的衍生)作为深度学习框架,Pytorch 可以看作是加入了GPU 支持的Numpy,因此PyTorch 允许实验人员利用GPU 的算力来实现神经网络的加速。总体的实验环境如表1 所示。

表1 系统详细参数Table 1 Detailed system parameters

2.5 评价指标

为了能够更加客观且直观地评价整体模型训练的性能,选择敏感度(sen)、特异度(spe)、阳性预测值(PPV)、阴性预测值(NPV)四个指标对所训练的模型整体性能进行评估。

敏感度表示在黄金标准判断阳性样本中,检测出真阳性的概率,衡量对阳性样本的识别能力,公式为

特异度表示在黄金标准判断阴性样本中,检测出真阴性的概率,衡量对阴性样本的识别能力,公式为

阳性预测值表示在黄金标准判断阳性样本中,真正是阳性的样本比例,公式为

阴性预测值表示在黄金标准判断阴性样本中,真正是阴性的样本比例,公式为

式(5)~(8)中,TP 表示为被正确分类为阳性的样本个数;TN 表示为被正确分类为阴性的样本个数;EP表示为被错误分类为阳性的样本个数;FN 表示为被错误分类为阴性的样本个数。

2.6 热力图可视化

目前,对于常见的CNN 模型,其整个训练及预测过程被认为是个黑盒,可解释性并不强。为了探究其内在联系,更清晰地展现出网络所关注的特征信息,通过梯度加权类激活映射(Gradient-weighted Class Activation Mapping,Grad-CAM)[29]对输入图像生成类激活的热力图,可以分析网络对于某个类别的关注区域;反之,根据网络关注的区域同样可以分析网络是否学习到了正确的特征信息。Grad-CAM 首先会获取模型最后一层卷积层的输出梯度,然后表征出最后卷积层激活输出各点位对于模型决策分类的重要程度,并进行预处理,得到类激活图;接着,将调节后的卷积激活输出渲染为热力效果;最后,将原始图像与渲染后的热力效果叠加后得到热力图。Grad-CAM 具体的原理公式为

式中,fR表示激活函数ReLU,表示针对Ak的权重,d表示类别d,A表示网络中最后一个卷积层输出的特征层,k表示特征层A中第k个通道,Ak表示特征层A中通道k的数据。

式中,Z表示特征图的像素个数,yd表示网络针对类别d预测的分数,但没有通过softmax 激活,表示特征层A在通道k中坐标为(i,j)位置处的像素值。

3 实验结果与分析

首先分析低频维度占比参数α对于模型性能的影响,为整体模型中八度卷积结构确定合适的α参数值;然后改进CHEN Y 提出的Oct_ResNet-26 模型,利用3 个级联的3×3 卷积层替换Oct_ResNet-26 模型中第一层7×7 的卷积层,得到改进的Oct_ResNet-28 模型;另外,将经典的ResNet-34 模型结构层深度减少至28 层,得到新模型ResNet-28。这两种模型与DF-ResNet 具有相似的架构特点,均为28 层的深度结构并且采用了残差网络设计。选择这两种模型作为对比对象,有利于更直观地比较各模型结构在整体参数计算量方面的差异;同时,也有助于验证采用OctConv 和CBAM 进行双重特征信息过滤的有效性。

3.1 八度卷积中α 参数对于模型性能的影响

八度卷积核的结构特点表明,参数α表示低频维度的比例,其取值范围为[0,1],并且应是0.125 的整数倍。当α取0 时,意味着低频成分占比为0,图像仅提取高频分量;而当α取1 时,表示低频成分占比为1,图像仅提取低频分量。这两种α参数值都会导致特征图中低频或高频成分的完全缺失。因此,仅讨论α参数取值为0.125、0.25、0.375、0.5、0.625、0.75、0.875 时,对Oct_ResNet-28 模型整体性能的影响。相应的实验结果如图3 所示。

图3 α 参数对于模型性能的影响Fig.3 Effect of α parameters on model performance

从图3 中可以看出,α=0.25 时Oct_ResNet-28 模型的分类精确度最高,达到了96.05%。说明低频维度占比为0.25 时,高低频分量的比例是最合适的,通过OctConv 能提取到更多的有效特征,减少特征空间冗余。在接下来的模型性能分析中,模型都以α=0.25 为标准进行调参实验。

3.2 Oct_ResNet-28 模型性能分析

以α=0.25 为标准,设置批量大小batch 为16,学习率lr 为0.005,训练周期epochs 为100,并选择带动量的随机梯度下降算法(Stochastic Gradient Descent,SGD)[30]作为优化器,在本数据集上对Oct_ResNet-28 模型进行训练。同时,选择结构层深度相同的ResNet-28 模型以相同的条件在本数据集上训练,用双纵坐标表示两种模型的损失函数值和分类精度,结果如图4 所示。

图4 模型性能训练曲线Fig.4 Training curve for model performance

从图4 中可以发现,Oct_ResNet-28 模型初始的损失值较大,但两种模型损失值几乎都在训练了30 个周期后趋向于收敛,波动幅度相似。说明在残差网络中利用OctConv 代替普通卷积核这一操作不会影响整体模型的收敛速度,只是初始损失值较大,原因是OctConv 工作时会先将低频信息的分辨率降低至原来的二分之一,导致模型训练初期识别单个训练样本与真实值之间的误差较大。两者模型性能对比如表2 所示,表中FB表示纤维脂肪,S 表示基质,T 表示肿瘤。

表2 三种模型性能对比Table 2 Comparison of performance among three models

从表2 中可以看出,Oct_ResNet-28 模型的总体分类精确度达到了95.42%,相比ResNet-28 模型总体分类性能提升了1.57%,其识别纤维脂肪图像的能力与ResNet-28 模型相当,对于基质和肿瘤图像的分类识别能力明显优于ResNet-28 模型。分析原因,ResNet-28 模型在提取图像特征时没有侧重,特别是对于结构十分相似的基质与肿瘤图像,容易产生信息冗余,这些冗余信息会干扰ResNet-28 模型最终对图像的识别分类;而Oct_ResNet-28 模型在特征提取时会侧重含有丰富结构信息的高频分量,这对于模型最终分类结构近似的图像将起到关键作用。实验结果表明:利用OctConv 替换部分卷积层这一操作的确能够使模型在提取图像特征时侧重于高频分量,增强模型对于结构近似的图像的分类识别能力,提高模型整体的分类精度,且使用OctConv 不会影响模型整体的收敛速度。

3.3 DF-ResNet 模型性能分析

以α=0.25 为标准,设置批量大小batch 为16,学习率lr 为0.005,训练周期epochs 为100,选择SGD 作为优化器,在本文数据集上对DF-ResNet 模型进行训练,并做性能评测。最后将DF-ResNet 模型对三类OCT图像的分类识别能力与Oct_ResNet-28 和ResNet-28 进行比对。

从表2 中可以看出,DF-ResNet 模型的总体分类精确度达到了96.88%,相较于Oct_ResNet-28 模型总体分类性能提升了1.46%,不仅在结构近似的基质和肿瘤图像分类实验中表现出更优异的识别能力,而且对于纤维脂肪的分类精度也高于前两种对比模型。实验结果表明:DF-ResNet 模型在首层和末层加入CBAM 并结合OctConv 的“双重过滤”结构能够进一步过滤低频信息,提升模型对于高频特征的提取能力,减少信息冗余,提高模型的分类精度。图5 是DF-ResNet 模型对三种图像分类的工作特性曲线(Receiver Operating Characteristic,ROC)。

图5 DF-ResNet 模型ROC 曲线Fig.5 ROC curve of DF-ResNet model

当以纤维脂肪、基质和肿瘤为阳性等级时,曲线下面积(Area Under the Curve,AUC)分别为0.990,0.965 和0.951。由此可以发现,DF-ResNet 模型对于纤维脂肪这一类具有独特“蜂窝状”结构的OCT 图像几乎可以做到完全正确的识别分类,对于结构相似性较高的基质和肿瘤图像也表现出较好的识别性能。为了进一步具现化模型学习到的特征信息,通过Grad-CAM 绘制出ResNet-28 和DF-ResNet 两种模型的热力图,并使用Matlab 设置阈值为70,对每幅热力图中大于该阈值的像素点进行统计,将其除以总像素点数可以得到提取特征面积占总图像面积的比例,从而定量分析模型在特征提取方面的是否产生冗余信息,具体结果如图6 所示。图中展示了对ResNet-28 和DF-ResNet 两种模型在最后一层提取特征分量的比较结果,其中比例尺代表400 μm。括号内的数据反映了两种模型在最后一层提取到的特征面积所占原图面积的比例。

图6 两种模型热力图Fig.6 The thermodynamic diagram of the two models

从图中可以看出,ResNet-28 和DF-ResNet 两种模型在提取特征时关注的图像特征范围所占比例存在较大差异。在ResNet-28 模型中,对于3 类乳腺组织OCT 图像提取到的特征范围占比均超过75%,其中包括大量无用的背景信息和盖玻片阴影等。这表明ResNet-28 模型在特征提取时没有侧重,反而提取了较多的冗余信息,对最终的分类识别造成了干扰。相比之下,DF-ResNet 模型对于具有独特的“蜂窝状”结构纤维脂肪图像所提取的特征范围与ResNet-28 相近;但对于没有明显结构特征且结构近似度高的基质和肿瘤两类图像,该模型所提取的特征范围分别仅为59.37%和67.67%,远小于ResNet-28。说明DF-ResNet 模型在特征提取方面表现出更强的针对性和精细性,侧重于对高频分量的提取,关注图像中含有丰富结构信息的轮廓边缘和细节处。以此进一步证明了DF-ResNet 的“双重过滤”结构能够使模型在特征提取时更侧重于高频分量,过滤掉较多无用的低频分量,减少信息冗余。

最后,对DF-ResNet 模型的泛用能力进行分析。使用预训练的DF-ResNet 模型对新的乳腺组织OCT图像数据集进行识别和分类。新的数据集共有153 张图像,其中包括51 张纤维脂肪组织图像、51 张基质图像和51 张肿瘤图像。表3 展示了DF-ResNet 模型对新的乳腺组织OCT 图像数据集的分类结果。

表3 DF-ResNet 对新数据集的识别分类性能Table 3 The recognition and classification performance of DF-ResNet on a new dataset

根据表3 所示数据,预训练的DF-ResNet 模型在识别纤维脂肪图像方面展现出卓越性能,其敏感性(sen)、特异性(spe)、阳性预测值(PPV)和阴性预测值(NPV)均达到了100%,意味着模型成功实现了对此类图像的完全准确分类。同时,该模型在识别结构相似的基质和肿瘤图像上也表现出良好的性能。最终模型针对新的乳腺组织OCT 图像数据集总体分类精度达到了94.12%,这表明预训练的DF-ResNet 模型不仅在本文使用的数据集上具有较好效果,还在新的乳腺组织OCT 图像数据集上展现出优秀的识别性能。这一结果证明了DF-ResNet 模型具备良好的泛化能力,因而可以适用于术中切缘诊断场景。

3.4 对比DF-ResNet 与其他网络模型性能差异

将DF-ResNet 模型与当前流行的经典CNN 网络,如DenseNet-169[31]、VGG-19[32]、和EfficientNet[33]等进行参数计算量及性能的对比分析。在相同的训练条件下,将这些经典模型应用于本数据集进行训练。表4 汇总了各模型具体分类精度和模型参数计算量,为了突出对比效果,将结果绘制成柱状图如图7,这种比较方法有助于全面评估DF-ResNet 模型在实际应用中的优势和局限。

表4 各模型参数量及分类精确度Table 4 model parameter quantity and classification accuracy

图7 各模型参数量及分类精确度柱状图Fig.7 Bar chart of model parameter quantity and classification accuracy

根据表4 中的数据,模型最终的准确率梯度为:DF-ResNet(96.88%)>DenseNet-169(95.72%)>Oct_ResNet-28(95.42%)>ResNet-28(93.85%)>EfficientNet(91.67%)>VGG-19(79.39%)。同时,模型整体的参数计算量梯度为:VGG-19(143.67 MiB)>ResNet-28(19.14 MiB)>DF-ResNet(16.52 MiB)>Oct_ResNet-28(15.99 MiB)>DenseNet-169(14.15 MiB)>EfficientNet(5.29 MiB)。尽管轻量化EfficientNet模型具有最少的参数计算量,但其图像分类识别能力相对较弱。DF-ResNet 与ResNet-28 模型在结构层深度上相同,然而DF-ResNet 的参数计算量比ResNet-28 减少了2.62 MiB,并且分类精度显著高于ResNet 模型。说明采用“双重过滤”结构对模型进行改进,既能降低整体参数计算量,同时还能提升近似结构图像的分类识别能力,使模型准确率得到显著提升。

此外,与未加入CBAM 机制的Oct_ResNet-28 相比,DF-ResNet 模型的参数计算量仅增加了0.53 MiB,但分类准确率提高了1.46%。这表明加入CBAM 注意力机制虽然会略微增加模型的复杂度,但可以较大幅度提升准确率,这种权衡是可以接受的。

3.5 分析与讨论

考虑到OCT 一般对于组织成像深度在2~3 mm,但针对切缘诊断,这种技术仍然是一种有效的工具。首先,OCT 可以用于大面积组织的快速扫描,寻找可疑的肿瘤生长区域,跳过了对乳腺组织进行广泛组织学处理的繁琐过程。第二,OCT 光束可以通过细针进行最小程度的侵入性输送,如细针穿刺或核心针生物检查。这些技术运用于图像引导,以在活检前将医生引导至可疑区域,从而减少了采样误差。第三,手持OCT探头是一种有效的实时无创性成像技术,通过结合使用深度学习算法,如DF-ResNet 算法模型,可以自动识别和分析OCT 图像中的特征,进一步提高手持OCT 探头在乳腺癌术中切缘诊断中的准确性和效率,从而辅助医生在手术过程中对乳腺癌切缘进行更精确的评估。在训练阶段,将大量带有标签的OCT 图像输入到DF-ResNet 模型中对模型进行训练,使其能够识别正常组织与肿瘤组织之间的差异。虽然DF-ResNet模型的训练过程相对较长,但在预训练完成后,该模型识别单幅尺寸为224×224 的乳腺组织OCT 图像仅需6.67 ms,其识别速度足以满足术中切缘诊断的实时性要求。在应用阶段,将手持OCT 探头实时采集的图像输入到预训练的DF-ResNet 模型中,以快速确定探头处乳腺组织的类别。结合手持OCT 探头和深度学习的术中切缘诊断方法可以提高肿瘤完全切除的成功率,降低复发风险和减少二次手术的需求。此外,该方法还可以减轻医生在术中判断切缘状态的压力,使他们更专注于手术操作本身,从而提高手术效果和患者满意度。

因此,使用手持OCT 探头并结合深度学习技术进行乳腺癌术中切缘诊断具有潜力。这种方法有助于提高手术效果,确保患者获得更精确、安全的治疗方案。

4 结论

本文提出了一种基于残差网络改进的具有“双重过滤”结构的CNN 模型DF-ResNet,实现对乳腺组织OCT 图像的自动分类。DF-ResNet 模型以残差网络为整体框架,利用OctConv 替换部分卷积层并加入CBAM,使模型在特征提取时能够更关注于高频特征,减少低频特征占比,实现“双重过滤”结构,在很大程度上减少了信息冗余,提高了模型整体性能。利用DF-ResNet 模型对乳腺组织OCT 图像数据集中的3 类样本数据进行训练学习、分类测试及多次调参,并使用数据增强和批量归一化等优化方式,最终分类精确度达到96.88%。对DF-ResNet 模型的泛化能力进行验证,该模型在分类识别新的153 张乳腺组织OCT 图像实验中达到了94.12%的总分类精度。最后将DF-ResNet 模型与DenseNet-169、VGG-19 等经典CNN 模型进行性能比对,结果表明,DF-ResNet 模型在乳腺组织OCT 图像分类实验中表现出更优异的性能,识别一张乳腺组织OCT 图像仅需6.67 ms,足以满足术中切缘诊断的实时性要求,具有较好的鲁棒性和实时性。在未来应用阶段,可以配合手持OCT 探头,将实时采集的图像输入到预训练的DF-ResNet 模型中,以快速确定探头处乳腺组织的类别,提高肿瘤完全切除的成功率,为乳腺癌切缘实时诊断提供技术支持。

猜你喜欢

残差分量乳腺
基于双向GRU与残差拟合的车辆跟驰建模
帽子的分量
基于残差学习的自适应无人机目标跟踪算法
基于递归残差网络的图像超分辨率重建
体检查出乳腺增生或结节,该怎么办
论《哈姆雷特》中良心的分量
分量
得了乳腺增生,要怎么办?
平稳自相关过程的残差累积和控制图
容易误诊的高回声型乳腺病变