一种乳腺X线影像肿块征象检测算法

李珊珊,张 曦,刘 文,,杨嘉鹏,海 玲

1(新疆师范大学 计算机科学技术学院,乌鲁木齐 830054)

2(新疆工程学院 人工智能与智慧矿山工程技术中心,乌鲁木齐 830023)

3(新疆医科大学附属肿瘤医院 影像诊断中心,乌鲁木齐 830011)

1 引 言

乳腺癌是目前女性最常见的恶性肿瘤,发病率位居全球恶性肿瘤第一,致死率位居第五[1].影响乳腺癌发病的因素种类繁多且复杂,遗传、月经规律、生育行为、生活方式、环境等因素均与乳腺癌的发生密切相关.即早发现及诊断对后期乳腺癌的治疗有很重要的意义[2].

乳腺肿瘤检测方式有侵入式和非侵入式检查两种[3].侵入式也称为活体组织检查,是最终判断肿瘤良性与恶性的依据,但会给患者带来心理和生理上的创伤,非必要是不采取的[4].常用的非侵入式检查方式包括乳腺X线摄影、乳腺超声和乳腺MRI[5].乳腺MRI虽然成像清晰,但是具有费用高、费时的特点,不作为常规体检项目;乳腺超声对乳房结节敏感,但是超声诊断针对小肿块良恶性和微小钙化灶形态改变难以发现[6];乳腺X线检查对乳腺肿块形态及钙化灶敏感,能早期诊断较小的乳腺肿瘤,是目前公认的乳腺癌早期筛查方式之一[7].

随着科学技术的发展,计算机辅助诊断系统(Computer Aided Diagnosis,CAD)[8]将医学图像与计算机视觉相结合,辅助医生对乳腺病灶区域进行早期诊断与精准治疗.目前应用于医学图像目标检测的算法主要分为传统机器学习和深度学习[9].在机器学习方面,Pomponiu等[10]利用定向梯度直方图与支持向量机(Support Vector Machine,SVM)方法设计了对乳腺肿瘤目标进行良恶性分类CAD系统;Li等[11]设计了具有局部轮廓特征的CAD乳腺肿瘤分类系统,该系统对量化肿瘤质量具有较高的准确率;Basile等[12]使用一种三阶段的聚类微钙化灶检测方法,该方法基于圆形霍夫变换模型,在识别微钙化灶的准确度上有明显提升.

在深度学习方面,Shen等[13]开发了一种“端到端”的自动深度学习方法的CAD系统,该模型使用乳腺X光筛查数据库(CBIS-DDSM)进行训练及测试,模型的准确率有提升;2017年,Duraisamy等[14]提出基于深度学习的数字乳房X光检查分类CAD新框架,该框架使用深度学习卷积神经网络来学习乳房特异性质量和微钙化灶的特点.针对乳腺X光图像中存在可疑区域,Platania等[15]设计了自动乳腺癌检测与诊断的CAD系统,该模型以You Only Look Once算法作为基础,提出BC-DROID模型,该模型在检测精度与分类精度上比原模型要好.Akselrod-Ballin等人[16]设计了一种检测肿块和钙化灶的新型深度学习方法,该算法一共分为3个阶段,前两个阶段主要是用于训练数据集中特定的类别,第3阶段是处理背景,在INBreast数据集上进行评估,该模型的定位及准确率高于其他模型.

现有的深度学习技术虽然在乳腺肿块检测取得了不错的成果,但是依然有以下几点问题:1)公开乳腺X线影像数据集数量少;2)患者个体差异大,肿块形态不规整且征象鉴别困难,检测难度高;3)乳腺X线影像中的部分肿块及钙化灶目标小,容易造成漏检,识别率低.

本文针对以上问题对YOLOv5(You Only Look Once version 5)[17]模型进行改进,提出了一种乳腺X线影像肿块征象检测算法(YOLOv5-EA).YOLOv5-EA算法通过使用Mosaic数据增强、高效注意力机制[18]、非对称卷积结构(Asymmetric Convolution Network,ACNet)[19]和学习率周期函数[20]等方法,提升乳腺肿块和钙化灶的识别精度.YOLOv5-EA算法在公共数据集DDSM进行实验,结果表明,对于肿块及钙化灶的识别YOLOv5-EA模型具有更好的准确率及鲁棒性.

2 YOLOv5算法

YOLOv5算法主要由输入端Input、主干网络Backbone和检测层Head这3部分组成,如图1所示.

图1 YOLOv5网络结构图Fig.1 YOLOv5 network structure diagram

第1部分,输入端Input将图像统一裁剪为640×640的尺寸,每次训练前,YOLOv5模型会根据数据集中目标的尺寸使用k-means算法聚类出最佳的锚框值.第2部分,Backbone主要是使用CSPDarknet53 网络,由CBLr(Conv-BN-Leaky relu)和CS构成,提取输入图像丰富的特征.从输入端输入图片,首先是对图片分别进行4次切片操作,将640×640×3的图像经过切片与卷积操作变成320×320×32的特征图.CBLr包括3部分,分别为卷积(Conv)、规范化(Batch Normalization)和激活函数(Leaky relu).CS主要是对残差特征学习的模块,分为两个部分,一部分使用卷积和CBLr堆叠,另一部分为基本卷积操作,最后将两部分进行特征融合.第3部分,Head部分中特征金字塔(Feature Pyramid Networks,FPN)是具有侧向连接的自上而下的网络,能利用不同尺寸的特征图来增强语义信息;路径聚合网络(Path Aggregation Network,PANET)是采用自下而上的路径加强了信息传播,能更好的保留空间信息.FPN与PANET相结合实现了不同尺度的特征融合.

YOLOv5算法对低层信息利用率充足、检测速度快,在开源的数据集上检测效果良好,但是在乳腺X线影像目标检测上存在特征及空间通道利用率不足的问题,仍需改进.针对乳腺X线影像的肿块和钙化灶特征具有目标小、边界不清晰及影像数量少等问题,本文在YOLOv5算法上进行改进,提出一种乳腺肿块检测YOLOv5-EA算法.在乳腺X线影像DDSM数据集中验证了本文提出的YOLOv5-EA算法的有效性.

3 YOLOv5-EA算法

3.1 卷积层特征提取的改进

在深度学习中卷积操作主要目的是为了提取图像特征,卷积核是定义卷积的范围,常用的卷积核大小有3×3、5×5、7×7等,不同大小的卷积核提取图像不同尺度的特征.卷积核越大,获得的感受野越大,但是会导致参数暴增,不利于模型的学习.

传统的卷积操作在同一层的感受野大小不变,且局限于模型几何变换,只能对固定区域进行特征学习.2019年Ding等人[19]提出非对称卷积结构(Asymmetric Convolution Network,ACNet),通过将普通卷积分为横向卷积和纵向卷积来增强网络对图像翻转的泛化性.如图2所示为ACNet的训练阶段结构,该算法是将常规的3×3卷积核拆分成1×3横向卷积核、3×1纵向卷积核以及3×3正方形卷积核,最后将3个卷积层的计算结果进行融合作为卷积输出,该操作不仅增加了图像提取特征的能力,而且推理阶段的计算量没有增加.

图2 ACNet结构图Fig.2 ACNet structure diagram

ACNet推理阶段为卷积融合,融合后的卷积核的参数具有更强提取特征的能力.卷积计算如公式(1)所示:

Ι*K(1)+Ι*K(2)=Ι*(K(1)⊕K(2))

(1)

公式(1)中Ι和K分别代表输入特征图、卷积核大小,公式(1)左边是对特征图Ι分别进行卷积、求和并与卷积逐点相加,与公式(1)右边特征图直接进行卷积操作得到的参数结果是一致的.

乳腺肿块及钙化灶只占乳腺X线影像的少部分,其余部分均为背景.本文网络是根据乳腺X线数据集的特征,一方面保留了原YOLOv5的三层结构,另一方面针对原网络学习肿块边界不清晰能力不足和肿块特征不明显等问题,加入非对称卷积结构,使每一层网络都能充分利用丰富的浅层特征信息,提升了网络学习特征的能力.卷积层改进的结构如图3所示,该改进算法是将原YOLOv5网络主干网络Backbone中在CBLr模块中添加了ACNet非对称卷积结构.

图3 卷积层改进的结构图Fig.3 Structure diagram of the improved convolutional layer

将输入特征图A∈R(W,H,C)输入到Backbone主干网络中,首先将特征图进行切片与通道融合操作,提取更加丰富的图片特征,得到特征图Ap∈R(W,H,C).Ap首先利用卷积融合卷积核提取特征(n×n Square卷积核+n×1 Horizontal卷积核+n×1 Vertical 卷积核),该卷积核不仅强化了卷积层提取特征的能力,还保持网络结构不改变提升模型的鲁棒性,得到特征图Ai∈R(W,H,R).其次,随着网络结构不断加深,为了防止梯度爆炸,对特征图Ai,使用BN(BatchNorm2d)进行归一化处理.最后,对归一化后的特征图Ab需要进行Leaky relu激活函数得到特征图As,该函数使模型训练过程中的收敛速度加快.改进后的网络能够减少卷积过程中目标区域特征信息的损失,更加有效的提取特征.

3.2 基础网络改进

针对乳腺影像数据集图片少,本文使用了mosaic数据增强技术,通过随机选取4张图片进行数据增广操作,对这4个图片进行随机裁剪、缩放、翻转及拼接,有效的丰富乳腺肿块的背景.乳腺肿块征象具有目标小、类间差别小的特点,导致在目标检测识别征象时经常出现漏检和识别率低等问题,在图像目标检测领域经常引入注意力机制,来提高深度学习的效率与识别的准确性.传统的通道注意力机制的代表模型SENet[21](Squeeze-and-excitation networks),该模型会对每个通道使用全局平均池化,利用降维操作来控制模型的复杂度,但是降维操作使提取通道之间的信息变得低效.高效通道注意力机制(Efficient Channel Attention,ECA)通过避免利用降低通道维度来学习有效的通道信息,使用轻量级的方式来获取跨通道的交互信息.如图4所示为ECA模型结构图,首先将输入的特征图进行全局平均池化(Global Average Pooling,GAP),ECA利用每个通道及其k(卷积核大小)个邻居来捕获局部跨通道交互信息,最后通道获取使用Sigmoid激活函数来确定输出特征图.

图4 ECA模型结构图Fig.4 ECA model structure diagram

ECA模块中通道共享权重如公式(2)所示:

(2)

C=φ(k)=2(Y×k-b)

(3)

(4)

为了精确的定位肿块征象,提高征象检测的效率,在主干特征提取网络中的CS模块中添加ECA注意力机制,更改后的ECACS结构如图5所示.改进后YOLOv5-EA算法的主干网络结构如表1所示,通过实验证明,改进后的网络结构充分利用了空间特征信息,且对肿块的良性、恶性和钙化灶的识别均有显著提高.

表1 YOLOv5-EA网络结构Table 1 YOLOv5-EA network structure

图5 ECACS模型结构图Fig.5 ECACS model structure diagram

3.3 学习率调整策略的改进

学习率也称为步长,是深度学习中非常重要的参数,是将输出的误差反向传播给网络参数,并拟合样本的输出,也是一个让结果趋向最优解的过程.学习率的更新如公式(5)所示:

(5)

其中公式(5)中w为将要更新的参数,α为学习率,N为训练集的数据量,Δω为梯度矩阵.从公式可以得出,学习率越大,对参数的更新的越快,但是易损失值爆炸和易出现震荡,学习率越小,学习速度很慢,容易出现过拟合,收敛的速度很慢.

One Cycle是一种周期性学习率,它是先从小的学习率开始学习,然后缓慢提升到最高的学习率,随后再下降,周期循环.One Cycle不仅可以加速训练,还可以防止模型进入损失平面的区域,也能防止过拟合的现象,更有利于找到极小值.

4 实验分析

4.1 数据集

针对乳腺X线摄影检查,主要分为轴位(CC)和侧斜位(MLO)两个体位的影像,图6是某患者双乳的4张检测影像.本文所用到的图像来自DDSM中乳腺X线影像数据库[22],图片都是随机选取,其中良性图片选取了781张、恶性图片选取了818张、钙化灶图片选取了757张,用labelImg对图片进行标注.

图6 乳腺X线影像肿瘤检测图Fig.6 Breast X-ray image tumor detection map

良性肿块与周围正常组织分界清晰且锐利,恶性肿块生长速度快,形状不规则且周围界限模糊,还会转移到其他的器官或组织,钙化灶在形态上多变(分为良性、中间性及高度可疑恶性),中间性有模糊不定形、粗糙不均质、细小多形性,高度可疑恶性为细线分支状钙化灶等特点.如图7所示为乳腺肿块X线影像的征象图,其中图7(a)、图7(b)和图7(c)分别为:恶性肿块、良性肿块和钙化灶.

图7 乳腺肿块征象图Fig.7 Breast mass sign

4.2 实验环境

实验环境设备是为Ubuntu系统,服务器配备2颗Intel Xeon E5-2660 v4 CPU,内存为128G,GPU为NVIDIA GeForce RTX 3090,4块500G SSD硬盘.深度学习框架采用Pytorch,实验环境为python3.8.5,GPU加速软件CUDA11.0,CUDNN8.0.4.

输入到网络中的影像分辨率统一为640×640,batchsize为64,优化器使用Adam(Adaptive Moment Estimation)[23],激活函数Relu,采用epoch设置为500轮,初始学习率为0.01,采用One Cycle函数对学习率进行调整,使模型更好的收敛.

4.3 评价指标

本文使用混淆矩阵计算准确率(Precision,P)、召回率(Recall,R)和平均准确率均值(mean Average Precision,mAP)对YOLOv5-EA模型的性能进行评估.公式(6)表示准确率(P)是指正样本预测为正的样本所占的比例,公式(7)召回率(R)是指正样本所有预测为正的样本中的比例,公式(8)是准确率(P)的平均值,公式(9)平均准确率均值(mAP)是指正样本的准确率和负样本的准确率的平均值.

(6)

(7)

(8)

(9)

其中公式(6)～公式(9)所示中TP是将正样本识别正确的个数,FP是将负样本识别为正样本的错误个数,FN是将正样本识别为负样本的个数.k代表类别个数,AP为精度,P为准确度,R为召回率.对于目标检测模型来说,mAP的值越高越好.

5 实验结果

5.1 消融实验

本文提出的YOLOv5-EA模型,主要有3个创新点分别是:1)引入了有效通道注意力机制ECA;2)将原网络中主干网络中的普通卷积替换成为非对称卷积;3)使用One Cycle学习率调整策略和mosaic数据增强.为了验证本文算法的有效性及鲁棒性,利用公开数据集DDSM,分别对乳腺肿块结节良性与恶性及钙化灶征象进行识别,并对每个算法进行消融实验.

如图8所示为各个算法的对比结果,其中图8(a)、图8(b)和图8(c)分别表示恶性肿块、良性肿块和钙化灶的实验结果.YOLOv5是标准模型,为消融实验的参考模型;YOLOv5+ACNet模型,在标准模型上引入了非对称卷积结构,提升了精确度,使乳腺肿块类型及钙化灶征象的检测准确率提高;YOLOv5+ECA模型,是在原模型中加入有效通道注意力机制,可以更加精确地定位和识别肿块和钙化灶;YOLOv5-EA为上述改进点的结合及添加了One Cycle学习率调整策略,实验结果恶性肿块、良性肿块及钙化灶的mAP都提升了,该模型可以有效提升乳腺肿块和钙化灶的检测效果.

图8 YOLOv5-EA模型消融实验结果图Fig.8 Results of YOLOv5-EA model ablation experiment

综上所述,本文所提出的YOLOv5-EA网络,在DDSM乳腺X线影像数据集上,相比原模型,恶性肿块、良性肿块和钙化灶的准确率分别提升了1.0%、1.5%和1.7%.

5.2 对比实验

为了更好的验证YOLOv5-EA算法的有效性,将与现有具有代表性的目标检测Faster-RCNN、SSD、YOLOv3、YOLOv3-Tiny、YOLOv4等算法进行比较,实验以mAP作为评价指标.结果如表2所示.

表2 不同目标检测算法在DDSM数据集上的性能比较Table 2 Performance comparison of different target detection algorithms on DDSM dataset

从表2所示的对比结果来看,本文提出的YOLOv5-EA算法在公开数据集DDSM上的测试结果比其他的目标检测网络有较好的识别效果,对于恶性和良性肿块、钙化灶的识别准确度要比其他的算法精确率高,而钙化灶的识别精度要稍微低于YOLOv4.总体上YOLOv5-EA模型平均mAP值达到了89.8%,相对于Faster-RCNN、SSD、YOLOv3、YOLOv3-Tiny、YOLOv5等算法有较大的提高.

最后,本文中还对算法训练的时间进行了对比,如图9所示,YOLOv5-EA算法添加了ACNet非对称卷积结构,增加了网络模型的结构,因此模型训练时间也增加了,平均一轮为24s,虽然算法时间更长,但是提升了检测的准确性.

图9 不同目标检测训练速度图Fig.9 Training speed chart of different target detection

6 结 论

针对乳腺肿瘤X线影像结构复杂,肿块类别差别小,肿块密度分布不均匀,目标的边界不明显,征象特征不明显,检测的目标小以及乳腺肿瘤X线数据样本少导致乳腺肿块目标检测的准确率及精度低等问题,本文中通过引用非对称卷积结构、添加高效通道注意力机制和使用One Cycle周期函数调整学习率等改进措施,提出了一种改进的乳腺肿瘤X线影像检测算法YOLOv5-EA.利用公共数据集DDSM做了大量的实验,结果表明,针对肿块恶性、良性及钙化灶三征象YOLOv5-EA算法比YOLOv5在平均准确率均值分别提升了1.0%、1.5%和1.7%.与目前主流的目标检测算法相比较,YOLOv5-EA算法对乳腺肿瘤X线影像分类识别的准确率最高.本文仅仅是对乳腺肿瘤X线影像的三种征象进行分类识别,并没有对恶性肿块、良性肿块、钙化灶形态的具体形态及特征进行分类,还需要完善乳腺肿瘤X线影像数据集,同时也希望能开发乳腺肿瘤X线影像肿块征象分类平台,为医学影像科医生辅助诊断.