异构多分支网络超声图像自动诊断方法

李昕昕，师 恩

(1. 四川大学锦城学院计算机与软件学院 成都 611731；2. 西南交通大学信息科学与技术学院 成都 610031)

乳腺癌是目前女性发病率最高的恶性肿瘤，尽早发现可以提供更好的治疗机会[1]。当前常用的乳腺癌筛查手段包括：粗针穿刺、乳腺X 线摄影、乳腺磁共振检查和超声影像。而超声影像因其无创伤、便捷、价廉，对致密性乳腺诊断敏感性和准确性高，成为首选的乳腺检查方法。但由于超声影像中良恶性结节的图像表现存在重叠，严重依赖医生经验，不同资历的医生误诊率达到10%～30%[2]。因此，如何借助计算机视觉和大数据技术辅助临床医生提高对超声影像进行良恶性肿瘤判断的准确率，逐渐成为目前的研究热点。

针对上述问题，本文提出了一种端到端的自动结节分类方法。该方法主要采用基于乳腺超声图像的良性和恶性分类的异构多分支网络 (heterogeneous multi-brach network, HMBN)。包括如下4 个模块：

1)图像预处理：为提高超声图片的质量，本文采用基于mean shift 聚类算法[3]对原始视频进行关键帧选取。然后对超声及造影图像进行基于增强的Wiener 滤波[4]去噪和基于多重分形和对比度自适应的直方图均衡技术[5]的增强处理。

2)超声病理特征信息提取：病理信息包括原始超声图像提取的病理信息和包括年龄以及其他6 个与乳腺良恶性相关度最高的乳腺病理特征在内的非图像信息。通过将病理信息做归一化处理后融合到分类的神经网络中。

3)异构多分支网络模型：该模型的输入数据包括图像信息和非图像信息。对于图像信息，使用了由ImageNet 数据集迁移的Resnet50 网络进行特征提取，对于非图像信息，使用了一个全连接层将非图像的信息向量与其他分支结果融合进行分类。

4)优化的损失函数：在附加角边距损失(additive angular margin loss, AAM loss)[6]的基础上应用了最小超球面能量(minimum hyperspherical energy, MHE)[7]来改善分类效果。

1 相关工作

在乳腺超声的自动诊断分类任务中，文献[8]在针对乳腺病灶区进行筛选和分类的任务中，将自适应的去卷积网络模型作为一种产生式的无监督分层深度学习框架，用于诊断乳腺肿瘤的超声图像特征学习以及特征图谱生成，从而实现乳腺良恶性肿瘤的分类。实验结果表明该卷积网络的性能已达到传统手工特征的CADx 系统的水平。文献[9]研究了一种将从预先训练的CNN 中提取的低级和中级特征与从传统计算机辅助系统中获得的手工设计特征相结合的方法，并得到了显著的性能改善。文献[10]设计了3 种能够分别接受横向平面图像，冠状面图像和图像注释信息的网络模型。实验结果表明，文中设计的模型可以同时处理图像和注释，且与单输入模型相比，多种信息融合模型将分类准确率提高了2.91%，达到了75.11%。

本文结合临床医学知识，将传统卷积神经网络扩展为异构的多分支网络进行乳腺超声的良恶性分类识别，最终获得了较好的结果。

2 本文算法

2.1 数据预处理

超声图像对于乳腺癌等疾病的诊断有着很大的优势。但是超声图像中可能包含大量噪声，尤其是斑点伪影和高斯噪声，因此需要大量的图像预处理工作来提升图像质量。

1)超声图像去噪

为了探索针对乳腺超声图像数据集最佳的去噪方法，本文选择基于散斑统计的记忆各向异性扩散去噪方法(anisotropic diffusion with memory based on speckle statistics, ADMSS)[11]、小波阈值算法、以及基于增强的Wiener 滤波的超声图像去噪算法在团队自建的乳腺超声数据集上进行定量和定性评估。实验结果如表1 所示。

表1 不同算法的去噪效果对比

实验中采用了两个应用最普遍的去噪效果评价指标：等效外观指数(equivalent number of looks,ENL)和超声去斑评估指数(ultrasound despeckling assessment index, USDSAI)。其中，ENL 用于测量降噪效果，USDSAI 则用于测量去噪后图像中不同类别(均质区域)的可分离性，值越大表示该算法的性能越好。基于上述实验结果，本文选择了增强的Wiener 滤波算法对乳腺超声图像进行去噪，基于增强的Wiener 滤波方法实现过程如下。

首先考虑以下采集模型：

式中，z()是采集的数据；y()是无噪声信号；n()是斑点噪声；(x,r)是根据采集几何定义的空间索引。然后通过应用对数变换，将乘法模型转换为加法模型，从而得到：

最后在新的获取模型上，应用Wiener 滤波器(wiener filter, WF)。WF 是线性不变滤波器，其二维频率响应函数定义为：

式中，Py′(ζ,η)=|Y′(ζ,η)|2是无噪声信号y′(x,r)的功率谱；(ζ,η)为二维频谱中的空间频率。根据超声图片采集系统的不同，噪声随机过程表现出特定的自相关函数，其特征在于功率密度函数Wn′(ζ,η)；参数 α用于调整滤波器强度的标量值，在标准WF下，将其设置为单位值1。为了提高滤波效果，采用马尔科夫随机场(Markov random field, MRF)理论对图像进行建模。

2)超声图像增强

为了更好地提升图像质量，还需要对乳腺超声图像进行数据增强。通过对多峰广义直方图均衡化算法(multi-peak generalized histogram equalization,Multi-peak GHE)[12]，基于多重分形和对比度自适应直方图均衡的图像增强算法(Clahe+Mfrac)[5]以及一种基于模糊逻辑的增强算法[13]进行对比实验，最终选择基于多重分形和对比度自适应直方图均衡的图像增强算法进行超声影像数据集的增强。

多重分形技术是增强医学图像和提取纹理特征的有效工具。多重分形技术中，最常用的4 种强度度量分别是：求和度量、最大度量、逆最小度量和iso度量。与其他3 个度量相比，逆最小度量在对斑点滤波过后的超声图片进行增强操作时，其处理后的图片在纹理特征等方面表现更好，因此本文在多重分形中使用逆最小度量。

将多重分形度量表示为μw(ρ)，其中ρ是大小为w的方形窗口内的中心像素。令g(k,l)表示窗口内(k,l)处像素的强度值，且 Ω表示窗口的中心像素ρ的所有邻近像素的集合。

计算多重分形特征的第一步是Holder 指数α的估计。最小强度度量遵循逆幂定律，并给出α的负值。然后将计算出的最小值相对于最大强度值求反，以获得具有所需缩放属性的最小逆度量值：

令图像中每个像素点的强度代表原始图像中相应点的Holder 指数，得到与原始图像大小相同的α图像。为了生成α切片，选择图像中属于α值特定范围(αmin,αmax)的像素，并缩放其强度值。通过多重分形获得的输出特征增强图像在乳腺超声扫描图像中得到了改善。从图1 为多重分形图像增强效果比较图。图1a 为斑点滤波过后的乳腺超声图像，图1b 为多重分形(中心)的α图像，图1c 为使用多重分形测量值的增强型乳腺超声图像。图1b 可以看出，将图像多重分解为α图像可用于表征超声图像中的解剖结构及各种形状和纹理特征。

图1 多重分形图像增强效果图

表2 为定量增强效果评价表。从表2 可以看出，本文采用的基于多重分形和对比度自适应直方图均衡的图像增强算法(Clahe+Mfrac)，在结构相似性指标(structural similarity index metric, SSIM)、边缘保持系数(edge preservation index, EPI)和通用质量指标(universal quality index, UQI)这3 个指标上较其他两种方法效果更好。图2 为应用多重分形和对比度自适应直方图均衡增强算法后的超声造影效果图。

表2 定量增强效果评价表

图2 多重分形和对比度自适应直方图均衡增强效果图

3)图像关键帧提取

本文采用mean shift 聚类算法对原始视频进行关键帧选取。将包含良性(150 例)和恶性(150 例)的多张乳腺超声视频进行均值化处理后，对每5 帧图片进行距离可视化，得到图3 所示的结果。

图3 乳腺超声图像关键帧提取算法聚类结果

算法步骤：

1)从视频帧序列中选取中间一帧作为起始关键帧；

2)计算出当前关键帧与其前面所有图像和后面所有图像的相似度，得到前后平均相似度的值；

3)将当前关键帧沿着平均相似度值大的方向移动，移动的距离为移动方向所有图像数量的一半，修改当前关键帧；

4)重复步骤2)和步骤3)，直到当前关键帧与其前后图像平均相似度值差距很小，即目前的关键帧为最后算法选取的关键帧。

为了量化评价mean shift 聚类算法对乳腺超声视频关键帧提取的有效性，引入两个量化指标：视频保真度和视频压缩率。其中，保真度是提取的关键帧中所能表达的视频包含的有效信息。压缩率则是提取的关键帧总数与原始视频总帧数之比。将所有视频分类送入该算法并计算结果的平均值，得到mean shift 聚类算法的关键帧提取结果，如表3所示。

表3 乳腺超声图像关键帧提取算法聚类结果

2.2 损失函数设计

本文通过将最小超球形能量MHE[7]与AAM loss[6]相结合，提出一种新的混合损失函数。下面分别介绍附加角边距损失、MHE 与混合损失。

1)附加角边距损失

附加角边距损失AAM 函数是在传统softmax损失函数[14]的基础上改进得到的。传统的softmax损失函数可表示为：

式中，xi∈Rd表示第i 个样本的深度特征；Wj∈Rd表示权重W ∈Rd×n的第j 列；bj∈Rn是偏置项。

但是，Softmax 损失函数由于缺少明确的优化嵌入式特征，无法为类内样本提供更高的相似度，为类间样本提供更高的多样性，导致当类内样本的外观差距较大时，图像识别的性能降低。而AAM函数在 xi和 Wyi之间增加了附加的角度损失m，可以同时增强类内部的紧凑性和类间的差异：

2) MHE

分类器神经元是每个类特征簇的近似中心。输出层的全空间MHE 使得分类器神经元在超球体上分布更均匀，可以有效地改善类间特征的可分离性。MHE 将原始卷积视为角函数g(θ)=cos(θ)和幅度函数的乘积：

式中， θ是输入x 和核w 之间的角度。可以看出，核的方向和核的范数对内积相似性有着不同的影响。通常，可以通过最小化l2范数来规范化权重衰减，但是内核的方向并没有被规范化。因此，使用MHE 来规范化内核角度：

式中，xi是进入输出层的第i 个样本的特征；wiout是输出全连接层中第i 个类的分类器神经元，且

式中，m 是最小batch 的大小；c 是类别数目；M是分类器神经元的数量；xi表示第i 个图片的深度特征(是其真实的标签)；wiout是第i 个分类器的神经元。

3)融合损失函数

通过以上分析和大量实验验证，AAM loss 的主要作用是减小类内距离，而MHE 可以显著增加类间的间距。因此，本文将MHE 和AAM 进行融合，形成新的损失函数。

正则化项定义为：

式(10)展开可表示为：

上述融合损失函数可以进一步增加学习特征的角余量，减少类内距离，分类效果显著改善。

2.3 病理信息提取

从超声及造影图片或视频中提取结节病理信息，对于医学诊断具有重要意义。并且在本文所研究的乳腺超声自动诊断课题中，结节病理信息可以作为乳腺超声图片良恶性判断的依据。有时原始数据中的病理信息可能存在缺失的情况，且很多目前公开的医学超声图像数据集中基本都未包含与其相应的病理信息。因此，探究对乳腺超声诊断有意义的病理信息并从超声图片中将其提取出来对乳腺超声图片的诊断具有重要的意义。

对于从图片中提取的病理信息如表4 所示，包括3 个方面的工作。

表4 病理信息提取技术表

1)基于多标签分类的病理提取

基于多标签的乳腺造影图片病理信息的提取主要包含以下内容：增强均匀性(类别：均匀、不均匀)、蟹足征(类型：有、无)、滋养血管(类型：无、有)、增强后边界(清楚、不清楚、难以分辨)和增强后形态(规则、不规则、难以分辨)。这些基于乳腺造影图片的病理信息被认为是对良恶性判断非常有帮助的病理信息[15]。首先通过已有的文本格式的病理信息对数据集进行多标签标记，然后将训练数据集作为多标签分类的训练数据集进行分类并用测试数据集对分类结果进行定量分析，分析结果如表5所示。

表5 良性和恶性乳腺病变形态特征的比较

2)增强后病灶范围提取

由于增强后病灶范围的特征描述的是通过造影(超声增强)后的图像病灶范围的大小相比于普通超声图像中的病灶范围的变化情况。因此单独使用超声图像或造影图像都不能得出针对该病理特征的正确结论。同时，有相关研究发现，增强后病灶范围扩大特征与恶性病灶的相关性更高[15]。因此，本文同时使用到了病灶定位和病灶区分割技术。病灶区分割技术采用Mask-RCNN[16]。首先分别输入超声图片和其对应的造影图片，使用病灶区定位及分割技术，确定病灶范围；然后分别通过分割结果(结节形状掩码)进行计算；最后对计算出的超声病灶范围和其对应的造影病灶范围进行判断，确定病灶区范围(扩大/缩小/不变)。

病灶区分割结果如图4 所示，其中第一列为原始图像，第二列为实际病灶区掩码，即标签，第三列为分割结果。

图4 病灶区分割结果示例

3)增强强度及增强时相后的病理特征提取

增强强度和增强时相这两个病灶特征是通过分析造影视频得出的。增强强度是指病灶区相对于其他正常区域达到最亮的峰值高低，而增强时相则表征病灶区相对于其他正常区域增强的快慢。如图5 所示，该图为某医院的设备中，将造影视频的亮暗信息进行分析后所绘制的波形图。其中图5a 中的恶性病灶显示出增强时相快进、高增强的特征，而图5b 中的良性病灶显示出增强时相慢进、低增强的特征。

针对这两个病灶特征的提取流程为：首先，分析整个视频的病灶区域并记录下病灶区平均亮度的最大值p 和到达该值时的时间值t，然后通过斜率k 和峰值p 的经验阈值对其进行判断分析。

k 值的计算方式为：

图5 增强时相和增强强度示例图

图5a 中的病灶区的平均亮度最大值为15.63，到达该值的时间为12.33 s，通过式(12)得到k值为1.27[17]。由于不同的医生可能存在不同的经验阈值，针对本文实验的数据，设定经验阈值为0.74。

对于增强强度及增强时相后的病理特征，采用医生的经验值作为算法的经验阈值。该经验值即为：将病灶区域与病灶周围的其他正常区域(两个区域的组织结构尽可能保持一致，且区域范围由医生标注)相比较。根据良恶性肿瘤的一般特性，如果病灶区域的增强时相比正常区域更快，且其增强强度更高则其病灶为恶性的概率则更大，反之亦然。另外，为了尽量减少非相关变量对结果的影响，算法还对该区域进行了归一化操作(结果除以该区域的面积)。根据该经验阈值进行计算后的准确率结果分析显示在表5 中。

2.4 异构多分支超声图像识别网络

调研发现，目前已有的针对超声图片良恶性诊断的研究仍然存在以下局限性：

1)现有的大多数研究仅基于乳腺超声图像，因此获得的结果很大程度上依赖于输入图像的质量。本文提出的方法将超声图像与相应的造影图像相结合，增加了乳腺病变的信息量，为神经网络的特征提取提供了更丰富的信息。

2)目前所做研究大多数都没有使用医生的经验信息，例如病人或病灶的描述信息等。本文提出的方法以医学专业知识为基础，将临床上针对良恶性判别最有效的病理特征提取到网络中，进一步提高了分类的准确性。

针对目前研究工作的不足，本文提出了一种端到端的乳腺超声自动结节分类模型。该模型用于乳腺超声图像的良性和恶性分类的异构多分支网络。该网络通过将医学知识作为非图像信息，和经过数据预处理的超声图像信息一起输入异构多分支网络，提高了乳腺超声诊断的准确率。

本文实验所采取的技术路线如图6 所示。

图6 异构多分支超声良恶性分类实验技术路线图

分类步骤分为3 步：1) HMBN 网络采用ResNet作为主干网，其中，两个分支采用Rsenet50 用于提取超声图像和造影图像的特征。即将大小为224×224 的超声图片和造影图片通过网络中步长为2、大小为3×3 的卷积核和全局平均池化层操作，得到7×7 的特征图以及具有Softmax 的全连接的分类层。为了避免瓶颈，当特征图的空间大小变化时，特征的数量将增加一倍。每次卷积后，应用batch 归一化和ReLU 函数。

2) 对于单独的用于处理非图像信息的分支，使用一个全连接层将非图像信息(包含患者的年龄和病灶的病理特征(如表5 中6 项造影病理信息所示))所构成的特征矢量的长度从7 转换到2 048。对于用于提取图像特征的分支，使用在ImageNet数据集上预训练得到的模型，在模型输出时去掉最后一个卷积层，得到长度为2 048 的特征向量。

3) 通过相加运算和一个全连接层对3 个异构网络的分支结果进行融合，使用本文提出的MHE 和AMM 的融合损失函数得到最终的诊断分类结果。

3 实验结果分析

3.1 数据集介绍

本文实验所用的数据集来源于四川省的若干个医疗机构，由各医疗机构的超声科采集的乳腺超声科室提供。原始的乳腺超声数据集中包含3 种不同格式的视频文件，其中每个视频文件分别包含超声图像和相应的造影文件，以及与超声造影视频文件相对应的乳腺详细病理报告。不同医院所用设备不同，因此所采集的图像的分辨率和噪声情况等都略有不同。

综上所述，本实验所用乳腺超声数据集包含791 例良性病例和572 例恶性病例，每个病例通过视频关键帧提取技术抽取了包含100～200 张超声图像和相应的造影图像和与其对应的病理报告。然后将数据集分为3 个独立的数据集，分别是包含1 166个样本集的训练集、包含102 个样本集的验证集和包含95 个样本集的测试集。其分配比例基本按照10∶1∶1 的关系进行随机抽取。表6 中显示了该数据集的详细信息。

表6 乳腺超声病例数据集

其中，该数据集的病理报告组成有：研究中心基本情况、病灶基本资料(如为多发病灶等)——灰阶超声、患者基本资料(包含患者年龄、性别、民族、身高及体重等)、CEUS、超声造影增强模式定性数据、乳腺钼靶、MRI、穿刺活检病理、术后病理、随访内容、其他情况。

3.2 病理信息提取结果

为选取最适合乳腺超声数据病理信息提取的多标签分类的网络模型，本文基于乳腺超声数据集分别对CNN-RNN 多标签分类技术[18]、GCN 多标签分类技术[19]及VGG16 多标签分类技术[20]进行多标签提取的实验。为了验证本文所设计的基于造影视频的增强强度和增强时相特征的提取，以及基于乳腺超声图片和其对应的造影图片的增强后病灶范围特征提取的有效性，分别做了准确率的验证实验。本将主要针对基于多标签分类的病理提取技术的实验结果和其他病理信息的提取实验结果进行比较和分析。

1)基于多标签分类的病理提取技术实验

为了提取乳腺超声图片中的病理特征(增强均匀性、蟹足征、滋养血管、增强后边界和增强后形态)，综合考虑算法时间复杂度、准确率、发表时间等因素分别筛选出3 个网络进行多标签分类的训练和测试实验：CNN-RNN 网络，GCN 网络和VGG16网络。这3 种网络下的分类实验结果如表7 所示。表中显示了多个标签累计分类结果的准确率、敏感性及特异性。

表7 多标签分类网络病理信息提取实验结果

由表7 可知，CNN-RNN 网络、基于GCN 的网络及VGG16 这3 种网络的准确率都有待提高，其中表现最佳的是CNN-RNN 网络。为了验证从超声图片中提取的病理信息可以有效提升分类的准确率，将通过上述3 种网络提取的结果输入到只包含超声图片和造影图片的HMBN 二分支网络中，进行分类结果的对比，其实验结果如表8所示。

表8 不同多标签分类网络结果对HMBN 良恶性分类结果的影响

由表8 可知，由于VGG16 网络所提取的病理特征在良恶性分类时的准确率较低，无法对分类效果进行改善，甚至对网络有反向的抑制作用。而基于GCN 的网络和基于CNN-RNN 的方法在加入HMBN 的二分支网络后，准确率有了明显提升，而CNN-RNN+二分支网络的分类准确率最高，达到83.24%。因此，本文后续实验选用CNN-RNN网络对超声图片内的病灶特征进行提取。

2)其他病理信息提取技术实验

其他病理信息提取涉及增强后病灶范围(enhanced lesion range, ELR)、增强时相(enhanced phase, EP)及增强强度(enhanced strength, ES)这3个病理特征的提取。考虑到在医院的数据分析仪器中，增强强度和增强时相的定义与造影图片亮度值变化曲线的峰值和斜率相关，因此本文认为利用该定义进行特征提取可以获得很好的效果，如表9所示。

表9 其他病理信息提取结果

为了验证该方法提取到的增强后病灶范围、增强时相及增强强度这3 个特征对多分支网络进行乳腺良恶性分类结果的影响，分别在训练集和测试集上做了训练和测试，其中包含两个方面的实验：1) 提取得到的增强后病灶范围、增强时相及增强强度这3 个特征相对于二分支网络的作用；2) 结合CNNRNN 网络所提取的其他病理特征和这3 个特征共同作用下相对于二分支网络的分类作用，实验结果如表10 所示。

表10 提取的病理特征对二分支网络良恶性分类的影响

从表10 可以看出，利用本文设计的其他病理信息提取技术提取的增强后病灶范围、增强时相及增强强度这3 个特征对网络具有积极改善的作用，且将其与利用CNN-RNN 网络所提取的超声图片中的特征相结合后，对异构多分支网络中良恶性肿瘤的的识别性能有明显改善。但是其84.7%的分类准确率相较于表1 中采用HMBN 网络得到的92.41%的准确率仍有很大的改进空间。

3.3 实验分析

3.3.1 HMBN 实验过程

针对超声图像分支，输入图像大小为224×224，当Resnet50 网络在con2_x 提取图像特征时，卷积核为3×3，输入的特征图大小为56×56×64，输出的特征图大小为28×28×128，其过程如图7 所示。

图7 超声分支网络特征提取图

在训练过程中，每一个epoch 中取出其中3 个阶段的精确值和损失函数的值，得到训练精度变化曲线和loos 变化曲线，如图8 所示。从图中可以看出在第125 个epoch 左右收敛。

图8 训练精确度和loss 变化情况

3.3.2 不同数目分支分类效果对比实验

为了验证本文提出的异构多分支网络的有效性，分别对以下4 个不同结构的网络进行实验并进行比较和分析：

1) Single-Stream net_1，即仅使用一个ResNet-50 网络。它的输入图像是通过超声图像及其对应的对比度增强超声图像的拼接形成的；

2) Single-Stream net_2，其主干网络结构与Single-stream net_1 的网络相同，但该网络的输入图像仅是超声图像；

3) Two-Stream network，该网络的主干网络是ResNet50，它是具有两个单独的图片特征提取网络的双流网络，可同时处理超声图像和其相应的造影图像，但是没有添加处理非图像的病理特征的分支网络。

4) HMBN 网络，即本文提出的网络，是同时使用图像特征和非图像特征的异构多分支网络。

这4 个网络的对比实验结果如表11 所示。

表11 不同网络结构准确率比较

从实验结果可以看出，同时使用了超声图像、造影图像和非图像信息的病理特征的HMBN 网络的识别准确率最高，达到92.41%。证明造影图像和非图像的病理特征对提高乳腺超声诊断的准确性具有积极的作用。

3.3.3 损失函数对比实验

为了验证本文设计的融合损失函数对乳腺超声诊断的异构多分支网络的有效性，进行了多组比较实验。首先，将广泛使用的原始Softmax 损失函数用作参考实验，然后将附加角边距损失函数作为第一组对比实验，将SphereFace +损失函数作为第二组对比实验，而将本文设计的融合损失函数作为第三组对比实验。最终的实验结果如表12 所示。

表12 不同损失函数分类效果比较

从表12 可以看出，本文所提出的融合损失函数具有最佳的表现，其测试集的准确率达到92.41%。

3.3.4 与其他方法的对比实验

目前针对乳腺超声图像良恶性分类效果最好的方法有两种：1) 基于加权BI-RADS 的B-wBI[21]，该方法利用减少病理分级的方法解决分类中常见的分级失衡问题，进而提高诊断性能。其中经过加权训练的RF 分类器用于对提取的特征进行分类；2)基于3D-CNN 的方法[22]。为了验证本文提出的HMBN方法与其他方法的对比实验效果，将上述3 种方法在数据集上进行了实验，由于B-wBI 和3D-CNN两种方法均未使用造影图像、年龄以及病理信息等非图像信息，因此实验中仅将超声图像构造为以上两种方法的训练和测试数据集。实验结果如表13所示。

表13 HMBN 与最新技术分类准确性的比较

在准确性方面，HMBN 的准确性比B-wBI 方法提高了0.52%，但略低于3D-CNN。原因在于3D-CNN 直接处理视频，考虑了超声视频中时间维度信息，而HMBN 方法在融合病理信息时虽然也引入了与时间相关的增强强度和增强时相等病理特征，但是并不能将时间维度上的信息完全利用，所以导致HMBN 的分类准确率略低于3D-CNN。但是3D-CNN 对图像质量要求较高，目前符合其要求的医学超声图像并不多，而HMBN 由于采取了前期的数据预处理，更适合现有的数据集，具有更好的普遍适用性。

4 结 束 语

本文的工作主要分为3 点：1) 通过对乳腺超声图像去噪和图像增强操作在一定程度上改善了超声图像的质量；2) 提出了一种异构多分支网络，将3 个针对良恶性诊断相关度较高的信息(即超声图像、造影图像和包括患者年龄的非图像信息)和其他6 个病理信息结合在一起进行乳腺超声影像的良恶性分类的网络模型；3) 基于最小超球面能量和附加角边距损失的融合提出了一种新的损失函数。实验结果表明，上述工作对于提升乳腺良恶性分类的性能和准确率都有积极的效果，其最终识别准确率在目前最新的分类算法中名列前茅。