APP下载

权重初始化-滑动窗口CNN 的医学图像分类

2022-08-16安凤平李晓薇

计算机与生活 2022年8期
关键词:滑动卷积神经网络

安凤平,李晓薇,曹 翔

1.淮阴师范学院 物理与电子电气工程学院,江苏 淮安223300

2.北京理工大学 信息与电子学院,北京100081

随着计算机和医学影像领域的快速发展,电子计算机断层扫描(computed tomography,CT)、磁共振成像(magnetic resonance imaging,MRI)等医学影像能够在非介入的情况下反映人体内部组织和器官的生理状态,已逐渐成为医学研究、临床诊疗以及手术规划中不可或缺的重要工具。这些新技术在为医学理论和医疗技术带来进步的同时,也提出了新的问题,比如需要医生对诊断结果进行分类和处理等。图像分类技术能够在一定程度上对图像内容进行自动理解,它可以对医学图像中的病灶区域进行有效识别,可以协助医生进行高效诊断。但是,现实中的医学图像种类繁多,为了区分这些医学图像的类别信息,往往需要采用不同的处理和分析方法。目前,医学图像分类大多基于模式识别方法,然后利用分类模型对医学图像进行识别和区分。根据分类模型训练方法的不同,一般可以将医学图像分类分为有监督分类方法和无监督分类方法。

有监督的分类方法是指提前给定样本标签,通过带标签的图像特征训练分类模型,分类的类别通常都是预先指定的。主要的有监督分类方法包括K近邻算法、贝叶斯模型、逻辑回归、神经网络、支持向量机等。以基于神经网络的医学图像分类方法效果最佳,这是因为神经网络能够解决图像分类中小样本、非线性可分等问题,并且分类精度和运算时间都具有较大优势。Abbass提出了一种基于Pareto 差分进化算法的神经网络用于乳腺癌WBCD(Wisconsin breast cancer database)数据集分类,获得了比传统的神经网络更好的分类性能。Karabatak 等人利用关联规则进行维度约减,将9 个特征约减为4 个特征,再用ANN(artificial neural network)进行分类,在乳腺癌WBCD 数据集上其2 折交叉验证的准确率达到90%。但是该类方法存在无法自适应地匹配医学图像本身特征信息,导致分类效果在不同医学图像存在较大的差异性。

无监督的分类方法是在没有预设样本标签的前提下,根据样本间的相似度自动划分出不同类别,无监督学习本质上是一个聚类过程,常用的聚类算法如-means、模糊C 均值以及主成分分析(principal components analysis,PCA)等都是典型无监督方法。比如2010 年,Juang 等人提出了利用具有均值聚类技术的颜色转换分割算法。该方法能够通过添加基于颜色的分割操作来解决磁共振成像(MRI)图像中无法精确找到病变对象轮廓的问题。2004年,Zhang 等人提出了一种新的MRI 数据模糊分割算法,分割效果较好,但后面的识别准确率较低。2012 年,Singh 等人提出了一种基于PCA 的自动分类MRI 图像和自然图像的方法,实验表明,分类精度达到91%。虽然该类方法实现比较简单,在图像识别和分类应用取得了一定的效果,但是分类效果在不同医学图像分类和识别中存在较大差异问题,不能根据医学图像本身特性进行良好的自适应分类和识别。

近年来,随着深度学习理论的发展,基于深度学习的医学图像分类研究再度引起相关学者的高度关注。深度学习是有监督和无监督方法有机结合,它通常先利用无监督学习训练深度神经网络,然后通过有监督学习方法进行微调。在深度神经网络发展初期,医疗图像识别侧重于无监督的预训练,如栈式自编码器(stacked autoencoder,SAE)和RBM(restricted Boltzmann machine)。比如,2013 年Brosch 等人利用深度信念网络用于神经影像学的图像分类。Plis 等人利用深度信念网络和栈式自编码器,基于脑磁共振成像诊断患者是否患有阿尔茨海默病。Cheng 等人利用SAE 进行乳房超声病灶和非结节的智能识别,性能与常规方法相比有显著的提升。Kallenberg 等人利用卷积稀疏自编码器从无标签的乳腺癌X 射线照片中提取特征,卷积稀疏自编码器和经典卷积神经网络(convolutional neural networks,CNN)之间的主要区别是使用具有稀疏自动编码器的无监督预训练。近期对医疗图像分类方法的研究主要集中在卷积神经网络方面,这是因为该类方法具有较高的自适应能力和较好的效果。同时,在实际的医学影像中的分类任务通常指的是将医学图像的某个局部(先前识别的)分为两个或多个类别。对于这类任务,往往需要结合关于病变出现的局部信息和关于病变位置的全局上下文信息以更加精确分类。此类要求通过通用深度学习架构是很难实现的。相关研究者尝试利用多网络分支架构解决该问题。比如,2015 年,Shen 等人通过构建三个CNN,每个都采用不同尺度的结节片作为输入。然后将三个CNN 的输出连接以形成最终特征向量。2016 年,Kawahara 等人尝试利用多分支CNN 对皮肤病变进行分类,其中每个分支工作在不同的图像分辨率上。2017 年,Esteva等人使 用129 450张临床图像的数据集对CNN 进行模型训练,实验内容为两个二分类任务:一个是角质形成细胞癌与良性脂溢性角化病,另外一个是恶性黑素瘤与良性痣。实验结果表明,CNN对皮肤癌的分类水平基本达到了皮肤科医生的水平。2018年,针对乳腺癌晚期患者,Bidart等人利用全卷积神经网络(fully convolutional neural networks,FCNN)设计了一种乳腺癌组织切片细胞核自动定位方法,并将乳腺癌组织切片的细胞核图像分成淋巴细胞、良性上皮细胞和恶性上皮细胞三类,分类准确率达到94.6%。综上可知,深度学习理论在医学图像分类中得到了广泛的应用。但是医疗图像与自然图像特征不相同,比如病灶只占整个图像的一小部分,而且病灶的发生对周围的组织会产生影响等。如何根据这些特点构建性能更优异的CNN,获得更高性能的医疗图像智能分类结果,是一个需要解决的难题。同时,由于网络深度影响了卷积神经网络的非线性建模能力,初始化不当会导致深层网络难以收敛,当前还没有较好的初始化方法。鉴于此,本文首先从网络优化角度出发,通过优化方法提高网络的非线性建模能力,并可通过改善吸引域提高收敛后的解的泛化性能。进而提出了一种新的网络权重初始化方法,缓解了现有深度学习的初始化理论受限于非线性单元类型的问题,使得深层网络的结构设计可以有更多的选择,增加了神经网络处理不同视觉任务的潜力。同时,为了充分利用医学图像的特性,本文针对多列卷积神经网络的框架进行了研究。首先,通过改变卷积神经网络不同层次的特征图数量和卷积核的大小,构造了不同结构的卷积神经网络模型,以更好地适应待处理医学图像的医学特性;然后,不同的卷积神经网络模型分别在同一个数据集上进行训练;最后,训练得到的异构多列卷积神经网络再通过本文提出的一种自适应的滑动窗口融合机制,共同完成医学图像的分类任务,实现医学图像的自适应、高精度分类。基于上述思想,本文提出了一种基于权重初始化-多层卷积神经网络滑动窗口融合的医学分类算法。

1 基于自适应泰勒的深度学习模型权重初始化方法

医学图像的分类问题本质上就是特征提取后再进行识别的问题。虽然浅层网络能够实现识别系统中输入到输出的复杂非线性变换,但需要极高计算复杂度才能达到与深层网络相近的非线性表示能力。因此,在一定计算复杂度的条件下,增加网络深度是解决医学图像分类问题的最可靠方法。然而深层网络的优化是深度学习中的难题,尤其是初始化不当引起的梯度爆炸问题。现有方法中,MSRA(Microsoft research lab Asia)法具有良好的收敛性和泛化性能,不足之处是受限于特定的网络类型;高斯初始化不需要特定的网络类型,但是其网络收敛性和泛化能力不足。鉴于此,本章提出新的初始化方法,旨在通过优化技术来提高模型的收敛性和泛化能力。本文提出的初始化方法将会结合上述两类方法的优点,避免其不足。本文所提初始化方法是MSRA方法的延伸和扩展,因此本章将分为MSRA 方法介绍和本文方法阐述两部分。

1.1 MSRA 方法

对于第个卷积层,其输出中的某个像素y可以表示为:

其中,y是一个随机变量,wx是相互独立的随机向量。偏置项b以0 进行初始化。接下来考察y方差和y方差的关系。

式中,k表示卷积核大小,c是卷积层输入的通道数。 wx是相互独立的随机变量。式(4)的成立条件是式(3)中的随机向量w中的元素和x中的元素均是独立同分布的。当w以0 均值初始化,那式(4)可以转化为下式:

对于不同类型的非线性单元,式(6)会得到不同的解,不同的解对应了不同的初始化方法。对于Sigmoid 非线性,式(6)可以调整为下式:

文献[43-46]在式(7)的基础上假定原点附近xy是线性关系,此时可以得到Xavier 初始化方法。对于ReLU 非线性,式(6)可以调整为下式:

He 等利用式(8)将Xavier 初始化推广到ReLU网络。

1.2 自适应泰勒初始化方法

将式(7)代入式(5)可得到适用于Sigmoid 网络的Xavier初始化方法,同理将式(8)代入式(5)可得到适用于ReLU 网络的MSRA 初始化方法。可见,初始化的解析解是xy关系的函数。但是,如果式(6)的展开式存在高次项,式(5)将难以求解。因此,当前主流的初始化方法在理论上不适用于ReLU 和Sigmoid以外其他类型的网络。针对这一问题,本文通过引入泰勒公式提出了一种更加通用性的初始化方法。

根据Gulcehre 等对非线性单元的定义,非线性单元是一个由实数空间到实数空间的映射,且几乎处处可导,即:R →R,为了推导方便,定义非线性单元为下列函数:

其中,为非线性单元的输出,为非线性单元的输入,且满足在∈R 内几乎处处可导。假设∈R内存在一点,使得()=0,根据定义在处具有至少一阶导数或下梯度存在,对在=处进行≥1 阶泰勒展开有:

通过观察式(5)可以发现,当式(10)中的阶数为2 时,该方程难以求解。为了解决这一问题,本节利用泰勒公式对非线性单元做近似计算,取式(10)中≤1 的线性项。虽然这种方法会引入一定的误差,但该误差在初始化阶段是可以忽略的。根据定义,若在=处连续且可导,则式(10)可以简化为下式:

若在=处连续不可导但下梯度存在(比如ReLU),则有:

式(11)可以看作式(12)的特例,因此本文基于式(13)进行推导。

若′()=′()=0,则=(),任意∈R 。这表明非线性单元的输出恒为常数。这将导致卷积神经网络失去判别力,因而需排除这种情况。

式(16)描述了相邻卷积层的输出方差之间的关系,考虑第层的输出方差与第1 层的输出方差之间的关系如下:

从式(17)可以看出,Var(y)的大小与是指数上升的关系。而且,对非线性单元:R →R,如果不存在点,使得()=0,则当很大时,Var(y)也将是一个很大的数,从而导致Softmax 层的输出溢出,网络无法收敛。对于大部分非线性单元而言,通常设计其函数过原点,即:

不妨取=0,即在=0 处对做泰勒展开。此时的初始化值也变为0,那么式(17)可以简化为:

将上式代入式(18)可得:

通过式(21),如果卷积层参数的方差满足上述关系,则前向传递过程中输入信号的幅值不会发散或消失,这进一步保证了后向传递过程中梯度流的合理。通过上述分析,得出本文提出的自适应泰勒初始化方法为:

综上所述,Xavier 初始方法基于非线性单元在原点处是线性函数的假设,因此适用于Sigmoid 网络;MSRA 初始化方法将Xavier 初始化理论推广到ReLU/PReLU 网络,但理论上不适用于其他类型的网络。虽然LSUV(layer sequence unit variance)初始化是通用性的方法,但基于数据驱动,无法求得解析解且计算速度较慢。本文提出了自适应泰勒初始方法,缓解了现有初始化理论受限于非线性单元类型的问题,与其他方法相比,有较强的通用性且能求得解析解。

2 基于多层卷积神经网络的滑动窗口融合方法

为了使卷积神经网络更多地融合医学图像自身特征信息,本章从网络结构和网络融合两方面对卷积神经网络进行进一步的研究。在网络构成上,本章主要研究卷积神经网络的多层特性,也即通过构建不同网络结构模型对同一医学图像进行差别化学习,从而提高整个网络的泛化性能。同时,对于多层卷积神经网络模型,本章提出了一种基于滑动窗口的多层网络融合方法,该方法能够对多层网络的分类结果进行灵活的选择,优化多层卷积神经网络的融合过程,提高医学图像分类精度。

2.1 多层卷积神经网络

通过结构不同的多个卷积神经网络可以组成多层卷积神经网络,该多层卷积神经网络的示意图如图1 所示。

图1 本文所提的多层卷积神经网络结构图Fig.1 Structure diagram of multi-layer convolutional neural network proposed in this paper

在卷积过程中,卷积层对模型影响如下:(1)卷积核的大小决定感受野的尺度,也影响特征信息的多少;(2)卷积核的数目决定特征信息丰富程度。鉴于此,本节通过构建卷积核大小以及特征图数目不同的多个卷积神经网络,而后利用各个卷积神经网络进行训练,从而实现通过不同的网络模型结构拟合训练数据集的目的。最终,融合多层卷积神经网络得到最后输出结果,以便获得较优分类精度。

2.2 多层卷积神经网络的滑动窗口融合方法

文献[32]提出了针对输入图像进行不同的预处理而带来网络模型的多样性,但本文与文献[32]的思想不同,本文多层卷积神经网络多样性是由于该模型中蕴含多个结构不同的卷积神经网络。

一般的分类器融合方法主要有:最小规则(min rule)、最大规则(max rule)、平均规则(average rule)以及乘积规则(product rule)等。该类方法功能单一,局限性较大。故本文提出了一种全新的基于滑动窗口的分类器融合方法。该方法是一般分类器融合方法的普遍化拓展。它比传统的分类器融合方法更灵活和一般化。

本文以10 层卷积神经网络为例,对滑动窗口融合方法进行描述。该方法的基本流程如图2 所示。

图2 多层卷积神经网络滑动窗口融合示意图Fig.2 Schematic diagram of sliding window fusion of multi-layer convolutional neural network

对于一个输入的医学图像,经过各层卷积神经网络进行前向传导之后,1 到10 为各层卷积神经网络针对某个类别的分类概率。上述概率由低到高排序,然后一个滑动窗口被运用到经过排序后的分类概率分布中产生最终的分类结果。该过程主要完成以下工作:

(1)确定哪些网络的分类结果会融入到后续结果当中,该功能通过窗口的起始位置和选取范围确定。

(2)确定选定分类结果的融合方式,该功能通过参数Operation 来确定。在实际的网络融合过程中,滑动窗口融合相比于传统的单一融合方式更灵活。融合过程如下:

①参数说明

对于输入层,(,)表示第列卷积神经网络对第个类别的预测概率;表示滑动窗口的起始位置(Start);表示滑动窗口的范围(Range);表示滑动窗口的操作(Operation,可以设置为“Sum”和“Product”)。对于输出层,()表示滑动窗口融合后对第个类别的预测概率。

②卷积神经网络的列数:←(,1)。

③预测的类别数:←(,2)。

④对于类别从1 到做循环处理,将多列卷积神经网络的预测拼接成一个向量←[(1,),(2,),…,(,)],对向量中的元素进行排序t←(,1)。

⑤当==Sum,()←从t()开始往后个元素累加;==Product,()←从t()开始往后个元素累乘。

注意:对于t的索引超出时,则从t(1)开始索引。

Product 表示对所有经过滑动窗口选择的概率相乘得到最终分类概率:

通过调整滑动窗口融合参数后,该方法会转变为其他分类器方法,具体如表1 所示。

表1 滑动窗口融合方法的特例Table 1 Special cases of sliding window fusion method

该融合方法涉及的参数(,,)通过穷尽与训练方式得到。穷尽方式虽然理论上可以得到最好的分类效果,但是存在以下缺点:(1)穷尽方式得到参数所采用的算法复杂度大,记为(),其中是卷积神经网络模型的数量;(2)穷尽方式可以对已知数据测试效果较好,对未知数据测试效果较差。因此,穷尽方式不能满足实际的测试要求。训练方式是得到在训练集上所有参数组合,最后找到最优参数进行相关测试。其复杂度仍为(),但是测试的复杂度降低为(1)。使用训练的方式得到方法的相关参数,它有利于提高方法的通用性和普适性。因此,本文使用该方式得到相关参数。

3 基于权重初始化-多层卷积神经网络滑动窗口融合的医学分类算法

基于上述内容,本章构建基于权重初始化-多层卷积神经网络滑动窗口融合的医学分类算法。首先建立一个较优的卷积神经网络权重初始化方法,旨在通过优化技术来提高模型的收敛性和泛化能力。避免由于权重初始化问题导致卷积神经网络出现梯度消失等问题;而后该权重初始化方法引入到本文第2 章缩减了的多层卷积神经网络滑动窗口融合模型当中,从而提升多层卷积神经网络滑动窗口融合模型的自适应能力和泛化能力;最后建立基于权重初始化-多层卷积神经网络滑动窗口融合的医学分类算法。所提出医学图像分类算法的基本流程图如图3所示,它的基本步骤如下:

图3 本文所提医学分类算法基本流程图Fig.3 Basic flow chart of medical classification algorithm proposed in this paper

(1)首先对医学图像数据进行去噪等预处理。

(2)利用本文提出的自适应泰勒权重初始化方法进行卷积神经网络权重初始化,因为本文提出的卷积神经网络权重初始化方法能够有效缓解现有初始化理论受限于非线性单元类型的问题,与其他方法相比,有较强的通用性且能求得解析解,从而提升卷积神经网络模型的自适应能力和泛化能力,进而更多地获取医学图像特征信息。

(3)为了改善单个卷积神经网络无法完整获取医学图像的复杂特征信息,本文通过构建不同的网络结构对同一个医学图像的特征进行有差异化的学习,从而提高整个网络的泛化性能。同时,针对多层网络的融合,提出了一种滑动窗口融合机制,实现对多层网络的分类结果进行灵活的选择,优化多层卷积神经网络的融合过程,提高医学图像分类精度。

(4)将步骤(2)的方法引入到步骤(3)当中,进而通过步骤(1)~(3)建立基于权重初始化-多层卷积神经网络滑动窗口融合的医学分类算法,利用该医学图像分类算法对相关实例进行分析,得到分类结果。

4 实例分析

4.1 乳腺肿块分类实验

本实验所用乳腺肿块图像数据集是由南佛罗里达大学发布的乳腺钼靶X光图像数据集DDSM(digital database for screening mammography)。该数据集包含了乳腺肿块良恶性的类别标签和像素级别精度的病变区域标注信息。具体实验数据设置如下:数据集中的600 幅图像(分别有300 幅良性肿块图像和300 幅恶性肿块图像)分别按照60%、40%的比例将乳腺肿块数据划分为训练集和测试集。每个集合中的良性肿块和恶性肿块的数目相同。

为了验证本文方法的有效性,本文选择多次随机划分数据集的平均分类准确率(100 次随机划分的平均结果)作为实际测试结果,并与主流方法(其中文献[48]是机器学习分类方法,文献[49-50]均为优化CNN 方法)进行对比。具体测试结果如表2 所示。

表2 不同方法分类精度对比Table 2 Comparison of classification accuracy of different methods

表2 给出了不同分类方法的乳腺肿块良恶性分类结果,通过表2 可知,本文所提的基于权重初始化-滑动窗口融合卷积神经网络的医学图像分类方法获得了较好的效果。本文方法比文献[48]分类精度高2.8 个百分点,说明本文方法较传统的机器学习方法具有明显的优势。本文方法比传统CNN 精度高1.7个百分点,这说明本文方法较传统CNN 方法具有一定的优势。本文方法得到的分类精度比文献[49-50]方法分别高1.5 个百分点和1.1 个百分点,这也从侧面验证了本文所提的卷积神经网络方法要优于其他主要优化卷积神经网络方法。为了更好地说明本文方法为何优于其他卷积神经网络方法,下面就本文方法的理论及实际计算思路进行解释和说明。

本文方法对乳腺肿块图像进行可视化处理,得到的原始乳腺肿块图像灰度特征、CNN 特征表示层获得的肿块特征和特征变换后的CNN 特征进行了特征向量可视化分布,结果如图4 所示。图中,(a)~(c)分别代表肿块图像原始灰度特征、CNN 特征表示网络层的特征向量和经过本文方法处理后的网络层特征的可视化结果。每幅图中,黄色和蓝色的点分别代表良性肿块图像样本和恶性肿块图像样本。通过比较图中的不同层特征分布的可视化结果,可以知道,本文采用的CNN 特征和经过多层滑动转换后的特征大幅提升原始良恶性乳腺肿块图像间的区分性。此外,对比网络层代表的未经过大间隔度量学习层转换的CNN 特征表示,可以发现大间隔度量学习层能将原始乳腺肿块图像CNN 特征转换到类内分布更紧凑、类间分布更离散的新特征空间,使得不同类别肿块在特征空间中的可区分性更强,保证具有该特性的肿块图像特征分布更有利于分类准确率的提升。

图4 乳腺肿块特征可视化分布Fig.4 Visualized distribution of breast mass features

4.2 脑肿瘤组织分类实验

本实验数据源自北京大学第三医院,它包含12名脑肿瘤患者的脑部MRI 横断面图像。所有图像都进行格式、降噪等预处理,再由神经外科和影像科医生生动描绘出脑肿瘤真值区域,将其作为训练样本标签及对比实验参照标准。同时,由于卷积神经网络模型训练需要大量样本,为了扩大训练样本数量和测试本文方法对不同脑肿瘤图像进行分类的结果,实验中通过留一法进行十折交叉验证。对于所测试的12 幅脑肿瘤MRI 图,每次选取11 幅图像进行训练,另外1 幅图像作为测试集,每次实验中收集的训练样本和测试样本数目如表3 所示。

表3 每次实验样本情况Table 3 Sample situation for each experiment

实验中,首先对本文提出的基于权重初始化-滑动窗口融合卷积神经网络的脑肿瘤组织分类方法进行测试。为了验证本文方法的有效性,将本文方法与传统机器学习方法、其他深度学习方法进行比较。所有的实验数据及实验环境均保持一致,相关参数设置均通过寻优法获得,脑肿瘤组织分类结果的准确率如表4 所示。

表4 脑肿瘤组织分类结果对比Table 4 Comparison of classification results of brain tumor tissues %

通过表4 可知,传统的机器学习方法SVM 准确率仅为88.19%,这是因为SVM 属于小样本训练、测试方法,相对大样本来说,它的效果不如深度学习方法。传统的CNN 方法平均分类准确率为91.12%,较SVM 方法提升了将近3 个百分点,这也充分说明了深度学习方法较传统机器学习方法具有较大的优势。文献[51]提出的优化CNN 方法的平均分类准确率为93.67%,它不仅远高于传统SVM 方法,也高于传统CNN 方法。这是因为该方法在一定程度上抑制了卷积神经网络存在的过拟合问题,故取得了较好分类效果。本文方法得到的平均分类准确率达到95.71%,在12 例脑肿瘤患者MRI 样本的图像块分类任务中,都取得最高的准确率,尤其是在分类难度较高的2 号样本、11 号样本和12 号样本中体现了较为突出的优势,它充分验证了本文方法在大幅度提升分类准确率的同时,也具有良好的稳定性和鲁棒性。这是因为本文方法能够较好地解决卷积神经网络存在的权重初始化和过拟合等问题,所以该模型结构能够充分发挥深度学习方法的优势,故分类效果最高。此外,这四类方法在运算速度上,本文方法较其他深度学习方法更优,与其他机器学习方法处于一个计算量级上。也就是说本文方法较其他深度学习方法的复杂度要低,与其他机器学习方法复杂度差异不大。

4.3 医学数据库分类实验

为了进一步验证本文所提算法对医学图像的分类效果,本节将对两个公开的医学数据库(TCIA-CT数据库和OASIS-MRI 数据库)进行分类测试,并与主流图像分类算法进行对比分析。

(1)数据库介绍及测试过程说明

TCIA-CT 数据库是美国国家癌症研究院和华盛顿大学联合建立的开源数据库。按照文献[54]中的设置,本文获得与DICOM 图像类型相同的TCIA-CT数据库,它将用于本节的实验测试,部分图片示例如图5 所示。本文从数据库中选择604 张结肠影像图片。而且,该TCIA-CT数据库包含了8类结肠图片,各自数量分别是52、45、52、86、120、98、74和85张。本文使用基于数据增强策略来完善该数据库,获得了988张图像的训练数据集和218 张图像的测试数据集。

图5 TCIA-CT 数据库部分示例图片Fig.5 Some sample pictures of TCIA-CT database

OASIS-MRI 数据库是被OASIS 机构创立的核磁共振生物医学图像数据库,该数据库包含了416 位来自18 岁到96 岁的个体。为此,本文将其分为四个类别,每个类别分别包含了152、121、88 和68 张图像,示例图片如图6 所示。这四个类别的图像分类难度大,即使人眼观察也存在困难,更何况使用计算机进行此数据库的分类。针对这个数据,本文根据相同的数据选择和数据增强方法,构成了498 张图像的训练集和86 张图像的测试集。

图6 OASIS-MRI数据库部分示例图片Fig.6 Some sample pictures of OASIS-MRI database

(2)分类结果与分析

使用本文提出的分类算法与其他主流图像分类算法分别对上述两个医学图像数据库进行分析,再对分类结果进行统计,统计结果如表5 所示。

表5 不同算法在医学图像数据库的分类精度Table 5 Classification accuracy of different algorithms in medical image database %

通过表5 可知,本文提出的基于权重初始化-滑动窗口融合卷积神经网络的医学图像分类算法相比传统分类算法、其他深度学习算法,分类精度具有较为明显的优势。同时,本文方法在两个医学图像数据库中的表现都比较稳定,分类结果也很准确。具体来看,表中前三个传统分类算法主要是将图像特征提取和分类分开成两个步骤,然后组合而成用于医学图像的分类。而后面三个对应的深度学习算法可以将特征提取和分类过程统一到一个整体里面完成对应测试。总体上来说,一体化的分类算法取得分类结果的鲁棒性和精度都要高于组合式的传统方法。这也是深度学习图像分类算法整体高于传统图像分类方法的主要原因。

具体地,对于TCIA-CT 数据库中的表现,只有本文算法获得了最好的分类结果。而其他特征对应的三个算法的分类精度明显较低。而另外两个对比的深度模型DeepNet1 和DeepNet3 对应方法的结果还比较满意,虽然不能取得100%的分类结果,但是相比传统方法具有较大优势。对于最难分类的OASISMRI 数据库,可以发现所有的深度模型算法的效果明显好于传统类型的算法,这就表明了自动学习深度特征应用于医学图像分类任务上的精度高于人工设计的图像特征。之前在TCIA-CT 数据库分类中表现不错的HOG+KNN、HOG+SVM 和LBP+SVM 算法,在OASIS-MRI 数据库分类中得到的分类结果较差,尤其是LBP+SVM算法,只有57.5%的分类准确率。

总之,传统分类算法在医学图像分类任务中存在分类精度不高和稳定性差的缺点,说明这种组合式的传统分类方法对于生物医学图像分类而言效果不好,即使包含了出色人工设计特征描述子和流行的机器学习分类器。而且,深度分类算法在其中三个医学图像数据库(这三个医学图像数据库是医学不同方向的成像图像,也就是说这三个医学图像数据库代表不同类型的医学图像,所蕴含的医学图像特征信息存在较大的差异性)中的分类精度明显地优于传统分类算法,这也从侧面证明了深度学习模型所具有的优势。此外,本文提出的基于权重初始化-滑动窗口融合卷积神经网络的医学图像分类算法,相比其他提出的深度分类算法DeepNet1 和DeepNet3,可以得到最好的分类表现。这是因为本文提出的深度学习模型不但解决了模型权重初始化问题,而且还解决了深度学习模型中多层关联的问题。

5 结论

本文从网络优化角度出发,通过优化方法提高网络的非线性建模能力,并通过改善吸引域提高收敛后的解的泛化性能,进而提出了一种新的网络权重初始化方法,缓解了现有深度学习的初始化理论受限于非线性单元类型的问题,使得深层网络的结构设计可以有更多的选择,增加了神经网络处理不同视觉任务的潜力。同时,为了充分利用医学图像的特性,本文对多列卷积神经网络的框架进行深入研究。首先,通过改变卷积神经网络不同层次的特征图数量和卷积核的大小,构造了不同结构的卷积神经网络模型,以更好地适应待处理医学图像的医学特性;然后,不同的卷积神经网络模型分别在同一个数据集上进行训练;最后,训练得到的异构多列卷积神经网络再通过本文提出的一种自适应的滑动窗口融合机制,共同完成医学图像的分类任务,实现医学图像的自适应、高精度分类。基于上述思想,本文提出了一种基于权重初始化-多层卷积神经网络滑动窗口融合的医学分类算法。

乳腺肿块分类实验结果表明,本文方法的分类精度最高,达到98.2%,这是因为采用的CNN 特征和经过多层滑动转换后的特征大幅提升了原始良恶性乳腺肿块图像间的区分性,使得不同类别肿块在特征空间中的可区分性更强,保证具有该特性的肿块图像特征分布更有利于分类准确率的提升。

脑肿瘤组织分类实验结果表明,本文方法得到的平均分类准确率最高,达到95.71%,在12 例脑肿瘤患者MRI 样本的图像块分类任务中,对分类难度较高的2 号样本、11 号样本和12 号样本体现了较为突出的优势,充分验证了本文方法在大幅度提升分类准确率的同时,也具有良好的稳定性和鲁棒性。

医学数据库分类实验结果表明,对于TCIA-CT数据库和最难分类的OASIS-MRI 数据库,本文提出的分类算法都获得了最好分类结果。它优于传统机器学习算法,深度学习模型能够更好地获得医学图像特征信息,为后续分类奠定基础。它优于其他主流深度学习算法,这是因为本文提出的深度学习模型不但解决了模型权重初始化问题,而且还解决了深度学习模型中多层关联的问题。

猜你喜欢

滑动卷积神经网络
用于弯管机的钢管自动上料装置
基于递归模糊神经网络的风电平滑控制策略
基于3D-Winograd的快速卷积算法设计及FPGA实现
一种并行不对称空洞卷积模块①
神经网络抑制无线通信干扰探究
从滤波器理解卷积
针对移动端设计的基于滑动响应方式的验证码研究
基于神经网络的中小学生情感分析
Big Little lies: No One Is Perfect
基于傅里叶域卷积表示的目标跟踪算法