结合MRI多模态信息和3D-CNNs特征提取的脑肿瘤分割研究＊

1.郑州人民医院影像科(河南 郑州 467000)

2.郑州大学附属郑州中心医院放射科 (河南 郑州 467000)

杨新焕1 张 勇2

脑肿瘤是一种常见的神经系统疾病，具体指在脑、脑膜、脑血管、脑垂体、脑神经、胚胎残余组织等颅内组织部位的原发性肿瘤，以及由颅脑外部的其他组织恶性肿瘤转移侵袭至颅内而生发的继发性肿瘤。根据组织病理学的分类可分为颅脑肿瘤、脊神经肿瘤、淋巴瘤、脑膜瘤、造血系统肿瘤、鞍区肿瘤、生殖细胞肿瘤、转移性肿瘤、胶质瘤等。根据肿瘤的性质又可分为良性和恶性肿瘤。良性脑肿瘤病程长，生长缓慢，未发生浸润或转移，会对组织神经压迫导致一定症状。恶性脑肿瘤分化不成熟，生长迅速，造成浸润破坏脑组织，有转移能力，使脑部组织功能障碍。脑肿瘤患者的临床症状表现为神经性头痛，呕吐，肌肉抽搐，精神意识障碍，癫痫，记忆力改变，思维智力改变等。由于脑作为中枢神经重要组成部分，肿瘤的出现会严重干扰到中枢神经功能的发挥，对人体造成一定程度的损害。

对于脑肿瘤的检测，临床上多用到脑核磁共振成像技术(brain Magnetic Resonance Imaging，MRI)。这是一种利用生物体内特定的磁性原子核处于磁场中时所表现出来的核磁共振作用所生发的信号，通过利用空间编码和重建技术而获得的一种医学影像技术[1-4]。通过对于组织特征参数以及扫描时间参数的具体相互配合从而得到不同模态的图像来展示不同的信息。MRI的成像特点主要包括以下七个方面：(1)多参数成像可以采集得到较多的信息。目前临床的使用是为了检测人组织氢质子(H)的密度空间分布以及弛豫时间。对于正常的组织和病灶组织产生的该两种特性有所差异，信号也不同。(2)无创伤成像，是指MRI检测原理为利用电磁波成像而非有害的电离辐射，对人体不会产生副作用或者损伤。(3)较高的组织对比度，这是由于H在任何组织中都有分布，水、蛋白质、脂类中的H密度不同，则MRI信号不同。(4)可提供生理和生化信息。(5)任意方向进行准确定位，这是由于MRI可在任意方位进行断层来定位。在完成一次数据采集之后能重建多方位图像。(6)无骨伪影，即不会受到骨骼重叠造成的伪影干扰。(7)水成像能力，即在尿路、胆管、脊髓等部位完成造影不受干扰[5-9]。

使用MRI技术对脑肿瘤进行精确分割对于后续的治疗具有重要的意义。现有的对图像进行分割的方式分为以下四种：基于区域，基于阈值，基于模型，基于像素点。其中，基于区域的分割法优点在于简便易实现，对灰度单一，纹理清晰的图像连通分割结果较好，局限性在于容易受到局部噪声和不均灰度的影响导致过度分割[10]。基于阈值的分割只适用于灰度分布均匀，不同区间有明显差异的图像，多用于前期分割。基于模型的分割优点在于可适应解剖结构多变性并且应用范围广泛，局限性在于计算代价昂贵[11-12]。而基于像素点的分割，可以做到对每一个像素邻域局部纹理和灰度信息的充分利用，如神经网络、模糊C聚类(FCM)、马尔科夫随机场(MRF)等，从而进行非线性分类判别，也是如今脑肿瘤MRI图像分割的热点方式[13-14]。该种方式也具有一定局限性，在于参数变化会极大地影响到分割结果，且算法的空间复杂度和时间复杂度都较高。而随着技术的革新，局限之处不断被突破，例如核函数的引入优化了算法的空间复杂度和时间复杂度，混合函数的引入以及与全局核函数的加权组合使得分割更精细，该种方式在掌纹识别以及人脸识别中得到广泛应用。

而若实现基于像素的脑肿瘤分割使分类器工作更简单化，则主要集中针对特征提取，特征选择以及分类器设计的优化。对特征的提取方法分为模型方法、统计方法以及信号处理方法三种。而来自Yam LeCun等提出的卷积神经网络(Convolutional Neural Networks，CNN)是一种有监督深度的学习方法，通过将原始输入数据的循环卷积下采样，并以有监督训练的方式得到卷积权重，而使得原始输入中有利于分类的特征得到提取[15]。而难题在于，CNNs涉及到多次卷积和下采样，要求输入对象为一幅图像，对于纹理丰富变化多样的MRI脑肿瘤图像来讲，其特征提取较困难显得并不适用[16]。

本次研究拟将MRI图像中多模态信息在自适应加权混合核函数SVM分类器基础上结合3D-CNNs特征提取，通过计算机处理技术从而实现对脑肿瘤的有效分割，故选取我院2016年3月～2018年3月期间前来治疗的恶性胶质瘤患者5例作为研究对象进行研究。

1 多模态3D-CNNs的建立

1.1 CNNs的原理 CNNs主要通过局域感受野，权值共享以及次抽样来实现对于特征信息的提取。其中局域感受野指的是对于神经元而言，每一层只与上一层小范围内的神经元单元有连接，运用局域感受野后每个神经元可以提取到的初级视觉特征例如断端点、方向线段、角点等。同时权值共享的应用将卷积神经网络的参数大大减少，实现了多种扭曲形式诸如缩放、位移不变[17-19]。在卷积层卷积的结果经过激活函数可得到该特征图。激活函数多用双曲正切函数，如式(1)所示：

1.2 多模态3D-CNNs特征提取原先的经典2D卷积神经网络系统中，若原始输入层为32×32，经过6个5×5邻域卷积可得到C1层，囊括了6个特征图。再接着采样得到C2层，大小为28×28，则两次卷积，下采样，得到一维特征的F5层。使用径向基函数对特征分类，则可构建有监督的深度学习算法。具体图示见图1。该种方式多用于数字识别，当运用到脑肿瘤分割时有以下几点难题：(1)要实现对脑肿瘤分割需先将单个像素点分类，则原始输入只局限于单个像素点邻域，该邻域大小难以把控；(2)肿瘤大小不同则不同图像层的肿瘤大小对应不一样，即便通过训练层可以确定原始输入层邻域值，该邻域是否适合该病人所有肿瘤点仍难保证；(3)高精度分类的实现。为了以上难题的解决，3D-CNNs应运而生。

具体3D-CNNs如图2，由4个模态相同位置小邻域组成3D原始输入层(14×14×14)，再用6个权值共享的大小为3×3×2卷积模板，卷积原始输入层即可得到6个12×12×3的特征图C1，经过2D平均下采样可得到S2层。将S2层所有特征求和结果通过12个3×3×2卷积模板可得到12个6×6×2特征图C3层，再平均下采样可得到S4层，按列归一化可得到96维特征向量F5。

经优化后的多模态3D-CNNs可实现四模态原始输入层经过3D卷积后可自动提取个模态之间差异信息，可自动剔除噪声以及冗余信息；而多模态共同输入使得邻域信息需求量大大减少，提高了脑肿瘤分割的精度。

表1 多模态2D-CNNs 特征提取与多模态3D-CNNs 特征提取分割结果对比

图1 2D-CNNs结构图；图2 多模态3D-CNNs卷积结构图；图3 不同特征训练层分割结果对比；图4-6 不同特征测试层分割结果对比。

1.3 基于多模态3D-CNNs特征提取的MRI脑肿瘤分割 基于多模态3D-CNNs特征提取的MRI脑肿瘤分割主关键在于对图像信息的特征提取。对于特征提取，多模态3D-CNNs可提取到将各模态间分类的差异信息，然而深度学习的进行会使原始输入信息发生损失。此时可利用Haar小波变换进行信号处理。进行原始特征获取时利用多模态MRI图像3D邻域灰度信息，邻域内均值，Haar小波低频系数和多模态3D-CNNs特征等来共同构成文本分割初始特征。对3D邻域采取5×5×5，通过主成分的分析特征性选择初始特征集，从而降维，也可以除去多余信息。再选取SVM进行像素分类，一般随机选取患者的一层图像(含肿瘤)，进行多个点测试。对于多模态3D-CNNs参数训练，可随机选取一层图像后，选取一定数目的点作为训练样本，检测当邻域信息不同时原始输入层或者大小的选取。当邻域大小确定再进行多次学习训练，最终获得多模态3DCNNs不同卷积层权值以及偏置参数。

1.4 方法 本次研究用到的MRI图像来自于我院前来诊治的恶性胶质瘤患者5例。通过预实验确定多模态3D-CNNs原始输入层邻域取值范围之后，采取多模态3DCNNs方法对脑肿瘤MRI图像分割。并与未加入多模态3D-CNNs的方法以及2D-CNNs特征方法进行对比，主要参考dice系数，假阳性率和sensitibity。其中dice系数表示实验分割结果和手动分割结果的相似度，sensitibity用来表示分割正确肿瘤点的百分比。

多模态3D-CNNs原始输入层经过两次卷积以及两次下采样可得到初始特征。原始输入层为(10+4n)×(10+4n)×4。预实验发现最优邻域大小范围为13～24，考虑到分割时间与分割精度的选取，将邻域寻优范围确定为10～25。

2 结 果

2.1 患者2和5在加入多模态3D-CNNs特征后 分割精度并无明显变化，分析后发现是因为仅邻域灰度与Haar小波低频系数即可描述各像素点特征；患者1、3、4在加上3D-CNNs特征后训练层的分割精度改善明显，多模态3D-CNNs自适应的提取有利于分类。由此可见，训练层主观特征提取的适用性并不高。具体见图3。

2.2 患者分割结果 在加入多模态3D-CNNs特征之后，患者的dice系数均有不同程度的提高，sensitibity系数也有改变，假阳性率得到显著改善。由此可见，多模态3D-CNNs有监督的特征提取方式可使大邻域原始特征获得更多边界信息，而下采样的进行使部分冗余信息去除，则特征数不致过大，最终分割精度极大改善。具体见图4-6。

2.3 多模态2D-CNNs特征提取与多模态3D-CNNs,特征提取分割结果对比 加上多模态3D-CNNs特征提取后，dice系数变为(88.26±4.65)%，显著优于多模态2D-CNNs特征提取的(83.67±4.22)%。而多模态2DCNNs特征提取的运用甚至比单独使用灰度邻域结合haar小波低频系数的分割结果更精确。这是由于肿瘤为立体三维结构且大小不均，在训练层上获得的2D-CNNs模型难以适应该患者肿瘤层图像。此外获取4个模态的2D-CNNs理论上虽能获取更丰富模态之间差异信息，但由于特征信息过多，使像素线性不可分程度增加，累及分割结果。具体见表1。

3 讨 论

CNN作为一种对图像特征的提取手段，主要针对于分类对象特异性学习，并有监督特征，在多个领域应用广泛。对于MRI脑肿瘤分割，常规的2D-CNNs局限性在于特征提取难以到达一定程度的高精度分割[20]。本次研究所提出来的多模态3D-CNNs特征提取一方面可对多个模态差异信息加以利用，一方面可根据肿瘤差异变化实现对边界信息的区分，使得分割结果更加精确。本次研究结果显示，在加入多模态3D-CNNs特征之后，患者的dice系数均有不同程度的提高，sensitibity系数也有改变，假阳性率显著得到改善；加上多模态3D-CNNs特征提取后，dice系数变为(88.26±4.65)%，显著优于多模态2D-CNNs特征提取的(83.67±4.22)%。而多模态2DCNNs特征提取的运用甚至比单独使用灰度邻域结合haar小波低频系数的分割结果。由此可见，多模态3D-CNNs特征提取能够适应多模态MRI脑肿瘤图像，实现对图像的准确分割。

综上所述，基于多模态3DCNNs特征提取的MRI脑肿瘤分割准确度高，适应不同患者不同模态之间的多变性和差异性，值得参考。