多模态脑肿瘤图像的精准分割研究综述

何灏 伍祥 朱伟杰

摘要：脑肿瘤图像的精确分割是脑肿瘤疾病诊断和治疗的关键核心技术。针对脑肿瘤图像严重灰度不均匀，纹理不稳定和多样性复杂性的特点，该文分析了多种新颖有针对性的算法去分别解决这些问题，并着重分析了基于水平集方法的驱动的水平集模型，用于分割复杂多模态脑肿瘤图像;最后将多模态脑肿瘤图像分割的挑战和问题进行了总结。

关键词：脑肿瘤图像;精确分割;水平集方法;机器学习

中图分类号：TP391.4 文献标识码：A

文章编号：1009-3044（2020）08-0188-04

1 研究意义

脑肿瘤是指发生于颅腔内的神经系统肿瘤，在人群中，脑肿瘤发病率很高。据调查，脑肿瘤的发病率为7.8/10万人至12.5/10万人[1]。脑肿瘤可发生于任何年龄，以20-50岁年龄组多见。由于颅内肿瘤发生于有限的颅腔容积内，无论良性还是恶性肿瘤，占位效应本身就可以压迫脑组织并造成功能损害，甚至威胁生命。

近年来，随着环境污染的加剧、生活压力的增大以及遗传因素的影响，脑肿瘤的发病率呈逐年上升的趋势。最新的肿瘤流行病学调查研究表明[2]，脑肿瘤发病率约占全身肿瘤发病率的1.4%，死亡率超过2.4%。值得注意的是，据美国国立卫生健康研究院的美国国立癌症研究中心2014年的最新调查表明，如图1所示，近半个世纪以来，脑肿瘤疾病的生存年限基本上没有太多提高。脑肿瘤已经成为危害人类生命健康的杀手。

脑肿瘤的临床表现多种多样，早期症状有时不典型，临床表现多样而且复杂，而当脑肿瘤的基本特征均已具备时，病情往往已属晚期。近年来，随着计算机成像技术的不断发展，各种模态的成像方式（计算机断层摄影（Computed Tomography，CT）和磁共振成像（Magnetic Resonance Imaging，MRI》的出现使得计算机辅助诊断渐渐成为一种重要且必要的手段。CT和MRI的应用大大提高了脑肿瘤的诊断能力，也使得脑肿瘤的临床治疗效果得到了改善。

然而在计算机辅助诊断和治疗过程中，脑肿瘤的精确分割是一项具有重要意义且非常紧迫的任务。首先，对精确放疗的重要性;对于尚未广泛转移的肿瘤患者，目前普遍采用的是基于图像引导的放射疗法[34]。这种疗法需要依据患者的断层图像来定位肿瘤边界和危及器官，并据此计算患者体内的放射剂量分布，制定放疗计划。为了避免危及正常器官从而延长病人生存期甚至治愈脑肿瘤，对脑肿瘤病人的精确放疗是至关重要的。然而，精确放疗的前提是通过精确的分割脑肿瘤规划出理想的靶区。其次，对构建放射组学的重要性;放射组学即通过分析大量的定量特征从而广泛的量化肿瘤的表型[26]，其处理流程如图2所示，分为图像的获取，分割，特征提取和量化以及最终分析，由于需要对肿瘤进行特征提取和量化，所以有效的脑肿瘤图像分割是特征提取和数据分析的基础，同时也是整个放射组学中非常重要和挑战性的环节。由于不同的病人在肿瘤图像上展示的不同的纹理，形状，灰度变化等差异性特征，通过对大量的多模态图像特征的分析，放射组学研究聚焦在改进医学成像的数据分析能力和提供了比医学专家更多和更好的信息[12]。通过对放射组学的构建和研究，可以进一步地通过算法手段分析和有针对性的治疗肿瘤疾病。最后，在国际医学领域的重要性，2011年美国基因组学与生物医学界的智库发表了《迈向精准医学：建立生物医学与疾病新分类学的知识网络》[8];2013年8月国际放射学会在北京举办了展望未来五年医学技术的发展论坛：确定了精准医学是未来五年医学影像的发展方向。由此可见，精确分割脑肿瘤已经被广泛提及并且逐渐成为国际医学领域的研究热点及目标。

目前，检测和诊断脑肿瘤疾病已经是相对容易做到的，但是精确地分割脑肿瘤仍然是脑肿瘤临床治疗领域的一项国际难题。目前，医院在制定放疗计划时普遍采用手工勾画的方式来确定放疗靶区。然而，手工勾画存在诸多弊端：一方面，由于病人的图像往往多达上百个断层月中瘤也可能转移至若干处，这直接导致医生的筛查过程非常耗时;另一方面，由于恶性肿瘤的侵入性生长在图像中（例如，鼻咽部肿瘤的CT图像）边界并不明显，医生在勾画此类图像时，需要结合肿瘤生长造成的解剖结构变化来勾勒大致的肿瘤边缘。同时，医生在诊断脑肿瘤时，存在一定差异。不同医生对同一个病人的脑肿瘤图像，或是同一个医生在不同时期对同一个病人的脑肿瘤图像的分割结果存在一定的差异。如图3所示[3]，针对同一幅脑肿瘤图像，四个肿瘤专家分别给出了不同的肿瘤轮廓，由此可见，手工勾画过程枯燥、困难耗时，并带有一定的主观性，重复性差。进一步，利用计算机技术对脑肿瘤进行有效分割，越来越受到人们的重视。研究肿瘤图像的精准的分割方法，为肿瘤靶区的勾画提供快捷、且重复性较高的方案，成为图像引导放疗技术领域的一个重要研究分支。

脑肿瘤图像的精确分割的研究难点体现在：1）从肿瘤本身特点来讲，由于肿瘤产生和生长的病理过程不可预测，肿瘤形状无规律，边界不规则，甚至肿瘤内部出现灰度不均匀的情况，同时也存在图像采集过程中引入噪声等因素肿瘤图像的分割依然具有挑战性。2）从使用的图像数据方面来讲，对于单模态图像来讲，由于成像设备的场偏移效应、患者体位的移动以及感兴趣区域的解剖结构形状的复杂性和易变性，使得解剖结构的边界变得不明确和不连续;所以，单模态图像能提供的诊疗信息非常有限。虽然在多模态联合分割时，对于单个模态的图像而言，上述的图像采集误差并不会消失，但通过合适的策略充分利用各模态中有用的信息，就能够得出比采用单模态分割更精确的结果。如何充分融合这些不同模态医学图像的有效信息成为多模态联合分割方法中需要解决的重要问题。3）从脑肿瘤分割的实际问题分析，虽然分割方法众多，但是MRI脑肿瘤图像分割还是没有摆脱出具体任务具体分析的局面，没有形成一个通用的解决方法[18]。

2 方法阐述

目前常用的图像分割方法大致分为以下五大类：基于阈值的方法，基于边缘检测的方法，基于区域生长的方法，基于图割的方法和基于弹性模型的方法。然而传统的医学图像分割方法有基于阈值和区域生长这类简单的图像分割方法，也有基于统计形状模型（ASM）[19]和图割（Graph Cut）[20]这类较复杂的分割方法。基于阈值的方法主要是利用一个或多个阈值[25]对图像区域进行划分，然而，由于阈值法仅仅利用图像的部分信息：例如灰度，梯度等，不能利用多模态图像的尽可能多的信息，因此，阈值法的分割能力是非常有限的。基于区域生长的方法通过预定义的相似度准则对邻域像素进行融合，从而不断的组成新的区域以便分割整个图像，由于脑肿瘤图像的严重灰度不均匀性等特点使得理想的相似度准则难以成形。例如，Doyle等人[9]提出了自动的脑肿瘤分割方法，用隐马尔科夫模型来估计像素之间空间关系，并将其作为先验信息用于指导目标分割。然而由于脑肿瘤的侵入性生长等特点使得单纯的灰度统计或者像素关系并不足以辨别目标和背景区域。基于主动形状模型的方法有其特有的优势：通过提取和分析形状特征，然后在形状特征的约束下对目标进行分割，然而，由于脑肿瘤的多样性，形状不稳定性导致了很难训练出一种或几种理想的形状特征对目标边界进行约束。基于图割的算法通过分析图的最小割问题而实现图像分割，这类算法的主要思想是将图像看成是由点和边组成的一幅连接图，通过能量函数的优化算法对边进行切割使得连在一起的点之间的相似度最高，由于脑肿瘤图像本身的复杂性，包括纹理不稳定等特点，使得图割的方法在脑肿瘤分割中实用性不高。例如，Sarah等人[7]提出一种基于图方法的肿瘤分割和配准框架，其中，利用离散马尔科夫随机场去模拟分割过程，通过模式分类技术对图像进行分割。然而，如何更好地提取图特征在文章中没有研究。基于弹性模型的方法主要是指基于能量泛函的方法（比如水平集方法等）去自动的检测脑肿瘤边界。水平集方法用于图像分割具有以下优势：1）有坚实的数学基础作为理论支撑;2）通过最小化能量泛函能够实现闭合曲线的自由拓扑;3）通过在能量泛函中施加约束项和先验信息项等可以改进水平集方法的分割准确度。因此，近年来，水平集方法已经广泛应用于医学图像分割领域。水平集方法主要分为两大类：边缘型和区域型水平集方法，Cassel等人[28]提出的测地主动轮廓模型是最典型的边缘型水平集方法之一。边缘型方法主要依赖图像的边缘特征包括梯度等信息去检测目标边缘，所以使得这类方法有明显的缺点：不适用于边界不清晰的图像。同时，由于区域型水平集方法具有较强的捕捉灰度信息的能力且不依赖与边缘信息从而使其逐渐成为研究热点。区域型水平集方法分为全局型，局部型和混合型模型。Chan等人[27]提出的Chan-Vese模型作为最经典的全局区域型水平集模型使其成为局部型和混合型区域型水平集方法的一个重要基础。这时，研究者提出了许多局部区域型水平集方法解决灰度不均匀的问题，Darolti等人[36]通过在水平集演化轮廓周围的局部邻域上定义局部区域描述器从而尽可能地避免灰度分布的重叠，从而用来分割灰度不均匀图像。Lankton等人[35]提出了在水平集的演化轮廓边缘的局部区域内分别拟合目标和背景区域的框架，使得几类全局水平集方法均可套用此框架从而有效的分割一些灰度不均匀图像;进一步，研究者通过区域尺度拟合[13]或者灰度不均匀矫正的方法[14]能够解决由光照或设备因素引起的医学图像的灰度不均匀问题;随着愈加紧迫的脑肿瘤分割的必要性以及挑战性，通过分别提出了基于高斯分布的局部灰度不均匀拟合[15]和校正的方法[16]，以便于解决脑MRI图像的复杂灰度干扰和大脑区域的精确分割问题;此外，以区域型水平集模型为基础，研究者们提出了许多分割带有纹理特征的图像的方法，如Sandberg等人[29]提出了将Gabor滤波器特征融人区域型水平集模型中分割纹理图像;Rousson等人[31]利用结构张量来提取一定方向的纹理特征从而借助水平集分割纹理图像;Imen等人[30]利用多种纹理特征包括灰度共生矩阵，Gabor变换等去分割纹理图像;由于这些方法主要是依赖Gabor，结构张量，灰度共生矩阵等算子提取纹理特征，分割效果主要依赖算子对纹理特征的处理效果。所以，针对复杂纹理图像，分割效果一般不鲁棒。如Wang等人[32]提出的LCV模型通过为全局项和局部项分别制定權重系数从而对两项进行融合。Wang等人[33]提出了一种张量水平集方法，通过构造张量的Chan-Vese模型的方式对多类不同的特征进行了简单的融合。Guo等人[10]提出了一种基于水平集方法的半自动的分割方法，人工将初始轮廓的位置放置于脑肿瘤轮廓的附近，借助边缘型和区域型水平集的构造思想，同时利用局部和全局相结合的原则构建水平集能量泛函，通过最小化能量泛函得到最终的分割结果。Sha-heen等人[5]首先提取图像的纹理，形状和灰度等多种特征，这时在水平集方法的基础上通过期望最大化方法解决多特征的融合问题，从而达到分割多模态的脑肿瘤。以上两种方法都类似一种简单的累加方式的融合，并不能通过直观或定量分析的方式对多项多特征进行有效的融合。然而，怎样使得融合的特征具有互补性是其没有解决的关键问题。尤其值得注意的是，随着近来比较流行的机器学习算法在图像处理领域的应用，水平集方法也已广泛地与稀疏表达等方法相结合，从而达到更加准确的分割结果。低秩表达已开始用在复杂自然图像的分割中解决一些基于统计分析的图像分割问题[23]。稀疏表达以其特有的维数约减能力，使其高效地对图像区域进行划分[24]。Wang等人[17]提出了半监督的分割方法，通过事先确定一些纹理块作为训练样本，这时借助稀疏表达的方法对数据进行训练，而后进行有效的分类以便驱动水平集的轮廓演化。这类方法通过统计局部直方图的信息等特征，一方面没有针对性的多特征的提取和多特征训练学习;另一方面缺乏有效的融合。所以，对于具有严重干扰，灰度不稳定的复杂脑肿瘤图像时无效的。

綜上所述，（1）脑肿瘤图像的严重灰度不均匀已经成为阻碍准确分割的一大障碍，通过利用局部信息的灰度不均匀矫正方法，传统的水平集方法能够在一定程度上使图像近似灰度均匀。然而，鉴于脑肿瘤图像的严重灰度变化，边界轮廓不连续和部分区域灰度不稳定等特点，使传统的水平集方法已不能准确矫正灰度不均匀效果;（2）由于脑肿瘤图像的纹理特征的不稳定性，尺度和方向的不确定性等特点，导致仅仅通过现有的静态图像分析确定的纹理模式是很困难的。（3）虽然水平集方法在图像分割领域已经体现出强大的优势，但是现有的每种算法都有着一定局限性且在分割一般图像时都难以取得比较满意的结果，所以，当前的趋势是注重多种分割算法的一起使用，有效结合多种算法的优点;（4）如何更好地提取单个模态图像中图像的特征，如何设计分割框架，充分利用多特征，多种算法之间信息的互补性，以更高精度的实现分割。即虽然多种算法或多项的使用是复杂图像分割的研究趋势，但是有效地对多项，多特征进行融合是多项方法能否成功分割的关键。

3 结论

第2部分，本文详细分析了各种分割方法解决多模态脑肿瘤图像的研究现状，针对以上的问题和挑战，多模态脑肿瘤图像的分割更应该聚焦于先进的研究算法与水平集的结合来解决复杂脑肿瘤图像的分割问题，未来的研究应该集中在以下几点：1）将自适应多尺度算法应用到水平集泛函中，该算法能够针对不同的灰度不均匀程度确定相应局部处理尺度，最大限度上抑制图像的灰度不均匀效应，从而能够自适应的解决一些脑肿瘤侵入性生长等特点所造成的严重灰度不均匀问题;2）使用动态纹理的特征提取以及处理方式解决静态纹理图像的分割问题;传统的纹理特征模式，比如灰度变化信息，纹理基元，邻域变化模式等，很难准确辨识复杂的静态脑肿瘤图像的肿瘤区域和正常组织，一方面没有足够的模式进行分析和训练，另一方面缺乏模式的全面性;我们提出用动态的纹理模式解决静态脑肿瘤图像的分割问题。由于动态纹理主要针对不稳定的纹理特征包括不稳定的尺度，方向等特征，从而能够有效地解决多模态脑肿瘤图像的纹理特征不稳定性的问题;3）基于训练的方式指导水平集轮廓演化，传统方法已经采用，然而重点在于不但要关注将新颖的有针对性的学习方式包括训练密度，边缘和纹理等应用到水平集中，而且着重利用深度学习算法提取由复杂脑肿瘤图像的灰度，纹理，形状等的不稳定特点所造成的复杂多层次特征;由于新兴的机器学习方法（例如，深度学习和低秩表示）在数据处理方面的优势，包括更加有效的学习和训练区域先验信息，更加鲁棒的分析纹理特征的相关性从而聚类等，这些特点使其能够更加有效的解决复杂脑肿瘤图像的分割问题;最重要的一点，应该关注多特征多算法的互补性融合，由于针对复杂脑肿瘤图像不同的特征而提出不同针对性算法，近年来核函数[21]在图像处理领域的应用及发展，尤其是已经融入水平集方法解决一些对图像数据的升维问题[21]，考虑用多核的核函数对数据进行升维处理，从而对多项多特征进行有效的互补融合，最终在高维空间对图像进行准确的分割。所以，水平集方法与新颖研究方法的综合利用将是MRI脑肿瘤图像分割技术的发展方向。

参考文献：

[1] A.JemaI，R.SiegeI，J.Xu，E.Ward.C aneerstatisties.CACaneerjClin.，2010，60：277-300.

[2] Siegel R，NaishadhamD， JemaIA. Cancer statistics， 2013[J]. CA：ACancer Journal for Clinicians，2013，63（1）：11-30.

[3] Luo S，Li R，Ourselin S.A new deformable model using dy-namic gradient vectorflow and adaptive balloon forces. APRSWorkshop on Dig Image Comp;2003： 9-14.

[4] Foo JL.A survey of user interaction and automation in medi-cal imagesegmentation methods. Tech rep lSUHCI20062， Hu-man Computer InteractionDepartment， lowa State Univ，2006.

[5] AhmedS，lftekharuddinKM.VossoughA.Efficacy of texture，shape，andintensity feature fusion for posterior-fossa tumor segmenta-tion in MRl[J].lEEE Transactions on Information Technologyin Biomedicine，2011，15（2）：206-213.

[6] Liu YX， SadowskiSM， WeisbrodAB， etal. Patient specific tumorgrowth prediction using multimodal images[J].Medical ImageAnalysis，2014，18（3）：555-566.

[7] ParisotS，Wells Wlll，ChemounyS，etaI.Concurrent tumor segmen-tation and registration with uncertainty-based sparse non-uni-form graphs[J].Medical Image Analysis，2014，18（4）：647-659.

[8] National Research Council： Toward Precision Medicine： Build-ing a Knowledge Network for Biomedical Research and a NewTaxonomy of Disease，2011.

[9]S.Doyle，F.Vasseurl，M.Dojat， and F.Forbes：Fully Automat-ic Brain Tumor Segmentationfrom Multiple MR Sequences us-ing HiddenMarkov Fields and Variational EM， in proceedingsof MICCAI-BRAST， Sep 2013：22-25.

[10] XiaotaoGuo， Lawrence Schwartz， BinshengZhaoSemi-automat-ic Segmentation of Multimodal BrainTumor Using Active Con-tours， in proceedings of MICCAl-BRAST， Sep，2013： 22-25.

[11] Iftekharuddin K M， Zhengj， lslam M A，etal. Fractal-basedbrain tumor detection in multimodal MRl[J].AppliedMathemat-icsandComputation， 2009，207（1）：23-41.

[12] LambinP， Rios-Velazquez E，LeijenaarR， etal. Radiomics： Ex-tracting more information from medical images using advancedfeature analysis[J]. Europeanjournal of Cancer， 2012， 48（4）：441-446.

[13] C. Li， C. Kao， J. C. Gore， and Z. Ding， Minimization of Re-gion-Scalable Fitting Energy for ImageSegmentation， lEEETransactions on Image Processing 17，2008：1940-1949_

[14] Li C M，HuangR，DingZH，etaI.Alevel set method for image seg-mentation in the presence of intensity inhomogeneities with ap-plication to MRI[J].lEEE Transactions on Image Processing，2011，20（7）：2007-2016.

[15] Li CY，WangXY，EberlS，etaI.Robustmodel for segmenting imag-es with/without intensity inhomogeneities[J].lEEE Transactionson Image Processing，2013，22（8）：3296-3309.

[16] Zhang H L，Ye X J，Chen Y M.An efficient algorithm for multi-phase image segmentation with intensity bias correction[J].lEEE Transactions on Image Processing， 2013， 22（10）：3842- 3851.

[17] Wencheng Wang， Miao Hua： Extracting Dominant Texturesin Real Time With Multi-Scale Hue-Saturation-lntensity His-tograms. lEEE Transactions on Image Processing，2013，22（11）：4237-4248.

[18]林瑤，田捷 .MRl脑肿瘤图像分割方法综述 [c]. 北京 .中国科

[19] PrastawaM，BullittE，GerigG.Simulation of brain tumors in MRimages for evaluation of segmentation efficacy[J].Medical Im-age Analysis， 2009，13（2）：297-311.

[20] J. J. Corso， E. Sharon， S. Dube， S. El-Saden， U. Sinha， andA. L. Yuille.E_cientmultilevel brain tumor segmentation withintegrated bayesian model classi_cation.ln Proceedings of MIC-CAI-BRATS 2013， Sep. 2013.

[21] Ben Salah M，MiticheA，BenAyedI.Effectivelevel set image seg-mentation with a kernel induced data term[J].IEEE Transac- tions on Image Processing，2010，19（1）：220-232.

[22] WidynskiN，Mignotte M.A MultiScaleparticle fiher frameworkfor contour detection[J].IEEE Transactions on Pattern Analysi-sandMachine Intelligence，2014，36（10）：1922-1935.

[23] Liu XB，XuQ， MaJ Y， etal. MsLRR： aunified multiscalelow-rankrepresentation for image segmentation[J].lEEE Transactions onImage Processing，2014，23（5）：2159-2167.

[24] GaoY， BouixS， ShentonM， etal. Sparsetexture active contour[J].lEEE Transactions on Image Processing， 2013， 22（10）： 3866- 3878.

[25] StadlbauerA. MoserE， GruberS， etal. Improved delineation of brain tumors：an automated method for segmentation Based onpathologic changes of lH-MRSI metabolites in gliomas[J].Neu-rolmage， 2004，23（2）：454-461.

[26] Hugo J. W. L. Aerts， Emmanuel Rios Velazquez， Ralph T.H. Leijenaar， Chintan Parmar.Patrick Grossmann， Sara Carval-ho， Johan Bussink， Rene Monshouwer， Benjamin Haibe-Kai-ns， Derek Rietveld， Frank Hoebers， Michelle M. Rietbergen，C. Rene Leemans， Andre Dekker， John Quackenbush， RobertJ. Gillies& Philippe Lambin， Decoding tumour phenotype bynomnvasive imaging using a quantitative radiomics approach.Nature Communications，2014.

[27] Chan T F，Vese L A.Active contours without edges[J].IEEETransactions on Image Processing，2001，10（2）：266-277.

[28] V. Caselles. R. Kimmel， G. Sapiro， "Geodesic active con-tours [J]. Intemational Journal of Computer Vision. 1997，22（1）：61-79.

[29] B. Sandberg， T. Chan， and L. Vese， "A level-set and gabor-based active contour algorithm for segmenting textured imag-es，" UCLA CAM report 02-39， 2002.

[30] Karouil， FabletR， Boucherj， etal.Variational region-based seg-mentation using multiple texture statistics[J].IEEE Transac-tions on Image Processing，2010，19（1 2） ：3146-3 156.

[31] M. Rousson， T. Brox， R. Deriche， 0. 1. Projet， and F. Sophia-Antipolis，"Active unsupervised texture segmentation on a diffu-sion based featurespace，" presented at the CVPR Conf_ 2003.

[32] Wang X F，Huang D S，XuH. An efficient local Chan-Vesemodel for image segmentation[J]. Pattern Recognition， 2010， 43（3）：603-618.

[33] WangB，Gao X B，TaoD C，etaI.A unified tensor level set forimage segmentation[J]. lEEE TransactionsonSystems， Man， and-Cybernetics，PartB（Cybernetics）， 2010，40（3）：857-867.

[34]蔣君.多模态肿瘤图像联合分割方法研究[D].广州：南方医科大学，2014.

[35]S.Lankton and A.Tannenbaum， "Localizing Region-BasedActive Contours，" IEEE Transactions on Image Processing 17，2008：2029-2039.

[36] DaroltiC， MertinsA， BodensteinerC， etal. Localregion descriptorsfor active contours evolution[J].lEEE Transactions on ImageProcessing， 2008，17（12）：2275-2288.

【通联编辑：梁书】

基金项目：安徽省高校自然科学重点项目皖教秘科【2018】31号，“基于CamShift方法多场景下的运动目标检测和跟踪技术的分析与研究”（KJ2018A0634），负责人：伍祥;2019年度安徽省教育厅高校自然科学重点项目，“融合相关滤波技术与深度层次特征的目标跟踪方法研究”（KJ2019A1291）

作者简介：何灏（1987-），男，硕士，安徽信息工程学院大数据与人工智能学院专任教师，助教，研究方向为计算机应用技术;伍祥（1991-），男，硕士，助教，教研室副主任，研究方向为人工智能、计算机视觉;朱伟杰（1991-），男，硕士，助教，研究方向为计算机视觉与图像处理。