基于多图谱标签融合的脑MRI图像分割
2016-12-12梁艳
梁 艳
(上海建桥学院 商学院,上海 201306)
基于多图谱标签融合的脑MRI图像分割
梁 艳
(上海建桥学院 商学院,上海 201306)
针对图谱标签融合问题,提出了一种基于SVM的多尺度图像块表示的标签融合方法。该方法将MRI图像中的每个体素用其邻域的一个多尺度图像块来表示,对待分割目标图像中每个体素(目标块),在图谱图像相应位置提取若干与该体素对应的图像块(图谱块),通过计算图谱块与目标块之间的相似性,排除一些不相似图谱块的干扰;运用SVM对剩下由图谱块和与之对应的标签组成的样本进行学习训练,再运用训练得到的模型对目标块中心点的标签值进行预测,从而获得待分割目标图像的分割结果。通过对比不同标签融合方法对IBSR数据库脑部组织的分割,验证了所提出方法的有效性。
多图谱;标签融合;支持向量积;图像块;多尺度;图像分割
基于多图谱的分割方法主要由图谱与待分割图像之间的配准,图谱配准后的标签映射,图谱标签映射后的标签融合3个步骤组成。图谱标签融合是当前研究的热点[1-3],而选择不同的标签融合策略,对最终分割结果具有较大的影响。最简单的标签映射方法是图谱选择法和基于多数表决的投票法(majority voting, MV)[4-5]。但这种方法的缺点是投票过程中所有图谱体素的权重相同,没有考虑到各个图谱与待分割图像的差异性。基于图像块的标签融合方法是一种十分重要的加权平均融合方法[6],这类方法在一定程度上有效克服了基于多数表决的标签融合方法的缺陷。该类方法将图像中每个体素用以该体素为中心的一个图像块来表示,并基于假设:图谱中图像块与待分割图像中图像块之间的相似性越高,则它们对应标签相同的可能性就越大。但在这类方法中经常会出现一种情况:图像块之间相似性很高,但它们对应的标签反而不相同。因此,图像块之间相似性测度在这类方法中显得十分重要。
研究图谱标签融合方法旨在有效地将各个图谱的标签进行融合从而获得一致性的分割结果。基于图像块的标签融合方法,主要是通过度量图像块之间的相似性,从而决定图谱块在标签融合过程中的权重,由上述分析可知,这种相似性权重存在一定的不可靠性。为此,本研究提出一种新的基于图像块的标签融合方法,即:根据图像块的特征对图像块进行分类,从而获得图像块中心点的标签信息;对每个图像块用一种多尺度的方式来表示,这种表示可以起到突出图像中心同时弱化图像块边缘的作用;通过计算图谱块与目标块之间的相似性,排除一些与目标图像块不相似的图谱块,运用SVM方法对剩下的由图谱块和与之对应的标签组成的样本进行学习训练,目标图像块中心点的标签可通过学习得到的模型获取。
1 基于多图谱的分割方法
1.1 基于简单投票的图谱分割方法
对于图像中每个空间位置x,目标图像x处的标签可以通过如下简单投票的方式获得[7]:
(1)
式(1)中:MV为目标图像在位置x处获得的总票数;Li(x)为配准后图谱i在位置x处对应的标签。
(2)
1.2 基于块相似性的图谱分割方法
基于块相似性的图谱分割方法思想主要源于一种基于非局部相似性的图像去噪方法[8]。 目标图像x处的标签是通过各个图谱x位置处的一个搜索邻域内所有体素的加权平均投票获得的。具体加权及权重计算如下:
(3)
式(3)中:Vi为图谱x位置处的一个搜索邻域;yi,j为第i个图谱搜索邻域Vi中的第j个体素的标签;w(x,xi,j)为目标图像x位置处体素与第i个图谱搜索邻域中第j个体素的相似性。
w(x,xi,j)=exp。
(4)
式(4)中:P(x)为目标图像中中心在x位置处的一个图像块;P(xi,j)为目标图像中中心在第i个图谱搜索邻域的第j个体素处的一个图像块;h为一个局部适应参数,主要用于控制参与加权投票的图谱体素个数,通常该参数主要根据经验值来设置。
(5)
1.3 基于块稀疏表示的图谱分割方法
基于块稀疏表示的图谱分割方法与上述基于块相似性的图谱分割方法十分相似,也是一种加权平均投票的分割方法,只是在计算权重时有所不同,该方法计算权重的方式如下:
(6)
式(6)中符号定义同1.2,第一项通过图谱图像块来重建目标图像块,第二项用于稀疏控制,通过参数λ可以控制w(x,xi,j)非零的个数,式(6)等同于l1范式,可以通过Lasso优化方法[9]获得稀疏系数w(x,xi,j)。在获得稀疏系数以后,目标图像中的标签可以通过式(3)和式(5)获得。
2 基于SVM的图谱分割方法
该方法主要步骤包括:图像块的多尺度表示、图像块的预选择及基于SVM的目标块标签预测。
2.1 图像块的多尺度表示
脑部不同组织在不同尺度下其局部结构信息是不同的,但在多数基于块的标签融合方法中,块内所有体素都是在同一个尺度下进行处理的,并用块内体素灰度值计算块之间的相似性。鉴于此,本研究引入一种块的多尺度表示方法来刻画这种脑部组织的局部结构信息。这种多尺度表示的主要步骤是:将图像块分成若干个围绕块中心的不重叠的层,然后对每个层赋予不同的尺度,离块中心越近的层尺度越小,离块中心越远的层尺度越大。尽管图像金字塔技术能够获得同样的多尺度表示,但是本研究选择的是时间复杂度更低的另一种表示方式,即对每个层的灰度值进行不同尺度的高斯滤波,从而获得多尺度的表示方式。
图1展示了如何构建多尺度图像块的过程,以图像块分成3个不同重叠层为例进行了说明。首先运用3个具有不同高斯核的高斯滤波器对原图像块进行平滑滤波,从而获得3个不同平滑程度的图像块。然后对原图像块中不同层用平滑后图像块对应的层进行替换,离块中心越近的层,用尺度小的滤波器平滑后的图像块相应的层去替换,而离块中心越远的层则用尺度大的滤波器平滑后的图像块相应的层去替换,通过这样的方式即可得到原图像块的一种多尺度表示。
图1 图像块多尺度表示示意Fig.1 Multi-scale representation of image patch
2.2 图像块的预选择
2.1中与目标块向量fx对应的N个图谱块向量fk(k=1,…,N),以及对应图谱块中心点的标签Lk构成了一个带有标签的样本集(fk,Lk)(k=1,…,N),以期通过对这些样本进行训练学习获得一个分类器模型,从而可以对目标图像块中心点的标签进行预测。通常,样本与目标块越相关其训练出来的分类器模型就越可靠。因此,在训练学习前,先对整个样本进行预选择,以便获得与目标块更相关的样本。本研究主要通过计算图谱块与目标块之间的相似性来进行图谱块的预选择。具体的相似性计算[10]如下:
(7)
式(7)中:u和σ为中心点位于x的目标块和中心点位于y的图谱块的均值和标准差。计算出来的ss值越大表示两个块越相似,因此设置一个阈值,若ss值小于给定的阈值,则舍弃与该ss值对应的图谱块。在经过块的预选择后,记与目标块向量fx对应的图谱块还剩T个(ft,Lt)(t=1,…,T)。
2.3 基于SVM的目标块标签预测
SVM分类器模型是通过找到一个最优分类超平面来最小化分类误差实现的[11]。假定一个给定的训练集{fi,gi},其中fi表示相应的特征向量,gi∈{-1,1}表示样本的类别,二分类SVM的代价函数可以表示为:
(8)
K(fi,fj)≡φ(fi)Tφ(fi)=e-γfi-fj2。
(9)
在本研究中,中心点标签为0的图谱块构成了负样本,标签为1的图谱块构成了相应的正样本,SVM通过对这些正负样本的训练学习可以获得一个分类器模型。在训练完成后,对于与样本对应的目标块,通过这个训练学习获得的分类器模型对其中心点的标签进行预测,从而获得目标块中心点的标签。对目标图像中的每个点,都可以通过这样的方式获得其对应的标签,最终获得目标图像对应的分割结果。主要步骤可以概括如下:
2)对目标图像中的每个位置x提取目标块px及与目标块对应的图谱块pk,k=1,…,N;
3)目标块及与目标块对应图谱块的多尺度表示;
4)对图谱块进行预选择,预选择后图谱块的向量表示为ft,t=1,…,T;
5)对样本(ft,Lt),t=1,…,T,Lt∈{0,1}进行SVM分类模型的训练;
6)运用获得的SVM分类模型对目标块向量fx进行预测从而获得与该向量对应目标点的标签。
3 实验结果
为了验证上述方法对MRI图像脑部组织分割的效果,将该方法与最基本的简单投票标签融合方法(majority voting, MV)[7]、基于非局部相似性的标签融合方法(non-local patch-based label fusion method, Non-PBM)[12],以及基于块稀疏表示的标签融合方法(sparse patch-based label fusion method, Sparse-PBM)[13]进行对比。
本实验所使用到的脑部MRI图像来自于IBSR(internet brain segmentation repository)图谱库,该图谱库由18幅三维脑部MRI图像组成,每个MRI图像都有1个标签图像与其对应,该标签图像中不同的标签值对应着不同的脑部组织。将1个图谱的MRI图像作为待分割的目标图像,其余17个则作为图谱。主要对脑部7个组织进行了分割:hippocampus、amygdala、caudate nucleus、nuc.accumbens、putamen、thalamus和pallidus。使用的配准工具是elastix[14]。图2是用工具ITK-SNAP显示出来的一例hippocampus图谱的三维图,从图中可以清楚地看到hippocampus的形状信息。
图2 图谱图像的hippocampus三维图像Fig.2 Three dimensional image of hippocampus in atlas image
为了评价脑部组织分割结果的好坏,将自动分割方法分割出来的组织与图谱中专家勾画出来的组织进行对比,具体是计算自动分割方法分割出来的组织与专家勾画的金标准之间的重叠率,重叠率越高表示自动分割方法分割出来的组织越接近专家勾画出来的金标准,说明分割效果越好。重叠率计算方法为:
(10)
式(10)中:D为重叠率;R1和R2为两个图像的分割区域,分别代表金标准和自动分割方法分割出来的区域。
表1展示了不同方法分割不同脑部组织获得的平均重叠率,此处的平均重叠率表示18个分割结果的平均重叠率。从表中可以看出,简单投票标签融合方法(MV)的分割效果最差,这是因为该方法在融合过程中所有图谱的所有体素都具有相同的投票权重,而基于非局部相似性的标签融合方法(Non-PBM)在一定程度上要优于MV方法,就是因为改变了在标签融合过程中不同体素的权重。从表中可以看出,基于块稀疏表示的标签融合方法(Sparse-PBM)要优于Non-PBM方法,这说明了Sparse-PBM方法中的块相似性度量较Non-PBM方法更可靠,而本研究提出的基于SVM图像块多尺度表示的标签融合方法获得的平均重叠率最高,这说明该方法具有更好的分割性能。
表1 不同方法对不同组织分割后的平均重叠率
4 结 语
通常的基于块的标签融合方法都侧重于如何度量目标块与图谱块之间的相似性,因此,如何准确度量块之间的相似性是该类方法研究的一个重点。而本研究提出了一种基于SVM和块多尺度表示的图谱标签融合方法,从另外一个方面来解决这种基于块的标签融合问题,即通过图谱块建立SVM分类模型,从而对目标块的标签作出预测。通过对比不同方法对MRI脑部图像中不同组织的分割,证明了所提出方法分割的有效性。
[1] KHAN A R, CHERBUIN N, WEN W, et al. Optimal weights for local multi-atlas fusion using supervised learning and dynamic information (SuperDyn): validation on hippocampus segmentation [J]. NeuroImage, 2011, 56(1): 126.
[2] BAI W, SHI W, LEDIG C, et al. Multi-atlas segmentation with augmented features for cardiac MR images [J]. Medical Image Analysis, 2015, 19(1): 98-99.
[3] YAQUB M, JAVAID M K, COOPER C, et al. Investigation of the role of feature selection and weighted voting in random forests for 3-D volumetric segmentation [J]. Medical Imaging, 2014, 33(2): 259-260.
[4] HECKEMANN R A, HAJNAL J V, ALJABAR P, et al. Automatic anatomical brain MRI segmentation combining label propagation and decision fusion [J]. NeuroImage, 2006, 33(1): 119.
[5] ROHLFING T, BRANST R, MENZEL R, et al. Evaluation of atlas selection strategies for atlas-based image segmentation with application to confocal microscopy images of bee brains [J]. NeuroImage, 2004, 21(4): 1433.
[6] COUPÉ P, MANJN J V, FONOV V, et al. Patch-based segmentation using expert priors: application to hippocampus and ventricle segmentation [J]. NeuroImage, 2011, 54(2): 944-947.
[7] HECKEMANN R A, HAJNAL J V, ALJABAR P, et al. Automatic anatomical brain MRI segmentation combining label propagation and decision fusion [J]. NeuroImage, 2006, 33(1): 118.
[8] BUADES A, COLL B, MOREL J M. A non-local algorithm for image denoising [C]∥ 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Diego: IEEE, 2005: 62.
[9] LIU J, JI S, YE J. SLEP: sparse learning with efficient projections [D]. Phoenix: Arizona State University, 2009: 137.
[10] WANG Z, BOVIK A C, SHEIKH H R, et al. Image quality assessment: from error visibility to structural similarity [J]. Image Processing, 2004, 13(4): 605.
[11] JOACHIMS T. Making large scale SVM learning practical [R].Dortmund: Universität Dortmund, 1999:2-5.
[12] COUPÉ P, MANJN J V, FONOV V, et al. Patch-based segmentation using expert priors: application to hippocampus and ventricle segmentation [J]. NeuroImage, 2011, 54(2): 947-949.
[13] ZHANG D Q, GUO Q M, WU G R, et al. Sparse patch-based label fusion for multi-atlas segmentation [M]∥ Multimodal Brain Image Analysis. Berlin:Springer, 2012: 100.
[14] KLEIN S, STARING M,MURPHY K, et al. Elastix: a toolbox for intensity-based medical image registration [J]. Medical Imaging, 2010, 29(1): 199-200.
Segmentation of tissue in brain MRI image based on multi-atlas label fusion
LIANG Yan
(Business School, Shanghai Jian Qiao University, Shanghai 201306, China)
In the problem of label fusion, we propose a multi-scale image patch label fusion method based on SVM, in which every voxel of MRI image is represented by a multi-scale image patch of the neighborhood of this voxel. In the method proposed, for each voxel of the target image (target patch) a set of patch is extracted from the atlas in the location that correspond to this voxel and the similarities between the target patch and the atlas patch are calculated so as to exclude some dissimilar atlas patch. Then we use SVM to the rest of atlas patch of learning and training and the learned classification model are used to the target patch to get the label. By comparing different label fusion methods on the segmentation of brain tissue in IBSR database, we verify the effectiveness of the proposed method.
multi-atlas; label fusion; SVM(support vector machine); image patch; multi-scale; image segmentation
10.3969/j.issn.1671-8798.2016.05.007
2016-09-26
温州市公益性科技计划项目(S20140019)
梁 艳(1987— ),女,安徽省桐城人,助教,硕士,主要从事计算机金融、金融数学研究。
TP391.41; R445.2
A
1671-8798(2016)05-0373-06