基于组织修复的脑肿瘤图像配准方法

刘忠强，钟 涛，曹晓欢，张 煜

1南方医科大学生物医学工程学院，2广东省医学图像处理重点实验室，广东 广州510515；3上海联影智能医疗科技有限公司，上海200030

脑肿瘤是一种常见的肿瘤疾病，占所有原发性中枢神经系统肿瘤的85%～90%［1］，目前脑肿瘤治疗的常规治疗手段有手术切除和放射治疗。研究表明［2-5］，病变体积的量化可以增加对患者功能结构的了解。根据受影响的大脑结构，损伤的确切位置与特定缺陷有关。另外有研究对于脑肿瘤，准确描述和估计肿瘤亚成分的相对体积对计划放疗和治疗随访非常重要［6］。因此，如何定位肿瘤确切的侵犯脑区或者部位，成为提高患者疗效和存活率的关键一步。

配准是医学图像分析一个非常关键和基本的步骤，目的是获得一个保持拓扑的变形场，该变形场可以将临床诊断图像匹配到一个有参考价值的图像空间。它可以建立正常脑图像与脑肿瘤图像之间的对应关系，从而进行图像数据的对比、分析，定位出肿瘤生长的部位及具体侵犯的脑区，最终达到辅助临床诊断与治疗。但对于脑肿瘤图像来说，由于肿瘤在很大程度上影响大脑的形态，并改变其局部结构，这给脑肿瘤图像与模板或图谱的配准带来了难题。并且现有的多数脑图像配准算法，如基于相似性测度的方法［7-9］和基于深度学习的方法［10-11］，主要针对正常脑（或形态无明显变化的大脑）图像，未考虑肿瘤对脑图像配准的影响。少数针对脑肿瘤图像与正常大脑图谱配准的研究，如Nowinski等［12］使用基于特征点的径向质量效应模型来在模板图像上模拟肿瘤，再将其配准映射到患者图像上，通过对形变后的标准图谱对比分析，确定肿瘤周围扭曲的解剖结构。不足之处是难以获得准确的肿瘤组织生长模型。而另一部分研究［12-15］提出了代价函数掩蔽策略，利用病理掩膜，使得靠近肿瘤的形变仅受邻近结构的信息驱动，将病理区域排除在配准之外，仅由正常区域驱动配准，而不受肿瘤病理体素的影响。采用低秩加稀疏矩阵分解的方法从输入的肿瘤脑图像中恢复正常的脑图像［16-18］。有学者开发了一种基于主成分分析的统计方法［19］，以了解不同受试者或同一受试者［20］内的肿瘤生长变形情况。这些方法大多基于传统的迭代优化算法进行病例区域修复。

随着深度学习算法的发展，如卷积神经网络修复算法［21-22］，利用图像的某些统计信息和模式来恢复受损区域内的信息，在图像外观、对比度甚至形状方面能有效地恢复缺失区域。受此类技术启发，若能将脑部MR［23］图像中的肿瘤区域进行分割和去除，然后恢复缺失的脑组织，可以使配准受病理的影响减小，从而可得到相对准确的脑肿瘤图像与标准图像配准结果。基于此，本文提出使用部分卷积网络（PConv-Net）［24］。该算法首先利用U-Net［25］对肿瘤进行分割，以便从MR图像中标记大小和位置各异的肿瘤，得到分割掩膜。在此基础上，利用PConv-Net模拟出肿瘤切除区域的正常组织图像,相比于上述传统算法，基于卷积神经网络的修复模型免去了迭代优化的繁琐步骤，能获得更好的性能和泛化能力。最后，我们对每个恢复的图像进行配准，以获得准确配准结果。

1 方法

本文所提出方法的框架如图1所示，共分3个步骤。图1a为分割网络：使用U-Net进行肿瘤分割。图1b为修复网络：基于U-Net 生成的肿瘤分割掩膜，使用PConv-Net将给定（肿瘤）区域恢复成正常组织。由于肿瘤区域不存在真实的正常组织，我们在脑图像的正常组织上人为模拟“肿瘤”区域，从而生成PConv-Net的训练数据。图1c为配准：使用（SyN）［26］配准算法将目标图像配准到标准图像。

图1 网络框架Fig.1 Framework of the proposed method. a: Tumor segmentation using U-Net; b: Partial convolutional network(PConv-Net)for tumor region recovery;c:Registration.

1.1 分割网络

基于深度学习的U-Net被广泛用于肿瘤分割。U-Net结构也称为编码器-解码器结构，由两部分组成。编码器路径包含用于特征提取的3个下采样层和3个最大池化层，而解码器路径包括3个上采样层，用于特征图上采样，输出原始尺寸的分割结果。分割是基于在相邻切片之间具有平滑性约束二维切片实现的，因此大大减少了训练时间和内存。我们使用二进制交叉熵损失来衡量分割误差。

1.2 修复网络

1.2.1 部分卷积网络 为了减小肿瘤区域在图像配准中的影响，我们使用PConv-Net修复肿瘤图像。我们在正常脑图像中随机模拟生成肿瘤区域以仿真肿瘤图像，从而训练PConv-Net。我们采用文献［27］的部分卷积策略，其中卷积运算只对图像的特定部分进行运算。在数学上，PConv层可以表示为：

x'表示输入图像/特征图X 经过卷积后的输出。F代表卷积滤波器的加权向量，b是偏置向量。M 是与输入图像/特征图相同尺寸的二进制掩膜（0代表肿瘤区域，1为非肿瘤区域）图像，在我们的研究中掩膜代表肿瘤区域。“⊙”表示逐元素乘法，1是一个尺寸和M一样的所有元素都是1矩阵。可以看到，输出值仅取决于未掩蔽的输入。比例因子sum(1)/sum(M)提供适当的缩放，以调整不同数量的有效（未掩蔽）输入。在多层卷积,前一层的输出x'为下一层的输入X。在PConv-Net中才采用与U-Net相似的下采样和上采样结构，这样掩模M 与输入图像和特征图具有相同的维数。

1.2.2 掩膜更新 每个部分卷积操作后，我们使用公式（2）更新掩膜，对于输入掩膜M，输出m'实际上是输入的阈值：

然后这个新的掩膜被传送到下一层。每次都使用更新后的M，随着网络层数的增加，M 输出m'中为0的像素越来越少，输出的结果x'中有效区域的面积越来越大，m'对整体1oss的影响会越来越小。随着网络层数的增加，输出掩膜m'的像素数量降低为0，输出结果x'有效面积的面积在增加，掩膜对整体损失的影响越来越小。1.2.3 损失函数 损失函数既针对像素级重建精度，又针对修复区域如何平滑过渡到周围正常组织区域。

首先，使用均方误差损失来确保恢复的图像与真实图像相似。给定一个被U-Net分割出的肿瘤作为初始二进制掩膜M 和输入图像Iin，网络预测的输出Iout应该接近真实图像Igt，（1 -M）表示掩蔽的肿瘤区域，Lmasked表示了肿瘤区域的输出Iout和真实图像Igt的L1损失，Lvalid表示非肿瘤区域的网络预测输出和Igt的L1损失，定义为：

|Igt|表示Igt元素的数量。

感知损失Lperc反映恢复区域的外观和度量图像的高层感知和语义之间的差异,即定义为：

在每个特征图中引入风格损失项：

最后损失项是全变差（Tota1 Variation，TV）损失LTV，它是对R的平滑的惩罚，R是修复区域中像素1的膨胀区域，NIcomp是 Icomp中元素的个数：

总的损失函数为Ltotal：

PConv-Net采用与U-Net类似的编码-解码构架。在编码器阶段使用修正线性单元（ReLU）层，在解码器阶段使用Leaky ReLU层。除第一层编码器和最后一层解码器外，所有层都使用批处理归一化层。

1.3 图像配准

最后，我们使用SyN分别将脑肿瘤图像及其对应的修复后的图像配准到标准模板图像上，得到配准后的图像和各像素点的位移形变场。配准采用的相似性测度是均方差。目标函数为：

其中，dA→T是待配准图像A(修复后图像或原肿瘤图像)到模板图像T的形变场，H 是图像像素个数，Ω 是整个图像。

2 结果

2.1 数据处理和实验设置

我们使用（Medica1 Image Computing and Computer Assisted Intervention Society）MICCAI BraTS2018 数据集来评估所提出算法的性能。实验使用T1加权和FLAIR序列图像，由于磁共振造影扫描常因偏压场而导致强度分布不均匀，我们首先在预处理中应用N4偏压场校正［28］对图像进行处理。为了减少不同受试者之间的强度分布变异性，我们首先采用基于直方图匹配的归一化，然后通过减去每张图像的均值，除以每张图像的标准差来归一化所有的图像。其中FLAIR序列图像用于肿瘤分割以提取肿瘤掩膜，T1图像被配准到标准模板图像。

训练分割网络，我们将每例FLAIR图像重采样成155个240×240的切片。我们随机抽取其中的100例图像进行模型训练，然后在剩下的图像中随机选取40例图像进行模型测试。U-Net 使用Pytorch和Adam优化实现，学习率设置为0.001，批大小为10，最大迭代150次，分割实验在12 G NVIDIA GEFORCE RTX 2080 Ti上进行训练。模型的输出为相应的肿瘤掩模。

对于PConv-Net，我们从ADNI数据集上随机选取100例图像然后按Z轴进行切片，得到正常的2-D图像，然后随机分割网络得到肿瘤掩膜，二者共同输入到PConv-Net作为训练集。测试过程再随机抽取40例正常受试者的T1图像以评估PConv-Net的性能。模型以原始T1图像和模拟肿瘤掩膜作为输入，尝试恢复肿瘤掩膜下的正常组织，从而输出对应位置的去除肿瘤图像。模型训练和测试是基于Pytorch深度学习框架实现。训练过程采用Adam优化算法，学习速率最初设置为2e-4，然后使用5e-5的学习速率进行微调。最大迭代量为1200 k，批大小为16。该网络在一个GPU（12 G NVIDIA GEFORCE RTX 2080 Ti）上训练。最后，我们将这些修复后的2维切片堆叠为3维图像以进行配准。

2.2 图像修复结果评估

对分割步骤中得到的肿瘤掩膜我们进行了相应的优化。由于肿瘤边界的区域存在水肿或浸润，导致边界区域灰度会与远离肿瘤的正常区域的灰度强度有差异。这种差异在修复时会导致肿瘤区域修复后灰度与正常组织差异较大，从而导致修复效果不好，如图2所示，由于水肿的存在致使第四列修复后的图像肿瘤区域的灰度明显高于周围正常组织的灰度值。为了最小化肿瘤边界强度传播效应，减小其对分割精度的影响，我们在输入PConv-Net之前使用形态学操作扩展了肿瘤掩模。实验分别验证了掩膜膨胀1个、3个、5个像素后的结果，如表1所示，膨胀元素单位大小为3个像素时效果最佳。峰值信噪比（PSNR）和结构相似度（SSIM）［29］被用于对恢复后的图像与原始图像进行比较评估。PSNR（dB）越高，表示重建性能越好。SSIM的值从0到1，1表示完全恢复。

图2 肿瘤掩膜边界效应Fig.2 Tumor mask boundary effect. The first column is the tumor image; the second column is the segmented tumor; the third column is the tumor masked image;the fourth column is the repaired image.

表1 将分割出来的肿瘤掩膜做膨胀0、1、3、5个像素处理后进行修复，对比相应肿瘤掩膜取出后剩余部分的相似性度度量和峰值信噪比Tab.1 The segmented tumor masks were repaired after dilation at 0, 1, 3 and 5 pixels, and the similarity and peak signal-to-noise ratio of the remaining parts were measured after corresponding tumor masks were removed

为了评估图像恢复的性能，我们在正常图像上随机生成肿瘤掩膜，去除掩膜内的组织，并将恢复后的图像与掩膜内的原始图像进行比较（图3）。

图3展示了使用PConv-Net进行图像恢复的一些示例结果。第1、5列（A列）是真实的正常图像，第2、6列（B列）是肿瘤掩蔽后的图像，第3、7列（C列）为随机生成的掩膜，第4、8列（D列）为修复后的图像。图中可以看出，掩膜覆盖的正常组织区域被有效恢复，模拟生成的组织与真实正常组织高度相似。我们使用不同掩模的3000张正常T1脑图像切片进行定量评价，得到的PSNR为42.29±2.39 dB，SSIM为0.9989±6.3550 E-05。

2.3 配准结果评估

我们使用SyN将每个已恢复肿瘤区域的目标图像配准到T1模板。为了与传统的直接SyN配准方法进行比较，我们对比配准后的形变场，以评估配准结果，如图4所示。图4A和C是肿瘤图像，B和D是分别对应于A和C的修复图像，Reg A～D 分别是A～D与模板图像配准后的图像，Fie1d A～D是配准后对应的形变场的雅可比显示，颜色变化代表形变场平滑程度变化，越偏近红色表示形变场越不平滑。由形变场对比可以看出，肿瘤图像配准后肿瘤区域产生的形变场严重膨胀且不平滑区域。修复图像相应区域得到的形变场更加平滑。

图3 带有掩膜图像的修复Fig.3 Examples of recovering the images within masks.A: Ground truth, B: Masked images, C: Tumor mask,D:Recovered images.

为了评估我们的方法，我们将有肿瘤的脑图像修复后与模板图像配准到的形变场进行比较。这些形变场都是与模板图像具有相同体素尺寸的图像。对于每个体素，图像都包含配准后估计的位移，以便到达源图像中匹配体素的位置。位移是在X，Y和Z方向上以毫米为单位的平移，可以通过配准参数简单地计算得出。当两张配准图像相似时，体素位移将相似，这反映了一个事实，即配准图像的体素值将在整个形变过程中从源图像的相似点获得。对于两个配准之后的图像所得到的形变场a 和b，单个体素i处的位移之间的距离

图4 对比修复和配准后结果Fig.4 A typical result of registration and example results of PConv-Net for T1 images with glioma.A and C are tumor images,B and D are repair images corresponding to A and C,Reg A-D are images after registration of A-D and template images,FieldA-D are corresponding deformation field after registration.

我们随机选择9例图像，首先计算了修复后配准获得的形变场与直接配准得到的形变场之间每个像素点的位移RMS，表示为不做任何掩蔽；然后将原图像和模板图像上肿瘤对应的区域掩蔽掉（删去）在分别进行配准，实验在肿瘤周围1、2、3、5个像素范围进行比较配准之后的形变场的RMS，如图5所示。结果表明，直接配准后的形变场RMS 大，表明像素点配准后位移大，形变场的平滑性差，而分别对比掩蔽对应肿瘤区域后配准的场的位移显著减小，证明经过我们的修复方法后肿瘤周围的组织的配准更加准确可信，图像失真更小。并且，肿瘤邻近位置由于水肿导致的失真随着修复范围的扩展而减小，在掩膜膨胀3个像素时，效果最好，继续扩展修复范围就会到达正常组织区域（即水肿区域外），这个范围肿瘤图像与修复图像差异很小，所以RMS 下降且慢慢趋于不变。

图5 肿瘤周围不同掩蔽范围的均方根(RMS)值比较Fig.5 Comparison of root-mean-square (RMS) values of different masking areas around the tumor.

3 讨论

肿瘤组织的特异性及侵犯性，使得传统的直接配准方法失效。对于精确治疗，脑部肿瘤图像的配准可以更好的辅助医生判断肿瘤具体侵犯了哪个脑区，对于临床诊断和手术辅助具有重大意义，能促进实现更精确的治疗，并且可以通过配准后侵犯脑区的具体情况，辅助医生判断术后患者的生活质量和生存期。

本文针对脑肿瘤图像与标准模板图像或图谱图像配准的难点问题，即待配准的脑肿瘤图像具有肿瘤信号区域，而在模板图像中没有相应的区域，从而影响配准准确性，于是我们提出了一种基于局部卷积网络来恢复肿瘤区域内缺失的正常组织，再进行配准的框架。我们使用BraTS2018数据集中的肿瘤图像验证了所提出的配准框架的有效性。

Nowinski等［12］的方法的局限是要了解正常组织和肿瘤组织的生物力学特性，但是肿瘤的生物力学特性是未知的并且无法为患者测量它们。利用代价函数掩蔽的策略［12-15］，是基于对病理进行分割并减轻病变内部体素的权重，然后通过插值来修复病变区域，但是他们算法的结果会随着分割的质量而适当降低。而有研究对于单侧病变是有效的，但如果病变是双侧的，那么被病理掩膜的区域内的修复可能会受到剩余组织的约束［15］。有学者基于主成分分析的统计方法并不是非常准确，水肿区域的统计偏差影响较大，而且还受到训练中使用的参数的限制［19］。有算法和其他人的一样需要迭代优化，计算成本高，内存占用大［16-18］。而本文提出的方法在修复模块对分割得到的掩膜采用了膨胀的方法，使的修复的结果对分割的精度的依赖没有那么高。并且修复模块采用深度学习的方法大大缩短了运算时间。如图3和图4示，深度学习的方法对于图像特征的提取更加鲁棒，不受病变位置、范围的影响。

在未来的工作中，我们进一步开展以下工作：为了减小运算负担，本文中我们训练的修复网络是针对2维图像，这可能会导致2维融合成3维的过程中丢失部分空间信息；我们计划采用2.5维方式提升效果；对于一些脑区被肿瘤挤压扭曲严重的图像，修复得到正常的脑组织的准确度尚不足。后续工作拟在损失函数中加入左右脑对称的限制项，以平衡左右半脑的修复效果；根据与标准模板图像或图谱图像的配准结果，评估标记肿瘤周围组织及肿瘤侵犯的组织，以进一步分析脑组织和功能受损情况。