基于双通道特征融合网络的脑部图像配准

张 纠 刘晓芳 杨 兵

1(中国计量大学电子信息与通信研究所 浙江 杭州 310018) 2(中国计量大学计算机应用与技术研究所 浙江 杭州 310018) 3(浙江省电磁波信息技术与计量检测重点实验室 浙江 杭州 310018)

0 引 言

医学图像配准是利用计算机技术发现两幅或多幅图像在同一坐标系空间匹配关系的医学影像分析技术，是图像融合、疾病诊疗、多模态图像分析的前提和基础。一直以来，图像配准是医学影像自动分析中的热点问题，一些基于参数模型的配准方法如非刚性配准[1]将配准抽象为参数优化模型，通过参数空间搜索和优化等得到图像间的空间匹配关系。然而，在多参数情况下，这些方法通常具有配准效果较差、无法取得最优解等局限性问题。近年来，深度学习技术不断应用在医学影像分析领域，其具有自动完成特征空间搜索与参数优化等优点，广泛应用于多模态图像配准[2]、模态转换[3]、基于配准技术的图像融合[4]等。

基于编码和解码的网络结构如U-net网络[5]是医学影像处理的常用卷积神经网络框架，Balakrishnan等[6]将U-net网络用于脑图像配准，用神经网络取代传统配准算法的优化过程。传统U-net网络将特征提取过程抽象为三部分：1) 编码结构对输入图像进行特征编码，抽取输入图像的底层信息；2) 解码结构对底层信息进行解码，增大图像分辨率；3) 特征融合传递同级特征信息，有利于图像特征精细化提取。

基于U-net的网络采用跳跃连接进行同级特征之间的信息融合，其主要采用通道拼接的方式传递特征信息。然而，此方法没有充分考虑到不同通道的特征对信息融合的贡献度不同，同级特征之间存在空间位置不匹配等问题。针对此问题，本文提出基于双通道特征融合网络的配准模型用于脑部图像配准，同时进行特征重要性赋权以及特征空间校正。利用全局平均池化等操作对输入特征进行通道赋权，同时，采用空间变换网络对多层级配准场进行空间变换，提高配准场估计精度。

1 相关工作

1.1 图像配准

图像配准是指基于参数优化的方法确定在同一坐标系下浮动图像(Moving image)与固定图像(Fixed image)之间的空间坐标对应关系，根据图像维度不同，可分为2D(Two Dimension)图像配准与3D(Three Dimension)图像配准。基于图像间灰度差异的配准方法对待配准图像间的灰度值敏感，无法适应医学图像灰度不均匀的特点。针对基于灰度差异配准方法的局限性，改进的互相关[7](Cross Correlation)以及相关系数[8](Correlation Coefficient)等用于图像配准中，此外，互信息[9](Mutual Information)、KL散度[10](Kullback-Leibler Divergence)等相似性测度也多用于医学图像配准中。

相较于传统配准方法，基于神经网络的配准方法在解决特征提取以及参数优化问题上显示出其较好的学习性能。此外，由于图像配准要求两幅或多幅图像之间的空间位置严格匹配，基于神经网络的配准方法能够通过优化算法自动寻找特征空间，优化配准参数。

1.2 基于空间变换网络的配准模型

卷积神经网络如U-net是一种基于特征编码-特征解码的卷积神经网络[5]，其特点是利用跳跃连接(skip connection)进行特征间的信息融合，使融合后的特征同时具有高层和底层的语义信息，有利于精细化提取图像特征。ResNet[11]提出的残差结构使用跳跃连接的方式使得训练深层网络成为可能，其数学表达如下：

Y=F(X,Wi)+X

(1)

式中：Y为输出；X为输入；W为权重；F表示W与X的非线性关系。U-net中跳跃连接的方式为通道拼接，其数学表达如下：

(2)

式中：O为输出；XCi+ZCj表示同级特征之间的通道方法叠加。

空间变换网络(Spatial Transform Networks,STN)[12]是一种针对图像局部形变的校正网络，能较好处理输入图像局部变形等问题。空间变换网络常用于医学图像配准中作为特征变换模块对基础网络提取到的特征进行空间变换，以确定图像间的空间匹配位置，如图1所示。空间变换网络分为三部分：(1) 定位网络(Localization Network)模块对输入特征进行空间变换如仿射变换，输出变换参数：

(3)

(4)

图1 基于空间变换网络的配准模型

2 双通道特征融合网络配准模型

2.1 网络结构

针对传统卷积神经网络中特征融合部分没有考虑到特征重要性以及特征空间位置不匹配的局限性问题，提出一种用于特征信息融合的双通道特征融合模块(Dual-channel Feature Blending Module,DCFBM)，其整体结构如图2所示。

图2 双通道特征融合模块(DCFBM)

DCFBM是一种通用的特征融合模块，可用于不同通道间的特征加权以及特征空间匹配和校正，在基于双通道分组卷积的基础上，同时对输入特征进行通道赋权以及特征位置校正。其可以分为三个部分：

1) 特征重要性赋权(Feature Importance Weighting)：首先，利用分组卷积对原始输入特征的不同通道进行卷积操作，得到两组不同特征；然后用全局平均池化对输入特征进行降维，得到每个通道的权值，此操作称为Squeeze，如式(5)所示。

(5)

式中：C输入特征R的通道数；H、W分别为输入特征R的高和宽；Rc表示输入特征R中第C个通道。再利用全连接以及激活函数得到每个通道的赋权参数：

Fexcitation(z,W)=σ(g(z,W*))

(6)

式中：z表示Squeeze处理后的特征向量；W为权值；g(·)表示全连接对特征进行加权；W*表示加权权值；σ(·)表示激活函数(如Sigmoid等)。最后将赋权参数乘以每个通道的输入特征，得到加权后的特征。

2) 特征空间位置校正(Feature Space Position Correction)：利用STN网络对输入特征分别进行空间定位，网格生成，坐标采样，对原始输入特征进行形变。

3) 双通道特征融合(Dual-channel Feature Blending)：感受野(Receptive Field,RF)大小是卷积神经网络识别并提取感兴趣区域(Region of Interest,ROI)的关键，大感受野可使网络捕捉到更为全局的信息，看到相当于输入图像大小的视野，而小感受野则能使网络捕捉到更为细致的局部特征，对局部信息的识别至关重要。对于卷积网络，大感受野和小感受野的结合对于识别整体与局部目标十分重要，本文利用两个不同尺寸大小的三维卷积核(3×3×3,5×5×5)对原始输入特征进行分组卷积，对生成的两组特征分别进行加权以及校正，最后对两组特征采用通道叠加的方式进行信息融合。

图3为基于特征融合模块DCFBM的DCFB-Net配准模型。其中，DCFB-Net用于特征提取以及特征空间搜索，获得配准场(Registration Field)，然后用空间变换网络对浮动图像以及配准场进行空间变换，得到配准后的图像，利用配准图像与固定图像之间的差异衡量配准的精度，通过损失函数优化配准参数，得到最终配准结果。

图3 基于DCFB-Net的配准模型

脑部图像扫描通常为三维立体图像，包括整个成像部位，其中每个切片表示某一层的成像部位剖面，由于三维扫描能反映扫描部位整体轮廓和细节，故在卷积网络中将三维扫描作为输入能使网络捕捉到各切片之间的内在联系，这对于脑部图像配准十分重要，传统U-net网络都是基于二维图像，使用二维图像算子如二维卷积(2D convolutions)、二维池化(2D max pooling)、二维上采样层(2D up-convolutional layers)等，将切片与切片之间孤立，忽略了人体解剖结构之间的空间相关性，不利于网络获取切片之间的空间位置关系。本文使用3D扫描图像作为输入，构建双通道特征融合网络模型。

表1和表2为第一层特征与最后一层特征融合模块的主要网络参数，其他层特征融合模块的参数参照表1和表2，主要区别为输出大小以及卷积核数量不同。特征重要性加权主要细节总结如下：

(1) 用分组卷积将输入特征分为两组，分组卷积使用3×3×3大小的卷积核，数量为32。

(2) 用全局平均池化对分组卷积后的特征进行降维，得到1×1×1×32大小的特征向量，此步骤为Squeeze操作。

(3) 用数量分别为128、32的全连接层以及激活函数ReLU对对特征向量进行加权。

(4) 最后使用sigmoid函数对特征向量进行Excitation操作，再与输入特征相乘，得到不同通道加权后的特征。

表1 双通道特征融合模块主要网络参数1

表2 双通道特征融合模块主要网络参数2

特征空间变形与转换主要网络细节如下：

(1) 定位网络模块将采用两个卷积大小为5×5×5，数量为32的卷积核，同时用激活函数ReLU增加了非线性表达；

(2) 网格生成模块采用两个数量分别为64、32的全连接，以及仿射坐标生成采样网格。

(3) 采样器根据采样网格以及采样参数对输入特征进行变换。

2.2 脑部图像配准流程

图4展示了本文提出的DCFB-Net网络的脑部图像配准流程，流程可分为以下几个步骤：

步骤1利用DCFB-Net中的编码-解码结构对浮动图像和固定图像进行特征提取。

步骤2利用DCFB-Net中的双通道特征融合模块DCFBM融合同级特征，进行特征赋权和空间变换。

步骤3分别抽取三层特征用于配准场融合，抽取的三层特征位于编码-解码结构中的最后三层。

步骤4对融合后的多层级配准场进行空间变换，学习空间映射参数。

步骤5执行步骤4后得到的配准图像，使用损失函数衡量配准效果，网络反向传播更新网络参数。

图4 脑部图像配准流程

2.3 损失函数

(7)

(8)

(9)

式中：λ为正则化参数。

3 实验与结果分析

3.1 数据集与实验参数

本文在脑部公开数据上进行了配准实验，数据集包括ADNI[13]、ABIDE[14]、ADHD[15]，所有的数据都重采样为132×132×132大小，层间厚度为1 mm×1 mm×1 mm。所有数据都用工具FreeSurfer[16]进行了标准预处理，包括初步配准、脑部区域提取、脑部区域分割等。同时，为了增加数据集多样性，对原始数据进行了旋转、扭曲变形、裁剪等数据增加操作。数据集中900个扫描图像作为训练数据，50个作为验证数据，50个作为测试数据。实验数据如图5所示。

图5 实验图像示例

本文脑部配准实验基于深度学习框架TensorFlow实现，DCFB-Net模型训练使用显存大小为11 GB的Nvidia GeForce GT1080ti显卡。并使用迁移学习对网络进行参数初始化，之后在脑部实验数据集上进行微调。学习率设为0.000 1，迭代更新设为3万次，采用随机梯度下降(SGD)更新网络参数。正则化系数λ设置为1.0。

3.2 评价指标

为了评价固定图像与配准图像之间的相似性，本文采用Dice系数评价两幅图像之间的匹配度：

(10)

Dice系数为1表示两幅图像之间完全匹配，Dice系数为0表示两幅图像之间完全不匹配。

3.3 脑图像配准实验

为了说明本文方法DCFB-Net在脑图像配准上的有效性与准确性，与VoxelMorph方法[17]以及FAIM方法[18]进行了对比。

图6为不同切片的脑部图像配准结果，从左至右分别为固定图像(Fixed image)、浮动图像(Moving image)、本文方法(DCFB-Net)配准结果、VoxelMorph方法配准结果、FAIM方法配准结果，图6最后一行为配准结果的局部放大图。可以看出，本文与另外两种方法在浮动图像与固定图像轮廓形状差别较大的情况下，都能够根据固定图像的整体外形对浮动图像进行形变，在此基础上，三种方法最后的配准结果中，整体形状轮廓相差不大。

(a) 固定图像 (b) 浮动图像 (c) 本文方法配准结果 (d) VoxelMorph方法配准结果 (e) FAIM方法配准结果图6 配准实验结果比较

从图6中局部放大图可以看出，在配准细节处理上，FAIM方法保留了一些浮动图像原始的细节特征，不能很好地根据固定图像与浮动图像的细节差异对浮动图像进行形变，另一方面，FAIM方法配准结果中存在多处既不符合固定图像也不符合浮动图像的配准细节，说明FAIM在处理配准细节上具有一定的局限性，存在过处理的配准细节。VoxelMorph方法在细节处理上好于FAMI方法，其配准细节较符合固定图像的形状与纹理细节，能够较准确地对浮动图像做出形变，但是VoxelMorph方法对配准细节存在欠处理，有局部放大图可以看出，VoxelMorph方法在处理局部区域时，不能很好根据固定图像的特征做出准确的局部变形。

本文方法相较于其他两种方法能更准确地处理配准细节，说明本文方法采用的特征融合模块能更好地结合同级特征之间的信息，将下采样中的特征信息进行筛选加权，有利于与上采样中的特征进行信息融合，提高特征利用率。此外，从整体配准结果上看，本文方法也能很好地对浮动图像进行整体形变。

为了评估本文提出的配准金字塔策略，分别对不同层级的配准场和多层级配准场融合的配准结果进行了评估，图7展示了配准结果，可以看出，多层级配准场融合的效果好于单层级配准场的配准效果，说明多层级配准场可以有效融合多个单层级配准场的特征信息，有利于脑部图像的配准。

(a) 浮动图像 (b) 固定图像 (c) 配准场融合配准结果 (d) 第一个配准场配准结果 (e) 第二个配准场配准结果 (f) 第三个配准场配准结果图7 不同层级配准场的配准结果

表3展示了本文提出的DCFB-Net所使用的多层级配准场融合策略对配准评价指标的影响，可以看出，第一层配准场的Dice指标最低，这样说明了第一层配准场无法有效提供丰富特征信息。第二层、第三层配准场的Dice指标逐渐提高，说明第二层和第三层配准场提供了较为丰富的特征信息。三层融合的配准场Dice指标最高，说明对三层配准场的融合效果较好，能有效提高配准精度。

表3 不同层级配准场的评价结果

表4为本文与VoxelMorph方法以及FAIM方法配准结果的定量评价，以平均Dice指标为评价标准，可以看出，本文方法在与其他两种方法用时差距不大的情况在Dice评价指标最高。FAIM方法的平均Dice指标最低，但是其用时相较于本文方法多。VoxelMorph方法居中，但是其用时最多。本文方法较VoxelMorph方法提高了2.5%，较FAIM方法提高了5.0%，说明本文方法对于脑部图像配准的有效性与准确性。

表4 不同方法配准评价

4 结 语

本文基于双通道特征融合策略提出一种特征融合模块并结合空间变换网络应用于DCFB-Net中，结合双通道融合模块和多层级配准场融合策略，提高了配准场的估计性能。实验表明，本文提出的特征融合策略能够较好处理配准细节，提高同级特征之间的信息融合程度，有效改善同级特征之间空间位置不匹配的问题，提高了脑图像的配准精度。总的来说，本文方法能有效且准确地对脑部图像进行配准，能根据固定图像的全局以及局部特征对浮动图像进行形变，在脑部图像公开数据集上的配准实验表明了本文方法的有效性与准确性，在解决脑图像配准问题上具有较好应用前景。