一种基于Mask RCNN的融合几何特征的冠状动脉分割方法

邵 凯，张云峰，包芳勋，郑 勇，秦 超，张彩明

(1.山东财经大学 a.计算机科学与技术学院，b.山东省数字媒体技术重点实验室，济南 250014；2.山东大学 a.数学学院，b.计算机科学与技术学院，济南 250100)

冠心病的预防和治疗是目前临床诊断研究的重点。冠脉CT血管造影(coronary computed tomography angiograph,CCTA)是对抗冠状动脉疾病最有价值的诊断研究之一[1]。准确的CCTA图像分割是冠心病临床诊断和治疗提供可靠依据的关键。

以往的医学分割方法包括但不局限于阈值分割[2-3]、区域生长法[4]和活动轮廓模型[5]等，这些方法已有广泛的应用。然而，在CCTA图像中，感兴趣区域(region of interest，RoI)与背景区域间的灰度值不存在显著差异，并且阈值、标准的选择和初始轮廓曲线需要人工干预，这使得传统方法难以实现高精度的自动分割。

近年来，实现自动分割的方法受到了人们的关注。根据处理对象的粒度大小，分割方法可分为基于像素的方法[6-10]和基于区域的方法[11-14]。对于基于像素的方法，网络提取用于处理像素的视觉特征和语义信息来实现图像分割。SHEN et al[7]使用全卷积神经网络(fully convolutional network，FCN)学习冠状动脉的语义特征实现分割。对于较复杂的图像，RoIs的自动选择可以去除大部分的背景信息干扰，得到更好的分割结果。基于区域的方法可以通过目标检测方法自动提取RoIs，并在RoIs上进行分割。Mask RCNN[11]是一种典型的基于区域的网络，该网络在Faster RCNN[12]网络基础上扩展而来，利用残差网络[13](residual network，ResNet)和特征金字塔网络(feature pyramid network，FPN)提取图像特征，然后利用区域建议网络(region proposal network，RPN)提取RoIs，最后，并行的FCN层实现了对每个RoIs的分割。ANANTHARAMAN et al[14]将Mask RCNN应用于口腔病理医学领域，并取得了良好的效果。LIU et al[15]通过改进RPN中锚点的选择标准来提高超声图像分割精度。温尧乐等[16]通过增强FPN网络低层特征提高分割准确度。对于边界不清、特征不明显的CCTA图像，Mask RCNN网络特征描述能力不足。

由于机器学习分割方法的实现依赖于医学图像的特征信息，因此边界特征和分形特征等几何特征对CCTA图像分割非常重要。HAN et al[17]利用局部边界特征和形状特征实现了冠状动脉CTA图像中冠状动脉的自动跟踪。然而，CCTA图像的边界不清晰，使Mask RCNN网络提取的特征不完备。WANG et al[18]使用分形维数来识别视网膜血管。冠状动脉血管具有不同尺度的自相似性，即分形特征。不同的形态结构具有不同的分形维数，可以用分形维数区分不同的器官组织和血管。在Mask RCNN网络引入分形特征可以进一步增强特征描述，从而提高分割精度。

本文提出一种融合了几何特征的Mask RCNN网络来实现冠状动脉分割。首先提出了一种边界提取方法来生成有效的边界特征，通过增强边界特征来解决冠脉边界不清晰的问题。其次，通过分形维数来表示冠脉不同尺度下的自相似性，即分型特征。融合分形特征可以提高网络的分形特征描述能力，解决特征不明显的问题。最后，在网络中添加一个特征融合层，目的是将边界特征和分形特征融合到原始特征图中。网络采用新的特征图实现CCTA图像分割。

1 本文方法

本文研究了将几何特征融合到Mask RCNN网络来提高图像分割精度的方法。图1给出了提出方法的框架。首先，提出了一种边界提取方法，在不影响输入图像结构的情况下提取边界特征。其次，根据冠状动脉具有不同尺度下的自相似性，通过分形模型提取分形特征。最后，利用特征融合层将边界特征、分形特征和原特征图融合为新的特征图。区域建议网络使用新的特征图生成更精确的检测框，全卷积网络生成更接近Ground Truth(GT)的遮罩。

1.1 边界特征提取

由于CCTA图像成像方式的影响，冠脉血管与其他组织之间的边界不清晰。为了增强边界特征，本文利用非下采样轮廓波变换(nonsubsampled contourlet transform，NSCT)算法和Canny算子提取图像边界特征。

图1 基于Mask RCNN的融合几何特征的冠状动脉分割方法基本框架图Fig.1 Framework of coronary artery segmentation method based on Mask RCNN integrated with geometric features

NSCT算法是基于非下采样金字塔(nonsubsampled pyramid，NSP)和非下采样方向滤波器组(nonsubsampled directional filter bank，NSDFB)的一种变换。如图2所示，通过NSP处理，输入图像被处理为高通部分和低通部分，然后通过NSDFB处理将高通部分分成多个方向的子带，即不同方向的高频信息。虽然NSCT方法提取的结果包含了更多的细节但是边界主轮廓可能是不连续的。Canny算子可以检测出完整的轮廓，因此本文利用Canny算子处理NSP生成的低通部分。将NSCT算法和Canny算子提取的高频信息叠加作为边界特征，此边界特征包含完整的边界主轮廓和更多的细节特征。网络通过融合边界特征增强冠状动脉与其他组织的边界特征信息，减少冠脉血管壁不清晰的影响，提高检测和分割的准确性。

图2 边界提取算法Fig.2 Boundary extraction algorithms

为了验证边界特征提取方法的合理性，本文提供了不同边界提取算法的结果，如图3所示。本文的方法可以在保证边界连续性的同时突出主轮廓并生成更详细的边界特征。

图3 边界提取算法对比Fig.3 Comparison of boundary extraction algorithms

1.2 分形特征提取

特征提取的质量对Mask RCNN网络的分割精度至关重要。待分割区域的特征不明显使得网络对冠脉的分割精度不高。为了进一步提高分割精度，本文将分形特征引入到Mask RCNN中。

图4 分形特征提取Fig.4 Fractal feature extraction

在CCTA图像中，冠状动脉血管在不同尺度上具有自相似性，即分形特征，可以用分形维数来表示。如图4所示，粗糙区域的分形维数大于光滑区域。分形维数的大小和在一定区域内的分布可以用来区分不同的血管。为了计算分形维数，本文利用分形插值函数将图像映射为有理分形曲面，有理分形曲面的盒维数计算方法如下所示[19]：

(1)

式中：S为尺度因子矩阵；τ(i,j)=(i-1)×N+j，代表了集合{(i,j):i,j=1,2,…,N}的列举，τ-1(N)用于将τ(i,j)映射到位置(i,j)上，则分形维数的盒维数D表示为：

(2)

(3)

其中si,j为尺度因子，则公式(2)可以变换为：

(4)

将整幅图像的分形维数D映射为分形特征矩阵，即提取的分形特征。

1.3 预测阶段

1.3.1特征融合

如图5所示，为了将边界特征和分形特征融合到特征图中，我们增加了一个特征融合层。边界特征和分形特征通过裁剪层和特征融合层融合到特征图中。裁剪层使用1×1卷积操作保证边界特征图、分形特征图和原特征图的特征维度相同，使用上采样和下采样操作保证特征的尺寸大小统一。

图5 特征融合Fig.5 Feature fusion

Add特征融合操作[13,20]可以丰富特征的信息量，对于冠脉小目标和模糊对象的检测和分割都有帮助。本文的特征融合层采用add特征融合操作，将边界特征和新的分形特征融合到原始特征图中，特征融合公式如下：

Fnew=Fboundary⊕Dfractal⊕Foriginal.

(5)

式中：Fnew为新的特征图，Fboundary、Dfractal和Foriginal分别为边界特征、分形特征和原网络特征。本文采用的特征融合方式可以丰富底层特征，在保留背景信息的同时增加了特征信息并增强了细节特征。

1.3.2提取感兴趣区域

Mask RCNN使用RPN网络来提取冠状动脉RoIs.首先，RPN的滑动窗口在特征图中移动，每个特征像素对应的原始图像位置生成15个锚，大小为(8,16,32,64,128)，宽高比为(0.5,1,2).然后将锚输入到大小为1×1的回归分类层中，确定类别和位置。最后，用非极大值抑制方法调整锚的位置，最终选定的锚被认为是RoIs的建议框(Proposals).由于融合了几何特征，最终的建议框会更加准确。

1.3.3预测遮罩

Mask RCNN网络预测阶段的分割分支由FCN为每个RoI区域生成遮罩。为了提高分割精度，在分割分支前添加了一个Head结构，其利用反卷积操作进行分辨率的提升并减少通道个数，扩展了输入数据的维数。为了保证恢复更多的细节，网络融合了分类、检测和分割三个分支的输出。基于这3个分支，Mask RCNN网络的多任务损失如下：

L=Lcls+Lbox+Lmask.

(6)

(7)

(8)

Lmask(cls_k)=Sigmoid(cls_k) .

(9)

2 实验结果与分析

2.1 实验数据集

本实验使用来自山东大学齐鲁医院放射科的冠状动脉数据集进行训练和测试。数据集由10个受试者的CCTA图像组成，详细信息见表1。

该数据集的冠脉图像的人工分割GT图是由多位经验丰富的放射科医师完成的。分割的黄金标准是CCTA图像中所有冠脉区域都对应于一个GT标签图。

表1 数据集的详细信息Table 1 Details of the dataset

2.2 评价指标

为了验证本文方法的分割性能，实验采用常用于医学图像分割任务的指标[21]：平均精确度(average precision，PA)、召回率(R)，Dice系数、体积重叠误差(volumetric overlap error，EVO)、相对容积差(relative volume difference，DRV)、平均对称面距离(average symmetric surface distance，DAS)、均方根对称面距离(root mean square symmetric surface distance，DRMS)和最大对称面距离(maximum symmetric surface distance，DMSS).

(10)

真正类(true positives，PT)是通过计算超过某个预定义阈值IoU(intersection over union)的预测正确的个数。假正类(false positives，PF)和假负类(false negatives，NF)分别由未匹配的预测实例数和真实实例数决定。AP70被认为是IoU阈值大于0.7的平均精度。AP70的值越大，检测性能越好。

(11)

A表示分割结果区域，B表示参考区域，S表示任意一个曲面体素点。Dice系数用来衡量分割的性能，取值范围在[0,100]之间，0表示没有分割成功区域，100表示完美的分割。

(12)

(13)

EVO值为0表示完全分割。DRV为0意味着A和B的体积相同。DRV的优点是它提供了体积信息，这对于病灶的分割是很重要的。

(14)

(15)

对于A的每个表面体素，用L2范数计算到B的最近表面体素的欧氏距离。对于对称，从B的表面体素到A的表面体素重复相同的过程。DAS代表平均距离，0 mm代表完美分割。DRMS的计算过程与DAS相似，只是需要计算均方误差。

DMSS(A,B)=max{maxa∈S(A)minb∈S(B)‖a-b‖,
maxb∈S(B)mina∈S(A)‖b-a‖} .

(16)

DMSS是计算最大的欧氏距离，其值为0 mm代表完美分割。

2.3 实验结果

2.3.1融合不同特征的消融实验

本文在冠脉数据集进行了实验，图6给出了消融实验分割结果。从图6(f)的视觉上看，我们的方法可以正确地检测出感兴趣的区域，并且分割结果几乎完全覆盖感兴趣区域。图6(g)中的红线代表分割的结果，绿线代表人工标记的结果。由于加入了边界特征和分形特征，相比于原网络的结果来看，本文方法的结果更加接近GT.从表2可以看出，添加边界特征和分形特征的客观数据比原始Mask RCNN的客观数据好。从图7中可以看出，提出方法的Dice系数保持在0.85左右并且最大值和最小值之间的差异较小，没有极值。从图7(d)，(e)和(f)可以看出，本文方法与人工标注的误差较小。综上所述，将几何特征整合到网络中，增强网络特征描述，提高了模型的分割精度。

图6 消融实验结果Fig.6 Ablation experiment results

表2 消融实验的评价指标Table 2 Evaluation index comparison of ablation experiment

图7 评估指标的箱形图比较Fig.7 Box plot comparison of evaluation indicators

2.3.2与其他网络的对比试验

本文方法与经典的FCN[6]网络、UNet[8]网络和DeepLab[9]网络进行了对比实验，结果如图8所示。缺乏清晰的边缘和较少的特征将限制FCN网络的分割能力。UNet网络的真阳性分割结果较好，但错误分割结果较多。DeepLab的分割结果良好，但在视觉上，本文方法的分割结果更好。图8(f)中，红线为本文方法结果，绿线为GT，可以看出我们的方法更加贴合GT.为了便于比较，Dice、EVO和DRV的数值和箱形图如表3和图9所示。DAS、DRMS和DMSS这三个指标计算了分割结果与GT之间的距离关系。FCN和UNet实验结果中，DAS、DRMS和DMSS值明显高于提出方法的客观值。由于UNet的分割结果中，有较多的分割错误结果，DMSS的值超过了100 mm，其中3个指标超过100 mm的数值未被记录。从图9(a)中20幅随机测试图像的Dice指标可以看出，本文方法的值明显高于其他方法。图9(b)显示了测试数据集上Dice，EVO和DRV的平均值。本文方法的Dice值远远高于其他方法，这表明我们的方法具有更好的分割能力。本文方法的EVO和DRV值均小于其他方法，并且没有出现极值，并且都在一个更小的范围内，这表明提出的方法分割精度更高、更健壮。

表3 与DeepLab、FCN和UNet对比试验的评价指标Table 3 Evaluation index of comparison experiment with DeepLab, FCN and UNet

图9 提出的方法与DeepLab、FCN和UNet的评价指标客观值比较Fig.9 Objective value comparison of the evaluation index of the proposed method, DeepLab, FCN, and UNet

3 结论

本文将融合几何特征的Mask RCNN模型应用到CCTA图像分割中。首先，为了提高分割精度，提出了一种边界提取算法来提取边界特征，图像的高频信息由NSCT提取，Canny算子对低频信息进行处理，将两种提取的结果叠加为最终的边界特征，解决了医学图像边界不清晰的问题。然后，考虑到在特征较少的图像中突出特征表示有助于提高分割精度，本文将分形特征引入到特征提取网络中。最后，将生成的边界特征和分形特征融合到特征图中。分割网络使用新的特征图来生成分割遮罩。在冠状动脉数据集的实验结果表明，本文的方法是可行的，可以提高医学图像分割的准确性。

虽然提出的方法得到了很好的结果，但是对于较大的图像，分割网络的运行速度有待提高，这是因为，为了提取更精细的分形特征，对图像的每个像素都计算其分形维数，计算量较大。分析如何设计一种分形卷积神经网络来提取分形特征是今后需要研究的问题。