基于U-net的双能血管减影算法

成铭扬，李 亮

(1.清华大学 工程物理系，北京 100084；2.危爆物品扫描探测技术国家工程实验室，清华大学，北京 100084)

0 引言

数字减影血管造影技术(digital subtraction angiography, DSA)是指将通过X线探测设备扫描获得的人体同一部位的两帧影像传送到计算机，将模拟信号转换为数字信号，通过图像处理将造影片上的骨与软组织消除，仅在影像中获得血管的成像技术[1]，它广泛应用于人体神经系统和各类血管性疾病的检测和治疗[2]。

其中，DSA可分为三类：时间减影、能量减影和混合减影[3]，时间减影和能量减影因其各自优缺点在临床中有不同的应用。时间减影能有效消除造影血管外的背景区域(骨或软组织)，但需要对人体进行两次扫描，辐射剂量较大且容易受到两次照射间非碘化组织运动所造成的运动伪影。能量减影的常见方式为双能减影，主要通过两种方法来实现：①使用两种不同kVp峰值的X射线分别曝光。②使用能将衰减后的X射线进行能量分离的探测器系统(一次曝光法[4])。虽然能量减影可以避免两次扫描所带来的不利影响，但依旧很难消除骨骼等组织对减影图像的影响[3]。

近年来,深度学习网络的研究发展趋于成熟[5]，为消去人体其他组织的影像以凸显血管或病灶部位提供了许多新的解决方法，如基于CNN的X线胸片骨抑制技术[6]、人体肺结节的识别[7]等。通过输入待转换的图像至神经网络，对应的输出为理想转换后的图像，以此训练神经网络参数，缩小转换后图像与待转换图像的差异，可以实现原图向目标图像的转换。

本文第1部分阐述双层探测器实现血管减影的相关研究及其原理，并简单介绍U-net等神经网络在医学上的应用；第2部分将详细介绍本文所采用的神经网络模型和损失函数；第3部分是实验步骤、图像评价指标和结果的对比分析，验证U-net网络在双能血管减影应用的有效性和优点；第4部分是总结与展望。

1 概述

1.1 数字减影血管造影技术

时间减影以时间作为参数，用X射线摄取一张注射造影剂之前的掩模像进行存储。然后在血管中注射碘造影剂，等待一段时间造影剂遍布血管后再摄取一张含碘的造影像。两张图像相减，相同部分消除，含造影剂的血管部分凸显。

能量减影以射线能量为参数，利用了两种物质对不同能量的X射线的衰减程度不一样的原理，其中一种物质在大于某一X射线能量时衰减曲线发生了跳变，而其他物质衰减曲线连续且变动较小，如利用碘元素的k-edge特性减影[8]。能量减影从实现形式上可以分为双源kVp技术和双层探测器系统。因侧重于实现一次曝光法以及实验设备限制，本文选择通过后者来完成双能量血管减影算法的实现。

1.2 双能减影图像分离原理

血管造影图主要由含碘血管和背景组织组成。高能射线和低能射线的能量分别为Ehigh和Elow，初始入射的X射线强度和透射后的X射线强度分别为I0和I，含碘血管和背景物质的厚度分别为x1和x2，其X射线衰减系数分别为u1和u2。根据比尔定律有：

(1)

双能DSA减影需要减去x2以留下待观察的含碘血管，所以对(1)进行等式变换后再取负对数得到式(2)：

(2)

为消去含x2的项，我们分别对(2)中式子分别乘以系数[9]后相减得到式(3)：

s=(Nl*u1(Elow)-Nh*u1(Ehigh))*x1+

(Nl*u2(Elow)-Nh*u2(Ehigh))*x2

(3)

因此，只要满足式(4)即能消去除了含碘血管外的物质。

(4)

1.3 双层探测器

最早的一次曝光法是由Speller[10]提出的，目的是为了消除两次曝光法间隔人体的呼吸、心跳以及部位移动等产生的伪影，但减影图像组织对比度和信噪比都不理想。如想达到两次曝光法的效果，则需提高X射线的曝光剂量[11]。

本实验通过双层探测器来实现一次曝光法，即把分别对低能X射线和高能X射线敏感的探测器复合在一起，在两层探测器之间加一层过滤层以滤掉低能光子使其不进入高能探测器。Linxi Shi等[12]研究了双层平板探测器的基本特性以及在二维和三维下的成像能力。Minghui Lu等[13]以动态双层非晶矽平板探测器进行双能锥束CT扫描，进行材料分解以探究其在双能成像中的成像性能；以及Chumin Zhao等[14]比较双源模式和双层探测器两种方式对骨密度测量准确性的影响。

1.4 深度学习在医学影像领域的研究进展

目前深度学习在医学图像分割、医学图像识别、计算机辅助诊断等医学影像处理方面应用广泛，其中应用到的模型主要有SAE、DBN、CNN、U-net、GAN以及FCNN[15]等神经网络。近年来，随着计算机计算能力的逐渐提升，深度学习网络逐渐由特征输入转变为直接将图像的灰度值输入，称为基于像素的机器学习方法[16]。能量减影的缺点在于无法消除骨骼对减影图像的影响，为消除该影响，可以采用级联式多尺度基于卷积神经网络的骨抑制技术[17]。此外，加速卷积网络和多分辨率卷积网络[6]在胸片双能减影的骨组织去除中也具有良好的效果。也可以将骨骼视作图像中的噪声信息，利用U-net网络的跳跃连接和残差学习的策略完成胸片中肋骨的抑制[18]。而深度学习在CT血管造影的血管分割中也起到很大作用，例如Vessel-VNet网络对血管区域进行分割提取[19]。

2 算法设计与实现

2.1 U-net网络结构

本文使用的改进U-net神经网络模型如图1所示，U-net网络[20]由两部分构成：前半部分主要是由卷积层和池化层构成的收缩路径，用于提取图像各个层次的特征；后半部分是与收缩路径对称的扩张路径，用于精准定位，主要通过卷积层和上采样实现。两个网络呈对称关系，形成U型。U-net网络的收缩路径每一层均由两次卷积和一次池化构成，卷积层为随机生成且符合正态分布的3×3矩阵，为使得卷积前后图像尺寸不变采用填充模式。池化层采用2×2的平均池化矩阵使图像长宽尺寸各缩小一半，在每层的输出部分都采用了ReLU函数作为激活函数，池化后下一层的卷积层卷积核个数均为上层的两倍，得到的特征图也会加倍。扩张路径每层均由两次卷积和一次上采样构成，上采样部分采用最近邻插值法进行填充，避免了反卷积所造成的图像“棋盘格”效应，每上采样一次图像长宽尺寸各增加一倍。上采样后下层的卷积核个数均为上层的一半，使得特征图数量减半。最后一层卷积层的卷积核个数为1，特征图输出为1，得到与高能图像对应的预测低能图像。

图1 U-net神经网络结构

其中，改进的结构为：将U-net网络每次进行池化后得到的特征图进行一次最近邻插值法填充，得到与原图尺寸一样的特征图，用原图减去特征图得到高频分量图,如图2。高频分量图可以很好地增强图中因注射造影剂后在背景图中凸显出的血管边缘。而跳接结构则将U-net网络每层所得到的高频分量图与对应的上采样图拼接，实现对每层高频分量图的有效利用以及多尺度特征融合。

图2 高频分量图

本文将输入图像的初始卷积核个数n设置为16或32个，在其基础上分别观察是否加入高频分量图对结果的影响。设置卷积核的个数应考虑到实际的医院应用场景并没有足够的条件应用GPU集群，需要尽可能在单块GPU上运行实现网络；以及需要考虑网络结构过大带来的过多参数影响，会导致网络过拟合并在减影后消除血管区域。

2.2 损失函数

网络的实质是解决图像回归的问题，因此损失函数需要很好地反映出预测图像和真实图像间的差异性。常用来描述两幅图像间差异性的指标为L1损失函数和L2损失函数,如下式所示：

(5)

(6)

L1损失函数为平均绝对值误差(MAE)，L2损失函数为平均平方损失函数(MSE)。L2比L1对异常数据更敏感，平方项的惩罚会导致异常数据引起更大的损失。而且L2损失函数的梯度随接近真实值而不断减少容易陷入局部最优值。文章[21]证明神经网络在图像回归中的训练中，L1作为损失函数所能达到的训练效果比L2更好。

SSIM[22]分别从图像的亮度、对比度和结构相似性三个角度对比两张图像间的相似性。其公式如下：

(7)

(8)

Ms-SSIM的数学意义为：值为0时表示两张图像完全不相似，为1时表示完全相似为同一张图。因此可以推出能应用于损失函数最小化的LMs-SSIM公式如式(9)：

LMs-SSIM=1-Ms-SSIM(p)

(9)

Ms-SSIM和SSIM对图像的均匀偏差并不敏感，会导致图像在亮度或颜色上变得暗淡。而L1损失函数可以很好地保持图像亮度和颜色不变化，取二者加权之和作为本文的损失函数，其中权重α=0.84[22]。本文所用的损失函数如式(10)：

(10)

3 实验验证

3.1 实验仪器

为了验证本文所提出的神经网络的有效性，本文拟设置完整的实验方案，并从实验室中采集相关的实验数据验证结论。所用到的仪器设备如下：① X光机：实验所用的射线源为日本HAMAMATSU公司所生产的微焦点X光机，型号为L12161-07，实验所使用电压为140 kV。② 双层探测器：实验中使用的是康众公司提供的双层探测器，像素大小为1536×1536，单个像素尺寸为100 μm×100 μm。探测器两层间间隙可以放置厚度不一的铜片，实验中放置1 mm厚的铜片。③ 医疗头模：采用KYOTO KAGAKU 公司生产的人体头部模型，重6.5 kg、高 33 cm。为了模拟血管的分布，使用内径与血管相当、粗细略有不同的硅胶软管，软管内灌注碘化钠溶液，溶液的碘浓度和医用造影剂碘佛醇的碘浓度相等(320 mg/ml)，然后将灌注有溶液的软管弯曲、固定于头部模型上模拟脑血管的走向。头模以及黏贴的软管、双层探测器及铜片如图3所示。④ 训练神经网络使用的GPU为单块GTX 1080ti，显卡内存为11 GB。

图3 实验仪器摆放图

3.2 实验步骤及图像处理

实验的具体步骤如下：①用X光射线照射空气并由双层探测器接收高低能图像，作为本底图，探测器接收图像时每次拍摄都存储100帧图像。②置物台上放置医用头模，启动X光源照射头模，并旋转医疗头模，双层探测器上接收到每个角度下头模的低能图像和高能图像。多角度的头模图像作为该神经网络的训练数据集。③配置好一定浓度的NaI溶液充当造影剂，用注射器将NaI溶液充盈至多根软管内，并用透明胶带将每根软管粘贴在头模上，模拟脑部血管走向。④拍摄多张角度下含碘头模的高低能图像，作为神经网络的验证集以及测试集。⑤处理图像数据：每张图像尺寸为1536×1536，每一个角度下每张低能或高能图像都有100帧图像，将100帧数字图像进行逐像素叠加，减小背景噪声对图像的影响。再将神经网络数据集中每一张图像的低能图和高能图分别与本底图的低能图和高能图相除后取负对数，得到处理后的数据集。

3.3 评价指标

PSNR指标为峰值信噪比，常用于对比压缩后图像与原图像的图像质量，是最广泛使用的评鉴画质的客观量测法之一。PSNR公式如下：

(11)

式中，MSE即式(6)的L2损失函数，(2n-1)为图像信号值最大值。又因为人眼视觉对于误差的敏感度并不是绝对的，其感知结果会受到周围临近区域的影响，所以需要考虑亮度，对比度和空间结构的相似性，需要用到SSIM指标，如式(7)所示。因训练集仅包含头模而不含碘液的数据，评价指标PSNR和SSIM也仅需考虑非碘液区域的拟合效果，应排除血管区域数据的影响。

CNR为对比度噪声比，是衡量图像对比度的一个重要指标，旨在评价减影图像中血管区域内外的强度差。如式(11)：

(12)

其中,blood为减影图像中选取的血管ROI区域，而background则为减影图像中选取的背景ROI区域。u(x)为取均值函数，σ(x)为取方差函数。

3.4 实验结果

本文共设置了6组实验：①在注射造影剂前后各拍摄一张照片，利用时间减影的原理作出减影图像。②使用多项式拟合20组头模低能图和高能图的数据集，并将多项式应用于头模含碘图像的转换。③U-net神经网络初始卷积个数n=16，无高频分量图，即用原图进行跳接。④初始卷积个数n=16，有高频分量图。⑤初始卷积个数n=32，无高频分量图。⑥初始卷积个数n=32，有高频分量图。

③至⑥组实验的模型都以0.1作为初始学习率来训练，经过100次迭代后衰减至0.005。总共训练100个周期，取周期中损失函数值最小的模型作为最终的测试集模型。模型①使用幂次项最合适的多项式拟合头模数据，得到多项式模型。对各模型输入含碘的高能头模图像，输出为预测的含碘低能头模图像。并通过预测含碘低能图像与实际含碘低能图像相减获得血管减影图和ROI区域，如图4所示。可见，多项式拟合模型的减影结果受到较大的噪声影响；n=32的减影图像相较于n=16的减影图像在颅骨等区域消去得更彻底；包含了高频分量图作为跳接结构的减影图在血管区域的细节凸显中表现更好，验证了所提出模型的优越性。

图4 各模型减影结果图像(第一行)ROI区域(第二行)

计算预测含碘低能图像与实际含碘低能图像之间的PSNR和SSIM指标，再计算其减影图像的CNR指标。具体数据如下表1所示。

表1 各模型性能对比

PSNR和SSIM都是衡量两张图像相似性的指标，数值越大表示图像相似性越高。由表1数据可以得知：① U-net网络转换的高能图像在指标上更接近其低能图像，证明了深度学习在图像数据拟合中比传统的数据拟合方法更精确。② 当初始卷积个数为32时，网络模型规模增大，拟合的效果显著提升，拟合图像比初始卷积个数为16时更相似。③ 当跳接结构为提取的高频分量图时，转换图像的相似性有较大提升，证明了用更能代表图像特征的高频分量图作为跳接图像，可以显著提高图像的转化效果。④ 在减影图像结果的对比中，深度学习的方法更胜一筹。当U-net初始卷积个数越多，并且跳接图像为高频分量图时，PSNR提高约24.44%，SSIM提高约3.35%，CNR提高约114.5%。

可见，高能含碘图像经过该模型转换后，非血管区域数值更接近，减影图像效果的对比度噪声比大大提高，图像中血管的凸显程度更明显。

4 总结展望

本文基于U-net网络实现了医疗头模血管的双能量减影，通过设置实验对照组证明了U-net深度学习框架相较于传统拟合方法的优越性。此外，适当增加网络的规模和改进U-net跳接结构的跳接图可以有效地提高网络的学习能力。使用U-net网络拟合数据可以减弱或消除脑部其他组织对造影血管的影响，为医生提供合适精确的诊疗手段，可以作为今后血管造影领域的研究方向。

在用U-net进行图像拟合的过程中，可以观察到减影结果中仍存在大量的骨骼区域，这是因为网络对于结构信息复杂的区域无法做到更为精细的拟合而存在的误差，可以改进的方向主要有两个：①对血管区域作更精准的标定且量化叠加在损失函数上，令其不会在训练的过程中因过拟合而被减去，神经网络可以做更多轮的迭代。②选用更适用于图像转换或风格迁移的生成对抗式网络GAN,通过更为精准的生成损失函数和对抗损失函数来趋近于低能图像的数值。

除去对该算法本身拟合效果的改进外，该研究结果还可以用于多角度下三维重建脑部血管的减影方法，通过收集各个角度下该减影算法得出的血管图进行三维脑部血管重建，可以为医疗人员提供更丰富的辅助诊疗手段。