面向急性缺血性脑卒中CT到MRI的图像生成

冯二燕,秦品乐,柴 锐,曾建朝,孟延锋

(1.山西省医学影像与数据分析工程研究中心(中北大学),山西 太原 030051;2.中北大学 计算机科学与技术学院,山西 太原 030051;3.山西医科大学 附属太原中心医院,山西 太原 030009)

0 引 言

急性缺血性脑卒中是因血管堵塞造成大脑缺血而引起的脑组织病变,且发病症状较为平缓,不容易引起人们的注意,因此对急性缺血性脑卒中患者及早的治疗和诊断是至关重要的。计算机断层扫描(Computed Tomography,CT)是疑似脑卒中排除颅内出血的首选方法[1]。且CT检查快,十几秒就可完成。但CT对于急性缺血性脑卒中敏感度极低,病灶成像不明显,需要做进一步的磁共振成像(Magnetic Resonance Imaging,MRI)检查。弥散加权成像(Diffusion Weighted Imaging,DWI) MRI对急性缺血性脑卒中的病灶极其敏感,特别是对小梗死病灶,可在数分钟内发现缺血灶[2]。但MRI价格贵,检查时间长,并且对于一些特殊人群使用受限,如有金属植入物的病人,这导致医生不能及时地做出影像诊断[1-3]。针对为急性缺血性脑卒中患者赢得救治黄金时间问题,目前研究的热点主要集中在以下两个方面:(1)利用影像组学在CT影像上确定急性缺血性脑卒中病灶位置;(2)通过生成对抗网络由CT生成MRI,可在生成的MRI上获得病灶信息。这两种方法都在试图通过CT做出诊断,避免做进一步的MRI检查,为患者赢得抢救时间。

就第一个问题而言,通常医生无法通过CT影像确定病灶位置及范围,但研究表明,CT上病灶组织与正常组织存在肉眼不易察觉的差异性[4-5]。Guan等[6]利用影像组学证明了急性缺血性脑卒中病灶在CT上是可分的,且病灶区域与正常区域的影像组学特征差异明显。这些方法验证了在CT上病变组织的可分性,但需要依据真实的MRI手动分割病灶,这使得仅从CT上确定病灶位置成为一大难题。

另一方面,现多数研究致力于通过生成对抗网络建立CT到MRI之间的映射关系,进而实现CT到MRI的跨模态图像生成[7]。Zhang等[8]在pix2pix的生成器U-Net网络的下采样后引入残差块,加深网络提取高级特征但不会引起网络退化问题,以此来实现脑肿瘤的CT到MRI的跨模态图像生成。但脑肿瘤在CT和MRI上都清晰可见,二者信息量基本对等。Li等[9]利用多种深度学习方法从脑部CT生成MRI,最终证明有监督的U-Net[10]生成的MRI更具有临床意义。对于未配对的数据,CycleGAN[11]利用双循环一致性找到CT和MRI之间的对应关系,但该模型在配对数据上生成的图像分辨率有限。这些生成算法都是在CT和MRI复杂性相当的情况下进行的,当二者的信息量不平衡,例如对于急性缺血性脑卒中,CT对缺血灶不敏感,而病灶在MRI上表现为高信号区域,CT包含的信息量比MRI少,从CT生成MRI就会出现以下问题:(1)生成的图像质量差:因为生成器是以复杂度低的CT输入而生成复杂度高的MRI,导致生成的MRI上无病灶出现甚至出现错误病灶。(2)映射关系混乱:从信息量少的CT生成信息量多的MRI,二者对应关系变化大,导致模型对输入的变化极其敏感。

为解决上述问题,该文首先提取CT病灶区域的影像组学特征来平衡信息量,再结合生成对抗网络从CT生成MRI,提出一种面向急性缺血性脑卒中的CT到MRI的跨模态图像生成算法,主要工作有:

(1)基于影像组学的CT病灶检测。根据影像组学在病灶区域与正常区域提取的特征差异明显,将多个不同大小的锚框作为感兴趣区域,选择影像组学特征差异最大的锚框作为病灶候选区域。然后,提取病灶候选区域的影像组学特征,从而获取到CT上的隐藏特征,丰富CT的信息量。

(2)融合影像组学特征的CT到MRI的跨模态图像生成。在病灶候选区域提取的影像组学特征中筛选出信息增益最大特征可视化为特征图,将特征图与真实CT图像作为两个通道输入生成对抗网络中。生成对抗网络采用pix2pix网络,生成器引入残差模块,鉴别器采用PatchGAN。

(3)引入病灶特征相似性损失函数。为促使影像组学在生成的MRI病灶区域提取的特征与真实病灶特征相一致,该文引入病灶特征相似性损失函数。在生成的MRI和真实的MRI上提取病灶区域影像组学特征,减小二者的特征差异性,以便生成器将更多的注意力集中在病变部位,从而提高生成图像的真实性。

1 相关工作

1.1 影像组学

影像组学特征可代表一定的生物学特征,并可作为对患者诊断、治疗和预后的依据[12]。例如,影像组学提取的乳房纹理特征已被证明与乳腺癌高度相关,且与乳房密度相结合可以进一步提高预测乳腺癌的准确率[13]。随着机器学习与深度学习的发展,影像组学已广泛应用于脑卒中的预测和诊疗中。通常医生在急性缺血性脑卒中的CT中无明显发现,但利用影像组学可检测出梗死组织与正常组织的差异。Hofmeister等[14]在急性缺血性脑卒中梗死区域提取特征,且利用提取的特征预测溶栓的成功率,AUC达到了0.88。众所周知,高危颈动脉斑块可增加脑梗死的风险,Zhang等[15]利用影像组学提取特征,建立机器学习模型区分有症状的斑块和无症状的斑块,AUC达到了0.98,而医生的传统检测方法AUC仅达到0.80。这些研究旨在说明影像组学可以发现病变区域与正常区域的差异,而这些差异在视觉上难以察觉,且所提取的影像组学特征对辅助临床诊断具有很大的意义。

1.2 生成对抗网络

生成对抗网络(Generative Adversarial Network,GAN)[16]已广泛应用于医学图像生成。GAN网络的输入是随机噪声,网络生成的模式无法控制,因此CGAN[17]在GAN网络的基础上,输入添加了条件图像,使生成的图像与条件图像之间有对应关系。Nie等[18]提出一种3D GAN网络,实现由MR图像生成CT图像。Ben-Cohen等[19]提出将全卷积网络(FCN)与条件生成对抗网络(CGAN)相结合的算法,由CT生成PET图像,生成的PET图像可以减少病变检测中的假阳性。pix2pix[20]网络将输入图像作为条件图像和随机噪声的统一,实现了端到端的图像生成。而pix2pix需要严格配对的数据,对于医学图像,配对数据较难获得。Cao等[21]将密集网络引入CycleGAN,通过不配对数据实现了MRI到CT的生成,加强了特征的传递,避免了梯度消失问题,但生成的CT在骨骼和组织处不清晰甚至有偏差。Armaniou等[22]将对抗网络与非对抗损失相结合提出MedGAN网络,并应用在PET图像与CT图像的相互转化中。但MedGAN仅考虑了单通道问题,这会影响CT中运动伪影的矫正,相对位置变化导致在训练不稳定。对于急性缺血性脑卒中实现CT到MRI的跨模态图像生成,文献[23]提出了一个3D-GAN网络从CT生成MRI,可以帮助检测疑似脑卒中患者。但它生成的MRI与真实的MRI不太相似,虽然可以在生成的MRI上看到病灶,用来检测疑似脑卒中患者,但是病灶的位置和大小与真正的MRI有很大不同。文献[24]训练了一个改进的CGAN网络以从CTP生成MRI DWI。而CTP比CT包含更多的病灶信息。但CT对急性缺血性脑卒中病灶不敏感,在生成过程中无法提供更多的病灶信息,因此,该文引入了病灶的影像组学特征来辅助生成。考虑到所使用的数据集是配对的,且需要多通道输入,采用需要配对数据的pix2pix网络并加以改进,在生成器中加入残差模块,获取CT和MRI之间更深层次的联系又不会引起网络退化问题,从而提高生成图像的质量。

2 文中算法

面向急性缺血性脑卒中CT到MRI的跨模态图像生成算法整体结构如图1所示。

图1 算法整体结构

2.1 基于影像组学的CT病灶检测

如前所述,急性缺血性脑卒中CT上的信息量少于MRI,因此添加CT病灶区域的影像组学特征来平衡信息量。但急性缺血性脑卒中病灶在CT上不明显,无法将病灶在CT上分割出来,且病灶在CT上的具体位置是不可知的。所以使用不同尺度的锚框作为感兴趣区域。所谓锚框,是指在目标检测算法中以像素点为中心生成多个不同大小和宽高比的边界框[25]。研究证明CT上病灶区域与正常区域的影像组学特征差异较大[4-6]。若某个锚框与其他锚框的影像组学特征差异最大,则这个锚框中包含病灶,将这个锚框作为病灶候选区域。若在整幅图像中生成锚框,则锚框的数量过大,降低了病灶的检测效率,因此缩小搜索的范围,将CT的掩模图像(mask)等分为四部分,如图1(a)所示,作为四个感兴趣区域,分别提取四个感兴趣区域的影像组学特征,并比较特征值的差异,若某个区域与其他区域之间特征值的差异最大,则该区域中包含病灶。然后在该区域中继续生成锚框,寻找病灶区域,直到找到该区域中影像组学特征值差异最大的锚框,将这个锚框作为病灶候选区域。

某一病例的病灶检测结果如图2所示。图2(c)即为检测出的该病例的病灶候选区域。

图2 病灶检测结果

利用影像组学在确定的病灶候选区域提取影像组学特征,然后从大量的影像组学特征中筛选出有效特征。急性缺血性脑卒中病灶区域与其他区域不易区分,且CT到MRI的生成过程需要特征的参与,因此该文使用过滤式特征选择法。信息增益是过滤式特征选择的常用指标,代表了在一定条件下,信息不确定性的减少程度,即信息增益越大,该特征就越重要[6]。该文使用以下公式计算每个特征的信息增益:

(1)

(2)

IG(Xi,Y)=H(Y)-H(Y|Xi)

(3)

其中,Xi表示特征值,Y表示是否是脑卒中的随机变量,IG表示信息增益,即在该特征下,事件Y的不确定性的减少程度。

2.2 融合影像组学特征的CT到MRI的跨模态图像生成

通过影像组学提取病灶影像组学特征,共提取1 325个特征,去除无用特征,最终提取到1 283个特征。计算每个特征的信息增益,在CT上信息增益不同阈值下筛选的特征数如表1所示。信息增益越大,代表特征越重要,取信息增益最大的特征“wavelet-LLH glrlm RunLengthNonUniformity”,将该特征可视化为特征图F,将F与真实的CT图像一同输入到生成器G中,即输入为两个通道,生成器G可表示为:

表1 信息增益不同阈值下筛选的特征数

S_MR=G(I_CT,F)

(4)

其中,S_MR表示生成的MRI,I_CT表示真实的CT,F表示特征图,G表示生成器。

生成对抗网络采用pix2pix网络[20],并增加一个输入通道,且将残差模块引入生成器,构建了Res_pix2pix,网络结构如图3所示,包括生成器(G)和鉴别器(D)。生成器的目的是让生成的图像尽可能地接近真实图像从而欺骗鉴别器。I_CT表示真实的CT,F表示可视化后的影像组学特征图,S_MR为生成的MRI。鉴别器的目的是尽可能地区分生成器生成的图片与真实的图片。鉴别器仍采用PatchGAN[18],即把图像分为若干个N×N的块,分别鉴别每个块的真假,再取平均,增强生成图像的低频部分。

图3 Res_pix2pix网络结构

在医学图像生成领域,将U-Net作为生成器实现端到端的图像生成越来越受欢迎。但U-Net作为生成器在训练过程中网络深度不好把握,若网络层数太浅,则获得的语义信息不足,若网络层数太深,则会丢失细节信息。且输入图像与输出图像外表大不相同但可能存在潜在的联系,因此,该文采用对称的Encoding-Transformation-Decoding网络结构,如图1(c)所示。“Input layer”表示输入层,使用7×7的卷积核,将输入图像快速转换为特征映射。在编码和解码阶段分别采用3×3下采样卷积层和3×3上采样反卷积层,从输入CT中提取特征并生成MRI,激活函数均使用LReLU。为保留更多的细节特征,编码阶段只采用了两层下采样层。然后在编码之后引入九个残差模块[26],残差块使用3×3的卷积核,步长为2。残差块的网络结构如图4所示,F(x)是两层之间的映射函数,F(x)+x得到该残差块的输入。引入残差既加深了网络层次,获得了更多的特征信息,增强生成图像的质量,又避免了梯度消失问题,使训练更加稳定,增强了模型的鲁棒性。最后在输出层使用7×7的卷积核,将特征映射快速转换为生成图像。

图4 残差块结构

而文献[27]采用了“U-Net+残差块”的生成器结构,为定量对比文中算法与文献[27]所提算法的模型参数量,分别计算两种算法的生成器模型参数量,如表2所示。其中,文中算法与文献[27]的残差块单元数量一致,输入输出通道数一致。由表2可得,文中算法的生成器网络参数量比文献[27]降低了79.23%,文中算法更加轻量级。

表2 生成器网络参数量对比

2.3 目标函数

Res_pix2pix采用了与CGAN相同的对抗损失函数,然后pix2pix添加L1损失进行全局约束,该文引入病灶特征相似性损失函数进行局部约束。对抗损失如式(5)所示:

LCGAN(G,D)=EICT,IMR[logD(ICT,IMR)]+EICT,z[log(1-D(ICT,G(ICT,Z)))]

(5)

其中,G为生成网络,D为鉴别网络,E表示随机变量服从概率分布的期望,ICT表示真实的CT图像,IMR表示真实的MR图像,D(ICT,IMR)表示鉴别器D鉴别真实的图像是否为真的概率,G(ICT,Z)表示真实的CT图像与随机噪声输入生成器G中生成的MRI,D(ICT,G(ICT,Z))表示鉴别器D鉴别生成的图像是否为真的概率。

为使生成的图像更接近于真实图像,pix2pix在CGAN的基础上,增加了L1loss,对生成的图像有一个全局的约束,L1loss定义如下:

L1(G)=EICT,IMR,Z[‖IMR-G(ICT,Z)‖1]

(6)

为使生成的MRI与真实的MRI在病灶区域保持一致,该文引入病灶特征相似性损失函数(Lf),即减小影像组学在真实的MRI与生成的MRI上提取的病灶特征的差异性,Lf定义如下:

Lf(G)=EICT,IMR,Z[‖FIMR-FG(ICT,Z)‖1]

(7)

其中,FIMR表示影像组学在真实的MRI上提取的病灶影像组学特征值,FG(ICT,Z)表示影像组学在生成的MRI上提取的病灶影像组学特征值。由于数据集中CT与MRI是配准的,因此利用影像组学在CT上确定的病灶候选区域也是MRI的病灶候选区域,同样提取真实MRI的病灶影像组学特征,筛选信息增益最大的特征,减小该特征的特征值在真实的MRI与生成的MRI上的差异性,使网络更加关注于生成图像与真实图像病灶区域的一致性。

该文的目标函数是多个损失函数的线性组合,即:

(8)

3 实验结果

3.1 数据集及实验环境

该文使用的实验数据集来自于ISLES2018挑战赛(https://www.smir.ch/ISLES/Start2018),该挑战赛的目的是实现在CT上自动分割急性缺血性脑卒中病灶。数据集包含103名急性缺血性脑卒中患者,这些患者在发病8小时内就诊并在CT灌注成像(CT Perfusion imaging,CTP)检查三小时后进行DWI模态的MRI检查。其中训练集有63名患者,每个患者都有原始CT、四个CT灌注参数图、DWI和由医生手动勾画的病灶区域的标签;测试集有40名患者,未提供DWI和病灶区域的标签。因该文研究的是CT到MRI的跨模态生成,需要配对的CT和MRI,所以只使用了训练集63个病例共438个样本,去除不包含病灶的切片后,剩余281个样本参与训练,且该文只使用了CT和MRI。

实验开发环境为基于python3.7.10的深度学习框架pytorch1.2.0,训练模型使用的是系统为Ubuntu16.10 64位的NVIDIA Station服务器,配置了Intel Xeon E5 2620 v4处理器,内存为128 GB,4个Tesla V100显卡,每个显卡显存32 GB。实验训练400个epoch,优化器使用Adam优化器,交替训练生成器G和判别器D,初始学习率为0.000 2,batchsize为8,输入图像大小为256×256,输出图像大小为256×256。

3.2 评估指标

生成的MRI是否可以帮助医生做出诊断,需要经验丰富的放射科医生根据累积的临床经验进行主观评价。实验结果经两名太原市中心医院经验丰富的放射科医生在生成的MRI上确定病灶并进行正误分类。除此之外,还使用了定量评估指标:平均绝对误差(Mean Absolute Error,MAE)、峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)、结构相似性(Structural Similarity,SSIM)、皮尔逊相关系数(Pearson Correlation Coefficient,PCC)。评估指标定义如下[9]:

(9)

(10)

(11)

(12)

其中,xi和yi表示真实的MRI和生成的MRI。MAX表示真实MRI和生成MRI的最大像素值。在SSIM中,μx和μy表示真实MRI的平均像素和生成MRI的平均像素。σx和σy表示真实MRI的像素标准差和生成MRI的像素标准差。c1=(k1L)2,c2=(k2L)2,k1=0.01,k2=0.03,L是像素值的动态范围。

平均绝对误差是所有误差的平均值,数值越小表示失真越小;峰值信噪比表示生成图像与真实图像的相似性,数值越大表示相似性越高;结构相似性是一种全局的图像相似性评价指标,数值越大表示相似性越高;皮尔逊相关系数表示生成图像与真实图像的相关性,其值的绝对值大于0.8的话可认为二者高度相关。

3.3 对比实验

首先,将文中算法与pix2pix、CycleGAN、MedGAN、PRGAN[8]、RegGAN[28]进行性能比较。其中PRGAN是应用在脑肿瘤上CT到MRI的跨模态图像生成,RegGAN是添加了一个额外的配准网络来训练生成器,并很好地应用于医学图像生成。生成指标对比如表3所示,生成结果如图5所示。实验结果表明,各个评价指标在文中算法中均较优,且其他算法在生成的MRI上均无病灶信息,而文中算法生成的MRI中病灶位置正确,形状与真实的MRI相似。对于其他算法,尽管其在跨模态医学图像生成中表现良好,但对于急性缺血性脑卒中,生成网络并没有提取到病灶信息,在生成的图像上也没有正确的病灶位置及范围。

表3 不同算法的客观评价指标

图5 不同算法生成结果对比

3.4 消融实验

通过五组消融实验验证影像组学特征与病灶特征相似性损失函数对生成图像的有效性,评价指标如表4所示,生成结果如图6所示。其中,算法1表示在Res_pix2pix生成器中用相同数量的卷积层替换残差块,算法2表示在Res_pix2pix网络的输入中增加病灶影像组学特征图,算法3表示在Res_pix2pix基础上,在网络损失函数中加入病灶特征相似性损失函数。

表4 消融实验的结果

图6 消融实验生成结果对比

为验证Res_pix2pix在生成器中引入残差模块的有效性,用相同数量的卷积层替换残差块(即算法1),如表4和图6(e)所示,引入残差模块大幅提高了生成图像的质量,生成的MRI在形态与轮廓上更接近真实的MRI,但病灶并未出现在生成的MRI上。

为进一步验证病灶影像组学特征的作用,在Res_pix2pix网络的输入中增加病灶影像组学特征图(即算法2),由表4可知,加入病灶影像组学特征生成的图像各项指标均优于Res_pix2pix。生成结果如图6(f)所示。实验结果可得,加入病灶影像组学特征,病灶在生成的MRI上有所体现但不明显。

为验证病灶特征相似性损失函数的作用,在Res_pix2pix基础上,仅在网络损失函数中加入病灶特征相似性损失函数(即算法3),由表4可知,仅加入病灶特征相似性损失函数,生成的图像在各项指标上均与Res_pix2pix不相上下,且不如只加入病灶影像组学特征。生成结果如图6(g)所示,加入病灶特征相似性损失函数病灶并未在生成的MRI上体现,且生成的结果与Res_pix2pix的生成结果差异不大。结果表明若在CT上未确定病灶区域,则很难在生成的MRI上呈现病灶信息。

为验证病灶影像组学特征和病灶特征相似性损失函数同时作用的效果,在Res_pix2pix基础上加入病灶影像组学特征和病灶特征相似性损失函数(即文中算法),由表4可得,生成图像在各项指标中表现较好。生成结果如图6(h)所示。病灶在生成的MRI上表现明显,位置正确,形状与真实的MRI病灶相似,可作为医生诊断的参考。且经两名太原市中心医院经验丰富的放射科医生在生成的MRI上确定病灶并进行正误分类,其中病灶明显占比94.9%,病灶不明显的占比5.1%,在不明显的病灶错误病灶占比1.2%,在病灶明显中无错误病灶生成。

综上可得,加入病灶候选区域的影像组学特征可生成带病灶的MRI,同时加入病灶特征相似性损失函数后,各项评价指标达到较优,其中平均绝对误差达到0.034,峰值信噪比达到70.803,结构相似性达到0.783,皮尔逊相关系数达到0.986。

4 结束语

相较于CT,MRI对急性缺血性脑卒中病灶更加敏感,成像更加清晰,但MRI耗时耗力且受限较多。为此,结合影像组学与生成对抗网络,该文提出一种面向急性缺血性脑卒中CT到MRI的跨模态图像生成算法。首先,选择在CT上不同尺度下影像组学差异最大的锚框作为病灶候选区域,提取病灶候选区域的影像组学特征,筛选出信息增益最大的特征并可视化为特征图。将特征图与CT一同输入生成对抗网络,在生成器中加入残差模块,既能加深网络,又不会引起退化问题。同时引入病灶特征相似性损失函数,在整体约束下加入病灶区域局部约束。实验结果由两名经验丰富的放射科医生做出正误分类并进行了客观指标评价,证明生成的MRI接近于真实的MRI,可通过生成的MRI辅助诊断,具有临床意义。但是由于医学数据获取困难,该文只对40名患者进行测试,为确保该算法的有效性和鲁棒性,下一步仍需要更多的患者进行测试。