面向急性缺血性脑卒中的CT 生成MRI 算法

2024-02-29张美美秦品乐柴锐曾建潮翟双姣闫俊义冯二燕

计算机工程 2024年2期

张美美，秦品乐，柴锐，曾建潮，翟双姣，闫俊义，冯二燕

（中北大学计算机科学与技术学院，山西太原 030051）

0 引言

脑卒中也称为中风，是一种脑血管疾病，具有较高的发病率、死亡率和致残率［1］，其中急性出血性脑卒中（脑溢血）病灶在计算机断层扫描（CT）上可以明显看出病灶，疾病检出率在85%以上［2］，而对于急性缺血性脑卒中（脑梗塞）病灶在CT 上几乎不可见，临床医生需要进一步进行核磁共振成像（MRI）检测。然而，许多患者由于体内植入金属等原因无法进行MRI 检测，且获得MRI 费用高昂、耗时长，容易使患者错过最佳治疗时间，影响预后生存质量。在这种情况下，若能使用患者的CT 影像生成MRI 影像，将在急性缺血性脑卒中的及时诊断和治疗中起到至关重要的作用。

随着深度学习的发展，基于深度学习的方法在CT 到MRI 跨模态图像生成方面取得了较好的效果。文献［3］利用多种深度学习方法从脑部CT 生成MRI，并发现有监督的U-Net 网络生成MRI 更具有临床意义。文献［4］利用深度学习从CT 灌注（CTP）成像中提取特征生成MR 图像，并在生成的MR 图像上分割病灶，分割结果在ISLES2018 挑战赛达到最优。文献［5］用急性缺血性脑卒中患者的医学影像建立了从CT 生成MRI 的生成对抗网络（GAN），并利用生成MRI 完成后续病灶检测任务。文献［6］则将影像组学与GAN 相结合，将病灶和CT 图像串联输入生成器，生成与真实MRI 相似的图像，用于急性缺血性脑卒中的病灶检测。尽管GAN 模型在医学跨模态中有良好的表现，但GAN 本身可解释性很差并且训练不稳定。最近提出的扩散模型不存在GAN 网络的可解释性差与训练不稳定的问题，且在医学影像跨模态生成中也有了初步的应用。文献［7］通过扩散模型实现了从MRI 到CT 两种模态的转换问题。随后，文献［8］基于SDE 提出一种统一的多模态条件评分生成方法（UMM-CSGM），将MRI 剩余模态作为条件，生成具有更高保真度和脑组织结构信息的缺失模态图像。文献［9］提出一种对抗扩散模型Syndiff 实现多模态医学影像转换，基于对抗扩散模型，引入周期一致性体系结构，实现在未配对数据集上的医学影像多模态转换。而对于急性缺血性脑卒中CT 生成MRI依然有以下2 个问题：1）急性缺血性脑卒中病灶在CT上的病灶信息远少于MRI，因此急性缺血性脑卒中CT 生成MRI为从低信息量图像生成高信息量图像的无约束问题；2）由于CT 图像自身存在对比度低、边缘模糊以及纹理结构不清晰等问题，使得在提取特征时难以提取到弱边缘与弱纹理信息，导致生成MRI 的边界模糊。

为了解决上述问题，本文提出基于影像组学和扩散生成对抗网络的急性缺血性脑卒中CT 生成MRI算法，在扩散生成对抗网络中通过组学模块在CT 上划分病灶候选区，定位病灶，使模型更关注病灶部位。针对图像边缘模糊问题，引入梯度损失增加边缘感知约束，使生成的MRI 边缘清晰，主观效果更好。首先在CT/MRI 配对的数据集上，使用CT 在病灶位置提取组学特征，筛选出一组相关性较弱的影像组学特征。然后在实际使用中利用这组特征在病灶未知的CT 上通过多尺度锚框的方式，选择特征差异最大的一个锚框，作为病灶候选区域并生成特征图，将特征图与CT 共同输入模型。最后将梯度损失引入到对抗扩散模型的生成器中，从图像边缘上约束生成的MRI，提升生成的MRI的图像质量。

本文的主要贡献总结如下：

1）提出基于影像组学与扩散生成对抗网络的急性缺血性脑卒中CT 生成MRI 算法，以解决CT 生成MRI 缺乏病灶信息以及边界模糊问题。

2）通过多维影像组学特征从急性缺血性脑卒中患者的CT 上准确定位病灶，解决生成MRI 的病灶信息不可见问题；引入梯度损失增强生成MRI 的边缘，使生成的MRI 主观效果更好。

1 相关研究

1.1 影像组学

影像组学由文献［10］提出，是一种计算机辅助的过程，能够以客观、可重复和高通量的方式从医学图像中提取大量的定量特征，如形状、强度和纹理。影像组学的工作流程包括4 个步骤，即选取数据以确定问题、获取感兴趣的区域（ROI）、提取特征和选择特征并建立模型。提取的特征通常分为4 个类别，即形状、一阶、二阶和高阶特征，其中形状、一阶、二阶特征分别对ROI 从形态特征、像素灰度分布、纹理特征3 个方面提取不同的组学特征；高阶特征表示将空间信息转换为小波特征方向的频率和尺度信息后再提取组学特征。其中纹理特征是影像组学中使用最广泛的特征［11］。为了防止特征之间相互冗余导致模型泛化性和鲁棒性降低，通常使用ICC/CCC和Pearson/Spearman 相关系数来过滤重复冗余的组学特征［12］。

随着深度学习和影像组学的发展，影像组学在脑卒中诊断、治疗和预后3 个方面有广泛的应用。急性缺血性脑卒中在CT 上缺血区域的变化无明显表征，但通过影像组学方法可以发现梗死区域与正常组织的差异。文献［13］发现通过提取影像组学纹理特征能够揭示缺血性病变的结构变化，并得出纹理分析是辅助检测慢性缺血性病变的有效工具。文献［14］通过100 名老年人的不同脑组织数据，根据影像组学特征可以识别既往脑卒中病变，得到模型的曲线下面积（AUC）大于0.7。文献［15］提取了急性缺血性脑卒中病变区域的组学特征，并预测了溶栓的难度。此外，提取的9 个特征可以预测溶栓的成功率，AUC 为0.88。文献［16］利用影像组学从CT 中提取急性缺血性脑卒中病灶的特征，并建立了10 个机器分类模型来验证所提取特征的有效性。他们证实CT 可检测出急性缺血性脑卒中病灶，病变区与正常区在组学特征上有明显差异。因此，通过影像组学对急性缺血性脑卒中患者的CT 进行纹理分析，可以确认病灶的位置信息。

1.2 扩散生成对抗网络

目前，基于GAN 与扩散模型在医学图像生成上有大量应用。文献［17］基于GAN 提出3DGAN 从MRI 生成CT，解决了图像错位的问题，但需要大量很难获得的MRI/CT 配对数据集。文献［18］对生成图像与输入图像的结构一致性进行计算，引入结构一致性损失函数，提出sc-CycleGAN，利用未配对数据集从MRI 生成CT，得到的生成CT 在相似性与视觉质量上均高于其他方法。文献［19］将条件生成对抗网络（cGAN）与全卷积神经网络相结合从CT 生成正电子发射型断层扫描（PET），降低病变检测的漏报率。文献［20］将对抗网络与非对抗损失相结合提出MedGAN，应用于CT 和PET 的相互转换。文献［21］基于生成对抗网络实现乳腺MRI的图像生成，使得生成的MRI 包含更清晰的病灶细节全局图。文献［22］针对医学图像数据集少的问题，通过改善判别器鲁棒性提出一个基于鲁棒条件生成对抗网络的医学图像生成模型。文献［7］利用扩散模型实现从MRI 到CT两种模态的转换，得到的结果在结构准确性与视觉质量方面优于CNN 和基于GAN 的方法。文献［8］基于扩散模型将部分模态作为条件生成缺失模态，该模型可以生成具有高保真度、准确的脑组织结构信息的缺失模态图像。文献［23］基于扩散模型生成具有特定条件的MRI，并从生成的MRI中检测并分割大脑中的异常区域。文献［9］提出一种对抗扩散模型SynDiff实现多模态医学影像转换，将对抗扩散模型应用于医学影像多模态转换，为了加快采样速度，在反向过程中使用GAN 模型来估计每个步骤的去噪图像并引入一种周期一致的体系结构，允许在未配对数据集上进行训练。然而，以上研究多数为高信息量图像生成低信息量图像的算法。因此，本文在扩散生成对抗网络的基础上进行改进，实现急性缺血性脑卒中从低信息量CT 生成高信息量MRI的无约束模态转换。

1.3 影像组学与生成模型相结合的应用

目前，一些研究将影像组学与GAN 相结合来解决医学领域中的难题。影像组学特征可以作为GAN 的先验来提高生成图像的真实感。文献［6］将影像组学与GAN 相结合，对急性脑卒中CT 病灶区域提取组学特征，将其作为先验输入到GAN 网络中实现CT 到MRI 的模态转换。文献［24］使用GAN 模型与影像组学相结合的方法实现多任务，对肝硬化患者分级任务是否为AUC 大于0.8 来鉴别肝硬化，最终结果为AUC 大于0.86。文献［25］在GAN 中间步骤引入影像组学特征，保证生成的病变与真实病变之间纹理一致性，有助于生成接近真实肺部病变的数据。生成对抗网络可以作为预处理步骤，提升影像组学特征在不同任务下的表现。文献［26］为了提高低剂量CT 在不同任务中的性能，将cGAN 作为生成模型，生成全剂量CT 图像，分别从原始CT 与生成CT 中提取组学特征建立模型，用于肺癌诊断与生存预测。

2 本文方法

对抗扩散模型［9］将扩散模型与GAN 相结合应用于医学影像MRI 之间模态转换。但是，MRI 之间包含的信息量近似相等，而CT 生成MRI 是从低信息量图像生成高信息量图像问题，因此使用CT 生成MRI更具有挑战性。通过影像组学在CT 上定位病灶作为CT 生成MRI 的信息补充，有助于提升生成MRI病灶区域的准确性［6］。因此，本文提出一种基于影像组学和扩散生成对抗网络的急性缺血性脑卒中CT 到MRI 跨模态生成算法。

本文算法的总体结构如图1 所示（彩图效果见《计算机工程》官网HTML 版，下同），主要由两部分组成：组学模块［见图1（a）］和扩散生成对抗模块［见图1（b）］。组学模块对CT/MRI配对数据集的CT 脑卒中病灶部位提取组学特征后筛选获得多维组学特征组，利用多维组学特征组在病灶未知的CT上获得病灶候选区。扩散生成对抗模块将病灶候选区可视化的特征图与CT相结合生成有病灶信息的MRI。

图1 本文算法总体结构Fig.1 Overall structure of algorithm in this paper

2.1 组学模块

急性缺血性脑卒中病灶在CT 上表现不明显。研究表明，病灶组织与正常组织的组学特征有明显差异，但是CT 上的病灶位置是未知的，无法在CT 上通过影像组学准确地将病灶分割出来。但是，使用多尺度锚框的方法，通过CT 上锚框之间组学特征的差异划分出一个病灶候选区是可行的［6］。因此，本文首先将真实病灶作为ROI 在CT 上提取影像组学特征，通过特征选择得到一组最能代表病灶位置的特征，最后利用未知病灶的CT 锚框间的特征差异选择出一个病灶候选区域，如图1（a）所示的组学模块。

2.1.1 特征提取

将真实病灶作为ROI 在CT 上使用PyRadiomics提取影像组学特征，共提取出病灶的组学特征1 325 个，去除无用特征，最终得到1 283 个特征。

2.1.2 特征筛选

信息熵是筛选特征的常用指标，表示在一定条件下不确定性的递减。特征包含信息量越大，特征越重要。计算特征信息量的方法如下：

其中：X表示特征值；Y表示随机变量是否为病灶；IIG(Xi，Y)表示信息增益（IG）在特征X的情况下事件Y的不确定性降低的程度。分别计算每个特征对应的信息增益，通过不同的阈值选择的特征个数如表1所示。信息增益大于0.4 的组学特征共有10 个，如表2 所示。通过初步筛选后，计算这10 个特征两两间的皮尔逊相关系数，筛选出线性相关性最弱的特征作为在CT 上选择候选区域的依据，图2 所示为特征相关性的热力图。

表1 信息增益阈值筛选组学特征 Table 1 Information gain threshold filter radiomics features

表2 信息增益大于0.4 的组学特征 Table 2 Radiomics features with information gain greater than 0.4

图2 组学特征相关性热力图Fig.2 Correlation heat map of radiomics feature

2.2 扩散生成对抗模块

扩散生成对抗模块由前向过程与反向过程组成。为了加快扩散模型的采样速度，在前向过程的中大步长中加入噪声。

前向过程：在输入图像x0～q(x0)上重复T步，添加步长为k的高斯噪声，第t步的图像样本表示为xt～q(xt|xt-k)。用公式可以表示为［9］：

其中：γt表示噪声方差；k表示步长；T表示添加噪声的步数表示噪声方差指数的上界和下界。真实MRI 的前向过程如图1（b）中的前向过程所示，其中第t步的 MRI 分布表示为：

生成器（G）的网络结构如图3 所示。输入图像与输出图像之间虽然表达的信息不同但存在潜在的关系，因此，生成器网络使用UNet［27］网络，增加跳跃连接获得高级语义信息，从而提高生成图像的质量。生成器共由6 个下采样块（DownSample Block）与6 个上采样块（UpSample Block）组成。如图4（a）所示，下采样块由3 个残差块与1 个3×3 卷积块组成；上采样块则由4 个残差块组成，如图4（b）所示；残差块［28］（ResBlock）结构如图4（c）所示，其中Sample 表示采样，当ResBlock 处于下采样块中时表示为下采样操作，当处于上采样块中时表示为上采样操作；时间块（Time Block）表示时间t通过32 维正弦位置编码（Time embedding）后经过两层全连接（linear）层［29］，得到时间嵌入（temb），再通过全连接（linear）将temb 与残差块（ResBlock）特征图的通道、分辨率匹配，最后将temb 加入到残差块中，如图4（d）所示。鉴别器网络结构由6 个下采样块的卷积主干组成。每个下采样块由2 个残差块组成，并将特征图分辨率减少1/2。时间嵌入的方法与生成器的嵌入方法相同。

图3 生成器网络结构Fig.3 Network structure of generator

图4 生成器部分模块结构Fig.4 Structure of generator partial module

2.3 损失函数

本文将扩散模型的前向加噪过程加入到GAN 网络中，生成器生成经过加噪扩散过程后得第t-k步的MRI分布为真实的 MRI 扩散第t-k步的 MRI 分布为模型的损失函数如下：

其中：G 表示生成器；D 表示鉴别器；E表示随机变量概率分布的期望，t～U({0，k，…，T})；表示真实MRI加噪第t步的图像样本；代表鉴别器鉴别真实图像为真的概率；代表鉴别器鉴别生成图像为真的概率。

为了让生成MRI 与真实MRI 更接近，在GAN 网络对抗损失的基础上加入L1损失，从像素上对图像全局进行约束。L1损失如下：

其中：‖ ‖·1表示L1 范数。为了学习到MRI 图像上更多的边缘信息，使生成的MRI 在边缘上更加接近于真实MRI，于是引入梯度损失LGDL，公式如下：

模型总体损失函数Ltotal由LGLD对抗损失函数、L1全局损失函数以及LGDL梯度损失函数组成。Ltotal定义如下：

其中：λ1、λ2为损失函数的加权系数。

3 实验结果与分析

本节在ISLES2018 数据集中进行实验，以验证本文方法的有效性。本节主要分为以下4 个部分：数据集与实验设置，评价指标，模型评估以及消融实验。

3.1 数据集与实验设置

本文数据集来自ISLES2018 挑战赛，包含有103 例急性脑卒中患者的数据，这些患者在急性缺血性脑卒中发作后8 h 内就诊，并在CTP 成像后3 h 内接受MRI（DWI）。训练集中有63 例病例，每个病例均有原始CT、4 张CTP 参数图、DWI 和1个由医生手工划定的病变区域标签。测试集包含40 例患者，不包括DWI 与病变区域标签。本文实验中只用到了训练集中CT 与MRI 2 个模态的配准数据，以及超过10 年经验的中风专家手工划定的病灶。去除训练集中无病灶的数据后，共211 个样本，以6∶2∶2 的比例分割数据，分别作为本模型的训练集、验证集与测试集。

本文的实验基于Tython3.8.10 的深度学习工具PyTorch1.12.1 开发。模型训练使用Ubuntu 64 bit NVIDIA Station 服务器，配备了Intel Xeon E5 2620 v4处理器，128 GB 内存以及4 台Tesla V100 显卡，每个显卡有32 GB 显存。模型训练生成器G 和鉴别器D 训练450 个epoch，输入输出图像大小为256×256 像素，优化器使用Adam，学习率为10-4，T为1 000，步长k为250，则总共有，噪声方差上下界为

3.2 评价指标

急性缺血性脑卒中CT 生成MRI 要与真实MRI比较，定量分析生成MRI 的图像质量。本文使用峰值信噪比（PSNR）、结构相似性指数（SSIM）、Pearson相关系数（PCC）3 个指标评价生成的MRI。为了评估生成的MRI 中病灶的准确性，还对生成MRI 中病灶部位与真实病灶部位使用互信息（MI）评价生成病灶的真实性。

PSNR 通过计算生成图像与真实图像之间像素误差的全局大小来衡量图像质量好坏，生成图像质量越好，值越大。SSIM 表示相邻像素之间的关联性，是全局的图像相似性的评价指标，图像相似度越高，值越大。PCC 表示生成MRI 与真实MRI 之间的相关性，如果两者之间相关性的绝对值大于0.8，则认为两者高度相关。

这些评价指标广泛应用于CT 到MRI 转换的任务，定义如下：

其中：n表示图像像素总数；MMAX表示真实MRI 与生成MRI 之间最大的像素值；μx和μy表示真实MRI 与生成MRI 像素值的均值；表示真实MRI 与生成MRI 像素值的方差；c1与c2为两个稳定算法的常数；ρXY中的X和Y表示真实MRI 与生成MRI；xi和yi表示真实MRI 与生成MRI 的像素值；-X和-Y表示像素的均值。

同时为了验证生成MRI 与真实MRI 在病灶区域内的相似性，本文引入MI 评价生成MRI 的病灶区域的真实性。MI表示生成MRI病灶区域内的病灶信息与真实MRI 病灶区域内的病灶信息的相似性，MI 越大表示真实病灶区域与生成病灶区域越接近，相似性越高，生成的病灶越真实。定义如下：

其中：MMIX，Y表示生成MRI病灶区域与真实MRI 的病灶区域之间的互信息；pX，Y(x，y)表示2 个区域之间像素的联合分布；pX(x)、pY(y)分别表示生成MRI的病灶区域与真实MRI 的病灶区域像素的边缘分布。

3.3 对比实验

为了验证本文急性缺血性脑卒中算法的性能，选取3 种当前流行的MRI 生成网络Syndiff［9］、CycleGAN 和Pix2pixRes［6］与本文方法进行比较。本文将组学获得的病灶候选区作为先验信息输入模型，从而使生成的MRI 中呈现病灶，同时利用梯度损失函数对生成的MRI 进行整体约束，使其边缘细节更接近真实图像。评估指标结果如表3 所示，其中，表3 分别对生成MRI 全图（ALL MRI）和病灶区域（Lesion area）进行评估。此外，生成结果可视化如图5 所示，使用差异图和病灶细节图作为辅助信息，直观地显示了真实MRI 与生成MRI 之间的差异。在所有方法中，本文方法对生成MRI 图像整体与病灶区域的评估指标均为最佳，这表明生成MRI 的图像质量以及病灶区域与真实病灶区域相似度均有优秀的表现。此外，本文方法生成的MRI 差异图颜色最浅，表明本文方法生成的结果与真实结果高度相似，优于其他方法。

表3 对比实验定量分析 Table 3 Comparative experiment quantitative analysis

图5 对比实验可视化结果Fig.5 Visualization results of comparative experiments

3.4 消融实验

本文通过3 组消融实验和1 组可视化对比实验，验证组学模块在CT 上定位病灶候选区域（组学特征图fmap）和梯度损失LGDL的有效性。评估指标结果如表4所示，表中包括对MRI 整体（ALL MRI）以及病灶区域（Lesion area）的评估，其中，+GDL 表示在DiffusionGAN 的模型上加入梯度损失，+fmap表示在DiffusionGAN 的模型上加入病灶特征图，可视化对比实验结果如图6 所示，图中奇数行每列分别表示CT、fmap、RealMRI以及DiffusionGAN、加入梯度损失、加入特征图和两者全部加入生成MRI，偶数行表示对应方法生成MRI与真实MRI之间的差异图。

表4 消融实验定量分析 Table 4 Ablation experiment quantitative analysis

图6 消融实验可视化结果Fig.6 Visualization results of ablation experiment

1）组学模块病灶特征图有效性验证。将组学模块得出的fmap作为通道与CT 输入模型，指导CT 生成MRI，使模型更关注病灶部位。为验证组学模块得出的组学特征图fmap的效果，将fmap添加到DiffusionGAN 中。从表4可以得出，此时病灶部位的指标MI 有明显提升，从图6（f）与图6（d）可以看出，加入fmap后生成的结果中病灶位置正确，病变明显且差异图的病灶区域颜色明显变浅，表明加入特征图后生成图像的病灶部位与真实病灶部位接近。

2）梯度损失的有效性验证。梯度损失LGDL的引入使生成MRI 边缘更接近真实MRI。如表4所示，引入LGDL后生成MRI 的结构相似性指标SSIM有明显提升。由图6（e）与图6（d）可以看出，生成的MRI 的边缘部位更加清晰，差异图中边缘部位的颜色明显变浅表示生成MRI 与真实MRI 更为相似。

3）组学特征图fmap与梯度损失LGDL同时作用的效果验证。为验证组学特征图fmap与梯度损失LGDL同时作用的效果，将两者都添加到DiffusionGAN中。从图7 损失函数可以看出，将两者同时加入模型可以加速模型收敛。

图7 损失曲线Fig.7 Loss curve

从表4 可以看出生成MRI 在整体上和病灶部分均为最优。生成MRI 可视化结果如图6（g）所示，生成的图像与真实MRI 差异很小，病灶明显，病灶位置正确，病灶形状相似，可作为医生诊断的参考。

综上所述，本文方法在保证生成MRI 图像质量的同时，有目的地突出病灶区域的特征和MRI 图像边缘的保留，使生成MRI 与真实MRI 相似，这得益于组学模块与梯度损失函数的设计。

3.5 医生阳性/阴性鉴别

通过3 名放射科医生分别对测试集上CT、生成MRI（S_MRI）、CT 与S_MRI 相结合3 种情况做出阳性/阴性诊断。阳性表示发现脑卒中病变，阴性表示未发现脑卒中病变。3 名医生来自太原市中心医院，分别有10 年、5 年和3 年的放射科经验。3 种情况下的准确率如式（21）所示：

其中：TTP与TTN表示阳性/阴性分类正确的样本个数；FFP与FFN表示阳性/阴性分类错误的样本个数。医生珍断得出的准确率如表5 所示，在加入特征图以及梯度损失后本文生成的MRI 与CT 相结合后脑卒中的检出率与准确率有了明显提升，表明本文方法生成MRI 可以提高诊断准确率。

表5 阳性/阴性诊断的准确率Table 5 Accuracy of positive/negative judgment %

4 结束语

急性缺血性脑卒中病灶在MRI 上较CT 更加敏感，多数病灶可在MRI 上清晰呈现。然而由于MRI的耗时性以及其特殊场景的不可获得性（患者体内有金属植入物等），使得MRI 的应用受到了很大限制。本文将扩散模型与GAN 相结合并引入影像组学，提出基于影像组学与扩散生成对抗网络的急性缺血性脑卒中CT 生成MRI 的算法。从CT 中获得急性缺血性脑卒中病变的组学特征，通过特征筛选得到一组特征线性无关组表示这一病变的组学特征。根据特征线性无关组在CT 上使用多尺度锚框的方式选择病灶候选区域，提取病灶候选区的组学特征作为特征图与CT 输入到扩散生成对抗网络中。在生成器中引入梯度损失函数，在全局上约束生成MRI 保留真实MRI 的纹理细节信息。实验结果表明，生成的MRI 上可以明显看到病变，能够为医生的诊断治疗提供参考。然而受限于设备成本、病人隐私等，急性缺血性脑卒中数据很少，因此需要更多患者对模型进行测试，以验证模型的有效性与鲁棒性。下一步可将患者的临床诊断信息与影像信息相结合，从而提升组学模块对病灶定位的准确性。在临床中，急性缺血性脑卒中的病灶由中心坏死区与半暗带组成，及时进行保护有可能使半暗带区域存活下来，未来将通过生成MRI 将病灶区域准确分割，区分坏死区与半暗带区域。