医学图像合成方法研究进展

2020-01-14陆正大李春迎孙鸿飞高留刚眭建锋倪昕晔

中国医学影像技术 2020年12期

谢凯，陆正大，李春迎，孙鸿飞，林涛，高留刚，眭建锋，倪昕晔 *

(1.南京医科大学附属常州第二人民医院放疗科，江苏常州 213003；2.南京医科大学医学物理中心实验室，江苏常州 213003；3.常州市医学物理重点实验室，江苏常州 213003)

随着信息技术与计算机水平不断发展，MRI、CT、US和PET等医学影像学检查方法在疾病诊断和治疗中发挥重要作用。不同模态医学图像提供的信息可互为补充，临床实践中常需对多模态医学图像进行综合分析；但由于存在辐射、价格昂贵或设备缺乏等原因，可能无法获取某种特定图像，此时通过图像合成可满足临床需求。图像合成指将某种变换作用于一组给定的输入图像，生成与真实图像足够接近的新图像[1]。医学图像合成既可用于不同模态图像之间，如将MRI合成CT图像[2]，也可用于相同模态不同参数的图像，如MR T1WI与T2WI之间、3T与7T MRI之间、锥形束CT(cone beam CT, CBCT)与CT之间；然而由源图到靶图的变换往往为高维非线性，导致医学图像合成并非易事[3]。

近年来，医学图像合成相关研究[4-5]多关注分析合成图像与真实图像的差异，以评价图像合成方法的性能，但对于医学图像合成方法的分类尚无统一标准。本研究结合相关文献将其主要分为4类：①基于地图集配准方法；②基于强度变换方法；③基于学习方法；④基于深度学习方法；并针对其存在问题和发展方向进行综述。

1 基于地图集配准方法

地图集配准方法由MILLER等[6]提出，通过联合空间对齐模态m1与m2配准图像集a1与a2(称为地图集)，之后设定模态m1的测试图像b1，将a1形变配准到b1以获得形变场，并将形变场作用于a2，获得m2模态的合成图像b2。BERKER等[7]提出将图像合成作为一种分割任务处理，将MRI分割成不同组织类别(骨、空气、软组织和脂肪)，对每个类别分配1个已知的衰减值，得到重建的PET图像。CATANA等[8]建议，在分割图像基础上，将带有衰减图(μ-map)的地图集配准到测试集MRI上，再将相应地图集的μ-map形变至其MR图像上，作为预估μ-map。BURGOS等[9]采用多地图集配准和强度融合对基于地图集配准的方法进行扩展，基于MRI生成CT，再基于生成CT的μ-map重建合成PET图像。CARDOSO等[10]结合概率分布描述，应用多个地图集学习的生成模型完成MRI到CT合成、离群点分类及病变定位等任务。SUN等[11]以Elastix软件获得2次放射治疗(简称放疗)过程中采集的超声声像图之间的形变场，之后将其作用于定位CT，得到合成CT图像用于自适应放疗。

基于地图集配准分割方法操作简单，结果明了，但对于配准精度和分割精度十分敏感，需手动操作才能得到较为准确的结果，故对大脑皮层等较精细区域可能出现较大偏差。另外，由于地图集不能完全因病变种类和不同位置等，合成异常组织解剖结构时，亦可能存在偏差。

2 基于强度变换方法

在基于地图集方法的基础上，基于强度变换医学图像合成方法考虑了强度变换。HERTZMANNN等[12]采用图像类比法作为强度变换进行图像合成以获得图像B′，而B′相对图像B的形式同于图像A′对于A。假设地图集图像a1和a2以1个未知变换函数h关联，即a2=h(a1)。给定1个源图b1以合成b2时，理想情况下b2应等于h(b1)，通过patch映射patch实现合成b2。假设需要合成b1中的1个patch，且在a1中提取的patch集合中找到其最邻近patch；选取对应a2中的patch，作为b2中对应位置的patch，此过程称为patch匹配(patch-matching)。上述合成方法常封装于1个多分辨率框架中，并试图模拟变换函数h的作用。IGLESIAS等[13]应用此法基于质子密度加权MRI合成MR T1WI，发现合成另一种组织对比度的MRI可改善配准结果。

另一个强度变换方法是将图像合成作为解决稀疏字典重建问题的方法，称为字典学习方法。于地图集图像a1中提取众多patch组成1个字典，将源图b1中的1个patch描述为字典中众多patch的稀疏线性组合，之后将地图集图像a2中相对应的patch按相同线性系数进行变换，得到靶图b2中的patch。基于patch匹配方法和字典学习方法统称为基于范例方法[13]，ROY等[14]称之为MRI基于范例的对比合成(MR image example-based contrast synthesis, MIMECS)，将其用于MRI强度标准化、自动分割和配准改进。强度变换方法亦包括直方图匹配法(histogram matching, HM)[15]和局部图像相似性测试(local image similarity, LIS)[16]等。采用图像类比法合成图像过程中，使用合成的邻近体素时，须为每个体素找到1个最邻近的patch，而对该过程不能并行计算，图像类比和MIMECS常需较长的运行时间。另外，基于强度变换方法存在一定局限性，如需大量数据推导映射函数h或构成字典；而MIMECS法不适用于合成FLAIR图像等，限制了其应用。

3 基于学习方法

基于学习方法指在源图与靶图之间建立非线性映射[17-20]，主要包括随机森林、字典学习、稀疏表示及主成分分析等方法，其中多数方法属于机器学习范畴，目前基于学习方法用于超分辨率图像重建的研究[17-18,20]较为多见。MANJON等[17]基于自相似性和图像先验，利用同一对象其他模态共面高分辨率图像的信息，自低分辨率图像中重建高分辨率MRI，结果优于经典插值方法。JOY等[18]采用随机森林(random forest, RF)非线性回归方法由低分辨率图像合成高分辨率MRI，所获图像质量优于MANJON等[17]的结果，且提高了计算效率。HUYNH等[20]采用RF方法和非监督方法，将给定MRI分割成一组patch，以结构化RF方法获得每个patch预测对应的CT patch，采用自动上下文模型(auto-context model, ACM)进一步优化预测结果，实现了基于MRI合成CT。基于学习方法往往先提取特征表示源图像，后建立映射而生成目标图像，故其性能取决于人工构造的特征及基于提取特征的源图像的质量。

4 基于深度学习方法

近年来，深度学习在计算机视觉和图像处理方面取得较大进展，并解决了手动选择特征的难题，在医学影像领域中发挥着巨大作用[21-22]。

DONG等[23]采用卷积神经网络(convolutional neural networks, CNN)提高单幅图像分辨率。KIM等[24]基于递归CNN，在不增加参数的前提下改进了超分辨率算法。LI等[25]设计了一种三维CNN模型，输入MRI后得到预测PET图像，并与真实PET图像进行分类评估，结果优于K邻近方法(K-nearest neighbor, KNN)和均值评估法。HUANG等[26]提出弱监督联合卷积稀疏编码以同时解决超分辨率和交叉模态图像合成的问题，对整个图像域而非图像块进行运算，保留了图像的局部邻域；将该法用于3D MRI超分辨率重建和跨模态图像合成，结果优于MIMECS法和监督及非监督方法。CNN的潜在问题是易忽略预测目标图像中的邻域信息，尤其在输入量较小情况下，而采用能保存结构信息的全卷积网络合成图像有助于解决该问题。

深度学习方法中，生成对抗网络(generative adversarial networks, GAN)[27]是近年来用于复杂分布上无监督学习的最具前景的方法之一。原始GAN存在模型崩塌和梯度爆炸等固有缺陷，而条件生成对抗网络(conditional GAN, CGAN)和深度卷积生成对抗网络(deep convolutional GAN, DCGAN)等改良版GAN可在图像合成方面发挥更大作用。

KAISER等[28]分别采用U-net网络和pix2pix(pixel to pixel, pix2pix)网络进行基于MRI合成CT。NIE等[3]将GAN结合自动上下文模型和全卷积神经网络，以MRI合成CT、以3T MRI合成7T MRI，合成图像质量均优于直方图匹配法和局部图像相似性测试等。

图像合成通常在配准成对的图像之间进行。针对缺乏配对图像的问题，WOLTERINK等[29]提出基于循环生成式对抗网络(cycle generative adversarial networks, CycleGAN)模型，用于由MRI合成CT，其中MRI与CT图像无需配对训练。JIN等[30]基于CycleGAN网络结构，以配对和非配对数据提出MR-GAN模型，尝试解决非配对训练图像内容不对齐问题，弱化配对训练的严格配准要求、改善结果模糊，实现由CT合成MRI。目前仍有多项研究[31-33]基于深度学习方法进行医学图像合成，主要针对调整网络结构、多通道多信息输入、调整损失函数和三维扩展等方面。