基于深度学习重建常规头部2D T1WI超分辨率图像质量

刘高平，曲太平，许 强，张其锐，李秀丽，张志强，卢光明*

[1.南京大学医学院附属金陵医院(东部战区总医院)放射诊断科，江苏 南京 210002；2.深睿医疗人工智能研究院，北京 100080]

MR结构成像、尤其高分辨率脑MR结构成像量化观察脑形态已成为脑发育、衰老和疾病等脑科学研究的最重要工具之一[1-3]；但由于扫描过程耗时较长等原因，目前高分辨率MR结构像主要用于科学研究，而临床诊断多采用厚层MR结构图像。利用超分辨率重建技术能将低分辨率图像重建为高分辨率图像，插值算法为其最基础的算法，但无法增加图像信息，导致重建图像的细节常较模糊[4-5]。近年来，人工智能深度学习(deep learning,DL)技术在医学影像领域广泛应用[6-8]，基于DL的超分辨率重建技术已在医学图像超分辨率重建方面取得较好效果[9-10]，但上述研究均未同时采用在临床环境中获取的低分辨率和高分辨率图像，且未深入评估重建图像的定量化分析能力。U-net模型在图像分割方面应用广泛[11]，在其基础上通过更改解码器大小、交换卷积层与合并层顺序及保留边缘信息等获得的改良U-net(modified U-net,M U-net)超分辨率模型可用于预测图像灰度，且在CT图像相关研究中表现优异[12]。本研究以用于脑形态学研究的高分辨率薄层3D T1WI为对照，评价基于DL的M U-net模型常规厚层2D-T1WI超分辨率重建图像质量及其在脑形态学定量分析中的价值。

1 资料与方法

1.1 一般资料 提取2009年5月—2017年12月南京大学医学院附属金陵医院730例头部MRI,包含常规临床诊断2D T1WI和高分辨率3D T1WI，均无肉眼可见结构异常；按7∶3比例将其分为训练集(n=500)与测试集(n=230)。

1.2 仪器与方法 采用Siemens Magnetom Trio Tim 3.0T MR扫描仪及8通道头部线圈采集头部图像。轴位2D T1W：快速自旋回波序列，TR 350 ms，TE 2.46 ms，FOV 256 mm×256 mm，矩阵320×320，NEX 2，层厚4 mm，层间距0.4 mm，共扫描30层；3D T1W：矢状位三维磁化准备快速梯度回波序列，TR 2 300 ms，TE 2.98 ms，FOV 256 mm×256 mm，矩阵256×256，NEX 1，层厚1 mm，层间距0，共扫描176层；同时采集T2WI、T2-液体衰减反转恢复序列图像、弥散加权成像和磁敏感加权成像以辅助诊断。

1.3 超分辨率重建图像 应用基于DL的M U-net模型对2D T1WI进行超分辨率重建。首先进行预处理：①将2D T1WI配准到蒙特利尔神经学研究所(Montreal Neurological Institute,MNI)标准空间作为源图像；②将3D T1WI配准到源图像，以获得目标图像；③应用配对源图像和目标图像作为训练数据，针对MNI空间中的每个冠状切片提取4个有重叠的、体素大小为128×128的配对图像块，用于训练M U-net模型。之后将M U-net模型基于源图像块合成高分辨率图像块，再合成高分辨率薄层图像(图1)。

应用ANTS(https://github.com/ANTsX)工具箱，以线性插值算法将测试集2D T1WI重建为高分辨率薄层图像(图1)。以3D T1WI为真实对照，采用Matlab R2018b软件计算峰值信噪比(peak signal-to-noise ratio,PSNR)，评价重建图像的准确性；计算结构相似度(structural similarity,SSIM)，从亮度、对比度和结构各方面比较重建图像与真实对照图像之间的相似性，并获得重建图像及真实图像的全脑灰度分布直方图。

图1 训练及测试基于DL M U-net超分辨率重建模型的流程

1.4 基于体素的形态学定量分析(voxel-based morphometry，VBM) 应用cat12软件(http://www.neuro.uni-jena.de/cat12-html/)行VBM，并计算相对灰质体积。先以12个参数仿射非线性变换将每例图像变换到标准MNI空间，重采样为1.5 mm×1.5 mm×1.5 mm，之后将图像分割为灰质、白质和脑脊液，并以8 mm全高半宽高斯核对所获相对灰质体积图像行进一步平滑。根据解剖自动化标记(anatomical automatic labeling,AAL)脑图谱将相对灰质体积图像划分为122个ROI，AAL中ROI编号及对应ROI信息见cat12官网。

1.5 基于皮层的形态学定量分析(surface-based morphometry,SBM) 应用FreeSurfer 5.3软件(http://surfer.nmr.mgh.harvard.edu/)行SBM，并计算皮层厚度。对每例图像进行自动分割，获得皮层表面3D重建图像；创建灰质/白质分界面和灰质/脑脊液分界面，以每个顶点的皮层厚度为灰质/白质分界面与灰质/脑脊液分界面的最短距离。根据DKT脑图谱[13]将皮层厚度图像划分为62个ROI，ROI信息见FreeSurfer官网；其中1，3，5，…，61为按顺序排列的左侧大脑半球皮层ROI，2，4，6，…，62为右侧大脑半球皮层ROI。

1.6 统计学分析 采用SPSS 25.0统计分析软件。以±s表示计量资料。采用配对t检验比较2组重建图像间PSNR及SSIM的差异。以组内相关系数(intra-class correlation coefficient,ICC)评估测试集各超分辨率重建图像与真实对照图像在不同ROI水平和体素/顶点水平下的相对灰质体积和皮层厚度结果的一致性，ICC<0.4表示一致性较低，0.4≤ICC<0.8表示一致性尚可，ICC≥0.8为一致性较高。以雷达图展示各ROI水平下相对灰质体积/皮层厚度的ICC，图中每个坐标编号对应AAL或DKT脑图谱中的1个ROI。以两样本t检验比较各重建图像ROI水平下相对灰质体积与皮层厚度的ICC检验结果的差异。采用Matlab R2018b软件将体素水平相对灰质体积的ICC检验结果转换至MNI空间，并以MRIcron软件(https://www.nitrc.org/projects/mricron/)将其叠加于标准模板进行展示；以SurfStat工具包(https://math.mcgill.ca/keith/surfstat/)将顶点水平皮层厚度的ICC检验结果转换至皮层空间，并输出为图像展示。P<0.05为差异有统计学意义。

2 结果

2.1 重建图像质量 目视分析灰度图像发现，相比插值重建图像，M U-net重建图像所示灰质、白质及脑脊液边界更清晰，且相对灰质体积图像和皮层厚度图像，其分布模式更接近真实对照(图2A)。灰度图像全脑灰度分布直方图显示，M U-net重建图像的分布模式更接近真实对照(图2B)。与插值重建图像相比，M U-net模型重建图像的PSNR及SSIM更高(t=4.43、21.81，P均<0.01，图2C)。

图2 测试集头部重建图像及其质量 A.M U-net模型及插值重建头部灰度图像、相对灰质体积图像及皮层厚度图像与真实对照比较；B.M U-net模型及插值重建灰度图像全脑灰度分布直方图；C.M U-net模型与插值重建图像的PSNR和SSIM比较 (*：P<0.05)

2.2 VBM一致性 M U-net模型重建图像与真实对照所示ROI水平相对灰质体积一致性较高(ICC≥0.8)的ROI数目(78个)多于插值重建图像(3个)；其在小脑区域的一致性最低(ICC为0.68±0.14)，而在大脑皮质区域，尤其在额叶(ICC为0.93±0.04)及运动区(ICC为0.94±0.02)的一致性较高(图3)。M U-net模型重建图像与真实对照所示体素水平相对灰质体积的整体一致性的ICC为0.81±0.16，70.24%的体素与真实对照一致性较高；插值重建图像与真实对照的整体一致性低于M U-net重建图像 (ICC为0.59±0.16)，仅4.09%的体素一致性较高(图3)。

2.3 SBM一致性 插值重建图像与真实对照所示ROI水平皮层厚度的一致性均较低(ICC均<0.4)，而M U-net模型重建图像与真实对照间的整体一致性尚可(ICC为0.50±0.14，图3)。插值重建图像与真实对照对于顶点水平皮层厚度的整体一致性较低(ICC为0.10±0.09)，而M U-net模型重建图像与真实对照的整体一致性的ICC为0.45±0.14，在63.90%的区域一致性尚可(图3)。2组重建图像与真实对照均无皮层厚度一致性较高区域。

图3 M U-net模型及插值重建图像形态学定量分析的一致性 A、B.分别为ROI水平相对灰质体积(A)及皮层厚度(B)的ICC检验结果；C、D.分别为体素水平相对灰质体积(C)及顶点水平皮层厚度(D)的ICC检验结果(色带为ICC)

2.4 VBM与SBM结果比较 对于M U-net模型及插值重建图像，ROI水平相对灰质体积的ICC检验结果均高于皮层厚度(t=13.00、22.48，P均<0.01)。

3 讨论

超分辨率重建图像的算法分为基于插值、基于重构和基于学习算法[14]。基于插值的重建算法包括最邻近插值、线性插值及样条插值等，简单、快速，但无法引入额外的有效信息，重建图像常较模糊。基于重构算法包括迭代反投影法、凸集投影法和最大后验概率法等，可在一定程度上改善插值法图像边缘模糊问题，但因依赖降质模型，对配准算法及先验知识要求较高[14]。基于学习的重建算法通过学习低分辨率图像与对应高分辨率图像间的映射关系进行重建，早期采用稀疏化表达、低秩、典型相关分析及随机森林等机器学习方法[14]；随着深度卷积神经网络的发展，可利用端到端的学习方式实现从低分辨率图像到高分辨率图像的映射，重建效果更佳。

既往超分辨率医学图像研究多采用模拟低分辨率图像。PHAM等[15]采用高斯模糊及下采样技术，从高分辨率MRI生成低分辨率图像；CHEN等[16]模拟低分辨率MRI采集流程，从高分辨率MRI生成低分辨率图像；均证明基于DL的超分辨率重建算法对于模拟数据可获得良好重建效果。本研究分析相同受试者单次头部常规MR 2D T1WI和3D T1WI，评价以M U-net模型为代表的DL超分辨率算法重建图像质量及其在脑形态学定量分析中的表现；目视分析结果显示M U-net模型重建图像质量高于传统插值重建图像，且前者 PSNR及SSIM高于后者，VBM及SBM结果显示前者与真实对照的一致性均高于后者，与既往相关研究[15-17]结果相符；定量分析结果显示，M U-net模型重建图像在VBM中的准确性高于SBM，推测原因可能在于灰质体积和皮层厚度分析方法或工具包处理过程(如分割和空间变换)存在差异。本研究发现，VBM中，M U-net模型重建不同脑区图像与真实对照的一致性存在差异，在大脑皮质区域、尤其额叶及运动区域的效果较好，而在小脑区域表现不佳，可能与其解剖学特性有关：大脑皮质区域灰质与邻近组织(包括脑白质、脑膜和脑脊液等)的对比度高，而小脑灰质分布模式精细，邻近组织结构复杂，可能影响超分辨率重建、尤其基于DL的超分辨率算法的性能。以上结果提示，以M U-net模型为代表的DL超分辨率重建技术能较准确地辅助VBM定量分析大脑皮质区域，尤其额叶和运动区。

综上所述，基于DL的M U-net模型超分辨率重建能有效提高常规头部2D T1WI质量，有助于对临床常规厚层2D T1WI进行形态学分析,尤其以额叶、运动区为代表区域的VBM形态学分析。但本研究采用无结构异常的脑MRI为测试集，未能评估重建图像用于诊断疾病的效能，有待进一步观察。