胎儿大脑三维表面重建算法

蔡凯雄 王强 陈添峰 郑力新

摘要： 通过核磁共振设备获得多个离散间距的磁共振切片图像，采用CARESU_NET卷积神经网络对图像进行分割，获取胎儿大脑区域图像。采用CARESU_NET卷积神经网络对间断切片进行边缘重构，恢复完整的边缘信息。对边缘重构后的图像组提取边缘像素，生成三维点云，运用泊松重建方法重建点云表面，得到胎儿大脑三维表面模型。结果表明：基于核磁共振图像的三维表面模型直观生动，提高诊断效率和准确性。

关键词： 胎儿大脑； 三维重建； 边缘重构； 点云处理； 核磁共振

中图分类号： TP 399文献标志码： A   文章编号： 1000-5013（2024）01-0078-08

Fetal Brain Three-Dimensional Surface Reconstruction Algorithm

CAI Kaixiong1， WANG Qiang2， CHEN Tianfeng2， ZHENG Lixin1

（1. College of Engineering， University of Huaqiao， Quanzhou 362021， China；

2. Children′s Hospital， Quanzhou Maternal and Child Health Hospital， Quanzhou 362000， China）

Abstract： Multiple discrete space magnetic resonance slice images are obtained using a nuclear magnetic resonance device，a CARESU_NET convolutional neural network is used to segment image to extract the fetal brain region images. A CARESU_NET convolutional neural network is used to reconstruct edge on discontinuous slices，complete edge information is restored. A three-dimensional point clouds are generated by extracting edge pixels from the edge-reconstructed images，  and the point cloud surface is reconstructed using the Poisson reconstruction method to obtain a three-dimensional surface model of the fetal brain. The results show that the three-dimensional surface model based on nuclear magnetic resonance images is intuitive and vivid，  the diagnostic efficiency and accuracy are improved.

Keywords：fetal brain； three-dimensional reconstruction； edge reconstruction； point cloud processing； nuclear magnetic resonance

醫学三维重建在医学诊断、病理研究中有着重大意义［1］，相比二维模型，三维模型可以很快地观察到病变区域，从而加快医学诊断速度。完整的医学三维重建包括点云采集、点云配准、点云表面重建、表面纹理融合等过程。点云表面重建［2-4］工作是影响重建模型效果的关键技术［5-7］。

大脑三维重建需要对表面进行重建，从表面信息中得到顶点和面信息，并在计算机中仿真出大脑形态［8-10］。马阿敏等［11］通过阈值分割得到二值脑组织图像，再通过数学形态学处理得到脑部轮廓，但该重建方法只能应用在较为简单的大脑图像中，而切片要求足够密集，才能防止脑部信息缺失。Hu等［12］使用树形图卷积生成对抗网络，通过单张磁共振图像生成大脑点云，较好地还原大脑的点云，但单张网络切片的信息素过低，生成的大脑结构难以让人信服。

基于深度学习的点云表面重建算法在公有数据集中表现较好，文献［13-15］利用网络提取特征，计算每个点在空间中的占有概率，然而深度学习的网络泛用性较低，无法针对特殊的点云重建得到正确的重建结果。基于几何的点云表面重建算法分成显式重建算法和隐式重建算法。显式重建算法有滚球算法重建［16］、德劳内三角化算法［17］，然而显式重建算法要求点云分布均匀，当点云分布不均匀时，就会形成大量孔洞。隐式重建算法（如一般泊松算法［18-19］）使用隐式函数拟合局部表面的点，从而构成一个等值面，隐式重建算法在孔洞填充、表面平滑上有较好的表现。基于此，本文提出胎儿大脑三维表面重建算法。

1 算法流程图

在专业医师的协助下，获取500人10 715张胎儿脑颅磁共振图像。同时，每张图像包含对应的分割标签图像和边缘重构标签图像。算法流程图，如图1所示。由图1可知：A过程获取原始磁共振图像；B过程的切片按顺序排列，初步得到带扫描间距的三维点云信息；C过程的稀疏散点处理使用深度学习方法，解决了扫描间距带来的信息缺失；D过程的图像组点云化实现了图像到点云的转换，为下一步网格化做数据准备；E过程使用泊松曲面重建算法，实现从点云到网格的生成，生动展现了当前胎儿的大脑发育状况，有效辅助医生医学诊断。算法提供了一系列处理方法，实现了从磁共振图像到三维模型的生成。

2 点云的获取

2.1 连续切片的生成

对胎儿脑颅图像进行排列（z轴），分割得到胎儿大脑图像。离散的切片排列，如图2所示。图2中：白色部分为原始的脑颅内腔图像中分割出来的大脑组织。由图2可知：由于胎儿大脑组织采样间距为2～5 mm，因此，大脑姿态、大小存在较大差异。将切片按照z轴的顺序排列，x轴和y轴的值是二维图像中的x轴和y轴的值，z轴的值是每张图像的索引编号乘每张图像之间的像素距离（索引编号从0开始，第1张扫描图像的索引是0，第2张的索引是1）。

像素距离与长度转换，如图3所示。像素距离表达式为

式（1）中：y2是图3红色方框中下方横线的y坐标；y1是图3红色方框中上方横线的y坐标。

为了提高计算的精度，简化计算过程，假设仪器设置的扫描距离为5 mm，z轴像素距离表达式为

lz=0.5×（y2-y1）。（2）

通过对公式合并和简化，减少中间过程的计算，降低误差的传播，从而提高计算的准确性。在实际应用中，合理选择适当的计算方法可确保像素距离的精确度。通过综合考虑分辨率、采样间距和图像数据特征，可得到更可靠、更稳定的像素距离。精确的像素距离计算对医学图像的测量和分析具有重要的意义。

切片点云化，如图4所示。由图4可知：由于每层切片的间距过大，三维可视化后会损失大量信息，难以具有参考价值。为了解决信息缺失带来的问题，对点云模型，以像素为单位水平面切片。稀疏水平面，如图5所示。

2.2 稀疏散点处理

图像分割过程［20］和边缘重构过程均使用了CARESU_NET卷积神经网络，CARESU_NET卷积神经网络基于U-Net网络［21］进行改进。CARESU_NET卷积神经网络还原的大脑信息，如图6所示。由图6可知：在下采样模块中加入了残差注意力模块，提升网络的特征提取能力和表达能力；在上采样跳跃连接处加入了通道注意力模块，消除噪声和分配同层通道的权重；端到端模型能从稀疏散点中得到大脑切片图像，对边缘进行连接和对内部进行填充，左边输入稀疏散点图像，右边输出还原后的大脑图像。

深度学习框架为tensorflow，梯度下降为随机梯度下降（SGD）优化器，学习率为0.001，超参数为0.9，一个batch的图像数为32。分割算法使用dice损失函数作为算法评价系数，在300个epoch训练结束后，与标签图像对比，得出的图像可以达到97%以上的还原度。

2.3 图像边缘获取

利用胎儿大脑的边缘数据能模拟出一个较好的大脑轮廓，而且能节省计算资源（用较少的数据完成可视化的工作）。选择传统的图像边缘化处理技术Canny算法［22］，完成边缘化操作。二维图像的像素点在x方向和y方向上的梯度分别为

像素点方向的梯度大小（fθ）和方向（θ）分别为

Canny算法是以窗口的形式在图像上滑动，从而进行卷积运算，因此，在两侧的边缘中心位置一定会出现梯度值较小的伪边缘。比较边缘像素点（沿着梯度的方向）与两侧像素点梯度大小，若边缘像素点的梯度值最大，说明它位于边缘的中心位置，则保留；否则，抑制边缘像素点。在进行边缘检测时，一些非边缘的噪声也会被检测出来，需要对边缘加以限定。

在Canny算法中，设置了高、低两个梯度值阈值TH，TL。梯度值比TH大的点为强边缘点，梯度值比TH小，但比TL大的点为弱边缘点，梯度值比TL小的点则抑制。在进行梯度值阈值处理时，只有强边缘点、与强边缘相连的弱边缘点会被保留。

2.4 图像组点云化

在x轴方向，大脑图层以一个像素为单位进行平铺，得到每个点云的x轴、y轴和z轴坐标。点云的法向量计算是基于每个点的邻域点进行计算，因此，在计算每个点的法向量时，取周边4个邻域点信息进行计算。通过邻域点和当前点生成面，法向量正交当前面，指向外部、内部方向。当法向量跟质心和当前点生成的向量夹角小于90°时，则判断为向外法向量。

3 网格化过程

3.1 泊松表面重建

泊松表面重建算法［23］有以下3个具体步骤：1） 采用指示函数拟合表面；2） 通过求解泊松方程提取等值面（在表面内部的空间值大于零，在表面外部的空间值小于零）；3） 对等值面使用Marching Cube重建算法，得到具有几何实体信息的表面模型［24］。

在空间S（上部分的长方体结构）中，实体M包含点云集合和法向量集合，其边界定义为M。通过散度定理可知，通过曲面的通量约等于曲面内部的向量，但由于曲面在正交方向上不连续，需引入一个平滑函数F（）来平滑边界指示函数f（M）。平滑后的法向量场为

式（6）中：F（q-p）表示从点p到点q的平滑过程。

空间三线性插值，如图7所示。根据每个邻域点在q周邊的8个体素，q的法向量投影坐标为

式（7）中：x0，y0，z0分别为在体素下方的x轴、y轴和z轴的坐标；x1，y1，z1分别为在体素上方的x轴、y轴和z轴的坐标。

通过空间三线性插值求点q的向量，具体步骤为

式（8）中：V00，V10，V01，V11分别为点p00，p10，p01，p11的向量。

指示函数f（M）代表的表面向量场近似为在一个小范围内{m，mM}，Ng（m）是点q的邻接体素，指示函数f（M）中点q的向量可以近似表示为

散度公式为

最小二乘法可求解近似解，使用移动立方体算法对x提取等值面，得到顶点和三角形信息，从而完成重建工作。

3.2 改进泊松表面重建

一般泊松表面重建的大脑会呈现出多层次效果，一般泊松表面重建的图像分割过程中的噪声也会一起重建。

式（11）中：Ni为周边法向量。

2） 噪声抑制。为了节省计算开销，采用八叉树划分法［25］将空间分成8等份（在根节点下有8个子节点）。如果每个子节点中的点云满足继续分割的数量要求，该节点作为父节点继续分割成8个子节点，在八叉树划分中点越密集的区域树深度越深，越稀疏的区域八叉树深度越浅。八叉树划分将点云存在的空间进行划分，噪声也有了自己的重建空间，对大脑组织进行重建，也对噪声区域进行重建。采用均匀划分算法对空间进行划分，为了减少计算量，计算空间所需长方体结构，长方体结构应能将物体点云囊括在内，以单位体积为13的体素把空间划分成若干大小相等的格子。实验结果表明，均匀划分算法更考虑整体的结构，远离大脑点云的噪声由于无法形成封闭的曲面结构，无法重建。

4 实验结果与分析

每组胎儿大脑磁共振由多张磁共振扫描图像组成，扫描间距的存在导致每张大脑的姿态差距较大。分割对比图，如图8所示。由图8可知：CARESU_NET分割后的图像能在细节处更为敏感，分割后能保留下更多的大脑图像信息。

U_Net卷积神经网络的平均交并比、精确率、召回率和相似率分别为92.45%，92.65%，93.26%，92.64%，CARESU_NET卷积神经网络的平均交并比、精确率、召回率和相似率分别为95.38%，95.72%，95.89%，95.68%，比U_Net卷积神经网络分别提升了2.93%，3.07%，2.63%，3.04%。

在重构实验中，任务较为简单，只需对边缘进行连接和对边缘内部进行填充。U_Net卷积神经网络的平均交并比、精确率、召回率和相似率分别为63.97%，96.49%，97.11%，96.62%，CARESU_NET卷积神经网络的平均交并比、精确率、召回率和相似率分别为68.57%，97.32%，97.38%，97.43%，因此，两个卷积神经网络之间的差异较小。

重建效果对比，如图9所示。由图9可知：滚球算法在点云不规则排列的情况下，重建后会产生大量孔洞；一般泊松算法容易产生层次结构，对点云过于拟合；使用优化后的重建方法能避免过拟合重建，抑制结构层次化，解决孔洞问题，表面更加平滑。因此，优化后的泊松重建算法较一般泊松算法能更好地仿真胎儿大脑，重建的模型能更生动地展示给医生，并进行医学诊断。

重建后，滚球算法、一般泊松算法，优化后的泊松重建算法的顶点分别为18 186，47 120，23 032个；面分别为27 030，94 252，46 044个。由于滚球算法点云分布密度的不确定，因此，生成的顶点和面较少，表面会有大量孔洞；一般泊松算法相比于优化后的泊松重建算法形成了2倍多的顶点和面，从侧面反映了各个位置的点云重建过于拟合；优化后的泊松重建算法使用了更少的顶点和面结构能很好地还原大脑形态，点云分布更加均匀，重建模型的表面更为平滑，较少的数据可以减少模型文件的大小和加快加载模型时的渲染速度。

使用深度学习的方法，从孕妇腹部磁共振图像中获取胎儿大脑组织基础数据，由于图像分割算法无法达到百分百的精度，因此，会存在噪声。噪声抑制展示，如图10所示。

在点云采样过程中，对噪声进行采样，一般泊松算法在图像左下角同样也会对噪声空间进行重建，也是一般泊松算法过拟合的结果。U_Net卷积神经网络和CARESU_Net卷积神经网络的顶点分别为22 030，23 032个，面分别为44 044，46 044个。因此，CARESU_NET神经卷积网络更为准确分割图像，保留更多的胎儿脑部图像信息，生成的大脑模型有更多有效的顶点和面信息。

重建对比图，如图11所示。由图11可知：由于U_Net卷积神经网络提供的图像对细节和噪声处理较差，采样的点云不能很好地拟合大脑表面形态，在一定程度上影响医学诊断；CARESU_NET卷积神经网络给予重建算法更精准的点云数据，因此，重建结果更加拟合大脑，表面也更为光滑。

CARESU_NET卷积神经网络提高了深度学习方法在图像分割和边缘重构的性能，为点云采样提供了更准确的数据服务。同时，也对重建算法进行了一定的改进，抑制了层次化结构和噪声的影响，为胎儿大脑三维可视化效果的提升做出了帮助。

5 结束语

在输入一组胎儿脑颅磁共振图像后，采用CARESU_NET卷积神经网络对图像进行分割，得到较为精确的胎儿大脑组织图像组。对胎儿大脑组织图像组进行堆叠后，从另一视角进行切片，构建切片间距较为密集、内容较为稀疏的图像组，从而重构边缘、填充信息、恢复图像。运用传统方法获取大脑边缘，采样得到三维点云，采用改进的泊松表面重建算法可提高可视化效果。未来还将探索胎儿扫描过程中移动大脑造成的左右脑半球不对称的解决办法，从而提高三维可视化和脑容量计算算法的临床能力。

参考文献：

［1］ 刘刚战，刘楷正.医学图像三维重建技术的研究与应用［J］.通訊世界，2016，9：279.DOI：10.3969/j.issn.1006-4222.2016.09.188.

［2］ 杨振发，万刚，曹雪峰，等.基于几何结构特征的点云表面重建方法［J］.系统仿真学报，2017，29（11）：2684-2692.DOI：10.16182/j.issn1004731x.joss.201711013.

［3］ PODDAR S，JACOB M.Recovery of point clouds on surfaces： Application to image reconstruction［C］∥IEEE 15th International Symposium on Biomedical Imaging （ISBI 2018）.Washington D C：IEEE Press，2018：1272-1275.DOI：10.1109/ISBI.2018.8363803.

［4］ BERNARD F，SALAMANCA L，THUNBERG J，et al.Shape-aware surface reconstruction from sparse 3D point-clouds［J］.Medical Image Analysis，2017，38：77-89.DOI：10.1016/j.media.2017.02.005.

［5］ SHANG Yang，SUN Xiaoliang，ZHANG Yueqiang，et al.Research on 3D target pose tracking and modeling［J］.Journal of Geodesy and Geoinformation Science，2019，2（2）：60-69.DOI：10.11947/J.AGCS.2018.20170626.

［6］ XU Yusheng，HUANG Rong，TONG Xiaohua，et al.Exploitingrobust estimators in phase correlation of 3D point clouds for 6 dof pose estimation［J］.Journal of Geodesy and Geoinformation Science，2021，4（3）：72-90.DOI：10.11947/j.JGGS.2021.0307.

［7］ LI Bin，ZHAO Xiaofa，CHEN Yong，et al.Three dimensional laser point cloud slicing method for calculating irregular volume［J］.Journal of Geodesy and Geoinformation Science，2019，2（4）：33-45.DOI：10.11947/j.JGGS.2019.0404.

［8］ 凡雪霖，王震寰，李丹輝，等.大脑扣带回皮层的三维重建及可视化［J］.蚌埠医学院学报，2019，44（8）：1001-1003.DOI：10.13898/j.cnki.issn.1000-2200.2019.08.006.

［9］ 李秀辉，王震寰，沈龙山，等.成人大脑颞平面的三维重建及三维可视化［J］.蚌埠医学院学报，2018，43（4）：421-424.DOI：10.13898/j.cnki.issn.1000-2200.2018.04.001.

［10］ HENG Fang，XI Yang，TAICHI K，et al.Brainsurface reconstruction from mri images based on segmentation networks applying signed distance maps［C］∥IEEE International Symposium on Biomedical Imaging.Nice：IEEE Press，2021：1164-1168.DOI：10.1109/isbi48211.2021.9434070.

［11］ 马阿敏，杨荣骞，宁海，等.脑部MRI图像头皮三维提取及重建［J］.计算机应用，2013，33（5）：1439-1442.DOI：10.3724/SP.J.1087.2013.01439.

［12］ HU Bowen，LEI Baiying，SHEN Yanyan，et al.A point cloud generative model via tree-structured graph convolutions for 3D brain shape reconstruction［C］∥Chinese Conference on Pattern Recognition and Computer Vision.Cham：Springer International Publishing，2021：263-274.DOI：10.1007/978-3-030-88007-1_22.

［13］  HUANG Zitian，YU Yikuan，XU Jiawen，et al.PF-Net： Point fractal network for 3D point cloud completion［C］∥IEEE/CVF Conference on Computer Vision and Pattern Recognition.Seattle：IEEE Press，2020：7662-7670.DOI：10.48550/arXiv.2003.00410.

［14］ MESCHEDER L，OECHSLE M，NIEMEYER M，et al.Occupancy networks： Learning 3D reconstruction in function space［C］∥Proceedings of the IEEE/CVF International Conference on Computer Vision.Long Beach：IEEE Press，2019：4460-4470.

［15］ TANG Jiapeng，LEI Jiabao，XU Dan，et al.Signagnostic optimization of convolutional occupancy networks［C］∥Proceedings of the IEEE/CVF International Conference on Computer Vision.Montreal：IEEE Press，2021：6504-6513.

［16］ 胡丝兰，周明全，税午阳，等.一种改进Ball Pivoting的散乱点云数据重建算法［J］.系统仿真学报，2015，10：2446-2452.DOI：10.16182/j.cnki.joss.2015.10.033.

［17］  LUO Yimin，MI Zhenxing，TAO Wenbing.DeepDT： Learning geometry from delaunay triangulation for surface reconstruction［J］.Proceedings of the AAAI Conference on Artificial Intelligence，2021，35（3）：2277-2285.

［18］ KAZHDAN M，HOPPE H.Screened poisson surface reconstruction［J］.Acm Transactions on Graphics，2013，32（3）：1-13.DOI：10.1145/2487228.2487237.

［19］ 歐阳宁，杨碧伟，林乐平.法向估计的屏蔽泊松算法三维点云重建［J］.电视技术，2017，41（11）：237-242.DOI：10.16280/j.videoe.2017.h11.045.

［20］ 郑力新，蔡凯雄.一种基于U-Net模型的脑颅内腔分割方法及装置： CN115601344A［P］.2023-01-13.

［21］ ARIKAWA T.Spatial W measurement based on U-Net convolutional neural network in large wave flume［J］.Water，2023，15（4）：647-662.DOI：10.3390/w15040647.

［22］ 李静，陈桂芬，丁小奇.基于改进Canny算法的图像边缘检测方法研究［J］.计算机仿真，2021，38（4）：371-375.DOI：10.3969/j.issn.1006-9348.2021.04.075.

［23］ 李皓冉，梅天灿，高智.全局ICP与改进泊松相结合的三维人脸重建［J］.测绘学报，2023，52（3）：454-463.DOI：10.11947/j.AGCS.2023.20220128.

［24］ 刘侠，刘欢，王淼淼，等.改进Marching Cubes算法的椎骨CT图像三维重建与可视化［J］.哈尔滨理工大学学报，2019，24（6）：84-92.DOI：10.15938/j.jhust.2019.06.013.

［25］ 鲁猛胜，姚剑，董赛云.法向约束的点云数据泊松表面重建算法［J］.测绘地理信息，2022，47（4）：51-55.DOI：10.14188/j.2095-6045.2020124.