APP下载

基于改进的3D U-Net骨盆CT影像多类分割

2023-02-07李兴春谢小山李迎新秦传波

现代电子技术 2023年3期
关键词:髋骨骶骨骨盆

刘 志,李兴春,郑 斌,谢小山,肖 林,李迎新,秦传波

(1.五邑大学 智能制造学部,广东 江门 529020;2.江门市中心医院,广东 江门 529000)

0 引言

骨盆作为连接脊柱和下肢的重要结构(如图1所示,其中绿色区域是左髋骨,蓝色区域是右髋骨,红色区域是骶骨,黄色区域是腰椎,这四个部分共同组成整个骨盆骨区域),对保持身体的稳定和保护腹部内部器官起着至关重要的作用[1]。髋关节发育不良、骨盆骨折等骨盆异常都会严重影响身体健康[2],其中骨盆骨折作为最严重的骨损伤,具有较高的致残、致死率[3]。CT影像在骨盆损伤诊断和治疗过程中发挥着极其重要的作用,医生通过对骨盆准确分割[4]来评估骨盆损伤的严重程度和制定治疗计划。在过去,医生只能通过借助外部软件对骨盆CT图像进行三维重建,然后再对骨盆区域进行手动勾画,勾画精度和速度完全取决于勾画医生主观经验、精力,并且勾画过程极其消耗时间。因此,本文提出了一种深度神经网络骨盆自动分割方法。

图1 骨盆结构

骨盆CT影像分割方法主要分为基于数字图像处理的传统算法以及深度学习的人工智能算法。传统方法中基于单阈值、区域生长、形变模型、统计形状模型、分水岭等[5]对局部灰度信息变化非常敏感,严重依赖骨盆结构与周围组织之间的密度差异大小,然而骨盆骨折则会进一步弱化边缘差异。因此,该类方法在实际临床应用中存在诸多限制,所以一直未能得到推广应用。近年来,随着人工智能蓬勃发展,医学影像分割领域涌现出许多深度学习分割方法,如U-Net[6]、3D U-Net[7]、nnUNet[8]、Transunet[9]、Swin-unet[10]。文献[11]使用U-Net网络在200例腹部轴向CT图像进行背景、盆腔内容物、肌肉、骨骼等多类分割,在测试集上骨盆骨骼Dice系数达到0.92。文献[12]将五个骨盆公开数据库以及两个临床数据库进行整合,以深度学习全自动分割网络与人类专家相结合的方式对全部数据进行标注。采用nnU-Net的3D U-Net级联版本对骶骨、左髋骨、右髋骨和腰椎四个部位进行精准分割。

本研究使用Transformer[13]结构自注意力机制对3D U-Net网络进行改进,改进后的网络称为3D Trans UNet。3D Trans U-Net以骨盆CT影像三维格式作为输入,可以最大程度地保留数据空间信息,增加深度神经网络可以学习的特征。由于自注意力机制引入,卷积神经网络可以获得更大的感受野来获取局部与全局信息关系,从而提高网络整体分割精度。实验结果表明,3D Trans U-Net在Dice系数、豪斯多夫距离等评价指标相比3D U-Net、V-net、Attention U-Net均有提升。

1 Transformer注意力机制

1.1 缩放点乘自注意力

缩放点乘自注意力分别由长度为dk的q,k,v三个向量作为输入。首先对q,k向量进行点乘运算并除以进行缩放处理,然后使用softmax获取v向量每个元素权重,最终输出结果为v向量加权之和。为了使用矩阵加速运算,将q,k,v分别打包成Q,K,V矩阵再计算注意力函数。流程如图2a)所示,计算如下:

1.2 多头自注意力

多头自注意力对打包好的Q,K,V矩阵进行线性映射,得到多组向量并分别进行缩放点乘注意力计算,将注意力输出进行拼接,最后通过一个线性投影变换得到最终输出。流程如图2b)所示,计算如式(2)、式(3)所示:

图2 注意力机制

1.3 编码器

编码器是由多个结构相同的基础模块堆叠组成,每个基础模块包含两个子层。其中:数据在第一个子层(SubLayer1)先后经过归一化处理(Norm)、多头注意力机制(MSA)、残差连接(Add)之后送入第二子层;在第二个子层(SubLayer2)经过数据归一化处理、多层感知机、残差连接之后送入下一个基础模块。编码器基础模块数据计算流程如式(4)~式(6)所示:

式中l=1,2,…,N。

2 3D Trans U-Net网络结构

3D Trans U-Net网络在3D U-Net网络特征编解码阶段分别增加一次下采样、上采样,使用Transformer注意力机制作为连接编解码器通道。数据在经过4个基础模块处理后,使用步幅为2,卷积核尺寸大小为2×2×2的卷积层将特征图尺寸缩小一半,然后再经过4个卷积层将特征维度提升至原来的三倍dmodel=768。通过将特征图逐像素展开完成像素编码(Pixel Embedding),初始化一个与像素编码相同尺寸的零向量与之直接相加完成位置编码(Position Embedding),并由模型通过学习更新位置参数。在多头注意力层中,采用h=12的自注意力层。编码器的基础模块内数据在进行多头注意力和多层感知机计算之前首先经过层归一化处理,计算之后再进行残差连接。编码器是由N=12经过调整的基础模块堆叠而成。

3D Trans U-Net网络 如图3所示。

图3 3D Trans U-Net网络

3 数据预处理

3.1 实验数据

本研究实验数据由7个不同数据来源组成的公开数据集CTPelvic1K,包含1 184名患者骨盆CT影像数据,共320 000张切片。数据标注采用自动化标注工具与人工相结合的方式对骶骨、左髋骨、右髋骨和腰椎四个部位进行标注。使用线性邻近插值将所有数据按照体素间距重采样到(0.78,0.78,0.46),同时将CT影像尺寸重采样到(128×128×96)作为网络的输入。本研究将数据按照7∶2∶1比例随机划分为三组:训练组(829例)、验证组(237例)、测试组(118例)。

3.2 窗宽、窗位调整

骨盆CT影像中HU值反映了人体不同器官或组织对X射线束吸收程度,介于-1 000~3 076。通过设置合适窗宽、窗位可以忽略其他无关区域,只保留骨盆感兴趣区域。经过查阅相关资料和多次尝试最终将窗宽、窗位分别设置为800、400,即只保留CT影像中0~800区间的HU值。调整前后对比如图4所示。

图4 调整前后对比

3.3 数据增强

在深度学习领域,往往数据量越大则训练出来的模型效果越好,模型的泛化能力、鲁棒性越强。但是实际中遇到样本数量不足或者样本质量不够好,这就要对样本做数据增强。数据增强是在不实质性地增加数据的情况下,从有限的数据产生更多变种,让有限的数据产生等价于更多数据的价值。因此对原始图像进行水平翻转、垂直翻转、旋转、缩放、剪裁、平移和噪声等方式实现数据增强。增强后的图像如图5所示。

图5 增强图像

4 实验结果与分析

4.1 评价指标

Dice相似系数(DSC)是一种集合相似度度量函数,通常用于计算两个样本的相似度,其取值范围介于[0,1]之间,值越大越相似。DSC在医学图像分割任务上常用来计算模型预测结果与金标准的相似度,值越大越相似。

豪斯多夫距离(HD)是衡量两个图像的像素集合相似程度,它定义了在度量空间中任意两个由点构成的集合之间的一种距离。计算得到的值越小,模型预测结果越接近真实的目标区域。计算公式如式(8)所示:

4.2 实验环境

本文所用操作系统:Ubuntu 18.04;处理器:Intel i9-9900K;内存:64 GB;显卡:Nvidia GeForce RTX 2080TI 11 GB;编程语言:Python 3.6;深度学习框架:PyTorch 1.4.0;加速库:CUDA 10.1。

4.3 实验数据

本文实验所有模型均采用Adam作为优化算法、组归一化加速收敛,迭代训练100次,默认初始学习率为0.001。其中,V-Net的Batch Size为4,其他全为1。各个模型对整个骨盆骨区域,以及骶骨、左髋骨、右髋骨、腰椎四个部位实验结果如表1所示,最优DSC和HD指标被加粗标记,四个部位指标平均值在表尾列出。

从表1中数据可知,无论是整个骨盆骨区域还是单个部位,3D Trans U-Net的两项指标都要优于原始3D UNet,并且高于同样引入注意力机制的Attention U-Net。V-Net虽然在右髋骨和腰椎的HD指标上要优于3D Trans U-Net,但在其他部位和整个骨盆骨部位的表现均不及3D Trans U-Net。残差学习的引入并没帮助V-Net填补与3D Trans U-Net网络结构设计上的差异对模型表现所带来的影响。较小的图像尺寸也在一定程度上削弱了大卷核的卷积效果。另外,本实验的所有模型均采用了与V-Net一同提出的DSC损失函数,这也在一定程度上削弱了V-Net的表现。

表1 所有实验模型分割指标

4.4 分割结果

选取三位患者CT图像预测结果可视化,如图6所示。在第一位患者的结果中,V-Net将部分背景区域判别为右髋骨,U-Net、Attention U-Net也存在不同程度的错割现象,而3D Trans U-Net的分割效果几乎与金标准十分接近。在第二个病例的结果中,其腰椎与骶骨的衔接部位特征比较相似,除了3D Trans U-Net在衔接处右侧存在小部分腰椎被识别为骶骨,其他模型均把较大体积的一节腰椎骨归类为骶骨。第三个存在相似背景区域的病例中,V-Net、3D U-Net和Attention U-Net都存在不同程度的错误分割,采用自注意力的3D Trans U-Net则取得了不错的表现。可见自注意力机制引入,能更好地帮助模型识别出与前景相似的背景区域,并且能细化前景区域边缘的分割,提高精度。

图6 不同模型分割结果对比

5 结语

针对目前2D骨盆分割方法对三维医学影像进行切片处理时损失空间信息的问题,本文提出了改进3D UNet网络实现对骨盆CT影像3D自动分割。相比于原始3D U-Net,3D Trans U-Net在整个骨盆区域、骶骨、左髋骨、右髋骨、腰椎Dice系数分别提升了0.07%,0.12%,0.06%,0.06%,0.19%,四个区域的平均DSC提升0.10%,同时,豪斯多夫距离也有着更好的表现,证明了自注意力机制在3D骨盆CT影像分割领域的有效性。此外实验结果表明,3D Trans U-Net较V-Net和Attention U-Net也有着更优的性能。

猜你喜欢

髋骨骶骨骨盆
你的翘臀!可能是假的
6岁儿童骨盆有限元模型的构建和验证
“翘臀”腰疼,警惕骨盆前倾
一例犬骨盆骨骨折病的诊治
MRI在骶骨骨折合并骶神经损伤诊断中的应用价值
骶骨骨折合并神经损伤21例临床分析
改良Galveston技术联合钢板固定治疗H形骶骨骨折
骶骨翼斜坡
每个人都有个包
分娩让女性更强壮