APP下载

周围神经MicroCT图像中神经束区域的自动分离

2019-06-22钟映春

应用科学学报 2019年3期
关键词:三维重建轮廓手工

李 芳, 钟映春, 戚 剑, 罗 鹏

1.广东财经大学信息学院,广州510300

2.广东工业大学自动化学院,广州510006

3.中山大学附属第一医院显微外科,广州510085

4.深圳市第六人民医院骨科,深圳518000

四肢周围神经是人体躯干与四肢联系的主要信号通道,起传入感觉冲动和发出运动指令的作用.在目前医疗水平下,如果周围神经损伤则主要采用直接缝合手术进行修复,这种修复方法的愈后效果差、致残率高.如何提高治疗效果一直是外科临床上的难题.如果能把相同类型的神经功能束对接,就很有可能恢复原来神经的大部分功能.对周围神经进行三维重建有利于对接相同类型的神经功能束.在周围神经三维重建过程中的关键步骤之一是从神经切片图像中自动分离神经束区域.

通过制备神经束的物理切片来构建神经束三维模型是其三维重建的主要方法之一.文献[1-2]通过采用制备物理切片实现了神经与血管的三维重建.文献[3]对手臂肘窝部和手腕部的正中神经进行切片制备、染色、拍照、图像拼接,并采用GVF-Snake 方法自动提取了神经束轮廓,实现了短段周围神经束的三维重建.但若采用制备物理切片的方法进行神经束三维重建,则效率低下,配准和拼接精度不足,难以进行长段周围神经束的三维重建.

超高精度MicroCT 是一种能显示生理组织内部形态的新方法,在采用超高精度MicroCT研究神经解剖结构方面取得了许多进展.文献[4]采用MicroCT 对神经血管进行扫描,以确定血液供给对椎体发育的影响.文献[5]使用金属锇的化合物对老鼠的坐骨神经进行染色后将其固定在聚合物支架上,并在MicroCT 设备上采用低剂量的X 光照射,可以清晰显示坐骨神经内部的神经束,观察神经内部血管对神经的供血和神经束的再生,实现了坐骨神经的三维重建.针对此研究,文献[6]认为该方法的支架太大会导致无法进行组织学分析,于是使用碘给大鼠坐骨神经进行染色,利用MicroCT 扫描坐骨神经标本,然后用硫代硫酸钠去除碘并以钛合金导管引导神经束使其可以正常再生.但是坐骨神经是人体中最为粗大的神经,其直径可以达到10 mm 以上,而周围神经普遍纤细,直径通常只有2~3 mm,因此该方法不适用于周围神经的三维重建.此外,文献[7-8]先后研究了MicroCT 扫描周围神经的染色方法,得到了包含结缔组织的神经.

针对周围神经MicroCT 序列扫描图像中的神经束区域,本文提出了一种自动分离神经束区域的方法.在手工标注第1 幅扫描图像中的神经束轮廓和非轮廓区域的基础上,采用稀疏自动编码机方法(sparse auto-encoder,SAE)提取标注区域的特征以得到训练集,并训练第1 个神经网络;再采用训练好的神经网络对待识别区域进行处理,得到第2 幅图像的神经束轮廓,并完成神经束区域分离;随后用第2 幅图像中的神经束轮廓作为训练集训练第2 个神经网络,并用于识别第3 幅图像中的神经束轮廓.不断重复该过程,直至全部图像处理完成.

1 总体流程

从MicroCT 图像中完成神经束区域分离的流程如图1所示.从图1可见,分离神经束区域包括手工标注第i(i=1,··· ,521)幅图像中的神经束轮廓和非轮廓、特征提取、训练神经网络、识别并分离第i+1 幅图像中的神经束区域等步骤.

图1 从MicroCT 图像中分离神经束区域的流程Figure1 Process of extracting region of fascicular groups from MicroCT images

2 标本制作

距离腘窝5~10 cm 处取成年男性下肢胫神经.在显微镜下,去除胫神经周围的脂肪与结缔组织,得到如图2所示的胫神经.将胫神经切成长度为3 mm 左右的小段作为标本,共得到有效标本20 份.从这些有效标本中任意选取一份标本,用饱和氯化钙溶液浸泡2~4 h,再冷冻干燥24 h.然后用MicroCT 50(Switzerland,Scanco Medical 公司)扫描该标本,设备版本号为SCANCO_ V1.2a,扫描间隔为5µm,扫描图像分辨率为2 056×2 056 像素,共得到有效的DCM 格式图像522 张.

图2 周围神经标本Figure2 Sample of peripheral nerve

3 神经束轮廓的分离

3.1 手工标注第1 幅图像

首先将DCM 格式的MicroCT 扫描图像转变为.jpg 格式;然后在画图软件Paint 或者PhotoShop 上用红色画笔沿着每根神经束边缘轮廓勾画一次,画笔宽度为2~3 个像素;接着标注第1 幅扫描图像中的非神经束区域:采用蓝色画笔在非神经束轮廓区域任意勾画,画笔宽度可以为任意像素宽度.标注完成的结果如图3所示.

图3 手工标注的图像Figure3 Image marked manually

3.2 标注区域的特征提取

深度学习的方法可以在无需人为参与的情况下提取图像特征,为此本文采用深度学习中的SAE 进行标注区域的无监督特征提取[9].稀疏自动编码机本质上就是一种单隐层的神经网络,其结构如图4所示[10-11].令神经网络的输出与输入相同,经过训练后在神经网络隐层的权重就是本文提取得到的特征.

图4 自动编码机的结构Figure4 Structure of SAE

在图4中,人工神经网络的输入与输出都用相同的样本,则神经网络的输出为

式中,s为sigmoid 函数,{ωT,bT}为参数集合.通过训练,不断调整ωT与bT,使得输出~x尽可能地接近输入x,即

在通常情况下,当使用具有稀疏性的分量表示输入数据时,能更有利于表达数据的特性,因此,对式(2)加上L1的正则化限制,即约束每一层的节点中大部分为0,于是式(2)可调整为

式中,u(|a1|+···+|an|) 表示正则化限制.满足式(3)的ωT就是所要提取的特征.取第1 张手工标注区域中每个像素点的邻域进行SAE 提取特征后,得到第1 个训练集.

3.3 神经束轮廓的分离过程

在提取了标注区域的特征并得到训练集后,自动分离MicroCT 扫描图像中神经束区域的过程如下.

步骤1构建训练集.将第1 幅扫描图像作为当前图像.根据第1 幅扫描图像中的手工标注区域构建第1 个训练集.如图3所示,红色区域为神经束轮廓部分,蓝色区域是非神经束轮廓部分.将手工标注区域(包括红色区域和蓝色区域)中的每个像素的10×10 的邻域提取出来并展开为100 维的向量而后将这些向量合并为一个矩阵,就得到了第i=1 个训练集.用第i=1 个训练集去训练一个BP 神经网络[12-13],可以得到第i=1 个神经网络.

步骤2将第1 幅扫描图像中的神经束轮廓部分单独分离出来进行膨胀处理,并将膨胀结果叠加到第2 幅扫描图像中,然后将叠加轮廓的区域单独分离出来,如图5(a)~(c)所示.图5(c)中的区域就是待识别区域.将待识别区域转变为向量,构建测试集.在此过程中,对第1 幅图像的神经束轮廓进行膨胀操作后再叠加到第2 幅图像中的原因在于:第1 幅图像的神经束轮廓需要对待识别图像进行蒙皮滤波操作,所得结果是待识别的区域,于是为了避免待识别区域没有完全覆盖真实的神经束轮廓的情况,先对第1 幅图像的神经束轮廓进行膨胀操作.

步骤3采用已训练好的第i=1 个神经网络对测试集进行识别,并将识别结果叠加到第2 幅扫描图像中,如图5(d)~(e)所示.

步骤4将包含有识别结果的第2 幅扫描图像作为当前图像,不断重复上述过程,直到522 幅扫描图像全部处理完成.

在神经束分离过程中,本文提出的神经束轮廓提取方法有以下方面不同于其他方法:

1)第i(1≤i≤521)幅图像的轮廓叠加在第i+1 幅图像上,用于分离待识别区域;

2)第i(1≤i≤521)幅图像的轮廓用于训练第i个神经网络,总共训练521 个神经网络,分别用于识别第2~522 幅图像中的待识别区域.训练完成的第i个神经网络只用于识别第i+1 幅图像中的待识别区域.此过程的优点在于,两张扫描图像之间的间距只有5µm,神经束轮廓变化不大,因此训练集与测试集的数据具有相同的分布空间,可以在确保识别精度的情况下适当降低对训练集数量的要求.

4 实验结果与分析

4.1 神经束轮廓特征提取结果

本文的实验环境为MATLAB2016,硬件平台为CPU 为i5-2.2G,内存为12G.对第1 扫描图像中的手工标注区域采用SAE方法进行特征提取,得到的特征经过可视化后如图6所示.在图6中,提取了100个特征,每个特征为10×10 像素.

图5 神经束轮廓的自动分离过程Figure5 Extracting processes of fascicular groups automatically

图6 手工标注区域的SAE 特征Figure6 SAE features of manually marked region

4.2 神经束轮廓分离结果

神经束轮廓的分离结果如图7所示.图7(a)和(b)中神经束外围的蓝色曲线就是分离得到的神经束轮廓,可见分离得到神经束轮廓与实际轮廓非常接近.本文采用DSI 指标[14]分析神经束分离情况.

图7 神经束轮廓的分离结果Figure7 Extracting results of fascicular groups

DSI(dice similarity index)指标指的是分割相似系数,如式(4)所示,用于量化分析分割结果

式中,D(A,B)代表DSI,A为标准图像,B为待评价的分离结果图像.本文以手工分离的神经束作为A,将分离的神经束区域作为B;|A ∩B|为手工分离与本文方法分离所得结果的重叠面积;|A|和|B|分别为两幅图像各自的面积.可见,DSI 系数越高,分离结果与手工分离的结果越接近.

采用本文分离方法与手工分离的结果对比如表1所示.

表1 本文分离方法与手工分离的结果对比Table1 Comparison of extracting results by manual and the proposed method

从表1可见,在分离精度方面,利用本文方法进行神经束分离处理,平均精度可以达到84.7%.分离得到的神经束轮廓基本能够满足后续神经束三维重建的需求;在时间效率方面,采用本文方法进行神经束分离处理,只需要0.3~0.4 h 就可以完成计算,远小于手工分离处理的时间.显然采用本文方法进行神经束分离是合适的.

随着神经束延伸,第50 幅扫描图像中的两根神经束“L”和“K”延伸到第100 幅扫描图像时已合并为一根神经束“M”,如图7(a)所示.而第150 幅扫描图像中的神经束“R”延伸到第227 幅扫描图像时已分裂为两根神经束“S”和“T”,如图7(b)所示.可见,本文方法不仅能够准确地分离出单根神经束的轮廓,而且能够分离出分裂阶段和合并阶段的神经束轮廓.

4.3 邻域尺度对神经束轮廓分离结果的影响

手工标注区域像素的邻域尺度是采用SAE 方法提取神经束轮廓特征的重要参数之一.为了获知邻域尺度对神经束轮廓分离结果的影响,本文以第5 幅扫描图像为例,令邻域尺度分别为5×5 像素,10×10 像素和20×20 像素,神经束轮廓分离结果如图8所示.

对比图8(a)~(c)的神经束轮廓,从总体上看其神经束轮廓差异不大.红色标记包围的区域显示了与实际情况的吻合程度,显然图8(b)中的神经束轮廓吻合度高于图8(a)和图8(c)的吻合度,说明邻域尺度为10×10 像素更加适合于识别神经束轮廓.

5 结 论

在四肢周围神经损伤的修复手术中,如果能对接具有相同功能性质的神经束,将明显提高治愈效果.实现四肢周围神经内部神经束的三维重建,可以使对接具有相同功能性质的神经束成为可能.为此,本文针对周围神经的MicroCT 扫描图像,采用深度学习中的SAE 方法提取神经束轮廓特征,并利用神经网络识别神经束轮廓区域,最终实现了神经束的自动分离.本文的主要结论有:1)SAE 方法能够比较好地描述神经束轮廓的特征,且无需人工提取神经束轮廓的特征;2)本文方法分离神经束区域精度可以达到84.7%;3)本文方法分离神经束区域的时间效率为0.3~0.4 h 处理完成522 幅图像,明显优于手工分离神经束区域的效率.本文研究为后续定量评估神经束的间距、空间走向的规律、对接具有相同功能性质的神经束等工作奠定了重要的技术基础.

图8 邻域尺度对神经束轮廓分离结果的影响Figure8 Influence of neighborhood scale on extracting results of fascicular groups

猜你喜欢

三维重建轮廓手工
OPENCV轮廓识别研究与实践
基于Mimics的CT三维重建应用分析
基于实时轮廓误差估算的数控系统轮廓控制
做手工
超萌的羊毛毡手工
高速公路主动发光轮廓标应用方案设计探讨
三维重建结合3D打印技术在腔镜甲状腺手术中的临床应用
手工DIY
多层螺旋 CT 三维重建在肋骨及软骨损伤中的诊断价值
多排螺旋CT三维重建在颌面部美容中的应用