改进UNet++的杉木CT图像年轮分割

刘 帅，葛浙东，刘晓彤，高宜生，李 阳，李萌菲

1.山东建筑大学信息与电气工程学院，济南 250101

2.山东建筑大学建筑城规学院，济南 250101

树木年轮是指多年生木本植物茎的横断面上的同心环纹[1]。年轮作为一种树木特征，记录了包括气候变化、自然灾害、环境污染等自然环境信息。树木在春夏季生长旺盛，形成早材；在秋冬季生长缓慢，形成晚材[2]。年轮分割技术作为树木年轮获取的重要手段，不仅能观测到树木年龄，还能推测出气候环境对树木生长的影响，对于人类了解自然环境的变迁和树木研究领域的发展起到巨大的促进作用[3]。

树木生长过程中，内部可能存在节子、裂纹、虫孔等缺陷，增加年轮分割难度。传统年轮分割与测量方法，需科研人员使用立体镜和移动台等专业设备，需对木段切割、打磨和成像，再分割年轮测量统计信息，严重依赖经验，步骤繁琐且效率较低[4]。为准确、高效统计年轮信息，国内外学者提出多种年轮特征提取方法，以实现年轮准确分割。王燕凤等人[5]于2017 年提出双边滤波增强方法并应用于辐射松的年轮分割，该方法将Canny算法中的梯度算子由单一方向扩展至4个方向，以多数投票的方式精准定位年轮，使处理后的年轮边缘清晰，优点是减少了年轮缺失和遗漏，不足之处在于面对结构复杂材种仍存在少量伪边缘痕迹。张露等人[6]于2019 年针对树木年轮图像特征，提出一种基于DoG 算子的边缘提取算法，结合高斯滤波器可有效抑制年轮图像边缘噪声，消除伪边缘痕迹，实现图像中的边缘数量信息精确统计和树龄准确测量。上述学者延续传统的年轮图像采集方法，应用比较基础的图像分割策略，对于年轮轮廓清晰的树种，得到良好的分割效果。Fabijańska 等人[7]于2017 年采用图像梯度峰值检测和边缘链接方法分割12 种木材试件年轮图像，无缺陷年轮分割正确率达到90%以上，存在孔洞缺陷的年轮分割正确率为85%。宁霄等人[8]在2018 年采用的随机森林算法是一种基于机器学习的方法，以5 张红松年轮图像为训练对象，一次性完成5张红松横切面图像的年轮分割，正确率达到93%以上，虽然分割的年轮结构清晰，但实验图像数量较少，该方法的普适性有待进一步验证。Ronneberger等人[9]于2015年提出的U-Net模型是一种非常经典的语义分割模型，尤其在视网膜血管分割、结直肠息肉分割等医学分割领域展现出良好的分割效果。Fabijańska[10]借鉴U-Net模型经验，于2019年首次提出基于U-Net卷积网络的年轮分割方法，采集75张橡木、榆树和乔木的试件图像用于年轮分割，成功检测出不同宽度、结构和方向的年轮边界，分割正确率达到96%。为探究U-Net模型在树木年轮分割方面的效果，宁霄等人[11]于2019年采用U-Net模型训练16 000张落叶松年轮图像，并应用训练好的模型实现4 000 张落叶松年轮图像高效分割，平均准确率达到96.51%，可见U-Net模型可达到落叶松年轮高效、精确分割的目的。Zhou 等人[12]于2018 年在U-Net网络的基础上增加跳跃连接和密集卷积块，并配合深度监督，设计出UNet++模型，该模型是U-Net模型的升级与优化，在肺部结节分割、细胞核分割、肝脏分割等领域取得较好的图像分割效果。邢妍妍等人[13]于2020 年在UNet++模型基础上，构建融合型UNet++模型，对于妊娠中期的胎儿头部分割Dice系数达98.24%。荣亚琪等人[14]于2022 年基于UNet++模型构建NODEUNet++模型用于红细胞的初步分割，采用标记分水岭算法分割血液涂片图像红细胞，红细胞分割的平均像素准确率达98.97%。Li 等人[15]于2022 年改进UNet++模型，构建Residual-Attention UNet++模型，细胞核分割交并比达87.74%。上述学者改进UNet++模型用于医学图像分割，并取得比较精确的结果，细胞、细胞核和胎儿头部图像近似于圆形，轮廓为不规则闭环曲线，与年轮形态相似，所以推定UNet++及其改进模型也可用于树木年轮分割。

本文主要研究内容为以杉木横切面CT图像为研究对象，构建改进的UNet++年轮分割模型，模型由左侧编码网络和右侧解码网络构成，编码-解码路径接收一个输入，经密集卷积块和跳跃连接的特征提取与融合，完成年轮特征提取。根据PA、DⅠCE、ⅠoU、MⅠoU等评价指标对模型参数优化，以期达到年轮准确分割的目的。创新之处在于将传统的UNet++模型的右侧增加了一条上采样路径，该路径的卷积块之间增加了通道注意力机制，更加注重年轮细节部分的特征提取，并采用BCEWithLogitsLoss 和ReLU 分别作为损失函数和激活函数，RMSProp 作为优化函数，解决杉木横切面图像虫孔误分割，密集年轮欠分割问题。目前针对树木CT 图像的分割算法主要用于木材缺陷检测，鲜有用于年轮分割。年轮数量与宽度直接反映出当地气候环境变化，本文实用性在于，能提高年轮的统计效率，提供年轮数据分析方法，进而促进我国气象学与环境学发展。年轮作为木材的宏观结构，年轮形态直接影响板材的纹理美观程度，准确的年轮分割方法可以为木材切割制定预案，带动木制品产业经济发展。

1 实验数据集构建

1.1 材料与设备

杉木（Cunninghamia lanceolata（Lamb.）Hook.），原作为福建省宁德市凤岐吴氏大宅檐檩，含水率8%，尺寸是135 mm×1 000 mm。表面分布若干细小裂纹，两处径向裂纹延伸至髓心。应用医疗CT（SOMATOM Definition AS 128）扫描成像，设置X射线源电压、电流分别为120 kV、30 mA，断层图像层间距0.6 mm，层厚0.4 mm。如图1所示。

图1 檐檩断层成像Fig.1 Tomography process of eaves purlin

1.2 图像采集与预处理

杉木CT图像尺寸512像素×512像素，位图深度32，合计1 700 张。通过CT 图像发现杉木内部被木蜂严重侵蚀，巢穴纵横交错。杉木横切面年轮界限比较清晰，但被裂纹和虫孔分割，无法形成完整圆形闭合曲线。从采集的CT 图像中等间距提取125 张包含裂纹、虫孔和节子等缺陷的图像，缺陷形态尺寸各异，具体信息如表1所示。

表1 杉木横切面CT图像Table 1 Transverse sectional CT images of Chinese fir

剔除图像冗余信息，仅保留杉木CT图像年轮区域，制成125张尺寸276像素×276像素的24位彩色图像，作为原图像。采用图像处理软件，提取原图像的年轮，并将年轮定义为前景（白色），其他像素定义为背景（黑色），生成125张8位灰度图像作为标签。原图像与标签图像如表1所示。

从125 张原图像中随机选择100 张图像经上下翻转、左右翻转、旋转等处理，扩增至1 000 张图像作训练集；提取100 张原图像制成的标签图像，经相同的数据增强方法，扩增至1 000张标签图像。剩余的25张原图像作为测试集，分割结果与对应的标签图像作对比。

2 改进UNet++模型

近几年图像分割领域衍生出多种方法，尤其以U-Net模型和UNet++模型在医学图像分割领域表现非常优秀[16-18]，模型结构如图2 所示。图2（a）为U-Net 模型，由左至右分别为收缩路径、同层跳跃连接和扩张路径。收缩路径包含5 个卷积块，每个卷积块进行2 次3×3 的卷积和1次激活操作，卷积块之间采用2×2最大池化实现下采样，使图像通道数增加1倍。扩张路径与收缩路径不同之处在于采用2×2 的反卷积作为上采样方法替换了最大池化，每次上采样后，图像通道数减半，并通过同层跳跃连接融合收缩路径的特征，经过1×1卷积输出目标图像。UNet++模型编码部分与U-Net 模型的收缩路径相同，为减少编码部分和解码部分的语义差距，避免梯度消失和梯度爆炸，UNet++模型在U-Net模型基础上增加了密集卷积块（图2（b）绿色部分）和密集跳跃连接（图2（b）黑色虚线）组成的跳跃路径，同时增加了深度监督机制。

图2 传统网络模型Fig.2 Conventional network models

UNet++模型可实现肺部结节、细胞核和肝脏的高精度分割，在医学图像分割方面效果卓越[19]。但木材横切面不同于医学图像，年轮通常是不规则同心圆环，排列紧密且间距不等，易被裂纹、虫孔、节子等缺陷破坏，无法形成闭合曲线，木材横切面形态的多样性特征导致年轮分割困难。所以传统方法无法准确提取缺陷较多且结构复杂的年轮，而特征提取精度决定图像分割的准确率。针对上述问题，本文采用改进UNet++模型分割杉木横切面年轮。

改进UNet++模型保留了UNet++模型的部分结构，如密集卷积块和跳跃连接，使图像的低级语义和高级语义更好地融合，同时将网络深度增加至6 层，丰富年轮特征信息。如图3 所示，主干特征提取网络包含6 个卷积块Xi,0(i∈[0,1,2,3,4,5])，卷积块使用2 次padding为1的3×3卷积核和1个ReLU激活函数，并采用2×2的最大池化实现下采样；加强特征提取网络由密集卷积块和密集跳跃连接构成，采用2×2 反卷积核实现上采样；最右侧解码路径（图3深色区域）的卷积块内部包含2次padding 为1 的3×3 卷积核和1 个ReLU 激活函数，其后连接1 个通道注意力机制模块，该模块连接上采样，上层卷积块融合了下层上采样和同层跳跃连接的不同深度语义特征；最上层卷积块X0,j(j∈[1,2,3,4,5])融合了不同路径下的图像特征；解码路径的输出与最上层卷积结果特征融合，输出目标图像。

图3 改进UNet++模型Fig.3 Ⅰmproved UNet++ model

通道注意力机制通过对输入图像的通道特征赋予不同权重，达到模型对图像重要特征的加强提取，从而提高模型对于复杂年轮图像的年轮提取效果。

跳跃路径卷积块Xi,j的输出xi,j计算过程如公式（1）所示：

其中，i表示下采样层的层数，j表示同层密集卷积块索引，H(·)表示卷积块，即卷积层和激活函数组成的运算，u(·)表示上采样层，[·]表示连接层。j=0 的卷积块只有一个来自下采样层的输入，j＞0 的卷积块接收来自上采样层和跳跃连接的j+1 个输入。

改进UNet++模型采用ReLU 激活函数增加网络稀疏性，进而缓解过拟合现象且缩短模型训练时间。鉴于标签图像的前景（年轮）被标记为白色，背景被标记为黑色，针对黑白两种颜色状态，设置交叉熵函数BCEWith-LogitsLoss作为损失函数以解决二分类问题。令优化器为RMSProp，用于消除梯度差异导致的抖动，加快模型梯度下降速率，提高年轮分割精度和效率。

3 结果与分析

3.1 实验环境

实验用计算机安装Windows10 专业版64 位操作系统，处理器型号为Ⅰntel®Xeon®Gold 6136 CPU @3.00 GHz，内存RAM为192 GB，GPU为NVⅠDⅠA GeForce RTX3090（24 GB），调用GPU提升训练效率。Anaconda3配置训练环境，采用Pytorch+Python3.7 的深度学习框架，Cuda10.0版本。

3.2 模型训练

杉木经CT 设备扫描和图像筛选，得到125 张含有裂纹、虫孔和节子缺陷的断层图像，通过裁剪和位深度变换等预处理工作，保留有效区域作为原图像，手动标记生成对应的标签图像。选取100 张上述图像进行旋转、翻转等操作，将图像扩充至1 000 张作为训练集，即年轮分割模型的输入，训练后保存最优权重；其余25张原图像作为测试集，采用最优权重模型分割后，得到年轮图像。年轮分割流程如图4所示。

图4 年轮分割流程Fig.4 Segmentation process of tree rings

UNet++模型和改进UNet++模型迭代次数均设置为2 000次，初始学习率为0.000 1，Batch_Size为4，损失函数为BCEWithLogitsLoss，优化器为RMSProp，两种模型训练损失值曲线如图5所示。改进UNet++模型经过400 次迭代后，损失值曲线波动减小，两种模型经过1 400 次迭代后，损失值曲线趋于平稳，迭代至2 000 次损失值近乎收敛，UNet++模型损失值为0.075，改进UNet++模型损失值为0.021。由图5可知，改进UNet++模型的收敛速率更快，收敛后的损失值更小，缓解了过拟合现象且缩短了模型训练时间。

图5 模型训练损失值Fig.5 Loss value of models training

3.3 评价指标

本文采用4 种图像分割性能指标评价年轮分割结果，性能指标包括PA（pixel accuray）、Dice（dice coefficient）、ⅠoU（intersection over union）和MⅠoU（mean intersection over union）。

PA（pixel accuray）表示像素准确率，即预测类别正确的像素数占总像素数的比例[20]。

Dice（dice coefficient）表示骰子系数，即分割图像和标签图像相交的面积，与标签图像面积的比值[21]。

ⅠoU（intersection over union）表示交并比，交并比表示该模型对某一像素类别真实值与预测值两个集合的交集与并集之比[22]，在本文中只求前景（年轮像素类别）的ⅠoU。

MⅠoU（mean intersection over union）表示平均交并比，即计算每一个像素类别真实值集合与预测值集合的交集与并集之比，再求平均值[23]。在本文中表示前景（年轮像素类别）ⅠoU和背景ⅠoU的平均值。

TP 为真正例数，即模型预测为正例，实际是正例；FP 为假正例数，即模型预测为正例，实际是反例；FN 为假反例数，即模型预测为反例，实际是正例；TN为真反例数，即模型预测为反例，实际是反例。

3.4 消融实验

本文从模型学习深度和是否增加注意力机制模块两个角度设计消融实验，通过实验结果构建最优模型结构。对比不同深度模型对杉木横切面CT图像年轮分割效果，具体评价结果如表2所示。由表2可知，改进模型深度为6 层时，像素准确率（PA）为95.1%，骰子系数（Dice）为97.5%，交并比（ⅠoU）为90.7%，平均交并比（MⅠoU）为75.0%，各项分割指标最高，6 层学习深度模型的计算量为61.86×109，参数量为369 334 41，低于7层学习深度模型，高于5层学习深度模型。

表2 不同学习深度的模型年轮分割评价结果Table 2 Evaluation results of tree rings segmentation of models with different learning depths

在6层深度模型上增加一个通道注意力机制，对比有无注意力机制的6层深度模型对杉木横切面CT图像年轮分割效果，具体评价结果如表3所示。

表3 模型增加注意力机制前后年轮分割评价结果Table 3 Evaluation results of tree rings segmentation of different models

通过消融实验，选择6层深度模型并添加通道注意力机制，得到改进UNet++模型。本文比较U-Net、UNet++和改进UNet++模型对杉木横切面CT 图像年轮分割效果，评价结果如表4 所示。由表4 可知，U-Net、UNet++和改进UNet++模型在杉木年轮分割方面均获得比较好的效果。改进UNet++模型的年轮分割结果，像素准确率（PA）为95.9%，骰子系数（Dice）为97.9%，交并比（ⅠoU）为92.8%，平均交并比（MⅠoU）为79.4%，优于UNet++模型，更优于U-Net模型。

表4 年轮分割评价结果Table 4 Evaluation results of tree rings division

其中，PA表示像素被正确预测的概率，更适用于验证本文方法对年轮分割的准确性评价，3种模型对于25张杉木横切面CT图像分割的像素准确率（PA）如图6所示。

图6 年轮分割像素准确率Fig.6 Pixel accuray of tree rings division

由图6可知，3种模型均可有效分割杉木横切面CT图像年轮，第1～25 张分割结果的像素准确率（PA）均在88%以上，对于第16张图像，改进UNet++模型最高分割像素准确率（PA）达到98.2%，而UNet++模型和U-Net模型分别为95.5%和95.0%。对于第10张图像，改进UNet++模型分割像素准确率（PA）最低，依然可以达到93.4%，而UNet++模型和U-Net模型分别为91.1%和90.2%。除第18 张和第25 张图像，改进UNet++模型和UNet++模型结果相近，其他图像改进UNet++模型均优于UNet++模型，更优于U-Net 模型。为进一步探究改进UNet++模型的年轮分割效果，像素准确率（PA）、骰子系数（Dice）、交并比（ⅠoU）和平均交并比（MⅠoU）4 种分割结果，如图7所示。

图7 年轮分割评价结果Fig.7 Evaluation index results of tree rings division

由图7可知，改进UNet++模型的4种年轮分割结果差异性较大，平均交并比（MⅠoU）数值普遍较低，均在90%以下。骰子系数（Dice）数值普遍较高，均在95%以上。像素准确率（PA）和交并比（ⅠoU）数值在上述两种指标之间，更能准确反映改进UNet++模型对25张杉木横切面CT图像年轮分割效果。

3.5 年轮分割效果

4种年轮分割结果说明改进UNet++模型优于UNet++模型，更优于U-Net模型，所以进一步用杉木横切面CT图像展示年轮分割效果，如表5所示。

本文采集的杉木横切面CT 图像，含有裂纹、节子、虫孔等缺陷，如图8 所示。图（a1）中年轮被裂纹切割，但轮廓清晰，只是右上方年轮比较密集。图（b1）中含有裂纹和节子，节子出现在图像下方，对年轮形态有一定影响。图（c1）中除裂纹外，还含有6 个虫孔，是木蜂巢穴的横切面，对木材结构破坏性极大。图（d1）中同时含有裂纹、节子、虫孔缺陷，年轮被切割为多段不规则曲线，无法形成闭合圆环，增加了年轮分割难度。以125张杉木横切面CT 图像为研究对象，分别采用U-Net、UNet++和改进UNet++模型实现年轮分割。研究发现，3种模型均可以提取杉木年轮结构，由于年轮形态多样且受缺陷影响，年轮分割效果不同。U-Net模型对于含有裂纹和节子缺陷的杉木横切面，可以实现年轮分割，但年轮断裂现象严重，产生噪声，降低图像质量，如图（a3）和（b3）所示。对于含有虫孔缺陷的图像，U-Net 模型分割结果产生严重错误，将部分虫孔误标记为年轮结构，如图（c3）和（d3）所示，可知U-Net 模型无法实现含有虫孔缺陷的杉木年轮准确分割。UNet++模型在U-Net模型基础上增加了密集卷积块和密集跳跃连接，所以面对上述缺陷表现良好，有效解决多缺陷下的年轮分割问题，优点是在剔除虫孔缺陷方面表现优异，没有发生虫孔缺陷误分割，不足之处在于仍然存在噪声干扰，尤其在年轮密集区域产生的断裂现象严重，甚至发生年轮缺失。采用改进UNet++模型对杉木横切面CT 图像年轮分割，取得了非常好的效果，与U-Net和UNet++模型相比，年轮结构非常清晰，不受裂纹、节子、虫孔等缺陷影响，年轮完整且连续性好，极少出现断裂现象，几乎不含有噪声。由于部分年轮结构密集，即使制作的标签图像也无法实现年轮准确分割，改进UNet++模型有效解决这一问题，原图像右上方密集年轮被准确分割，如图8（a5）和（b5）所示。

图8 不同模型年轮分割结果Fig.8 Segmentation results of tree rings with different models

4 结论

本文采用改进UNet++模型解决多缺陷干扰下的杉木横切面CT图像年轮分割问题，准确提取年轮特征，有效区分杉木年轮和周围组织结构。本文构建的模型学习深度为6 层，并增加通道注意力机制，采用BCEWith-LogitsLoss 和ReLU 分别作为损失函数和激活函数，RMSProp作为优化函数，提高了模型对年轮特征的学习能力，更适用于杉木横切面CT 图像的年轮分割任务。与U-Net 和UNet++模型相比，本文模型年轮分割评价数据更优秀，对于受裂纹、虫孔、节子干扰的年轮分割更准确，有效避免虫孔误分割，密集年轮欠分割问题，表现出良好的杉木年轮分割效果。