基于改进U-Net 的水稻叶片细胞分割方法研究

韦钙兴，易文龙，刘昱成，赵应丁，陈庭倬

（1.江西农业大学 软件学院，江西 南昌 330045；2.成都新朝阳作物科学股份有限公司 生物技术研究院，四川 成都 611630）

水稻是我国主要的粮食作物之一。位于水稻叶片上下表皮之间的叶肉细胞是水稻进行光合作用的主要场所，研究水稻叶肉细胞的大小和形态可为水稻叶片光合作用以及相关生命活动研究提供重要的科学依据[1]。例如，水稻叶肉细胞排列规整，形态呈多边形，其几何形态可以为细胞的分析与建模提供关键的数据支撑[2]；通过观察叶肉细胞的结构可为水稻不同的叶片表型研究提供科学依据[3]。以往研究人员通过手动分割出叶肉细胞形状，单纯凭借肉眼对大量图像进行识别分割是一项耗时耗力的工作，而且在制作水稻叶片细胞显微镜图像时易受到实验环境中的噪声、设备、光线以及人为操作等因素的干扰，得到的显微镜图像中存在细胞边界模糊、低信噪比和叶肉细胞相互粘连堆叠等问题，导致人工分割水稻叶肉细胞耗时更长，且要求具备较高的专业知识，无疑加大了研究的成本。所以研究出一种水稻叶片细胞的自动化分割算法尤为重要。

在早期细胞图像研究中，一些研究者使用基于阈值的分割方法[4-5]、基于边缘检测的分割方法[6-7]、基于区域的分割方法[8-9]、基于图论的分割方法[10]实现了图像的自动分割，然而该类方法主要是利用图像的单一特征，例如灰度、形态以及纹理等信息进行处理，但对于细胞边界模糊、低信噪比和叶肉细胞相互粘连堆叠的水稻叶片细胞图像很难实现精确分割，因此需要一种更加高效的方法对水稻叶片细胞图像进行精确分割。

近年来随着人工智能的发展，许多学者使用深度学习方法解决细胞分割领域的问题，特别是2015年提出的具有解码-编码器结构的U-Net[11]网络，该算法在医学细胞图像分割上取得了较好的成绩[12-13]，此后众多学者在此算法基础上进行了改进。例如，XIAO 等[14]提出一种加权Res-UNet 网络，通过结合残差网络和U-Net网络用于视网膜血管图像分割，加强特征提取的能力，该方法在易受噪声背景影响的视网膜血管图像上实现较好的分割效果，对视盘区域识别能力低问题有很大的提升；ZHOU等[15]提出一种具有密集路径连接的网络Unet++，其通过使用一系列嵌套的密集路径连接代替U-Net中原有的跳跃连接，将编码层各层输出连接到解码器中，增加了编码器与解码器的联系，在医学图像的分割效果上优于U-Net；HUANG 等[16]提出一种具有深度监督的U-Net+++网络，其利用全尺寸跳跃连接将低级细节与不同尺度特征信息结合起来，再使用深度监督从全尺寸聚合特征图提取到层次语义信息，不仅减少网络参数还提高了计算效率，在人体器官图像分割中提升了分割精度。

以上方法虽然在一定程度上提高了细胞图像的分割精度，但只局限于单一语义特征信息增强，没有进行全局信息串联，缺乏上下文的信息联系，无法降低编码器与解码器的歧义，导致后期细胞定位信息不准确，分割出来的叶肉细胞边界不清晰和精度不高。因此，提出一种基于改进U-Net 的水稻叶片细胞分割方法。首先，在U-Net 网络的编码器上使用BAResNeXt 模块，减少网络计算参数，快速获取精确的叶片细胞定位信息；其次，引入CCA 模块降低编码器与解码器的语义歧义，增加信息融合的有效性；最后，加入SE 注意力机制对融合信息进行过滤，增加细胞信息的权重，将网络目标聚焦到叶肉细胞，解决因叶肉细胞相互粘连堆叠而导致分割困难的问题，以得到精度较高、鲁棒性好的分割模型，为水稻叶片细胞分析提供一种准确的自动化分割思路。

1 材料和方法

1.1 材料

以长江中下游广为种植的冈优6366 品种水稻为试验材料，样本获取过程如图1 所示，首先，将种子在水中浸泡10 min，筛选出100 颗饱满的种子，均匀地放置于发芽箱中的双层吸水纸上并注入水，待吸水纸完全饱和；其次，将发芽箱置于上海一恒MGC-250 Hp 人工气候箱中进行催芽，气候箱环境参数设置为25 ℃温度、50%湿度并进行每天16 h的光照，经过5 d，随机选择一片水稻叶片，对距离叶尖15 mm 处组织进行脱色处理，使用MoticBA210数字显微镜对叶片材料的叶肉细胞进行拍摄；最后，将得到的水稻叶片细胞图像按6∶2∶2比例划分为训练集、验证集和测试集。

图1 水稻叶片细胞图像采集过程Fig.1 Acquisition process of rice leaf cell images

1.2 方法

基于改进U-Net的水稻叶片细胞分割方法模型如图2所示，其主要由BAResNeXt模块编码器、CCA模块特征拼接以及SE 注意力机制解码器组成。首先，对输入图像使用双层3×3 的卷积运算得到通道数为64、图像尺寸大小不变的初级特征，往下输入到BAResNeXt 模块构成的编码器中，BAResNeXt 模块采用的成长率为32，各层循环迭代参数为3、4、6、3，采用2×2 的最大池化层，每层输出图像大小尺寸的1/2、1/4、1/8、1/16和通道数为128、256、512、512的特征图，该模块不仅能减少参数快速捕获分割对象，还能增强每层分割对象特征；其次，编码器的每层输出在与解码器进行拼接之前，使用CCA 模块对编码器的特征信息进行过滤，在编码器与解码器完成拼接后使用SE 注意力机制，降低干扰信息的影响；最后，进行逐层的上采样和卷积操作，恢复到原图尺度大小，完成水稻叶片细胞图像的分割工作。

图2 改进U-Net网络模型Fig.2 Improved U-Net network model

1.2.1 BAResNeXt 模块 在U-Net 主干网络中，采用XIE 等[17]提出的ResNeXt 进行下采样效果比原始下采样效果好，因为ResNeXt 采用了ResNet[18]的残差结构和Inception[19]的分组卷积策略。

设输入参数的张量为（B，H，W，C），其中B为batch，H为图像长度，W为图像宽度，C为图像通道数，如图3 所示，卷积核数量为N，分组为2，每组计算参数数量为B/2×H×W×C×N/2，2 组总量为B×H×W×C×N/2，由此可见其计算量相比未分组减少50%。

图3 二分组策略Fig.3 Two-grouping policy

虽然ResNeXt采用残差结构和分组卷积方法加深网络深度和减少参数，提高计算效率，但是在其Residual Block 仍使用层3×3 的卷积进行叠加，导致各卷积层的信息难以串联影响网络性能，因此，本研究将BA[20]模块连接ResNeXt 的Residual Block 各层卷积输出，从而获得更好的分割对象定位信息，改进的Residual Block模块如图4所示。

改进的Residual Block 模块基本流程：首先，将各卷积层计算结果Fi分别输入到全局平均池化（Global average pooling，GAP）中得到压缩矩阵，然后进行批处理归一化，具体计算过程如式（1）[20]所示。

其中，Si为Fi经过全局平均池化、注意力权重计算和批归一化得到的压缩特征矩阵，将所有压缩矩阵进行集成求出最终的权重ω，其计算过程如式（2）[20]所示。

1.2.2 CCA 模块 在本研究编码器中细胞图像经过BAResNeXt 模块后增强了每层分割对象特征，为了实现解码器与编码器间更佳的信息融合，如图5所示，引入CCA[21]模块对编码器的语义信息过滤，消除与解码器之间的语义模糊性。

图5 交叉注意特征融合结构Fig.5 Cross attention feature fusion structure

通道交叉注意力模块的计算如式（3）所示：首先，将第i级编码器和解码器的输出经过平均池化和Flatten运算得到2个1×1×C的压缩矩阵；其次，将压缩矩阵相加求平均值后获得解码器和上采样的全局空间信息，然后生成注意掩码Mi，其计算过程如式（3）[21]所示。

其中，Oi和Di为第i级编码器和解码器的输出，L1和L2为2 个线性层的权值和ReLU 函数，将得到的注意掩码与解码器的输出相乘，再和上采样的输出拼接完成特征信息的连接。

1.2.3 SE 注意力机制 为了提升方法编码器与解码器的信息融合能力，采用SE注意力机制[22]过滤图像的干扰因素，增加细胞信息的权重，从而提升网络的分割能力，SE注意力机制结构如图6所示。

图6 SE注意力机制Fig.6 SE attention mechanism

SE 注 意 力 模 块 利 用Ftr映 射：X→U，X∈RH′×W′×C′，U∈RH×W×C；以 卷 积为 例，卷 积核V=[v1，v2，···，vc]，其中vc代表第c个卷积核，那么输出U=[u1，u2，···，uc]，其计算过程如式（4）[22]所示：

其中，Fsq为压缩操作，i、j为特征图在空间维的坐标。为了利用在压缩操作中聚合的信息，完全捕获通道依赖性进行激励操作得到s，其计算过程如式（6）[22]所示。

其中，σ和δ 为Sigmoid 和ReLU 激活函数，W、W1和W2分别为全连接层中的权重。最后将s与u进行加权操作得到最终结果，其计算过程如式（7）[22]所示。

其中，X′=[x′1，x′2，···，x′c]。

1.3 算法评价

为了客观评价模型性能，采用查准率（Precision)、召回率（Recall)、准确率（Acc)、交并比（IoU)以及相似系数（Dice)作为评价指标，计算公式为式（8）—（12）。

其中，TP、FP、FN和TN的含义如表1所示。

表1 评价指标含义Tab.1 Meaning of evaluation indicators

2 结果与分析

试验环境使用Intel（R）Core（TM）i7-10750H CPU；NIVIDIA Tesla T4 型GPU，16 GB 显存；32 GB内存；操作系统为Linux 的硬件训练平台。深度学习框架使用pytorch 1.5.0以及python 3.6，CUDA 10.2版本的计算框架，深度神经网络加速库选择CUDNN 10.2 版本。使用的优化算法为RMsprop 算法，该算法和动量方法一样都可以加快梯度下降速度，学 习 率lr 设 置 为0.001，weight_decay 和momentum为默认值，batch为4，迭代次数为400。

2.1 改进U-Net网络与U-Net试验结果比较

为了验证改进U-Net 网络的分割性能，采用损失率、交并比和相似系数作为评价指标。改进UNet网络与U-Net 网络的训练结果如图7 所示，红色曲线为改进U-Net网络，灰色曲线为U-Net网络，其中图7a、b 和c 代表训练过程中训练集的损失率、交并比以及相似系数，而图7d、e 和f 代表训练过程中验证集的损失率、交并比以及相似系数。从图7 可知，随着迭代次数的增加，2条曲线慢慢下降且趋于平缓（图7a），当迭代次数到达400时将完成训练；改进U-Net网络的损失率比U-Net网络低且更快达到收敛，交并比以及相似系数也比U-Net网络更高，说明改进U-Net网络相比U-Net网络具有收敛速度更快、分割精度更高的优点。

图7 改进U-Net与U-Net网络比较Fig.7 Comparison between the improved U-Net and U-Net network

2.2 U-Net不同改进方案试验结果比较

为了验证本研究是否有效，对U-Net 不同改进方案进行比较，采用的评价指标有交并比和相似系数，评价数据集使用测试集，结果如表2 所示。其中，方 案1 为U-Net 网 络，方 案2、3 和4 分 别 为BAResNeXt 模块、CCA 模块和SE 模块加入到U-Net中的改进方案。方案2、3 和4 的交并比与相似系数都比方案1高，说明3种改进模块对U-Net网络分割水稻叶片细胞都有增强效果，其中方案2 的精确度最高，交并比为93.36%，相似系数为96.50%，说明BAResNeXt模块的增强效果最强。因此，方案5和6在方案2的基础上加入CCA模块和SE模块，结果表明，方案5 和6 的交并比与相似系数都比方案2 高，说明了CCA 模块、SE 模块与BAResNeXt 模块叠加能提升网络对细胞分割的性能。最后方案7 将3 种改进模块进行叠加，其交并比为93.96%，相似系数为96.78%，比其他方案都高，说明该方法的改进策略有效。

表2 U-Net不同改进方案比较Tab.2 Comparison of different improvement schemes of U-Net %

2.3 不同算法分割效果比较

改 进U-Net、U-Net、Res-UNet、U-Net++ 和Deeplabv3+[23]网络模型对水稻叶片细胞分割效果比较如表3 所示，改进U-Net 网络的查准率、召回率、准确率、交并比和相似系数分别为96.03%、97.67%、97.47%、93.96%、96.78%，均优于其他网络。

表3 不同算法的分割效果Tab.3 The segmentation effect of different algorithms %

为了更加直观地看到改进U-Net网络的分割效果，随机选取4 张水稻叶片细胞图像Img-1、Img-2、Img-3 和Img-4，在不同网络上的分割结果如图8 所示，白色表示分割的细胞部分，黑色则表示背景和其他非细胞部分，红色方框代表分割不清晰和错误的部分。

水稻叶片细胞分割难点在于细胞相邻之间的细胞壁，因为水稻叶片细胞间由于挤压会导致细胞重叠，细胞壁和细胞部分混淆在一起使得分割难度提升。如图8 中的Img-1c，为U-Net 网络分割所得到的结果图，该细胞分割效果较差，细胞之间的细胞壁无法精确分割导致多个细胞融为一体，无法识别出完整的细胞个体，因为U-Net 过多地使用简单双层3×3 卷积进行下采样，无法提取丰富的语义信息且随着深度加深容易造成梯度消失；Res-UNet使用残差网络进行下采样，能够解决深层网络梯度消失的问题，分割结果如图8d 所示，相比于U-Net 会有少许提升，能够初步分割出细胞形状，但是残差网络会增加计算参数量，难以收敛；U-Net++使用密集连接代替跳跃连接融合多层语义信息，分割结果如图8e 所示，分割结果相比U-Net 有所改善，但仍存在细胞壁分割遗漏现象；Deeplabv3+作为Deeplab最新的分割方法，通过空间金字塔模块和空洞卷积，探索多尺度上下文信息提升分割性能，分割结果如图8f 所示，Deeplabv3+能够分割出细胞的大致轮廓，但缺乏编码器和解码器的联系导致分割不连续。改进U-Net 方法分割结果如图8g 所示，分割出来的细胞比较完整，细胞之间的间隙比较清晰，相比其他网络细胞边界连续性较好，完整度较高。改进U-Net 方法使用BAResNeXt 模块进行下采样特征提取，不仅能减少参数还能快速捕获分割对象，此外，CCA 模块可以减少编码器和解码器的语义歧义，加强编码器和解码器的联系，SE 注意力机制可以减少无用背景信息的干扰，因此对水稻叶片细胞分割取得了最佳的效果。

图8 不同算法的分割结果对比Fig.8 Comparison of segmentation results of different algorithms

3 结论与讨论

在水稻微观结构研究中，水稻叶片细胞的大小和形态是研究水稻叶片相关生命活动的基础，也是推动细胞分析与建模的重要前提，对于进一步推动我国水稻研究发展有着重大意义。针对在制作水稻叶片细胞显微镜图像时存在细胞边界模糊、信噪比低和叶肉细胞相互粘连堆叠等缺陷而导致分割精度不高的问题，传统方法利用图像的单一特征进行识别[4，7]，其识别精度比较低；而前人在深度学习方面采用的方法大多对单一语义特征信息增强[14，16]，缺乏全局信息的联系，分割效果不理想。本研究提出一种基于改进U-Net的水稻叶片细胞分割方法。首先，解码器中使用BAResNeXt 模块下采样，该模块的分组卷积策略减少了网络的计算参数，BA 模块连接集成内部卷积输出，提高了网络对有效细胞图像信息的关注度；其次，在编码器与解码器之间加入通道交叉注意力机制，对编码器的特征信息进行过滤，消除与编码器之间的语义歧义，增强分割图像特征的信息融合；最后，引入SE 注意力机制到解码器上采样阶段，对拼接信息进行过滤，降低干扰信息权重，有效地学习到编码器与解码器融合信息。本试验结果表明，改进U-Net 网络相比其他网络，各评价指标均有不同程度的提升，分割出来的细胞比较完整，间隙清晰和连续性较好。但该算法在上采样阶段还是采用简单的双层卷积恢复图像大小，会导致图像边缘特征的丢失，下一步工作将编码器与解码器的跳跃连接去除，单独对上采样恢复图像导致边缘特征丢失进行研究，然后再将各个模块串联成完整的算法，探究模块之间的联系。