数据与模型联合驱动的陶瓷材料晶粒分割

雷 涛 李云彤 周文政 袁启斌 王成兵 张小红

陶瓷是一种多晶材料,具有高熔点、高硬度和高耐磨性的特点,目前已广泛应用于民生、电子通讯、医疗和军工等领域.为了提升陶瓷材料品质,研究人员通常利用扫描电子显微镜(Scanning electron microscope,SEM)对陶瓷样品扫描成像,通过分析图像中晶粒的尺寸分布来估计陶瓷样品的物理属性[1].扫描电子显微镜的工作原理是通过高压将电子束打在样品表面,电子与样品表面材料相互作用产生电信号,对电信号接收处理后显示成像结果.陶瓷材料的SEM 图像由材料区域(即晶粒)和晶粒间的空隙(即晶界)组成,由于陶瓷是一种绝缘材料,不具备导电的性质,在成像时容易被高压电击穿[2].为了避免此类情况,需要控制晶粒尺寸尽可能小,即同样大小的面积内存在更多的晶界,使高压电从晶界导出,保护陶瓷样本不被击穿.然而晶粒尺寸直接决定了陶瓷材料的性能[3],因此需要统计SEM 图像中晶粒尺寸大小的分布,进而间接建立实验条件与陶瓷材料性能的对应关系.目前,SEM 图像中的晶粒分析主要依靠人工手段,测量结果具有明显的局限性:首先,一幅陶瓷SEM 图像中包含大量晶粒,人工统计耗时耗力,测量难度大、效率低;其次,晶粒大小形状不规则,人工测量易受主观因素影响而导致误差较大.因此,研究一种能够自动测量晶粒尺寸且准确率高、运算速度快的算法对分析陶瓷材料物理属性具有重要意义.

为了分析陶瓷材料的物理属性,首先应该分析陶瓷材料SEM 图像中的晶粒尺寸分布,SEM 图像具有以下几个特点:图像边缘信息丰富但纹理信息缺失,图像中的晶粒大小不均匀且形状不规则,图像的对比度较低.基于上述特点,利用图像分割技术实现对晶粒的分割,然后统计晶粒的大小分布是一种可行的方法.然而图像分割方法众多,常用的方法有基于像素的图像分割方法、基于轮廓的图像分割方法、基于区域的图像分割方法和基于深度学习的图像分割方法.

基于像素的图像分割方法有阈值法[4]和聚类方法,其中阈值法严重依赖于阈值个数及参数选取,实际分割结果较为粗糙,而基于聚类的方法鲁棒性高,因此应用较为广泛.聚类方法主要涉及分层聚类[5]、模糊聚类[6]和谱聚类[7].分层聚类算法利用像素之间的相似性进行层次分解,该类算法计算简单,便于执行,但分割结果依赖于树的构建及阈值选取.模糊聚类算法[8]利用最小误差准则构建目标函数,通过优化目标函数得到每个像素到聚类中心的隶属度,根据隶属度可以实现像素分类.该类算法能够实现图像的快速分割,但容易忽略图像的空间结构信息、且对噪声较为敏感.基于谱聚类的图像分割算法是将图像视为一个大的矩阵,将图像分割问题转化为矩阵特征值分解问题,该算法能获得连续域中的全局最优解,但分割结果对相似度矩阵构建较为敏感.

基于轮廓的图像分割通常采用能量泛函方法,该方法将图像分割问题转变为能量泛函的最小值求解过程,主要涉及参数活动轮廓模型[9]和几何活动轮廓模型[10].参数活动轮廓模型首先构建一条可变形的参数曲线及相应的能量函数,以最小化能量目标函数为目标,通过控制参数曲线变形以实现具有最小能量的闭合曲线,并将其作为目标轮廓.几何活动轮廓模型以水平集方法为代表,该类方法将轮廓视为一个高维函数的零水平集,通过对该水平集函数进行微分,从输出中提取零水平集,进而得到轮廓线.基于能量泛函的图像分割方法不依赖于图像的边缘及纹理特征,因此对于噪声强度大、灰度不均匀、对比度较低且目标边界模糊的图像分割效果较好,但算法计算复杂度较高,且分割结果依赖于初始轮廓的选取.

基于区域的图像分割方法主要涉及两个重要步骤,图像超像素分割[11]和区域合并[12-13],其基本思想是首先对图像进行过分割,然后利用过分割结果进行区域合并以生成最终分割结果.主流的超像素算法如简单的线性迭代聚类(Simple linear iterative clustering,SLIC)[14]、线性谱聚类(Linear spectral clustering,LSC)[15]、基于熵率的超像素分割算法[16]等,这些超像素算法大多都采用了局部网格内的轮廓迭代优化策略.该类算法的优势在于能够获得基于预设区域数目的超像素分割结果,且在局部区域内能获得较为准确的轮廓边界,缺陷在于优化策略仅在局部区域内进行,因此超像素块大小均匀,很难捕获真实的目标轮廓.

近年来,随着深度学习[17]的快速发展,图像语义分割[18]越来越受到学者们的关注.与传统的图像分割不同,图像语义分割本质上是对图像的像素进行分类,将输入图像中的每个像素分配一个语义类别,以得到像素化的密集分类.Long 等[19]率先提出了面向图像语义分割的端到端全卷积网络(Fully Convolutional network,FCN),该网络首次采用了低层与高层语义特征融合思路,并采用转置卷积层作为解码器以代替全连接层从而实现了从图像像素到像素类别的转换.与经典的卷积神经网络(Convolutional neural network,CNN)相比,FCN 不仅有效提升了图像语义分割精度,而且开创了编解码网络结构,为其后各种图像语义分割网络奠定了基础.图像分割结果除了与解码器结构设计有关外,还与上下文信息获取密切相关.为了获得更宽的感受野以学习更为有效的图像特征,He 等[20]首先将金字塔池化引入到网络结构中,不仅解决了网络受限于输入图像的尺寸问题,而且有效融合了图像的空间多尺度特征.Zhao 等[21]在此基础上提出了金字塔场景分析网络,利用多尺度卷积核实现图像的空间金字塔池化,从而使网络能够捕获图像的多尺度特征,优化网络对复杂场景的理解能力.近来,Chen 等[22]利用卷积核膨胀的思路扩大感受野,使用了计算量更小且更有效的空洞空间金字塔池化来完成图像的多尺度信息融合.此外,针对图像的轮廓预测,Cheng 等[23]提出了富卷积特征网络(Richer convolutional features,RCF),该网络在每一个卷积层都计算其损失函数,且将所有层的特征信息进行融合得到最终的特征,其中深层特征可以定位图像的轮廓边缘,浅层特征可以为深层特征补充细节.近年来,学者们发现多尺度的特征表达能有效改善图像分割效果,因此Gao 等[24]构建了一个分层密集连接的模块Res2Net,以细粒度表示多尺度特征,并增加了每个网络层的感受野范围.针对多尺度特征融合问题,Li 等[25]提出了深层特征聚合网络,该网络通过轻量子网络的级联来实现多尺度特征表达并有效减少了参数数目.常规的多尺度融合方法缺少特征权重信息,对此,Ding 等通过设计尺度选择策略,提出了CGBNet[26],该网络通过在每个空间位置选择性地融合来自不同尺度特征的分割结果,进而提高了图像的分割精度.

尽管当前已经涌现出大量图像分割算法,这些算法能解决图像分割领域存在的多种问题,在很多特殊应用场景中能够满足实际应用需求.然而扫描电镜图像分割[27]面临两个困难:首先,SEM 图像具有非常高的分辨率,现有图像分割算法对SEM 图像分割耗时较长;其次,SEM 图像采集成本较高,很难像常规图像一样形成海量数据集,因此难以直接利用深度卷积神经网络实现端到端的目标分割.此外,针对陶瓷材料晶粒分割问题,由于陶瓷材料SEM 图像主要呈现晶粒的轮廓信息,缺少纹理细节信息,通常需要大量的预处理及交互处理,因此很难将主流的图像分割算法直接应用到晶粒分割中.对此,薛维华等[28]提出了一种基于图像序列间相似性的晶粒组织图像分割方法,该方法利用边缘检测、骨架化、断点连接等一系列操作以实现晶粒轮廓提取.尽管该方法能够获得晶粒的分割结果,但需要设置较多参数,且对光照较为敏感、鲁棒性较低.近来,Jiang 等[29]提出一种用于砂岩分析的晶粒自动分割方法,该研究采用超像素与模糊聚类相结合的方式对砂岩图像进行分割,获得了较好的砂岩晶粒分割效果.然而该方法依赖于SLIC 超像素分割结果及后续的区域合并算法,SLIC 在陶瓷材料SEM图像上很难获得好的预分割结果,因此这种方法不适合陶瓷材料SEM 图像的晶粒分割.在此基础上,Banerjee 等[30]提出一种晶粒自动分割及晶粒度量方法,该方法首先检测图像边缘并执行二值化处理,然后利用形态学闭运算及膨胀操作获取封闭轮廓,利用小区域移除及轮廓细化运算获取单线条封闭轮廓.与之前的方法相比,该方法计算简单,对灰度值较为均匀的SEM 晶粒图像容易获得好的分割结果,然而不足在于该方法主要依赖图像二值化运算提取轮廓,忽略了图像的灰度细节信息,因此对于复杂晶粒图像容易发生误分割.上述方法均利用无监督图像分割技术实现晶粒分割,将基于监督学习的图像分割技术应用到SEM 图像晶粒分割时,通常面临人工标注成本高,能够获得的训练样本有限,且利用深度学习获得的图像分割结果通常存在边缘精度较低等问题,诸多限制导致当前的图像分割技术难以有效解决陶瓷材料SEM 图像中的晶粒分割难题.

在无监督图像分割算法中,基于像素分类的图像分割、基于区域信息的图像分割都依赖于图像的纹理特征,而陶瓷材料SEM 图像中的纹理信息缺失,导致这两类方法难以实现有效的图像分割.鉴于此类图像边缘信息丰富,本文将采用基于轮廓的图像分割策略.在此类方法中,分水岭[31]是最为流行的一种算法.然而分水岭算法依赖于图像梯度,且存在过分割问题,因此基于数据与模型联合驱动的方式,提出了基于鲁棒分水岭变换联合轻量级富卷积特征网络(Lightweight and richer convolutional features jointing robust watershed transform,LRCF-RWT)的陶瓷材料晶粒分割算法,提出的算法具有以下两个贡献:

1) 利用鲁棒分水岭变换实现了晶粒的快速预分割,既解决了传统分水岭算法的过分割问题,又解决了分割区域个数与轮廓精度难以平衡的问题,较主流的超像素算法能够获得更好的陶瓷材料SEM 图像预分割结果;

2) 提出了轻量级RCF 网络-LRCF (Lightweight and richer convolutional features),并将LRCF 网络与RWT (Robust watershed transform)相结合,兼顾两者的优势,一方面获取正确的分割区域,另一方面获取更为精准的轮廓定位.采用深度可分离卷积将原始RCF 网络模型从113 MB 压缩为13.7 MB,从而有效降低了LRCF 对计算和内存资源的消耗;利用LRCF 轮廓预测结果修正RWT 的预分割结果,即数据与模型联合驱动的方式,实现了分割精度的明显提升.

1 算法介绍

本文提出的算法主要由三个部分组成:首先对图像进行预处理,解决图像灰度值不均匀的问题;其次使用鲁棒分水岭变换实现图像预分割;最后执行形态学轮廓优化,并根据卷积神经网络输出的图像轮廓对预分割结果进行修正,总体流程如图1 所示.其中,SE (Structured edge)为结构边缘算法[32].

图1 总体流程图Fig.1 Overall flow chart

1.1 预处理

由于SEM 成像的原理是将电子束打在样本表面,与样本表面相互作用,而陶瓷材料具有绝缘性,所以得到的图像会产生明显的反光现象,导致图像灰度值不均匀.工业上为了解决该问题,采用金属镀膜法,将电阻率较小的金属(例如金)镀在样本表面,镀金后得到的陶瓷电镜图像灰度值基本一致.为了降低图像本身光照不均等问题对实验结果带来的干扰,本文将实验所用图像分为两组,一组为未经处理的陶瓷电镜图像,另一组图像为镀金后成像效果较好的陶瓷电镜图像.未镀金的陶瓷电镜图像存在曝光问题,需经预处理以解决灰度值不均匀的问题,针对该问题,Jobson 等[33]首先提出了单尺度(Single scale retinex,SSR)算法.

在SSR 算法中,决定物体颜色的主要因素是物体对长波、中波、短波三种波长光的反射能力,而不是光照的强度.因此物体本身的颜色不受光照的影响,但光照强度会造成成像时的颜色差异.一幅图像I(x,y) 由反射图像R(x,y) 和入射图像L(x,y)组成,如式(1)所示,SSR 算法就是设法去除或降低入射光L,从而得到物体原本的面貌R.

SSR 算法主要通过环绕函数确定环绕像素的权值,以此来估计中心像素的亮度,即:

其中,*表示卷积,由于SSR 在去除亮度影响时会丢失细节,因此Jobson 等[34]在SSR 算法的基础上进一步提出了多尺度Retinex 算法(Multi scale retinex,MSR),模型表达为:

将MSR 算法用于图像预处理,预处理结果如图2 所示.图2(a)～ 2(d)为原图,图2(e)～ 2(h)为经过预处预处理的图像.可以看出,经过预处理后的图像整体灰度值较为均匀,有利后续算法实现晶粒的准确分割,算法能有效解决陶瓷SEM 图像的灰度不均匀问题.

图2 原图与预处理结果对比Fig.2 Comparison on original and pre-processed images

1.2 鲁棒分水岭变换

图像预处理后需要对图像进行预分割,分水岭算法的优势在于计算简单,主要依赖图像的梯度信息实现图像分割,缺陷在于不能较好的利用图像的纹理信息,而陶瓷材料SEM 图像恰好缺失纹理信息,因此使用分水岭算法是一个合适的选择.传统的分水岭变换容易导致图像过分割,针对该问题,学者们提出了基于梯度重建的分水岭变换(Morphological gradient reconstruction based watershed transform,MGR-WT)[35].

首先对预处理后的图像计算梯度,然后进行梯度重建以移除无用的局部极小值,最后进行分水岭变换得到分割结果.通常,形态学梯度重建(Morphological gradient reconstruction,MGR)能够有效平滑图像的局部极小值区域,减少梯度图像中的局部极小值个数,进而在分水岭变换中可以抑制图像过分割.形态学梯度重建算子通常涉及到结构元素选择,结构元素的大小及形状会影响最终的重建结果及分割效果,参数适中时能平衡分割精度和过分割,但是如何确定最佳的结构元素参数非常困难,通常根据经验进行人为设定.图3 利用形态学闭重建作用于梯度图像,梯度图像由SE 算法[32]生成.r表示形态学闭重建所选取的圆形结构元素半径.从图3 可以看出,当用于梯度重建的结构元参数r取值较小时(r=1),容易引起过分割,即分割结果中包含大量的小区域;当r取值较大时(r=10),容易引起欠分割,即多个目标分割结果被合并在一起,且轮廓精度较低;当r取值适中时(r=5),分割结果能够兼顾分割区域数目及轮廓精度,但r的取值为经验值,且减少分割区域数目是以牺牲轮廓精度为代价的.针对上述问题,论文提出一种鲁棒分水岭变换(Robust watershed transform,RWT)以解决MGR-WT 的分割结果依赖参数选择的缺陷.

图3 不同参数的MGR-WT 对图像的分割结果对比Fig.3 Segmentation results comparison using MRG-WT with different values of r

令f和g分别表示标记图像和约束变换的掩码图像,如果f≤g,则由f重建g的形态学膨胀重建Rδ表示为

对图像进行形态学重建运算,可以在保持大的目标不被平滑的同时有效滤除小目标.由于组合形态学开闭运算在图像滤波、特征提取等方面表现出比基本形态学开闭运算更好的性能,所以定义f重建g的组合形态学开、闭运算Rγ和Rφ为:

由f重建g的无参数自适应形态学梯度重建如式(8)所示,其中m表示最大结构元素的尺度,通常m＞10,多尺度结构元素满足关系b1⊆···⊆bi ⊆bi+1⊆···⊆bm.

利用公式对图像进行梯度重建并执行分水岭变换,分割结果仍然包含较多的小区域,如图4(a)所示,主要原因在于i的取值从1 开始,虽然设置了更大的i值,例如i=3 可以减少小区域数目,但同时降低了结果的轮廓精度.为了得到更好的重建结果,需要将这些小区域去除.设H为梯度图像,I是H的区域极小值图像,W是经过分水岭变换获得的分割结果,I=(I1,I2,···,In),Ij表示图像I中第j个连接分量,1≤j ≤n.同样,W=W1∪W2∪···∪Wn,Wj表示W中第j个分割区域,由此可以得到:

式(9)和(10)表明,通过去除图像I中较小的连通分量,达到合并较小的分割区域的目的,利用式(11)去除较小的连通分量,从而根据分割结果实现区域合并.

其中,k是结构元素参数,k值越大,合并图像W中小区域越多.

RWT 首先得到无参数的自适应形态学梯度重建公式,然后计算局部极小值,采用二值形态学重建对局部极小值优化.由式(8)可以看出,RWT 采用多尺度结构元素实现梯度重建,重建结果随着m的增大而收敛,因此m为常数,解决了MGR 的单尺度梯度重建结果容易受结构元素参数影响的问题.此外,由式(11)可以看出,参数k的变化会导致区域极小值个数的变化,然而这种变化只会影响最终的分割区域个数,而不影响最终的轮廓精度,实际效果等价于区域合并运算,如图4 所示.由图4(b)可以看出,MGR-WT 会将一个完整的晶粒错误分割成两部分,而在图4(c)中,RWT 实现了正确的晶粒分割,因此本文提出的RWT 较MGR-WT 能够实现更好的晶粒分割效果.

1.3 数据与模型联合驱动的轮廓优化

尽管图4 给出了较好的分割结果,且鲁棒性较好,不易受环境和参数的影响,然而分割结果仍然存在以下问题:一方面,由于不同晶粒之间的缝隙过大,从而导致双线轮廓问题,如图5 所示;另一方面,由于分割结果过度依赖于结构边缘算法输出的梯度,缺乏对图像语义信息的利用,因此导致轮廓定位不准问题,如图9(c)所示.

图4 RWT 与MGR-WT 对陶瓷材料晶粒的分割结果对比Fig.4 Comparison of the segmentation results of ceramic grains between RWT and MGR-WT

图5 基于RWT 的图像分割结果Fig.5 RWT suffer from the problem of double line contour

为了解决双线轮廓问题,采用基于形态学轮廓优化的双线消除策略.首先检查每个标签所覆盖的区域,确保图像中每个标签只能覆盖一个区域;然后给定一个结构元,令结构元遍历整张图像,并消除比结构元小的区域.基于这个处理思路,本文选用基于形态学的轮廓优化方法对图像进行处理,步骤如下:

步骤1.首先确保图像中每个标签只能覆盖一个区域;

步骤2.对每一个标签区域执行形态学开运算,从原始图像中减去开运算结果,如式(12);

其中,bl表示第l个标签区域,l=1,···,L,fm表示原始图像中去掉开运算部分的结果.

步骤3.将fm重新分配给相邻区域,使每个区域标签不同,并重新标号.

利用双线轮廓优化方法对图5 进行优化,结果如图6 所示.显然,该方法可以解决轮廓双线问题并且不改变分割轮廓形状.

图6 去除双线Fig.6 Removing double lines

为了进一步提升分割轮廓的精度,避免分割结果过度依赖SE 得到的梯度,引入基于卷积神经网络的图像轮廓预测模型.传统神经网络边缘检测模型[36-37]的局限性在于其提取的低层级特征信息很难去表征高层次信息,大多数基于CNN 网络的边缘检测模型仅仅只利用卷积网络的最后一层,在深层次的特征信息中缺失了浅层的细节信息,容易导致网络模型无法收敛并造成梯度消失.RCF 是基于VGG16 构建的网络框架,将所有来自卷积层的层级特征组合成一个整体框架,用来检测边缘信息,其中所有参数均可自动学习多尺度和多层级的特征.在预测图像轮廓之前,首先改变原始图像的大小,构建一组图像金字塔,将这些图像输入到RCF网络进行前向传递;然后用双线性插值法将边缘检测图恢复为原始大小;最后将这些边缘图的平均值输出.

利用RCF 网络模型可以得到较为准确的晶粒轮廓,但RCF 网络存在模型大、参数多、训练速度慢等问题,因此,RCF 网络对计算和内存资源消耗较高.为了解决该问题,利用深度可分离卷积(Depthwise separable convolution,DSC)替代RCF 网络中的标准卷积,从而得到轻量型的丰富卷积特征网络.深度可分离卷积将标准卷积分解成深度卷积和逐点卷积,如图7 所示.假设输入特征图尺寸为DF×DF×M,输出特征图尺寸为DF×DF×N,卷积核尺寸为DK×DK×M×N,则标准卷积的计算量为,DSC的计算量为深度卷积和逐点卷积的计算量之和+.与标准卷积相比,DSC 的计算量可缩减为标准卷积的 (1/N+1/).图8 给出了LRCF的网络结构图,其模型大小仅13.7 MB,约为原RCF 模型大小的1/8.将LRCF 应用于陶瓷晶粒轮廓预测,结合RWT 实现数据与模型联合驱动的陶瓷晶粒分割,结果如图10 所示.p线为优化前结果,g线为优化前结果,y线为Ground Truth.由图10(a)可以看出,基于SE 与RWT (SE-RWT)实现的陶瓷晶粒分割结果总体较好,缺陷在于部分晶粒的轮廓定位不准,而基于LRCF 和RWT(LRCF-RWT) 实现的陶瓷晶粒分割结果不仅能够获得准确的晶粒区域,而且实现了更为准确的晶粒轮廓定位,如图10(b)～ (c)所示.

图7 深度可分离卷积Fig.7 Depthwise separable convolution

图8 LRCF 网络结构图Fig.8 LRCF network structure

边缘检测领域中的数据集往往是由不同标注者进行标注,得到的标注结果受标注者本身对目标物体认知的影响.虽然人与人的认知各不相同,但是对于相同图像的边缘标注具有非常高的一致性.

因此,对每张图像的标注结果取均值,生成新的边缘率映射图,取值范围为[0,1].其中,0 表示没有标注者将其标注为边缘像素,1 表示所有的标注者都将其标注为边缘像素.边缘概率值超过η(η取值0.5) 的记为正样本,概率值等于0 的记为负样本.利用训练数据中标记的结果生成相应的边缘概率图,定义损失函数如下:

其中,Y+和Y-分别表示正样本集和负样本集,α和β分别表示正、负样本所占总样本的比例,λ表示超参数,用于平衡正、负样本的比例.Xi和yi分别给出了像素i处的激活值和标注边缘概率.P(X)是标准的Sigmoid 函数,W表示在结构中学习到的所有参数,最终得到的损失函数为式(15),其中分别表示来自k层和融合层的激活值,|I|表示图像I中的像素数,K表示层数.

由LRCF 得到的图像梯度预测结果如图9(a)所示.该结果表明,LRCF 能够实现较好的陶瓷晶粒梯度预测结果,对该结果进行分水岭变换,结果如图9(b)所示.y线表示Ground Truth.由图9(b)可以看出,尽管分割结果存在过分割问题,然而分割结果的轮廓贴合度较高,即LRCF 能帮助分水岭变换获得更为准确的轮廓定位.与图4 中的RWT结果相比,LRCF 的缺陷在于区域分割错误严重,优势在于轮廓精度更高.

图9 基于LRCF 与分水岭变换的图像分割Fig.9 Image segmentation using the combination of LRCF and watershed transform

算法1.基于数据与模型联合驱动的晶粒分割结果优化

据此,本文利用LRCF 对RWT 的结果进行优化,即数据与模型联合驱动的方式,在保持RWT分割区域不变的情况下有效提升RWT 的轮廓定位精度,从而实现LRCF 与RWT 的优势互补,获取更好的晶粒分割结果,具体如算法1 所示.利用算法1,对图4 中RWT 结果进行优化,结果如图10所示.从图中可以看出,优化后的边缘更加准确,且优化前后并未引入基于LRCF 分割结果中过分割部分.

图10 轮廓优化Fig.10 Contour optimization

2 实验结果

为了降低图像本身光照不均等问题对实验结果带来的干扰,选取两组陶瓷SEM 图像作为实验数据,第1 组是未经处理的陶瓷SEM 图像,第2 组是经过工业镀金处理后去除光照影响的陶瓷SEM 图像.为了验证LRCF-RWT 的分割性能,选取Liu等[38]提出的基于聚类的分割算法(Morphological gradient reconstruction,Liu＇s-MGR)、随机游走(Random walker,RW)[39]、SLIC[14]、LSC[15]、Banerjee 等[30]提出的算法、SE 梯度结合分水岭变换的方法(Structured edge based watershed transform,SE-WT)[32]、SE 梯度结合自适应形态学重建的分水岭变换方法(Structured edge adaptive morphological reconstruction and watershed transform,SEAMR-WT)[40]、RCF 结合分水岭变换(RCFWT)[23]方法与本文提出的LRCF-RWT 进行对比.上述对比算法均采用公开代码进行实验,算法参数与原文一致,其中LRCF 训练时设置损失参数η=0.5,λ=1.1,训练所用数据集为基准数据集[41].

LRCF 网络在Intel Core i99900X @3.5 GHZ 128 GB RAM,双NVIDIA GeForce RTX 2080Ti GPU 工作站上进行训练,编程环境为PyTorch1.2.

由于Liu＇s-MGR 算法、SE-WT 以及RCFWT 算法在分割线边缘附近都存在大量的闭合小区域,为了公平对比,本文将形态学梯度重建引入到所有对比算法中,即使用Liu＇s-MGR、SE-MGRWT 和RCF-MGR-WT 作为对比算法.

2.1 分割结果对比

图11 为第1 组实验图像(未镀金图像)的分割结果对比,图中每一列代表一幅实验图像,图11(a)为Liu＇s-MGR 分割结果,聚类中心数为5,从结果可以看出,该算法是依据像素灰度值进行分割,由于实验图像晶粒之间灰度值不具备明显的差异,所以这种基于聚类的分割算法结果不适用于本次实验图像.图11(b)是随机游走的分割结果,在图中较为均匀地选取了60 个种子点,与Liu＇s-MGR 相比,虽然分割精度有所提升,但该算法的分割结果依赖于初始种子点的数量以及播撒位置,很难做到将实验图像精准分割.图11(c)和图11(d)是两种超像素算法的分割结果,图11(c)是SLIC的分割结果,该算法的分割结果大小均匀、形状较为规则,而陶瓷晶粒大小不一、形状不规则,而且SLIC 对灰度值较为敏感,所以SLIC 不适用于实验图像.图11(d)是LSC 的分割结果,与图11(c)相比,该算法得到的结果对晶界的定位较为准确,但与SLIC 有同样的缺陷,即算法对像素灰度值较为敏感,导致过分割.图11(e)是文献[30]提出的算法分割结果,该算法分割结果较为准确,但会受到光照影响,导致分割错误,而且该算法未能分割出图像边缘部分的晶粒.图11(f)是SE-MGR-WT 的分割结果,分割结果与LSC 分割结果较为相似,但LSC 对晶粒的分割是不准确的.虽然LSC 的分割结果与晶界重合率较高,但晶粒之间并没有形成闭合区域,相比之下SE-MGR-WT 的分割结果得到的晶粒区域闭合且彼此独立.图11(g)是SE-AMR-WT 的分割结果,与图11(f)相比,该算法采用自适应多尺度形态学算子对梯度进行重建,重建效果优于单尺度梯度重建,所以该算法解决了过分割问题之后,晶粒分割准确率提升,但是分割结果存在双线轮廓问题.图11(h)是RCF-MGR-WT 对应的分割结果,该算法利用网络深层特征进行区域定位,浅层特征补充细节,分割边缘准确性优于SE-AMR-WT,但该算法分割结果过分割严重.图11(i) 是本文提出的LRCFRWT 的分割结果,与上述算法相比,该算法对陶瓷晶粒分割准确,同时解决了双线轮廓问题,分割效果最好.

图12 为第2 组实验图像(镀金图像)的分割结果对比,图中每一列代表一幅实验图像,镀金后图像整体的灰度值变化范围缩小.与图11 相比,Liu＇s-MGR 在减小了灰度值的影响之后,分割结果能够部分贴合晶界,但误分割仍然严重.由于随机游走受像素灰度值影响不大,因此图12(b)与图11(b)近似.在灰度值影响减弱的情况下,SLIC 和LSC的分割结果仍然存在严重的误分割.其余算法分割结果与图11 相比均有不同程度的改善,其中 LRCFRWT 表现出最好的结果.

图11 第一组分割结果对比(未镀金图像)Fig.11 Comparison of the first group of segmentation results (unplated image)

图12 第二组分割结果对比(镀金图像)Fig.12 Comparison of the first group of segmentation results (gilded image)

2.2 实验指标对比

为了进一步对比不同分割算法的性能,本文采用4 种算法指标对分割结果进行测试,分别是重叠比率(Covering,CV)[41]、变化信息(Variation of information,VI)[42]、全局一致性误差(Global consistency error,GCE)[43]和边界位移误差(Boundary displacement error,BDE)[44].其中CV 的值越大,表示分割结果越好;VI、GCE 和BDE 的值越小,表示分割结果越好.

为了减小实验样品的不同处理方式对分割结果的影响,指标对比时同样将实验图像分为2 组,表1是未处理的陶瓷电镜图像分割的实验指标平均值,表2 是镀金后的陶瓷电镜图像分割的实验指标平均值.从图11 可以看出,Liu＇s-MGR 不适用于实验图像,随机游走与Liu＇s-MGR 相比准确率有所提升.对照表1 可以看出,Liu＇s-MGR 的CV 指标很低,随机游走的CV 指标比Liu＇s-MGR 高.从图11可以看出,SLIC 分割结果并不准确,虽然LSC 分割结果与晶界重合率比较高,但是该算法受像素灰度值影响较大,且并未在晶粒边缘构成闭合区域,所以2 种算法CV 指标较低.SE-MGR-WT 与LSC 相比,分割结果构成闭合区域,所以该算法的CV 值大于LSC 的CV 值.但是SE-MGR-WT 过分割严重,所以当SE-AMR-WT 克服了过分割问题后,CV 指标大幅度提升.从图像中可以看出,文献[30]的算法能够较为准确地分割出晶粒,所以该算法的CV 值比SE-MGR-WT 大,但算法受灰度值大小影响,且难以分割图像边缘部分的晶粒,因此CV 值小于SE-AMR-WT.RCF-MGR-WT的分割结果过分割也很严重,因此该算法的CV 值比SE-AMR-WT 低,但RCF-MGR-WT 的分割边缘的准确率高,表现为该算法的变化信息和误差比SE-AMR-WT 小.相比其他算法,LRCF-RWT 获得了最高的实验指标.

表1 不同方法对陶瓷晶粒分割的性能指标对比(第1 组实验,未镀金的图像)Table 1 Performance comparison of different approaches for ceramic grain segmentation(the first group of experiments for unplated image)

表2 不同方法对陶瓷晶粒分割的性能指标对比(第2 组实验,镀金的图像)Table 2 Performance comparison of different approaches for ceramic grain segmentation (the second group of experiments for gilded image)

分析表2 实验数据,在去除了光照干扰之后,Liu＇s-MGR、随机游走、SLIC 以及LSC 的实验指标与表1 类似,这些算法均表现出较低的分割精度.RCF-MGR-WT 利用深层次和浅层次的特征,算法结果稳定,分割结果不受光照的影响.文献[30]算法、SE-MGR-WT、SE-AMR-WT 以及LRCFRWT 的实验指标对比表1 有所提升,图像对比也可以看出这3 种算法在图12 的分割结果比图11好.由以上分析可得,分割结果图的视觉效果和实验指标的直观数据得出的结论一致,LRCF-RWT的分割效果最好,分割准确率最高.

2.3 晶粒尺寸计算

在完成图像分割之后,就可以对晶粒尺寸进行计算.在图像分割过程中,已经将各个晶粒分开,此时可以得到一幅图像中所有的晶粒数目以及晶粒尺寸的分布.选取每幅图像中尺寸大小较为均匀的晶粒,计算其尺寸的平均值,计算方法可将晶粒近似为圆形,通过得到晶粒面积间接计算其直径,即为该晶粒尺寸.其中人工测量方式为每幅图像选取5个形状大小较为均匀的晶粒,测量晶粒尺寸并求平均值.由于人工测量结果受测量者主观影响较大,所以选择5 位测量者分别对实验图像进行测量,得到的测量数据如表3 所示,在去除最大值和最小值后,对测量值取平均值,以此来减弱主观因素对测量的影响,最终得到的人工测量结果如表4 所示.从表3 和表4 可以看出,人工测量的误差较大,且测量中受主观影响较大,测量费时费力.表5 为表4各算法分割结果中晶粒尺寸与Ground Truth的差值,可以看出,给出的LRCF-RWT 与对比算法相比,得到的晶粒尺寸更接近真实结果,进一步验证了提出算法的优势.

表3 人工测量晶粒尺寸结果(像素)Table 3 Grain sizes using manual method (pixels)

表4 不同方法对陶瓷晶粒尺寸的计算结果对比(像素)Table 4 Comparison of ceramic grain sizes using different approaches (pixels)

表5 不同方法计算陶瓷晶粒尺寸结果的误差(像素)Table 5 Error comparison of different approaches on ceramic grain size computation (pixels)

3 结束语

针对人工测量陶瓷材料晶粒尺寸效率低、误差大的问题,提出了一种数据与模型联合驱动的陶瓷材料晶粒分割算法.该算法解决了传统分水岭算法存在的过分割以及分割区域个数与轮廓精度难以平衡的问题,并通过引入卷积神经网络提升了分割精度,实现了陶瓷材料SEM 图像中晶粒的正确分割,便于后续晶粒尺寸的统计与计算.实验结果表明,与传统分割算法相比,提出的算法能实现不同类型陶瓷材料SEM 图像中晶粒的准确分割.

然而,针对未镀金SEM 图像,由于个别区域受光照影响严重,预处理后该区域的灰度值依旧与其他区域差异过大,导致分割错误.此外,部分图像中晶界不明显,灰度值与晶粒相似,导致晶粒未能正确分割.针对上述问题,未来我们将深入研究弱监督学习及生成对抗网络在陶瓷材料晶粒分割中的应用.