基于神经网络的复合材料光学显微图像孔隙的识别与统计研究

陈 健，肖 鹏

（中国商飞上海飞机制造有限公司，上海 201324）

复合材料孔隙是一种分布于复合材料层压结构内的气体孔洞型缺陷［1-2］，直径一般在1 ～1 000 μm 范围内［3］，是复合材料制件中最常见的一种内部缺陷。大量文献和试验数据显示，孔隙对复合材料制件的层间剪切性能影响较为突出［4-5］。因此，孔隙含量分析对于复合材料制件内部质量评定、质量提升以及产品工艺的持续改进起着非常积极和重要的作用。

现阶段，主要的复合材料孔隙含量检测分析方法分为破坏性检测法和无损检测法。破坏性检测法主要包括密度测量法、吸水法、光学显微图像法和酸溶解法。无损检测法包括超声检测法和射线检测法等［6-7］。

常见的复合材料光学显微图像分析方法有显微镜标尺测定法、放大网格计数法和图像分析仪法。图像分析仪法是根据光学显微图像孔隙区域与良好区域灰度不同的原理工作的一种自动化统计方法，受人为因素影响较小，但容易受到试样表面质量的影响，统计误差较大。显微镜标尺测定法和放大网格计数法主要通过人工判断孔隙相对于辅助网格的大小，进而间接获得孔隙含量结果，其统计数据量庞大，且不同的统计人员会引起统计结果的偏差，效率极低。此外，在各大高校和科研单位中也会使用ImageJ 等图像处理软件实现显微图像孔隙含量分析，但其适应力较差，对金相样品制样要求较高，适用性难以保证［7-8］。由于实际金相样品通常会存在划痕、附着物等特殊情况，而人工孔隙统计过程有着非常高的灵活性，会主动识别与规避以上特殊情况，因此显微镜标尺测定法和放大网格计数法为目前主流的孔隙含量分析手段。

传统复合材料孔隙含量人工分析过程存在统计试样多、统计周期长、人工统计存在差异等问题，目前国内暂时没有准确高效的孔隙含量分析手段。近年来，神经网络算法以其更接近人脑思考的特性广泛应用于模式识别、图像分割、智能控制等领域，具有大规模并行处理、分布式存储和处理、自适应、自组织、自学习能力等特点［9-10］。其中，由卷积神经网络（Convolutional Neural Network，CNN）模型发展而来的U-Net神经网络算法已广泛应用于医疗影像领域，如肿瘤图像识别［11］、肺部图像识别［12］、视网膜病变识别［13］等诸多方面，效果良好。U-Net 网络结构如图1 所示。鉴于医疗影像领域相较于视频监控领域有着语义较为简单、分割精度高、缺少公开数据集等特点，其与复合材料光学显微图像孔隙识别需求较为相近。因此，基于光学显微图像的特点和孔隙缺陷的特征，结合图像识别技术与U-Net神经网络算法，建立基于神经网络的复合材料显微图像孔隙识别与统计系统，该系统已应用于笔者所在单位的复合材料相关科技研发工作中。

图1 U-Net神经网络示意图

1 试验方法

1.1 试样制造与数据采集

采用热压罐成型工艺制备2 批次试板。第一批次为42 层准各项同性铺层的某型T800 级单向带材料层合板，试板厚度为7.9 ±0.1 mm；第二批次为24 层准各项同性铺层的某型T300 级织物材料层合板，试板厚度为5.2 ±0.1 mm。在制造过程中，对于树脂和碳纤维所组成的同一成分体系，通过控制压力、温度等工艺参数，获得孔隙含量为0 ～4.75%范围内的50 组试板。将试板根据GB／T 3365 的规定切割成20 mm×10 mm的小块，并对其垂直纤维方向的断面进行镶嵌、打磨和抛光［6］。

表面处理完成后，使用奥林巴斯BX51M光学显微镜对试样进行观察、拍照和采样。采用反射模式下放大100 倍的方法对试样进行观察，以保证对存在的孔隙进行清晰分辨。

1.2 孔隙含量统计

1.2.1 人工孔隙含量统计

考虑到实际光学显微图像中随机出现的复杂情况，且孔隙含量的人工统计方法有着非常高的适应性与灵活性，因此，以GB／T 3365 中放大网格计数法对试样进行孔隙含量统计的结果作为参照，进行效果对比。

由于在100 倍放大倍率的情况下进行人工统计时，统计人员只能观察到一定尺寸等级的孔隙分布情况，如图2 所示，通常辅助计数的网格边长为25 μm。因此，人工统计的方法实际上为：以25 μm 为网格尺寸，网格浮动，记录落在孔隙上的格子数目，以1／4 格为最小计数单位；大于1／4 格且小于1／2 格的记作1／2 格面积；大于1／2 且小于3／4 格的记作3／4 格面积；大于3／4 且小于1 格的记作1 格面积。统计完毕后，计算样品孔隙区域的总网格面积与样品总面积的比值，记为该样品的实际孔隙含量。

图2 传统人工统计过程

1.2.2 基于神经网络的孔隙含量统计

（1）孔隙图像人工标注。

对采集到的光学显微图像进行图像分割标注，提取出孔隙等区域。使用Labelme 标注软件对采集的1 136 幅图像进行人工标注，在标注时使用多边形工具对孔隙边缘进行精确分割，对复合材料纤维和树脂区域未作标记，效果如图3 所示。随后将标注的文件批量转化为masks标签文件，同时批量转换为二值图像以备后续使用。

图3 使用Labelme标注软件精确标注孔隙边缘

（2）数据增强。

神经网络的构建离不开大量的训练样本数据，样本数据的复杂性与多样性直接关系到神经网络系统的鲁棒性。由于划痕、附着物等特殊情况出现的频率比较低，引起该类训练样本数据比较少。为更好地识别复合材料样本显微图像中出现的划痕、附着物等特殊情况，在已有的训练样本中通过增加噪声、滤波处理、随机旋转和色彩抖动等方式模拟实际显微图像采样过程中遇到的情形，从而进行图像增强处理，以实现样本数据的增强。

对训练样本数据进行增加噪声、滤波、色彩抖动和随机旋转处理，如图4 所示。虽然以上数据增强处理所引起的人的视觉观感差别不大，依然属于同一情况，但在算法的不断学习中，其数据矩阵特征产生了较大的变化，达到了数据增强的目的，增加了训练样本数据量。

图4 训练样本数据增强示例

（3）模型建立。

基于GB／T 3365 放大网格计数法的孔隙含量人工统计过程，结合图像识别技术与U-Net 神经网络算法，设计并开发了一套基于U-Net 神经网络算法的复合材料光学显微图像孔隙识别与统计系统。该系统总体方案如图5 所示。

图5 复合材料光学显微图像孔隙识别方法总体方案

U-Net神经网络是经过多个下采样层和上采样层实现图像特征的像素级的分割过程。吴量、王磐、马玉莹、许东等［11-14］使用了U-Net神经网络开展医疗影像领域图像分割工作，既准确地实现了图像分割，同时又保留了大量的图像特征，结果理想。因此，基于复合材料显微图像中的纤维树脂状态和孔隙形态分布特征，对U-Net结构进行修改，以实现复合材料光学显微图像孔隙识别。

在CNN算法中，要想提取更深层次的特征，获得更佳的图像分割效果，就要加深神经网络的层数，但单纯的加深层数会引起梯度消失和退化等问题。因而残差网络（Residual Network，ResNet）应运而生。残差网络结构如图6 所示，对于任意输入的变量x，经由残差网络跳跃连接输入变量，其实际输出的结果为f（x）＋x，而实际需要输出的结果为h（x），则h（x）＝f（x）＋x，即网络学习的内容为残差数据。

图6 ResNet模型结构图

通过观察发现，U-Net 神经网络算法的下采样过程实际上就是VGG16 网络特征部分。所以，将U-Net神经网络的下采样部分用ResNet18 残差网络部分来替代，从而完成U-Net 的修改。修改后的U-Net 神经网络模型如图7 所示，其中每层的下采样过程使用ResNet18。在下采样过程中，首先对输入图像进行7 ×7卷积和最大池化操作，将数据通道转化为64，以识取复合材料显微图像孔隙的浅层信息特征。后续的每一个卷积块均将图像尺寸压缩至卷积前的一半，进一步提取孔隙的特征，直至图像尺寸缩减至输入图像的1／16，通道数为1 024。在上采样过程中，每次上采样操作后经过一个3 ×3 的卷积层，不断提取孔隙深层特征，再与同高度的上采样输出进行通道合并，调整总体特征，对孔隙特征进行精确识别，最终输出孔隙和背景分割后的图像。改进的U-Net 结构如图7 所示，橙色箭头为3 ×3 卷积操作（conv 3 ×3）和欧拉激活函数（ReLU）转换；绿色箭头为数据复制（copy）操作；紫色箭头为2 ×2 的上卷积（up-conv 2 ×2）。

图7 修改后的U-Net模型结构图

（4）孔隙率计算。

通常，显微图像采集过程中的放大倍率为100 倍，实际人工统计过程中只能观察到约10 μm 级别的孔隙。而修改后的U-Net神经网络算法提取到的孔隙特征区域已达到像素级别，远超人工辨别的能力。因此结合1.2.1 节所述的统计方法和实际操作经验，以1／8 格为起始计算单位。

基于修改后的U-Net 神经网络算法孔隙分割结果，依据传统人工统计方法的统计原则，实现人工统计过程的程序模拟。基于神经网络的孔隙含量统计效果如图8 所示。

图8 基于神经网络的孔隙含量统计效果

（5）模型更新。

为提升复合材料孔隙识别方法的适应性，同时提高孔隙率计算结果的准确度，开发了孔隙识别算法模型的更新模块。当孔隙区域识别有误时，可进入孔隙区域编辑模式，对识别错误的区域重新进行光学显微图像分割标注，提取出真实孔隙区域。当识别错误数量达到预设阈值时，程序会自动触发模型更新，通过本文U-Net神经网络算法更新模型，以达到提升适应性与准确度的目的。模型更新过程如图9 所示。

图9 模型更新过程

2 试验结果

2.1 孔隙识别结果

采用建立的复合材料光学显微图像孔隙识别与统计系统对显微图像进行孔隙含量测试，给出不同状态的特殊试样检测结果。图10、图11 为复合材料光学显微图像表面附着物的检测结果。图10 中附着物区域与孔隙区域存在较小的交集，但基于神经网络的孔隙识别统计系统并未将附着物误识别为孔隙；图11 中附着物横穿多处大面积孔隙区域，该系统依旧正确识别孔隙与附着物区域。图12、图13 为复合材料显微图像中表面自然划痕的检测结果。从识别结果中可观察到，划痕与孔隙的深度信息与灰度信息基本一致，但系统成功利用孔隙区域的形态特征差异正确识别。因此，从以上分析中可知：通过神经网络算法模拟人工统计原则进行自动化统计是可以实现的，且泛化能力较强。

图10 图像表面附着物识别结果一

图11 图像表面附着物识别结果二

图12 图像表面划痕识别结果一

图13 图像表面划痕识别结果二

2.2 孔隙率统计结果

为测试该系统的泛化能力，随机选取50 份不同材料牌号、不同增强体编织方式、不同孔隙含量的复合材料光学显微图像试样进行测试。表1 和图14 为该批样品的计算结果。从该组中数据可以观察到：系统统计结果的相对误差范围控制在±10%以内，系统统计时间在10 s以内，统计过程高效准确。

表1 程序统计结果与人工统计结果

图14 随机统计结果

3 结束语

基于时下热门的图像识别技术和U-Net神经网络算法，首次将其应用到复合材料光学显微图像的孔隙识别工作中，建立了适用于复合材料光学显微图像孔隙识别的统计系统。通过对大量试样的标注、学习和U-Net神经网络的修改，证明了所提出的方法在复合材料孔隙含量分析应用中的可行性与可操作性。基于图像识别技术和U-Net神经网络算法的复合材料光学显微图像孔隙统计技术存在以下优点。

①利用神经网络算法提取到的像素特征值经过函数拟合得到孔隙区域的边缘，通过模拟人工依据GB／T 3365 中的网格分析方法，统计过程更接近人的思考方式，统计结果更准确。

②通过神经网络算法，实现了对复合材料光学显微图像中诸如划痕、附着物等特殊情况的区分，提高了孔隙检测的准确度。

③当系统出现误识别或识别不准确的情况时，可以使用系统的模型更新功能进行有监督的机器学习，更正系统的误判，提高识别准确度。