人工智能在钢铁材料微观组织分析中的应用与展望

陈 鹰

(钢铁研究总院 中心实验室，北京 100081)

0 引言

钢铁材料微观组织分析是一项极为重要的测试分析技术。当前，人工智能在钢铁材料微观组织分析中的应用日益增长。材料基因工程、机器视觉和深度学习等材料科学与信息技术的发展，为钢铁材料微观组织分析智能化带来了新的机遇。

钢铁材料微观组织分析的科学基础是金相学。随着科技的发展，金相学逐步成为显微学、金属学、物理冶金学和材料科学等多学科交叉的新兴科学[1]。显像、衍射和微区成分性能分析是微观组织分析主要应用的三种技术。根据不同材料的合金组成、基体及第二相、点线面晶体缺陷等，合理运用上述三种技术中的一种或是两种以上的组合，可获取试验测试结果并基于结果数据(图像等)分析得到相关结论信息。20世纪90年代，数字摄影技术随CCD数码相机的出现应用在光学和电子显微镜上。计算机辅助图像记录和分析替代了过去暗室冲洗照片的图像采集、记录和分析方式[2]。现代微观组织分析装置已经具备集成光学或电子成像、计算机图像处理和分析的特征，为针对测试结果进行智能分析奠定坚实基础。

笔者基于多年来从事钢铁材料研发与微观组织检测与分析实践，综述了人工智能在钢铁材料微观组织分析的应用与研究进展、主要问题和当前研究热点，并对本技术领域未来发展进行了展望。

1 应用与研究进展

1.1 测试结果数字化

目前，所有通过微观组织分析装置的测试结果(图像、衍射花样和微区成分)均实现了数字化。

图1 透射电镜操作软件界面

图1所示为某科研机构的日立H800透射电镜完成数字化改造后的软件界面。

电子背散射衍射(EBSD)的计算机分析系统通过Houhg变换，自动确定菊池带的位置、宽度、强度和带间夹角，与对应的晶体学库中的理论值比较，标出对应的晶面指数与晶带轴，并计算出所测晶粒晶体坐标系相对于样品坐标系的取向。图2所示为电子背散射衍射装置(EBSD)的软件界面。

图2 EBSD软件界面

配备电子衍射光谱(EDS)探测器的扫描电镜可以利用自动特征分析(AFA)软件，对钢中非金属夹杂物进行自动化扫描检测分析。分析结果可自动显示，包含氧化物、硫化物、氮化物和硅酸盐等夹杂物的成分、形态和分布等，如图3所示。

图3 全自动夹杂物检测分析软件界面

上述测试结果的数字化为微观组织测试结果智能化分析奠定坚实基础。

1.2 测试结果智能化分析

20世纪初，通过应用图像处理、计算机视觉和模式识别技术, 多位学者[3-5]开展金相图像自动分析研究，提高了金相分析的自动化程度并扩展了其功能。刘国权[6]介绍了材料显微组织几何形态的定量表征与分析技术及其标准化、显微组织仿真及设计以及金相研究时应注意的材料显微组织的若干特性等内容。许建广[7]和顾超[8]提出图像增强去噪预处理方法。汤力琨[9]提出基于数学形态学的去噪方法。Antonini[10]用 8个数值记录图像的边界，以此描述金相显微组织的灰度值、大小和显微组织形状等特征参数。Mandelbrot[11]则用分形维数来定量描述金相组织晶粒和组织的不规则性。燕惠芳等[12]则开展了钢铁金相组织自动识别系统关键技术研究。覃文军[13]论述了图像分析领域所面临的问题及今后的发展方向。于金鑫等[14]采用图像识别技术对钢铁材料在不同状态下形成的微观组织进行了分析，研究了不同图像增强算法和机器学习算法对钢铁显微组织识别精度的影响。上述针对图像预处理、图像分割、特征参数提取和模式识别等关键技术进行的深入研究和实践，以及取得商业化应用的图像分析软件，智能化程度不高，呈现弱人工智能的特征，可视为具备一定知识应用的专家系统。

而针对衍射、微区成分等测试结果数据，杨平、王春芳等[15-16]结合实例说明， EBSD测试数据在钢铁材料中取向、晶界研究等方面的应用。尚成嘉等[17]针对材料基因库的构建提出了EBSD测试结果可视化及数字化表征的方法，建立了材料微观基因结构与宏观力学性能的数字化关联。傅向葵等[18]开展了基于人工智能的非金属夹杂物检测与研究。肖娜等[19]研究了一种利用合适电化学充氢后的拉伸试样获取夹杂物，与极值统计法相结合，从而估算不同体积钢中非金属夹杂物的最大尺寸，并预测疲劳强度的夹杂物评估方法。这些测试结果的分析人工参与度较高，也呈现出弱人工智能特征。

1.3 组织性能预报

组织性能预报对钢铁材料热轧生产过程中各种物理冶金现象进行综合数值模拟，定量化描述其组织结构演变过程，预测轧后产品显微组织结构和力学性能，其数学模拟研究始于20世纪70年代末的英国，如英国Sheffield 大学的Sellars 等[20-22]，之后世界各国均开展大量的理论和实践研究工作， 并取得一定进展[23-30]。至2010年，世界各国相继开发钢的组织性能预报模拟和控制系统，如HSMM[31]、VAI-Q Strip[32]、METMODEL[33]、STRIPCAM[34]和SPPC[35]等，这些系统有的离线，有的在线，均在热轧产线上取得成功应用。

近年来，我国通过引进、消化、吸收和自主创新，已成功开发出具有自主知识产权的组织性能预报中间平台和模型[36]。当前，工业大数据、智能制造、材料计算和机器学习等的应用将会成为推动热连轧过程组织性能预报强人工智能化的强大动力。

1.4 深度学习的应用与研究

Alex Krizhevsky[37]在 2012 年使用 AlexNet 网络在 ILSVRC 中以大比分获胜，自此深度学习特别是卷积神经网络作为一种新的机器学习方法，在各种分类任务中开始流行，并逐渐应用到钢铁材料微观组织分析中。Lubbers等[38]将机器学习和计算机视觉应用于材料微观组织图像，通过激活预先训练的卷积神经网络来合成显微结构图像，通过大量训练后，可反映微观组织生成过程。Decost等[39]构建了超高碳钢显微组织数据集，包含了在不同热处理条件、不同尺度下的超高碳钢显微组织，并开发了一套可视化工具，用于与微观组织图像数据集和元数据集进行交互和探索。Azimi等[40]基于卷积神经网络(FCNNs)的像素分割法，利用一种深度学习方法，对低碳钢的某些微观组织进行分类识别。

在图像识别方面，国外多位研究者[41-44]尝试将由人工主观对图像识别的传统任务交给深度学习进行处理，进而消除人工识别的不确定性，有效、快速且自动地对材料显微图像进行识别。同样，图像分割模型在材料显微图像分析中得到了较为广泛的应用[39-40，45-47]。在图像生成方面则出现以下两种应用：通过作为数据增广策略增加模型所需的训练数据[48]和基于先验知识和注意力机制的生成对抗性模型，以实现材料辐照图像的生成和相应的工业性能预测模型的构建[49]。

具体实践方面，杨俊鸿[50]开展了基于深度学习，以卷积神经网络和迁移学习两种算法，对不同材料的金相组织进行识别与评级的研究。班晓娟等[51]讨论了深度学习在材料显微图像分析和信息挖掘中的发展方向和挑战。孔祥明等[52]展望了基于深度学习的火电厂高温紧固螺栓金相组织智能识别方法的前景。李维刚等[53]采用深度学习模型对钢铁材料微观组织扫描电子显微镜(SEM)图像进行自动辨识。提出了适用于钢铁材料微观组织辨识的AlexNet、VggNet、GoogleNet和ResNet改进模型，比较了不同卷积神经网络模型在不同预处理方式下的图片辨识精度。罗新中等[54]建立供神经网络学习的高碳盘条索氏体素材库，利用人工智能和深度学习技术识别模型，并对其进行测试、互动优化。

2 主要问题和研究热点

目前，本领域研究与实践存在以下问题：①大部分计算机辅助分析系统智能化程度低，人工参与度高；②对于制样效果差或者干扰较多的组织结构图像处理与分析效果不理想、误差大；③热轧组织图像数据和性能数值数据之间的内在联系不甚明晰；④缺乏能够通过专业、恰当方法构建图像数据集和针对测试结果数据开展深度学习的算法和模型。预计存在以下四个方面的研究热点。

2.1 组织结构自动分类辨识

钢铁材料的微观组织类型、含量、尺寸、形貌和分布等特点决定了材料的性能。因此，对微观组织进行正确分类、识别及分析尤其重要。受合金元素、加热条件、冷却速度和加工工艺等因素的影响，钢铁材料微观组织具有多样性和复杂性。目前，钢铁材料微观组织分类与辨识主要是通过人工根据专业知识水平和实践经验开展，并且由于技术人员专业水平不同，使得人工分类辨识差异大、效率低、误差大。因此，研究材料微观组织的自动分类辨识具有重要意义。

2.2 微观分析定量化和智能化

目前，现有微观组织图像自动分析软件定量化和智能化分析水平低，人工介入较多，仪器与设备未与实验数据管理系统进行实时联动，数据收集仍需实验员手动下载上传。因此，利用人工智能技术高效智能地开展微观分析具有重要现实意义，国内外有些实验室已经开始探索如何使微观分析的全过程更加定量化和智慧化的理论和应用研究。

2.3 组织与性能数据映射关系构建

热轧组织性能预报系统“机理模型”开发思路是建立热轧成品显微组织与力学性能的关系模型，因此，需要大量采集分析微观组织数据与材料性能数据。随着工业大数据和智能制造技术的进步，通过深度学习对海量工业微观组织数据进行深度挖掘与分析，构建组织与性能多尺度的映射关系，为钢铁材料组织性能预报系统的开发、组织性能预测模型的建立提供数据和算法基础。

2.4 图像数据集构建和深度学习模型开发

以上三个方向的顺利开展，均需由具有多年钢铁材料研发经验的专业人员根据专业知识水平和实践经验，采集大量钢铁材料的微观组织图像、衍射和微区成分与性能分析数据，并进行数据挖掘与分析，按照需要构建不同的数据集。根据这些数据集的特征，开发基于深度学习模型与算法的专家系统，从而构成相关强人工智能分析平台模块。

3 技术展望

综合以上针对本领域技术应用与研究进展的梳理，结合钢铁材料微观组织检测分析一线人员多年的工作经验与感悟，未来应该在以下两个方面展开研发与实践。

(1)基于现有弱人工智能技术，提升(如图像增强处理、图像分割与晶界重建、组织特征提取和数值数据统计分析等)智能化程度。同时不断研究适用于图像智能分析、几何参数求解和数值统计分析的新算法(如数学形态学和分形几何的深度学习算法等)。

(2)加强金相测试和材料专家的专业知识经验在计算机系统中的表示和应用，构建具有可扩展性的微观组织和性能的大数据集。引入新的基于深度学习的智能算法和模型, 提高计算机分析的智能化程度，彻底将弱人工智能提升为强人工智能。

4 结论

自20世纪70年代末开展热轧组织性能预报物理数学模型的研究开始，历经近50年的研究与实践，人工智能在钢铁材料微观组织分析中的应用日趋广泛深入。伴随着人工智能技术由专家系统知识应用型向全面集成发展特征转进，钢铁材料微观组织试验测试数据结果全面数字化，微观组织测试结果的智能化分析持续创新发展。展望未来，基于深度学习的强人工智能技术应用于图像智能化分析、图像和数值大数据集构建、集成工业大数据和智能制造的组织性能预报等发展方向有望取得突破性进展。