金相图像智能分析技术综述及石油管材金相智能分析系统设计*

仝 珂，张 华，栾忠涛，朱丽霞，瞿婷婷

(1.中国石油集团石油管工程技术研究院 陕西 西安 710077；2.濮阳市顺康石油工程技术有限公司 河南 濮阳 457001)

0 引 言

金属材料是应用最广泛的材料。在当今互联网大发展的时代，金属材料仍然是我国的支柱产业之一，占据着材料工业的主导地位。多年来科学家们一直不断升级、开发新的金属材料。其中，材料的微观组织是连接材料的成分、制备工艺及材料性能的枢纽，研究它们之间的关系是人们百年来为之努力不懈的课题。尤其是在显微镜发明后，对金属材料的微观组织的识别、分析(即金相分析)成为一门新兴学科，在材料科学领域具有举足轻重的作用[1-3]。金相分析工作是将金相试样放置在显微镜下观察，获得金属材料的组织形态及性能的分析结果，是经验性的定性(属于哪种金属组织)或定量、半定量(非金属夹杂物、晶粒度等)的检测。金相分析试验的依据是参照金属材料相关知识和金相图谱、以及相关检测标准等。传统的金相分析工作需要专业性较强的技术人员，而且分析过程中常带有技术人员主观性。此外，金属材料中的显微组织并非均匀分布，仅靠人眼在显微镜下测定一个或多个视场，不仅效率较低，而且容易造成视觉误差。

随着计算机数字图像处理、模式识别技术的快速发展，在金相分析中形成了新的研究方向[4-9]。引入计算机图像智能识别技术，不仅使金相图像分析过程趋于简单、快捷，而且避免人工评定带来的主观误差，使分析结果更加客观准确。但是金相图像是一种以金属学和金相学为基础的特殊显微图像，金相组织的空间形貌非常复杂，包含了大量的专业性信息，给金相智能分析工作带来极大困难。此外，在石油管领域，新钢级与新材料的应用日益增多，也亟需设计一种针对石油管材检验和研究的金相智能分析系统。

1 金相智能分析关键技术

1.1 金相图像预处理

在金相分析时，由于金相试样制备时残留的磨痕、抛光剂等异物和试样腐蚀的深浅程度不均匀等缺陷经数字化后都会表现为灰度的差异噪声，在图像分析中造成误差，为了让图像恢复原来的信息，图像的预处理必不可少。金相图像去噪的预处理方法通常有图像增强和基于数学形态学的去噪[10-12]。

图像的增强就是指按特定的需要突出一副图像中的某些信息，去除某些不需要的信息。图像增强技术通常分为两类: 一类是空域处理方法，直接对图像中的像素和邻域进行处理，主要是图像的平滑处理，另一类是频域处理方法：经傅立叶变换把图像转换到频域后再进行处理,主要有高通滤波、中值滤波和低通滤波方法。通常金相组织呈现模糊混沌状态，边界交错，细节模糊，许建广和顾超等人利用伪彩色增强技术[10,11]，把图像的各个不同灰度按照某种映射函数把原图像赋予不同的颜色，使图像的细节更容易辨认，目标更容易识别。

金相图像进行二值化处理后，由于杂质颗粒影响，在目标颗粒内部出现一些微小的小孔。这些小孔洞是金相组织内部的颗粒，由于它们比较小或者是照明不均等情况，从而在进行二值化的时候被当成了背景噪音。因此，需要按照一定的算法去除小孔的影响。汤力琨等利用数学形态学的操作方法[12],去除了小孔噪声的影响，如图1所示。图1(a)是含有小孔的原始粉末图，图1(b) 是去除小孔后的结果，从图1中可以看出：该方法可以很好地去除小孔噪声对金相图像的影响。

1.2 金相图像分割

在金相图像的分析过程中，图像增强仅仅是一个初步的处理。为了进一步分析，需要将待分析图像从整个图像或背景中分离出来。对金相图像合理、有效及准确的分割是决定金相分析的前提条件和关键因素。作为常用的图像处理技术，图像分割常用的方法有：阀值分割、边缘提取、聚类分析、区域生长、分水岭变化等。多年来，研究者们在图像分割方面进行了大量研究，提出了多种算法。

图1 小孔噪声与去除的效果图

Mebatsion H K等[13]用基于傅里叶分析算法对粘连的谷粒进行了有效分割。Lu B等[14]用水平集方法实现了对晶界的自动识别和图像分割。肖春霞等[15]用水平集方法实现了对纹理图像的有效分割，获得了纹理目标区域及其光滑的边界。Obara B等[16]利用图像颜色系统变换实现了对粘连岩石颗粒的分割，得到了较连续、光滑的颗粒边界。汤力琨等[12]研究了基于数学形态学的目标形状近似分割算法，采用分水岭和凹点检测算法对目标进行分割，具有一定的有效性。邓仕超等[6]应用Canny算法和灰度等高线提取金相组织封闭边缘，获得了单像素宽边缘，边缘的定位较准确。张俊华等[17]用图切分算法实现了对颈部淋巴结的超声图像的有效分割。在金相图像的分割方法中，较常用的方法是基于数学形态学图像处理方法。该方法抗噪性能更强，获取的边界更加准确连续和光滑。因而在金相图像分割方面具有明显的优势。Tolosa S C等[18]用随机分水岭方法实现了对核燃料芯块晶粒的有效分割。袁天云等[19]用基于数学形态学的水域生长方法实现了对粘连的近似圆形目标的自动分割。李新城等[20]用基于数学形态学分水岭算法对粘连晶粒进行分割。刘双科等[21]将数学形态学算子与微分梯度算子相结合，实现了对晶粒的提取与标识。

由于不同种类的图像具有不同的图像特征，目前还没有一个通用的分割算法适合所有的图像，所以图像分割的新算法、新思路还在不断涌现。从近年来图像分割的研究文献发现，与其它特定理论相结合来改进分割法的研究成为目前的热点和发展方向，这些理论有：小波变换理论、遗传理论、数学形态学理论、模糊理论、神经网络理论、粒子群算法等。对于一个实际应用选择合适的分割方法是一个十分麻烦的问题，由于缺少通用的理论指导，分割常常需要进行反复试验。张红旗等[22]在12Cr1MoV钢金相组织分析中，比较了不同分割算法。并结合二维直方图和模糊聚类分割算法的特点，提出了将改进的自适应遗传算法与基于二维统计信息的FCM算法相结合的图像分割方法，增加了遗传算法中种群的多样性，进一步改善了分割效果,如图2所示。图2中(a)为原始金相组织。

图2 12Cr1MoV钢金相组织图像不同算法分割结果

1.3 金相图像晶界重建

对金相图像进行分割，提取边缘后，图像的晶界常有模糊或断裂的地方，把这些晶界重新连接起来，就是晶界重建。晶界重建和图像分割是相关联的。建立有效的晶界重建算法是进行金相分析的前提，一直是金相图像分析的研究热点。蒋明星等[23]基于改进的膨胀运算的多尺度测地膨胀算法对金相图像进行了晶界恢复和重建。该算法所获取的晶界线更加准确、清晰、完整、连续和光滑，过分割和欠分割现象更少，如图3所示。张轶琼等[24]利用模糊理论来判别和跟踪边界，研究了基于模糊边缘检测的晶界重建算法。通过与传统的Sobel 等传统边缘检测算法比较可知，该算法得出了更好的晶界提取结果。王建萍等[25]利用启发式搜索和曲线拟合的方法进行了断裂晶界的重建，这两种方法都获得了较理想的晶界重建结果。

图3 金相图像晶界恢复与重建(箭头所指处为原始图像中模糊或断裂的晶界)

1.4 金相组织特征参数提取

金相组织特征参数的准确提取是正确分析与识别组织的基础条件。通常描述金相显微组织特征的参数有晶粒或组织的灰度值、大小、显微组织形状等。近年来部分研究者把分形维数也作为金相显微组织的重要特征参数，其中灰度值直接根据晶粒或者组织区域的灰度值决定。

1)面积特征参数的测量

晶粒或组织的大小可以用面积来表示，计算晶粒面积时首先根据图像分割和晶界重建的结果提取出金属目标晶粒，进行二值化处理，二值图像中晶粒的面积实际上就是图像中连通像素的个数，也就是晶粒区域边界内包含像素点的数目，即将某一晶粒的所有像素点数相加，便可得到晶粒的实际面积。

2)形状因子特征参数的测量

在进行金相组织的研究时，除了极少数的组织外，通常是不同相或者形状不同，形状因子成为不同组织的重要特征参数。目前描述组织形状因子的特征参数还没有确切的表达式，也无统一的规定。

3)分形维数特征参数的测量

分形作为近十几年发展起来的一门新的数学理论，其研究对象是不规则的但又具有自相似性的图形。晶粒和金相组织明显具有不规则性，从金相上观察到的组织是具有不规则性与自相似性的图形，因此从理论上说，金相组织可用分形维数来定量描述[26]。

目前有多种方式计算自相似和自仿射分形的分形维数，例如小岛法、垂直剖面法、盒维数法、功率谱法和二次电镜扫描法等[27,28]。现已有三种不同的方法被证明可以用来很好地描述金相组织中的不同对象。“小岛法”可以用于晶粒度、珠光体球化等级的评定，“海岸线法”求出的谢氏分维可用于相分布的描述；“计盒维数法”可以描述离散分布的点状、线状对象[29]。研究表明，基于Fourier变换的功率谱方法,由于要求的数据量相对较多，并且当分维值较小时测得的分维值偏高，当分维值较高时测得的分维值偏低，此外在功率谱方法中回归区段的选择也有一定的任意性，加上SEM 测量的图像点数的限制，不适用于金相组织分形维数的测量[30]。文献[31]利用“小岛法”计算了几种不同金相组织的分形维数，并利用所得的分形维数进行了组织的识别，取得了一定的效果。

1.5 图像识别

金相分析人员对金相组织的识别和分类主要是根据各种组织的灰度分布特征、几何形态特征等进行的，是一种基于特征分析的决策过程。利用计算机对金相组织进行自动识别时，也是模拟上述人类思维的决策过程。

计算机图像识别是以目标图像的主要特征为基础的。需要被识别的图像目标，都有相应的特征，同时，不需要被识别的图像其他区域也可能包含不少与待识别目标类似的特征。因此，在图像识别过程中，知觉机制必须排除输入的多余信息，抽出关键的信息，而且必定需要一个负责整合信息的机制，它能把分阶段获得的信息整理成一个完整的知觉映象。为了编制模拟人类图像识别活动的计算机程序，人们提出了不同的图像识别模型，例如模板匹配模型，这种模型认为，识别某个图像目标，必须在过去的经验中总结这个图像目标的记忆模式，又叫模板，如果当前获取特征模板能与原来的特征模板相匹配，这个图像也就被识别了。

原始图像的数据量是相当大的，而且很多与识别无关，因此需要有一个特征提取的过程，需要把这些数据转换为若干个特征。为了提高分类处理的速度和精度，对提取的特征还必需选择最有代表性的特征，其信息冗余度最小，而且希望提取的特征能表征目标图像和非目标图像的差异性。在图像识别中，常用的特征包括：

1)图像的幅值特征：像素灰度、RGB值、频谱等图像基本特征。

2)图像统计特征：灰度直方图、统计性特征(均值、方差和熵等)、描述像素相关性的统计特征(自相关系数、协方差等)。

3)图像的几何特征：面积、周长、面积率、类直线的斜率、曲线的曲率、凹凸性等。

4)图像变换系数特征：傅里叶变换、K．L变换等。此外，纹理、位置的相对性等，也是常用的特征。

图像识别的最后一步就是决策分类，也就是找出决策函数(边界函数)。关于决策函数的产生，当已知待识别模式的完整的经验知识时，则可据此确定决策函数的数学表达式一般采用各种距离函数作为特征的相似性度量，如欧氏距离、马氏距离等。如果仅知待识别模式的定性知识，则在确定决策函数的过程中，需要通过反复学习(训练)、调整，以获得满意的决策函数表达式，从而作为决策分类的依据。

确定决策函数的过程学习和训练过程，使之产生很多不同的图像识别理论和方法，这些理论和方法主要有：

1)统计模式识别：模式以特征向量描述，以概率统计理论为基础的，找出决策函数进行模式决策分类，不同的决策函数产生了不同的模式分类方法。目前主要的统计模式识别方法有很多：如董立岩等[32]采用贝叶斯决策理论用于尿沉渣图像分割，张问银等[33]采用支持向量机进行CD4细胞的识别等。

2)句法(或结构)模式识别：该类识别方法利用形式语言理论完善和坚实的数学基础，用句法分析的方法来实现结构模式识别问题的求解。如颜云辉等[34]采用了句法模式对金属断口图像进行识别和分类。

3)模糊模式识别：该类识别算法是对传统模式识别方法即统计方法和句法方法的有用补充。它的理论基础是模糊数学，在模式识别中引入模糊数学方法，用模糊技术来设计机器识别系统，可简化识别系统的结构，更广泛、更深入地模拟人脑的思维过程，从而对客观事物进行更为有效的分类与识别。目前模糊模式识别的主要方法有：最大隶属原则识别法、接近原则识别法和模糊聚类分析法。把模糊模式识别应用在显微图像识别上也有不少应用的例子：如王凯等[35]应用在对尿辖内图像中的细胞进行自动识别和分类，张果等[36]应用在储粮微生物菌落的显微图像的判别上，程迪祥等[37]应用在重叠双核淋巴细胞的识别上。

4)神经网络模式识别：神经网络具有信息分布式存储、大规模自适应并行处理、高度的容错性等优点，特别是其学习能力和容错性对不确定的模式识别具有独到之处。主要有前馈神经网络、反向传播算法(BP)和径向基函数网络等。应用神经网络进行识别的例子也很多：有冯强等[38]采用基于细胞神经网络(CNN)的算法识别骨髓切片有核细胞边缘，刘芳等[39]采用人工神经网络根据显微组织对铝合金形变进行预测，郭晓敏等[40]采用基于概率神经网络的分类器对寄生虫卵的显微图像进行识别，王洪元等[41]采用柔性BP神经网络对腹水显微图像进行脱落癌细胞的识别等。

图像识别的重点和难点在于如何有效的提取合适的目标图像特征，然后根据正确的决策分类法则对特征进行模式匹配，形成决策结果。如果已经有待识别模式，可以直接采用模式匹配可以达到识别的目的；如果仅有待识别模式的定性知识，也就是不知道哪些目标特征是具有决定意义的差异性特征，就需要采用基于学习和训练过程的模式识别算法产生可用的识别模式，其过程就是通过训练和学习总结出具有决定意义的差异性特征用于模式匹配。由于跟中模板产生和匹配方式都有各自的特点和使用范围，因此如何采用合适的方式产生所需的匹配模板是图像识别的重点，合理且高效的学习和训练模式更是图像识别的难点。

2 石油管材金相智能分析系统设计

使用金相显微镜来观察、检验及分析石油管材内部的组织结构，是保障管材质量、提高管材性能的重要手段。传统的金相分析方法包括金相试样的制备、显微镜下观察、图片获取、人工组织分析与识别等过程。石油管材金相智能分析技术则是需建立在金属热处理、数字图像处理、特征提取、模式识别与人工智能、数据库管理技术的基础上，借助于计算机软硬件构成的一个智能分析系统。该系统应具备图像采集、图像预处理、图像边缘分割、特征匹配识别、石油管材金相数字图谱管理等。石油管材金相数字图库应包括大部分石油管材金相组织，如：油气输送管、油套管及钻具、耐蚀合金用管材等；针对管材失效分析，可以添加管材典型裂纹金相图；针对管材质量检验，该系统还应具备金相智能测定评级功能，如非金属夹杂物测定、晶粒度评级(比较法、截距法)、带状组织评级(比较法、ASTM E1268)及相面积含量测定等。图4是石油管材金相智能分析技术系统的基本结构图。

图4 石油管材金相智能分析系统的基本构成

3 存在的问题及研究展望

数字图像处理与识别技术的快速发展为金相分析开辟了新的途径，同时存在诸多不足，主要体现在以下一些方面：

1)国内外学者提出了多种图像处理方法，但没有一种通用的方法可以对所有金相组织进行处理。因此，对于不同的组织类型，所使用的图像处理方法需要不断尝试和完善。

2)由于合金组织的空间形貌十分复杂，在体视学理论上除了一些简单规则形状的组织(如球形、立方体等)可以进行定量金相测量和计算外，其他形状较复杂的组织形貌(如多边铁素体、回火索氏体等)，很难找到简单而准确的特征参数来描述。此外，金相组织的形状对其成分和处理工艺十分敏感，无法得到形状完全规则和均一的合金组织，组织形状的千变万化给金相图像的处理和识别带来极大的挑战。

3)目前图像识别的理论和技术成功应用在智能交通、生物特征识别、航空航天等领域，模糊逻辑、遗传算法、神经网络等新的智能计算方法不断涌现和完善，但各种方法各有不同，各具特点，适合于解决不同类型的问题，或者某一类型某一方面的问题，由于金相组织的复杂性和极强的学科交叉性，是多个智能子问题的组合，目前的研究仅仅依靠单一智能技术对其进行识别难度极大。

针对目前存在的问题，石油管材金相图像智能分析技术可以在以下方面展开进一步研究：

1)针对石油管材金相组织特点，研究不同产品与不同钢级的金相图像改进算法，对金相图像进行预处理，通过降噪处理、增加图像的对比度、改善图像的视觉效果，使图像变得轮廓清晰、特征明确，为实现图像识别与晶粒度评级提供良好的源图像。

2)引入和完善图像处理的新理论和新算法进行复杂金相图像的研究，如遗传算法、神经网络算法、小波变换算法等。同时不断研究适用于金相图像分析和几何参数求解的新算法，如数学形态学、分形几何等。最终形成适合石油管材不同产品与不同钢级的金相图像分割方法，改善分割效果。

3)构建具有混合智能技术的金相图像智能识别系统。由于各个智能方法适合于解决不同类型问题，利用混合式的智能方法解决金相图像分析这一综合问题将是可行的途径。

4 总 结

从图像预处理、图像分割、晶界重建、金相组织特征参数提取及图像识别等介绍了金相图像智能分析关键技术；分析了金相组织图像处理需要不断尝试和完善、金相组织特征参数难以提取，依靠单一识别理论识别难度较大等技术问题；同时对石油管材金相智能分析系统进行了设计及研究展望。金相图像的智能分析技术是一个尚未成熟的研究领域，随着图像处理和模式识别等信息技术的飞速发展，金相智能分析系统势必将逐步完善，促进现代石油管材检测技术的发展。