基于透射电子显微镜的纳米颗粒图像识别研究综述

2

(1.华中科技大学 人工智能与自动化学院， 湖北 武汉 430074; 2.广州大学 计算科技研究院， 广东 广州 510006)

纳米颗粒是指粒度在1～100 nm之间的超细微粒，常见于材料科学、环境科学和医学中.由于其尺寸很小，比表面积增大，产生了一系列新的特性，如化学活性增强、吸附能力增大等.正是由于这些新特性，使其在新材料、新能源等方面表现出许多独特且优良的性能，因而具有非常广阔的应用前景.

纳米颗粒的形态特征是影响材料性能的关键性因素之一，如何检测和评价纳米颗粒形态信息成为纳米材料制备和应用等方面首要解决的问题[1].目前，研究人员主要通过透射电子显微镜(TEM)来获取纳米颗粒的图像，因为它能直接提供颗粒的几何形状与分布信息.在之前的研究中，人们大都通过手工的方法机械地从图像中分析纳米颗粒，这个过程十分的繁琐，耗费大量人力物力.最近几年，研究人员相继应用数字图像处理的方法自动地识别纳米颗粒，分析其形态与分布信息.

图像处理是将图像信号转换为数字信号，并借助计算机编程技术对其进行加工处理以获取想要的信息的过程，主要包括图像预处理、图像分割、特征提取、目标识别等.在纳米颗粒图像上应用图像处理的方法能取代传统的人工方法，自动的从图像中识别目标，提取有用信息，具有准确性、实时性、快速性等特点.国内外的学者在该领域做了一定的研究工作，研究内容主要集中在纳米颗粒图像的预处理、颗粒分割与识别、纳米颗粒图像参数测量等3个方面，本文也将从这3个方面介绍其目前的研究现状，并结合发展趋势做出展望.

1 纳米颗粒图像预处理

图像预处理是在一系列后处理之前通过一定的手段改善图像质量的过程，其目的是消除图像中无关的信息，增强有关信息的可检测性并尽可能的简化数据，从而有助于提高后续的图像分割、特征抽取、匹配和识别的可靠性.图像预处理几乎是所有数字图像处理过程中的必备环节，针对不同的图像也有不同的要求.对于TEM纳米颗粒图像，主要需解决问题的是图像滤波和背景分割.

1.1 纳米颗粒图像滤波

TEM图像会被一些随机波动破坏，这些波动通常在图像获取或传输期间出现[2].这些显微镜成像的噪声通常表现为脉冲噪声，破坏了TEM图像的质量[3].因此，去除图像中的噪声是图像处理中最重要的任务之一.传统上，有两种滤波模型，即线性模型和非线性模型.线性模型不能有效地消除脉冲噪声，因为它们更容易模糊图像的边缘.而与线性模型相比，非线性模型在滤波过程中对边缘具有更好的保留性.因此，在很多研究中，纳米颗粒图像滤波多采用非线性模型.

2012年,Hushwaha等[4]描述和比较了几种不同类型滤波器的使用，即均值滤波器、中值滤波器和维纳滤波器，用于滤除纳米材料TEM图像中存在的放大器噪声.他们用一些放大器噪声N(I=C+N，其中，C是镉硫化物纳米粒子的原始图像，N是高斯噪声)来仿真使用不同的滤波器对降级的图像进行去噪.其结果表明维纳滤波器的性能优于平均滤波器和中值滤波器，通过维纳滤波器滤波的图像中的平均粒度计算更加准确.2015年,文献[5]使用低通滤波器和维纳滤波器对TEM图像进行去噪.研究结果表明，所开发的非线性滤波算法能够有效地减少噪声，而不会出现明显的伪影，背景和缺陷的变化形成对比.2017年，Mirzaei等[6]提出一种改进的中值滤波方法，基于以下算法，图像的每个像素被其相邻像素的中值替换：①遍历图像中的每个像素；②选择2个像素的所有8个方向的相邻像素；③根据其强度按顺序对所选像素进行排序；④将中值替换为像素的原始值.在滤波之后，加入了边缘锐化处理，显著改善了图像质量.

1.2 纳米颗粒图像背景分割

在研究纳米颗粒图像时，将背景分割也归为预处理的一部分，因为聚集在一起的纳米颗粒才是研究的目标，其余部分则为背景，在进行后续处理之前，必须首先提取出感兴趣的部分.背景分割的目的就是将颗粒聚集体从背景中分割出来，这是纳米颗粒识别的基础和关键.在表现形式上，纳米颗粒聚集体与背景之间存在厚度差异，具有不同的颜色灰度水平，背景分割就是基于这一灰度差异进行的.

2012年,Grishin等[7]使用基于OTSU算法的自动阈值来单独提取每个图像的阈值.该方法通过遍历计算不同阈值下分割结果中前景区域和背景区域的灰度直方图，然后比较两者之间的方差，方差最大化的那个灰度阈值即为所求二值化阈值.与其他流行技术相比，OTSU阈值方法的选择具有更高的效率.2016年,吕镜潺[8]在对原始图片进行阈值分割之后，采用中值滤波算法，去除了杂质颗粒，取得了较为满意的效果.同样在2016年,Benitez等[9]在对纳米粒子图像分析过程中，利用矩保持原理进行自动阈值选择，以确保输入的图像矩保留在输出图像中.这种方法能确定性地计算全局阈值，很好的分割出前景与背景.

纳米颗粒图像预处理看似简单，然则获取的图像一般噪声多样、背景复杂，需要针对具体的图像做具体的分析，找出最佳的处理方案.

2 纳米颗粒图像粒子检测

纳米颗粒的粒子检测，其实质是将图像中堆叠聚集在一起的纳米颗粒分割出来.大家知道，所获得的TEM纳米图像经常出现颗粒粘连甚至团聚的现象，这导致颗粒边缘异常混杂，难以分割，而对粘连颗粒的分割效果将直接影响后续纳米颗粒的参数统计.目前，国内外学者对粘连目标分割的研究取得了一定的进展[10-12]，在细胞分割、矿物颗粒分割、粉尘分割等领域均达到了较好的效果.随着纳米科学的发展，纳米颗粒图像粒子检测显得尤为重要，一些学者在该领域已经做出了一定的成果，检测方法主要集中在霍夫圆检测和分水岭分割.

2.1 基于边缘信息的检测

图像边缘蕴涵了大量的图像信息，边缘检测的主要任务就是利用目标之间以及目标与背景之间的灰度差异，将边界线提取出来，边缘越清晰，越有利于颗粒的分割.在图像处理领域，边缘检测是图像识别和分析的基础.它能确定目标位置，确定轮廓信息，保留图像中重要的目标结构特征.在边缘检测后，一般紧接着检测边缘形状，以确定目标颗粒的位置.由于纳米颗粒一般以类圆形的状态呈现，所以很多学者都采用霍夫圆检测算子.

为了检测出纳米粒子，2014年,刘冕[13]利用基于数学形态学的边缘检测方法，用改进的形态学尺度算子提取木粉颗粒的边缘信息.该算子主要利用膨胀、腐蚀、开闭运算等4个基本操作，可以很好地保留图像细节的边缘.经过与多种边缘检测算子的对比实验，该算法能检测出更多的边缘细节，而且有很强的抗噪性.2015年，Sanghoon等[14]将聚集的边缘识别为像素链，同时边缘被矢量化以便将粒子的边界存储为二维曲线片段，最后用霍夫变换识别图像中的圆形颗粒.

原始霍夫变换依赖于曲线方程的参数化描述，以及参数空间的统计分析.参数空间的维数等于曲线参数的数量，其参数的估计通过投票法获得.然而霍夫变换计算复杂度和存储成本都很高，不适用于高分辨率图像的处理.为了克服这个问题，有人提出了修改后的霍夫变换算法.修改后的算法寻找主要粒子粘在一起的点，并将其作为参数空间搜索中的限制条件，减少了计算的时间和存储器成本.一些学者基于改进的霍夫变化对纳米颗粒进行检测，并达到了较好的效果.例如，2016年，Mirzaei等[6]为了提高纳米粒子在TEM图像中的灵敏度和特异性，开发了将区域操作与改进的圆形霍夫变换(CHT)耦合的图像处理算法，准确地检测出了纳米颗粒图像中的目标颗粒.

2.2 基于区域信息的检测

上一节提到的基于边缘信息的颗粒检测很多都用到形状检测算子霍夫圆变换，然而很多纳米颗粒图像边缘并非规则的圆形，因此，会出现很多漏检的情况.而基于区域的检测则不用考虑聚集颗粒的形状，可检测出任意尺寸和形状的粒子.区域信息指的是一定像素范围内的灰度值，一般而言，同一个颗粒内部像素灰度接近，而颗粒与颗粒之间，以及颗粒与边界之间会出现一定的灰度差，可以利用这个特点，分割出单个的粒子.

2018年，魏本征等[15]设计了一种基于局部特征约束的图像分割算法.该方法首先构建图像的超像素结构表示，然后利用马尔可夫随机场模型(MRF)提取超像素的局部空间信息，最后进行模型优化，合并超像素得到分割结果.超像素区别于以往的像素级特征，它能很好地描述像素区域块的信息，具有良好的特征不变性和鲁棒性，而MRF的引入可以弥补超像素邻域信息约束不足的问题.

另外，还有一些学者利用分水岭算法分割纳米聚集体颗粒[8,16-17].他们在处理粘连纳米颗粒分割问题的时候，采用分水岭分割与区域融合的方法，准确的将纳米颗粒分割开来.分水岭算法将对图像的分析转换为对地形的分析，灰度值的大小对应着地形的高低，分水岭分割的目标是找到分水线也就是区域目标的边缘.分割后根据边界相似性和区域相似性准则对各个小的区域进行合并，对比实验表明分割效果较好.

3 纳米颗粒图像参数测量

笔者获得的TEM纳米颗粒图像多来自气溶胶等碳烟凝聚体，它们一般数量庞大，形态多样，人们常用分形维数来描述分形凝聚体形态特征.分形维数的优点在于它能定量描述任意形态凝聚体的开阔程度或分支程度，是决定凝聚体密度、光学特性、分散方式以及进一步增长的动力学特征的重要参数.分形维数的意思就是线性大小与体积大小之间的关系，在纳米科学中存在这样一个关系式[7]：

(1)

其中，D表示分形维数，N是聚集体中的基本粒子数，Rg是聚集体的回转半径，dp是基本粒子的平均粒径，k为常数.因此，要求出分形维数来分析聚集粒子的性质，N、Rg、dp都是必求的参数.本节主要内容就是研究基于图像的纳米颗粒参数测量方法，已经有学者在这方面做出了一些研究.

3.1 传统方法

针对此类问题，目前主流的方法都是在图像预处理和粒子检测的基础上做出基于像素级的定量计算.

2008年，Glotov[18]计算表征聚合体结构和形态的一系列参数，包括单个聚合体的分形维数和一组聚合体的平均维数.他们首先标注出初级粒子的小圆圈，然后构建表示所有小球及其中心的一组直径和坐标的数字模型.聚合体的回转半径，用聚合体长度L和宽度W的几何平均值的一半代替.2013年，Kondo等[19]通过代替烟灰聚集体和初级颗粒的横截面来计算聚集体中的初级颗粒数N.烟灰颗粒的分形维数是从Rg/Dp和N的对数图中最小二乘回归拟合得到的，同时使用基于像素二值化TEM图像上的每个烟灰颗粒的投影形状，计算烟灰聚集体的回转半径Rg.2014年,聂鹏等[20]基于分性学模型设计一种碳纳米管长度分布和分布均匀性的定量评价方法.在得到预处理过的碳纳米管溶液TEM 图像后，提取不同步长内所有元素的和，以对数坐标系中的直线的斜率作为碳纳米管长度分布参数，来描述碳纳米管在溶液中的分散状态；以选定点为圆心做圆，提取不同半径圆内的纳米管数量，同样在对数坐标系中以拟合直线斜率的倒数作为分散均匀性参数.2017年,Mirzaei等[6]在霍夫变换检测出类圆形颗粒后，获得了很多不规则形状，它们的颗粒尺寸不能直接定义，因此，将面积转换为等效的球形直径，或分成两个球形颗粒，转换颗粒的大部分区域.由于高质量统计分析需要大量纳米颗粒，因此，当使用上述算法进行分析时，更加便利.最后，用粒径直方图展示出聚集体颗粒的分布模型，这是纳米粒子分布表征的最常见的描述性统计指标.

3.2 新方法与展望

前面提到的方法对于纳米粒子检测与参数测量虽然有一定的效果，但当纳米粒子数量过于庞大时就会出现堆叠严重、边缘混杂的情况，这时传统的图像处理方法将无能为力.而在图像领域，与之类似的应用也有很多[21-25]，如细胞检测、农作物估计、微生物统计和人群计数等，这些大都通过深度神经网络(DNN)来提取图像特征[26]，检测目标，并且达到了很高的精确度.

随着计算机技术的发展，深度神经网络越来越多的应用于图像识别和目标检测中，它以其强大的特征提取和非线性拟合能力，在各个领域均实现了很好的效果，并在很多方面超过了传统的方法.因此，在纳米粒子检测领域，一些学者也逐渐开始引入深度神经网络算法.

文献[27]实现和验证了一种基于人工神经网络在透射电子显微镜图像上分析附聚物的一次粒度分布的全自动新方法, 所提出的方法在某些情况下甚至能够胜过霍夫变换和分水岭变换等传统方法.文献[28]提出了一种用于检测透射电子显微镜(TEM)图像中病毒颗粒的新计算方法.他们使用卷积神经网络将TEM图像转换为概率图，该图表指示图像中存在病毒颗粒的位置，经与几种现有检测方法进行比较，证明了所开发的病毒检测方法具有很好的性能.

然而，尽管神经网络功能强大，但仍存在理论尚不成熟、所需训练样本多、训练复杂、计算量大等问题，制约着其在目标检测中的应用发展，而这些正是今后所要解决的研究难点.不过笔者相信，随着科技的不断发展，技术难点将会被一一攻破，在纳米粒子检测领域，将会越来越多的出现深度神经网络的身影.

4 结束语

本文从纳米粒子图像预处理、粒子检测与参数测量等方面，对近年来国内外专家学者在纳米颗粒图像识别领域所做的研究做了一个全面的综述.不难看出，该领域出现了一些优秀的研究成果，然而也存在需要改进和完善的地方.

纵观几年来纳米粒子图像识别领域的研究，可以得出以下几点总结和预测：①随着纳米材料在生物化学、机械制造、电子与计算机科学等学科的广泛应用，纳米科学领域的研究将是未来多学科交叉研究的热点，基于图像处理的纳米粒子识别具有广阔的应用前景；②在该领域的每个方面文献都较少，尤其是粒子分割，很多研究都只针对特定的对象，不具通用性，原因是许多纳米粒子图像团聚严重，边界混杂，这也是将来要重点解决的难题；③人工智能领域的深度神经网络是趋势，随着需求的增多，数据量将大幅增加，这也给深度学习的应用带来了便利.

总之，利用图像处理技术自动地处理纳米粒子图像，可以更好地帮助研究人员对纳米粒子特性进行分析，对纳米技术的发展具有重要意义.