基于条件生成式对抗网络的AFM图像盲重构方法

胡佳成，颜迪新，曹 丛，施玉书，张 树，李东升

(1. 中国计量大学,浙江 杭州 310018；2. 山东省计量科学研究院,山东 济南 250014；3. 中国计量科学研究院,北京 100029)

1 引 言

原子力显微镜(atomic force microscope, AFM)，通常可以在横向和纵向上提供非常高的分辨率，由于AFM探针的有限尺寸，AFM所测量图像通常与真实样本不同。探针尺寸对被测图像的影响不仅会使被测图像失真，而且还会降低被测图像的分辨率。虽然可以采用制造尖锐扫描探针的技术，但由于其形状规则、硬度高，通常使用较大尺寸的探针。在亚微米尺度的测量中，样品尺寸比原子尺寸大。在这些情况下，扫描探针可以被认为是一个点去接触样本，因为探针和样本之间的小间隙可以忽略。基于这个假设，可以从被测图像中提取真实表面，但在大多数情况下是“不适定”的，因为它是强非线性的[1,2]。

1994年，Villarrubia J S[3]提出了扫描尖锐变化参考表面和采用盲重构算法建立探针针尖模型的方法来重构AFM图像，盲重构法的优点是可以在不确定样品真实表面轮廓的情况下，通过扫描参考表面来估计探针，进而利用得到的探针针尖模型来重构图像。1995年，Wang等[4]提出了训练神经网络在AFM图像和真实样品表面之间建立非线性映射，以此来恢复AFM中非理想针尖的展宽效应失真，但该法需要已知探针针尖形貌的情况下，通过AFM图像重构样本真实表面来生成训练集。目前获取探针针尖形貌的方法主要有采用SEM/TEM、利用探针表征结构(Tip-C)以及盲重构。其中扫描电子显微镜(scanning electron microscope,SEM)和透射电子显微镜(transmission electron microscope,TEM)是两种非原位针尖形貌成像技术，但是其本身操作(特别是TEM)复杂且费时。另外对于针尖的成像而言，这种类型的方法需要将使用过的探针在AFM仪器和SEM/TEM仪器之间进行转换，而且这种操作无法确定在传递过程中针尖是否受到污染或损坏。盲重构现以其不需要标定探针表征样品的形貌，仅从AFM图像中重建针尖形貌的优点，已作为一种非官方标准而广泛应用，但是这种方法本身更适于评估针尖在成像过程中的衰退状态，并不适用于表征真实针尖形状[5]。

本文提出了一种基于条件生成式对抗网络(conditional generative adversarial network, CGAN)AFM图像盲重构方法，采用pix2pixHD模型的生成网络和判别网络通过仿真样本数据以对抗训练机制进行迭代优化，并在该法中导入一维矩形光栅测量图像联合训练，得到模型实现了AFM图像的盲重构[6]。实验结果符合预期，且不需要重构探针针尖形貌，该方法可以移植到仪器中用于修正AFM成像。

2 理论原理

2.1 CGAN原理

相比其它生成式模型，生成式对抗网络(GAN)得到众多研究者的关注,它由生成网络G和判别网络D构成。其中G主要的目的是学习真实样本的数据样本的分布，然后生成新的样本。D的目标是最大程度的区分真实样本和伪样本即G生成的样本，其使用公式[7]表示为

(1)

式中：Ex～Pdata代表判别网络模型；Ex～PG代表生成网络模型；Pdata代表真实的样本；PG代表生成网络生成的样本，含义为当生成网络G固定时，寻找一个判别网络可以最大程度的区分生成样本和真实的样本。生成网络的目标是让本身生成的样本更加接近真实样本让判别网络鉴别不出本身的样本为假。公式可表达为

(2)

故对抗网络的优化问题即为一个极小极大的博弈问题。

GAN是一个无监督生成式模型，不需要预先建模，但对于单个AFM图像较多像素的情形，生成网络G基于深度神经网络(deep neural networks,DNN)忽略了AFM探针针尖对于图像的展宽效应所导致的局部相关性信息，且在最优判别网络下生成网络的损失函数是KL散度，容易导致训练过程不收敛[8]。

条件生成式对抗网络(CGAN)是对GAN的一个扩展，以在生成网络和判别网络都增加额外信息y为条件，y在AFM图像去卷积重构中为探针针尖形貌。CGAN结构如图1所示。

图1 CGAN结构Fig.1 Structure of CGAN

生成网络G的输入为样本真实表面信息z和探针信息y，并生成伪样本G(z|y)导入判别网络D，通过将真实测量样本信息x和条件探针信息y作为D输入层的一部分，从而实现CGAN，其表达式[9]为

(3)

受限于探针信息的获取，本文采用pix2pix模型,其结构如图2所示。

图2 pix2pix结构Fig.2 Structure of pix2pix

pix2pix的输入为配对样本数据(x,y)，利用CGAN实现了AFM针尖展宽效应特征向量迁移的任务，将AFM测量样本x继续导入，与栅格真实样本y以及伪样本联合作为判别网络的输入，表达式[10]为

(4)

式中：LCGAN(G,D)代表模型损失函数；λ代表特征匹配函数权重参数；LL1(G)代表L1范数正则化项。

2.2 AFM探针扫描栅格原理

基于pix2pix的AFM图像去卷积盲重构开启新的思路和方法，也在应用上增加了要求。此外，模型的学习需要大量训练样本，而现有的AFM图像相关的数据集难以满足需求。Modarres M H等[11]对大约20 000张SEM图像进行人工标注，完成首个真正意义上的SEM图像数据集，涵盖一维纳米线和纤维，二维薄膜和涂层表面，以及三维图形表面，但只有类别标签，没有配对的真实参考图像，不能用于网络训练。此类数据集都是针对图像检索工作制作，数据集中的真实图像通常带有大量复杂内容，图像主体不够突出，因此也不适宜用作网络的训练样本。

图3为针尖扫描被测样品表面示意图。

AFM探针扫描样品表面的成像过程可用式(5)描述[12]，

I=S⊕P

(5)

式中：I表示扫描结果的图像；S表示被测样品表面形貌；P表示探针针尖轮廓的映像；⊕表示膨胀运算。

图3中在AFM扫描成像中，由于探针针尖为非理想针尖，其具有展宽效应等因素，导致扫描图像失真。从数学形态学角度看，可以认为真实图像失真是受到了探针针尖形貌卷积的作用,因而不能反映样品表面的真实形貌。图像重构的过程在数学形态学中可表示为[13]：

图3 针尖扫描被测样品表面示意图Fig.3 Diagram of the surface of the sample scanned by the tip

S′=I⊖P

(6)

式中:S′为样品表面重构图像;⊖为腐蚀运算。

由式(6)可知，I为已知的AFM扫描图像，要想得到重构图像，就需要知道探针针尖的形貌轮廓P。本文通过预设定探针针尖模型，利用膨胀运算获得仿真样本数据用于对抗训练。

3 基于CGAN的AFM图像盲重构方法

本文提出的基于CGAN的AFM图像盲重构方法采用pix2pixHD模型利用全局生成网络对仿真样本数据预训练网络对抗训练生成低分辨率图片，并将低分辨率图片作为局部提升网络的输入，然后生成分辨率更高的图片。该模型采用多级生成网络G和多尺度判别网络D，并对pix2pix模型原有的损失函数上加入了针尖展宽效应特征匹配损失[14]。

3.1 生成网络

pix2pixHD生成网络结构如图4所示。

图4 pix2pixHD生成网络结构Fig.4 The structure of pix2pixHD generation network

该结构由G1和G2两部分组成，G1作为全局生成网络，G2作为局部提升网络，其中G2又被割裂成两个部分。G1网络采用U-Net结构，G2的左半部分提取AFM测量图像特征，并和G1的输出层的前一层特征进行相加融合信息，把融合后的信息送入G2的后半部分输出图像。

首先在AFM仿真样本上训练网络G1，G2接在G1的后面，在AFM测量图像上这两个网络进行联合训练，最终得到AFM重构图像。

G1结构如图5所示。

图5 G1结构Fig.5 The structure of G1

全局生成网络G1在 128×128分辨率的栅格图像上进行操作，局部提升网络G2输出一个为G1图片维度2倍的一张图。G1采用U-Net网络，由编码结构和解码结构组成，其中使用到了卷积层、池化层与转置卷积层。卷积层采用的卷积核为3×3大小，步幅为1，填充值为1，使得卷积后特征图尺寸大小不改变，激活函数采用ReLU函数，可以防止出现梯度消失的问题，同时加快网络的收敛。池化层采用步幅为2的2×2最大池化下采样，如此可以使输入的特征图尺寸减小一半。编码结构由两个卷积层和一个池化层交替应用。转置卷积层采用了一个特征谱的上采样，以及一个2×2卷积核使得特征数量通道减半。编码结构由一个转置卷积层和两个卷积层和重复应用。收缩路径作用是将图像尺寸缩小，扩张路径的作用是将图像还原为原尺寸[15]。

局部提升网络G2由3个部分组成：一个卷积前向到端部分，一系列的残差网络和一个反卷积后向到端部分。G2的输入标签图的分辨率是256×256，残差网络的输出是G2第一部分输出特征图和G1中最后一层特征图的对应元素之和，这有助于整合G1的全局信息到G2。

在训练期间，本文先按照测量图像的分辨率训练全局生成器和局部提升网络，然后联合所有的网络来进行精调。对于AFM图像盲重构，多级生成器的设计可以有效利用整体信息和局部信息。

3.2 判别网络

AFM高分辨率图像的盲重构，需要扩大判别网络的感受野，这将导致模型臃肿和过拟合的潜在因素，会占用大量GPU资源。本文为了解决这些问题，提出了多尺度判别网络。该网络对AFM测量图像和重构图像进行2倍和4倍的下采样来创造3个尺度判别网络：D1为原图，D2为原图的1/2下采样，D3为原图的1/4下采样。

其中，分辨力最大的判别网络的感受野为三者中最大，包含栅格测量图像全局视角信息；分辨力最小的判别网络监督训练生成网络以生成横向分辨力更高的栅格边缘信息，表达式[16]为

(7)

3.3 损失函数

本文基于多尺度判别网络结合一个特征匹配损失来提升pix2pixHD的损失公式。具体来说，该损失函数从G的多级层中提取针尖卷积效应特征，将生成的伪样本和输入的真实测量样本分别送入D中，然后除了输出层以外的所有层的特征图训练映射测量和重构图像中的特征向量，其特征匹配损失函数式[17]为

(8)

(9)

式中：si为AFM测量图像；xi为重构图像；T是总层数；Ni是每层的样本数量。

4 实验结果

实验平台是某省计量科学研究院的AFM测量系统。使用BRUKER公司的NanoScope V采用SNL-10型号针尖对一维矩形栅格进行测量，使用Stage Controller控制AFM悬臂的行走方向和速度。G1采用128×128分辨力的模拟一维矩形栅格图像(见图6)与探针模型通过膨胀运算得到仿真AFM成像图(见图7)作为训练集，在图6和图7中，子图(a)为模拟一维矩形栅格图像三维图,子图(b)为模拟一维矩形栅格图像高度图。G2则采用AFM测量系统对固定周期10 μm、线宽8 μm的一维矩形栅格测量图像作为输入，图像三维图和图像高度图分别如图8、图9所示。

图6 模拟栅格图像Fig.6 Diagram of simulate grid

图7 仿真AFM成像Fig.7 Diagram of simulated AFM imaging

图8 栅格测量图像三维图Fig.8 Three dimensional graph of grid measurement image

图9 栅格测量图像高度图Fig.9 Height graph of grid measurement image

pix2pixHD模型训练采用python3.67在tensor-flow-gpu1.10.0框架中实现，网络训练和测试使用英特尔Core i5-8400 2.80 GHz CPU，6G Geforce GTX 2060 GPU和16G RAM。G1数据集来源于膨胀运算得到仿真AFM成像图集合，对于每个图像条件，400幅模拟栅格样本图像以及相对应膨胀后的仿真AFM成像图。其中，320幅图像用于训练集，80幅图片用于测试集。G2训练集源自某省计量科学研究院AFM测量系统，对线宽8 μm、高度120 nm的一维矩形栅格扫描得到真实测量图像。训练集包括120幅AFM扫描图像，所有图像均采用研究所提供的标称值作为标注，最终得到的成像盲重构结果如图10所示[18]。

图10 栅格重构图像高度图Fig.10 Height graph of grid reconstruction image

对栅格测量图像以及重构图像进行轮廓探测后采用霍夫变换测得线宽值如表1所示，AFM测量图像线宽平均值为8.68 μm×8.56 μm，标准差为 0.72 μm×0.66 μm；本文所采用的pix2pixHD模型盲重构图像线宽为7.68 μm×7.64 μm，标准差为0.33 μm×0.45 μm，本方法模型相比于AFM测量值标准差降低了0.39 μm×0.21 μm，能更好的重构AFM一维矩形栅格图像，得到栅格边缘更多细节信息。

表1 栅格图像重构前后线宽值Tab.1 Line width before and after reconstruction of grid image μm

5 结 论

针对AFM对一维矩形栅格成像过程中针尖展宽效应的影响、AFM图像重构非线性的问题，本文提出一种基于条件生成式对抗网络的AFM图像盲重构方法，通过pix2pixHD模型多级生成网络，将仿真数据样本作为先验知识添加到对抗网络训练的数据集中，采用多尺度判别网络扩大感受野，对不同分辨率的AFM图像进行训练，实现了一维矩形栅格AFM图像去卷积盲重构，且具有较高的成像分辨率。实验表明：该方法可用于AFM图像栅格表面的去卷积重构，具有很强的灵活性，用于提高仪器准确度。

本文利用对抗网络实现从AFM测量图像到栅格真实表面的非线性映射，无需重构探针针尖形貌。此外，该方法使重构图像对测量噪声的灵敏度降低，这使得该法比传统方法具有更广泛的适用性，但其局限性在于模型训练中不能保证给定非线性函数为最佳逼近，AFM测量图像数据必须足够精细，以保留与针尖形状有关的特征。