基于改进的连续型深度信念网络的晶圆良率预测方法

许鸿伟,张 洁+,吕佑龙,郑 鹏

(1.东华大学 机械工程学院智能制造研究所，上海 201620；2.上海交通大学 机械与动力工程学院智能制造与信息工程研究所，上海 200240)

0 引言

我国集成电路产业发展迅速，现在已形成产品设计、芯片制造、电路封装共同发展的态势。晶圆良率是完成所有工艺步骤后测试合格的芯片的数量与整片晶圆上的有效芯片的比值[1]，由于集成电路产品生产投入大、损失代价高，提前预知晶圆生产的良率情况，对提升晶圆生产工艺、降低晶圆生产损失具有重要意义。

传统的晶圆良率预测方法主要考虑晶圆的缺陷来源、缺陷数目、缺陷聚集程度与良率之间的关系，如：Raghavachari等[2]从统计学的角度，通过对晶圆单位面积的平均缺陷数进行分析，建立基于泊松分布的良率预测方法，但该方法未考虑晶圆缺陷的群聚特性，对于不同批次生产的晶圆，模型适用性低；许文辉等[3]在统计模型的基础上，通过对晶格面积和缺陷密度信息进行分析，建立基于神经网络模型的缺陷识别与良率预测方法，但在面对多维输入变量时易出现梯度消失的情况，预测模型稳定性不足；刘亭宜等[4]在晶格面积基础上添加了缺陷数和缺陷群聚程度变量，建立基于广义回归神经网络(General Regression Neural Network,GRNN)模型的良率预测方法，该方法在添加了更多变量的同时，抑制了预测模型的学习能力。上述方法根据晶圆的缺陷信息，实现了晶圆良率的准确预测，但是由于没有考虑与良率直接相关的晶圆电性能情况，难以帮助晶圆加工工艺进行持续地改进。

近年来，更多文献集中于利用晶圆电性测试(Wafer Acceptance Test,WAT)参数替代缺陷来源、缺陷群聚特性等相关参数作为预测晶圆良率的输入参数，构建晶圆良率预测模型。由于WAT对象多、参数间关联性强，使得WAT参数的多重共线性突出，从而导致晶圆良率预测模型难以建立且预测准确性不足，因而在利用WAT参数对晶圆良率进行预测时，有学者通过研究提出了相应的解决方法，如：林瑞山等[5]提出利用WAT参数作为输入，构建基于反向传播神经网络(Back Propagation Neural Network, BPNN)的良率预测模型，该方法需要在原先几百维的WAT变量中挑选出几个用于模型输入的变量，输入变量的可靠性需要进一步确定；张秉裕等[6]在分析了WAT参数与晶圆良率之间相关性的基础上，筛选出影响晶圆良率的关键WAT参数，并提出了基于广义回归神经网络的晶圆良率预测模型，而该方法主要考虑单个变量与晶圆良率的相关性，对于多个组合变量对晶圆良率的相关性并未考虑；康盛[7]在对晶圆电性测试参数进行主成分分析的基础上，提出基于统计规律的多元分段晶圆良率预测模型，该方法利用特征离散化的分类方法进行良率预测，预测模型的准确性不足。以上方法实现了利用WAT参数进行多种晶圆产品的良率预测，但是在应对高维WAT输入变量时，输入变量之间多重共线性问题突出、输入变量与输出量之间映射关系难以准确建立，且模型易受输入噪声影响[8]，难以获得较高的预测准确率。因此，在这种高维数据且变量间具有复杂关联关系的约束条件下，亟需建立具有可靠精度与准确率的良率预测模型。

针对晶圆良率预测问题中WAT参数之间的多重共线性问题、WAT参数与晶圆良率之间的复杂非线性映射关系问题，本文提出基于改进的连续型深度信念网络(Improved Continuous Deep Belief Network, ICDBN)的晶圆良率预测模型。首先进行主成分分析得到模型输入参数；再利用深度学习模型的特征提取功能，对晶圆电性测试参数与晶圆良率之间的复杂非线性关系进行挖掘，实现晶圆良率的准确预测。

1 基于ICDBN的晶圆良率预测方法框架

基于ICDBN的晶圆良率预测方法框架如图1所示。首先，针对晶圆WAT参数存在的缺失值、异常点等情况以及WAT参数之间存在的多重共线性关系，设计基于数据清洗与主成分分析的两阶段数据预处理方法，获取预测模型的输入参量。然后，设计由多个改进的连续型受限制的玻尔兹曼机(Improved Continuous Restricted Boltzmann Machine,ICRBM)与BPNN构成的晶圆良率预测模型，通过晶圆电性测试参数的无监督特征提取与晶圆良率数据的有监督回归分析，实现晶圆良率的准确预测。

2 晶圆电性测试参数的两阶段数据预处理方法

2.1 晶圆电性测试数据清洗

(1)晶圆电性测试参数的缺失值处理 在实际工况下，由于设备故障、电流过大等，造成部分晶圆电性测试参数缺失。通过对采集到的数据进行统计分析可知，仅存在少数的缺失情况，因而剔除该部分晶圆的电性测试参数与其对应的良率值。

(2)晶圆良率的异常点处理 常见数据异常点的处理方法有：通过对属性值进行描述性统计的统计分析法、统计数据分布的3δ原则法以及通过百分比计算统计分析的箱型图法[7]。其中，箱型图法由于不受数据分布的限制，能直观表现数据分布的本来面貌，具有较强的鲁棒性特点。因此，对各WAT参数中存在的异常点，利用箱型图法进行筛选和剔除。

(3)晶圆电性测试参数间的量纲不一致处理 考虑到晶圆电性测试过程中各项参数指标之间的量纲差异大，如：电性测试中晶圆漏电流参数的测试单位仅有10-9次方安培，而部分电阻参数的测试量级则会有几百欧姆，因此需要对所有的电性测试参数值进行标准化处理。本文中将晶圆电性测试参数值进行最大—最小值归一化：

(1)

2.2 晶圆电性测试参数的主成分分析方法

在晶圆实际生产过程中采集到的WAT数据通常以某个参数的均值、最大值、最小值、标准差的形式进行存储，且数据本身体量大、维度高，数据之间表现出较强的关联性，使得晶圆电性测试参数之间的多重共线性关系显著[9]，造成数据冗余，导致晶圆电性测试参数与实际晶圆良率之间的关系模型难以建立、预测模型不稳定。针对晶圆实际生产过程中关键WAT参数存在的多重共线性问题，本文利用主成分分析方法[10]进行处理。

主成分分析法是一种利用线性变换将一组相关变量转换成另一组不相关变量的统计方法[10]。首先，计算多维WAT输入变量的相关系数矩阵，将具有强相关性的WAT参数以特征值与特征向量的形式表示，使得高维WAT参数转化为低维不相关的WAT综合指标[11]；其次，计算各WAT变量的成分方差，得到各变量对应的方差贡献率，并以方差递减的顺序输出各WAT变量对晶圆良率的影响程度；最后，选择累计贡献率达到85%的k个主成分[7]，并用这k个主成分反映全局的变量特征信息，以降低输入WAT参数的相关性和冗余度[12]，达到利用少数综合指标反映所有指标的效果。

3 基于ICDBN的晶圆良率预测模型

本文设计如图2所示的ICDBN模型，用以建立晶圆WAT参数和良率之间的复杂非线性映射关系。ICDBN模型由多个ICRBM模型与BPNN回归分析模型构成，其中：ICRBM模型实现对输入参数的无监督特征提取；BPNN模型调整所提取到的权重特征信息并输出预测良率值。

3.1 隐藏层-ICRBM

(1)受限制的玻尔兹曼机(Restricted Boltzmann Machine, RBM) 如图3所示，RBM模型采用数据离散化的方法对输入样本进行特征提取，使得隐藏层与可见层得到不连续的二值形式[14]。

RBM是一种基于能量理论的概率模型[15]，当网络结构中存在m个可视节点与n个隐藏节点时，RBM模型的能量函数定义如下：

(2)

式中θ={bj,ci,wij}是RBM的参数。由于RBM中可视层与隐层单元的状态相互独立，由贝叶斯定理可知，当已知某层单元状态时，可求出与其相邻层单元的状态[16]，如下所示：

(3)

(4)

即当已知RBM中任意层单元的状态时，可分别求出其邻近层单元激活的概率。

隐层单元被激活的概率

(5)

可视层单元被激活的概率

(6)

式中σ(x)=1/(1+e-x)，为sigmoid激活函数。

RBM对隐藏层单元进行概率求取时是将结果离散为二值形式，主要通过下式进行求取：

(7)

式中ri表示第i个隐层单元在[0,1]之间所产生的随机数。

(2)改进的连续型受限制玻尔兹曼机 原始RBM模型主要采用数据离散化的方式，以数据特征提取的精度为代价，提高特征提取的效率。而晶圆良率预测值以及训练测试的WAT参数值都遵循连续型数据分布，因而RBM模型无法对其进行更精准的特征提取、输出，因此对RBM结构进行如下改进：

1)基于RBM结构，在可见层与隐层神经元中增加一个均值为0，方差为1的高斯变量N(0，1)。

2)针对连续型输入、输出数据设计改进的连续型激活函数，利用连续型的激活函数对各神经元的状态进行激活。

3)去除RBM中离散化为0～1二值形式的过程。

通过上述3个步骤可以得到ICRBM模型，用于接收连续型数据类型的输入参数、提取关键WAT参数与晶圆良率间复杂非线性关系的特征信息、输出连续型数据类型的良率预测值。在经过上述对神经元的激活函数以及各层神经元状态的改进之后，此时式(5)中隐藏层单元的状态被重新定义为：

(8)

式(6)中可见层单元的状态被重新定义为：

(9)

式(8)和式(9)中α为0～1之间的常数，且

(10)

为Sigmoid激活函数的改进形式，即为所设计的能够处理连续型输入、输出数据的改进的连续型激活函数，φL与φH分别为神经元状态数值的下界与上界，λ用以控制上述连续型激活函数的倾斜程度。进而，ICRBM模型能够更精准地处理数字向量标准化至0～1之间的小数值，提升模型对关键WAT数据与晶圆良率之间特征关系的提取能力。

通过多层串联的ICRBM结构对输入数据进行贪婪的无监督特征提取，将所提取到的权重特征信息作为回归分析的初始化参数，为后期的回归分析提供初始条件。

3.2 输出层-BPNN

(11)

改进的连续型激活函数在一定条件下增强了模型的特征提取能力，却也使得模型对输入参数中的噪声更为敏感，因而在晶圆良率的回归分析中易造成梯度消失、陷入局部最优，从而导致晶圆良率预测模型不能准确处理输入输出之间的复杂映射关系。因此，对式(11)中的残差损失函数进行改进，将最后一层神经网络权重向量中的各个元素进行平方求和，并添加在原残差损失函数之后，从而得到带有权重惩罚因子的损失函数L′(e)，通过每次对损失函数的迭代更新，不断地调整特征值的权重因子，得到偏差值与方差值都较小的稳定模型结构。

(12)

式中β为正则化系数，用以对权值异常偏大的参数进行惩罚。通过对原始残差损失函数添加惩罚项，能够有效控制权值大小，得到所有模型参数都较小的稳定模型，在一定程度上具有缩小权重值、避免过拟合的效果。最后，通过一定次数的循环迭代，模型输出符合晶圆良率连续型数据类型的预测值。

4 实例验证分析

本实验数据来源于上海市某300 mm晶圆生产线，该生产线主要生产3种不同工艺路线、不同类型的晶圆产品，通常晶圆生产以一个Lot为单位，且每个Lot中包含25片晶圆。本文对其中一种晶圆产品进行良率预测试验，该晶圆产品的电性测试对象包含430个，同期生产的晶圆有16 000多片，而WAT是分别对每片晶圆的相关电性能进行检测的过程，其中430维输入变量均为电性测试对象，所对应的物理含义包括：与MOS管性能相关的开启电压、饱和电流、漏电流、击穿电压，与栅氧层特性相关的有栅氧电性厚度、栅氧击穿电压，与电阻电容类相关的有片电阻、接触电阻等，并且WAT的结果以MEAN、MIN、MAX、STD形式进行存储。最后，通过针测机对每片晶圆进行抽测检验，并进行统计分析，从而得到实际良率值。选取16 000多组数据集中90%的晶圆WAT测试数据与其对应的实际良率值作为训练集，进行有监督回归训练，利用剩余10%的数据作为测试集进行测试。

4.1 模型参数试验

(1)模型层数设定 针对晶圆关键WAT测试值连续型的数据类型特点，设计ICDBN晶圆良率预测模型。分别设计具有单隐层、双隐层以及更多隐藏层的ICDBN模型，通过对比试验发现，当隐藏层设计三层ICRBM结构时，所提取到的良率特征信息与真实良率情况最为接近。

(2)模型节点设定 对原始WAT参数进行主成分分析后，选取方差累计贡献率达85%的特征参数，将原先430维的原始WAT数据由主成分分析过后的51维数据表征，并以此作为ICDBN模型起始输入层的节点个数。由于ICDBN是通过不断学习上一层结构、特征的深度学习模型，且最终输出层仅输出晶圆预测良率值的一维数据，因此，各层之间神经元节点数按等差数列格式逐层递减设置，并通过正交试验验证发现每层节点按表1设计时，预测效果最接近于真实良率。

表1 ICDBN模型各节点个数

(4)迭代次数与学习率设定 采用学习率指数衰减的方法对参数的更新速度进行控制，指数学习率αe由初始学习率α0、全局迭代次数I、衰减速度v、衰减率a构成：

αe=α0·a(I/v)。

(13)

通过正交对比试验发现，当选取初始学习率α0=0.1，全局迭代次数I=4 000，衰减速度v=100、衰减率a=0.96时，模型预测效果与晶圆良率真实值最接近。

4.2 预测方法对比试验

(1)预测结果对比试验 将ICDBN晶圆良率预测模型与台湾学者林瑞山[5]提出的BPNN晶圆良率预测模型，以及通过对输入数据进行离散化处理的DBN预测模型[14]进行对比，将 WAT输入数据与对应的实际良率信息作为模型的训练样本，分别代入3种模型中进行训练。输出测试集数据的良率预测值，且在这10%的测试集数据中随机选取各模型的200组晶圆良率预测值，用于与实际晶圆良率值进行对比分析，实际良率值与各模型的预测良率值如表2所示，各模型良率预测值与实际良率值偏差情况如图4所示。

由表2可知，ICDBN模型的晶圆良率预测值相比DBN模型以及BPNN模型更接近实际的晶圆良率值，且由图4可知ICDBN模型的输出良率值与实际晶圆良率值之间的整体与局部偏差值小于另外两个模型，因次所提出的ICDBN模型获得了比DBN、BPNN模型更高的预测准确率。

表2 模型实例对比验证

(2)预测误差对比试验 在实际生产过程中，良率许可的绝对误差控制在0%～3%之间是可接受的尺度[7]，分别统计3种模型在训练过程中和测试集数据中所预测的晶圆良率值与实际晶圆良率值之间实际绝对误差值小于1.0 %、2.0%、3.0%的晶圆个数，并计算各模型预测的晶圆良率值的均方根误差值以及平均相对误差值，用以评价模型精度，各模型预测误差区间及评价误差值如表3所示。由表3可知，在3种模型的训练过程中，各模型绝对误差小于3.0%的训练集数据比例都达到95%以上，表明各模型已充分训练完成，符合实际生产可接受良率尺度。但在测试集中，本文所提出的ICDBN模型的测试效果优于其他两种模型，不同误差区间的可接受良率预测值同比高于另外两种模型，且ICDBN模型的均方根误差以及平均相对误差都要小于另外两种模型，R2得分值都高于另外两个模型，因而ICDBN模型拥有更稳定的预测效果。

表3 各模型预测值误差区间与评价误差

上述实验结果表明：ICDBN模型、DBN模型、BPNN模型同时达到了较好的预测精度，且所提出的ICDBN模型获得了更高的预测准确性和稳定性。

5 结束语

针对晶圆WAT参数之间的多重共线性关系以及WAT参数与晶圆良率之间的复杂非线性映射关系，本文在设计两阶段数据预处理方法的基础上，提出一种基于ICDBN模型的晶圆良率预测方法。首先对WAT参数进行主成分分析，获得预测模型的关键输入参数；然后对DBN模型进行了以下改进：①对RBM模型的神经元结构、神经元状态以及整体的模型结构进行改进，得到能够处理连续型输入参数的ICRBM模型，提高了模型的特征提取能力；②对反向传播过程的损失函数添加权重惩罚因子，减小了模型对输入参数中噪声的敏感性，避免了过拟合现象的产生。最后，以上海市某晶圆加工企业的实际生产数据为例，验证了所提方法的有效性。

下一步的研究内容将集中于以下两方面：①本文主要通过PCA方法对高维WAT数据进行了维度缩减，但PCA方法在高维质量参数转化为低维不相关的线性综合指标的同时，丢失了原有质量数据的物理信息，难以从源头对质量原因进行分析调控，因此将进一步研究WAT参数特征选择方法，以挑选出影响晶圆良率的关键参数;②晶圆良率是衡量晶圆产品质量的重要指标，实现其稳定优化能够有效控制生产成本，因此将进一步研究晶圆良率优化方法，以在合理的调控参量范围内实现晶圆良率优化。