一种基于人工免疫的芯片划痕检测系统

周小军,谭 薇

(1.甘肃工业职业技术学院 电信学院，甘肃 天水741025；2.四川大学 网络空间安全学院，四川 成都 610065)

0 引言

随着5G、物联网+、区块链和人工智能等新信息技术对高速芯片运算的需求增大，作为电子设备的“大脑”，芯片的本土研发、设计和生产及其产能对GDP、国家安全和核心技术领导力以及控制COVID-19的蔓延都至关重要。Gartner预计全球集成电路产业2022年将实现10%左右的增长，我国“天问一号”火星探测器和“天宫”空间站升空后，美国半导体产业协会(Semiconductor Industry Association，SIA)随即发布了《盘点中国半导体产业(Taking Stock of China’s Semiconductor Industry)》白皮书，建议对我国实行更加严格的芯片出口限制。因半导体在应对新冠肺炎疫情和全球经济复苏的作用是至关重要的，但除受疫情外各种综合因素影响,全球持续“缺芯”。芯片生产过程中人工检测很难达到快速、精准的检测需求。所以在需求旺盛的大批量工业生产中，利用图像处理的方法可有效地克服抽检率低、准确性差、效率低和人工成本高等不利因素,现已成为芯片表面缺陷检测发展的主流。

1 研究现状

人眼检测效率低、误差率高且人工成本高。机器识别因为非接触测量，优点是速度快、灵活性强，提高了检测效率和机械化程度，缺点是在进行图像信息采集时对光照强度较为敏感，程序和算法对检测和识别的影响较大。Chuang等[1]用互相关归一化法对芯片表面印刷字符进行检测;Zhong等[2]研究了多种封装芯片快速引脚定位方法;Hawari对SOP芯片引脚检测，吴晖辉等[3]有效检测出半导体芯片引脚常见缺陷;Xie等[4]对带有噪声的PCB图像用支持向量机方法进行缺陷识别;Wang等[5]研究了QFN引脚缺陷的分割和分类方法;安胜彪等[6]用级联卷积神经网络完成芯片位置和角度的检测。目前的研究主要集中在芯片上面的印标、引脚等方面的错误检测，就芯片表面的划痕检测的研究不多，印标错误或引脚缺失这类缺陷检测模板较为固定，缺陷分类直观明显。而划痕缺陷由于划痕不规则且其轻重、数量和位置都是随机产生，缺陷种类多，尤其是对于轻度擦痕，在识别时很容易将其判断为图像采集过程中的噪声和干扰，加之划痕判断无统一的标准模板对比，所以这类缺陷判断和提取相较于前者检测难度更大。设计一种从芯片图像采集、预处理、图像分割、特征提取直至到检测识别的整套系统的应用研究则更少。本文以QFN芯片为研究对象，重点就芯片表面划痕进行检测，主要完成3方面工作：一是为改进芯片数据采集时光照不均匀现象，设计组合光源照明系统，并在预处理时引入Gabor滤波，降低噪声干扰；二是对比3种图像分割算法，确定使用人工免疫法对图像进行最大熵值分割，通过求目标函数最优解，获得最佳的分割阈值；三是通过对芯片划痕特征提取，确定其中描述能力最强的圆形度、长宽比和紧凑性为主要特征,用决策树方法对划痕进行分类识别，可有效检测划痕长度，准确率为96.14%。

2 检测系统基本组成

选取一类典型封装的5 mm×5 mm方形扁平无引脚QFN半导体芯片，将其表面划痕作为对象进行研究与分析。QFN芯片采用塑料密封的新兴表贴封装技术，焊盘尺寸很小、体积小[7]。芯片底部裸露出大面积焊盘,在精密小型电子信息装置及中大规模集成电路中应用较多。芯片焊盘表面划痕，使QFN芯片的电热性能变差，这对系统的稳定性与耐久性影响很大[8]。实验中使用的QFN芯片如图1所示。

划痕检测系统框架设计如图2所示，主要包括芯片图像采集、图像预处理、图像分割和检测识别4个模块。

图2 检测系统框架设计Fig.2 Framework design of detection system

2.1 芯片图像采集

图像信息采集时常见的光源照明方式都是前向同轴平行光，由于芯片塑封体存在漫反射,大量的反射光线不能被相机采集，得到的芯片图像对比度不够。在低角度部分加入照明光源，来增加暗场的漫反射效应。本文改进了传统照明机构，在已有的前向LED同轴平行光的基础上组合暗场漫射光源，设计时使一组LED光源与载物台夹角呈30°,这样在环形带状光源外侧的LED光照就能够照射到同侧的边缘区域，相机视野内可达到整个照明区域的全覆盖[9]。本文设计的芯片表面划痕检测系统硬件结构如图3所示。

图3 芯片表面划痕检测系统硬件结构Fig.3 Hardware structure of chip surface scratch detection system

经不同照射方向的2种LED光源的合理组合，通过照明强度的调节，可以在塑封芯片的焊盘金属面上采集到具有良好的细节特征信息的芯片图像。系统中工业相机选定型号为JHSM500Bs的500万像素，像元尺寸为2.2 μm×2.2 μm,信噪比38.1 dB，分辨率2 592 pixel×l 944 pixel，配备了一组JHHF-0612M无畸变镜头的相机。这样红蓝双色LED组合照明，采用组合后的照明方案就可获得高质量的半导体芯片图像，为后续芯片表面缺陷的检测与识别奠定基础。

2.2 芯片图像预处理

因待检测的芯片图像是通过光学成像系统采集,光照、抖动等因素必然会导致亮度不均和细节模糊等现象出现。对采集到的部分对比度小的图像需进行灰度变换等增强处理，对部分含有噪声的图像需进行去噪和滤波来去除干扰,提高信噪比。对本系统采集到的图像采用灰度归一化和直方图均衡化方法来进行对比度增强[10],有效解决了因对比度不足带来的干扰。归一化就是使每一幅图像像素的灰度值分布在0～255,其基本原理如下:

直方图均衡化实际上就是使各灰度级分量平均布满空间,除增强图像对比度外还可减少光线对图像的影响,便于特征提取,提高图像品质。灰度归一化后再进行直方图均衡化处理后的芯片划痕图像如图4所示。

(a) 划痕1原图及其统计直方图

(b) 划痕1均衡化后图像及其直方图

(c) 划痕2原图及其统计直方图

(d) 划痕2均衡化后图像及其直方图图4 划痕图像和均衡化后图像的直方分布Fig.4 Vertical distribution of scratch and equalized image

芯片图像采集过程中产生了高斯噪声和椒盐噪声，一般是图像采集过程中不良环境照明条件及传感器自身发热老化等原因，椒盐噪声表现在图像上显示为黑白杂点。为防止其对后续分割及缺陷提取产生干扰，在下一步处理前还需要对芯片图像进行滤波处理。因为Gabor滤波是一种带通滤波器，能同时兼顾时域和频域带宽乘积下限，且和人类视觉神经元的感受野相符，在处理外界环境干扰引起的黑白杂点椒盐噪声和高斯白噪声效果很好。由于划痕为采集图像自身所携带的细长条状纹理，所以采用该滤波器可有效消除噪声，而较好地保留划痕信息。Gabor滤波器是由一个高斯函数与复指数函数相乘的母小波经过尺度变换与旋转变换后得到,非常适合用于纹理表达和分离。二维Gabor滤波器在空域中表现为由正弦平面波调制的高斯核函数,其复数形式为:

因Gabor滤波对图像的边缘信息敏感，而对光照变化不敏感，在提取不同方向上纹理信息的同时还对光照、图像位置偏移都具有相应的容忍性，因此系统选择Gabor滤波器。

2.3 芯片图像分割

采集到的芯片图像经过预处理后，需分割后提取出划痕信息。阈值化分割因为实现简单、计算量小且性能较稳定，应用广泛。本文对迭代选择阈值法、最大类间方差法(OTSU)和人工免疫法进行了研究对比，最终选择人工免疫法确定的最佳阈值来进行芯片图像的分割[11]。

2.3.1 迭代阈值分割法

阈值分割原理是先预估一个值将其定义为初始阈值，然后按照一定的约束规则不断地迭代更新初值,直至满足给定的约束条件。采用迭代法对划痕图像1和划痕图像2进行分割，分割结果如图5所示，得到的最佳阈值分别为94.165 4和104.25。

图5 3种算法分割效果对比Fig.5 Segmentation effects comparison of three algorithms

2.3.2 最大类间方差分割法

最大类间方差法基本原理是将待分割图像根据灰度特性分成背景和前景2块，其类间方差越大则2部分被错分的概率就最小，优点是图像对比度和亮度对图像分割没有影响。具体使用时首先随机定义一个使类间方差最大的阈值T，根据约束条件通过不断迭代找到最佳阈值。采用最大类间方差法对划痕图像1和划痕图像2进行分割后结果如图5所示，得到的最佳分割阈值分别为102和118。

2.3.3 人工免疫分割法

在芯片图像分割过程中,为取得最佳阈值，将人工免疫算法引入图像熵值最大化寻优[12-13]。根据生物免疫系统原理和图像信息熵最大化算法,在抗体的免疫进化过程中结合阴性选择算法及克隆选择算法将免疫算法应用到遗传算法的搜索策略中,主动准确得到最佳分割阈值，也就是免疫疫苗中的成熟抗体,进化过程中以群体浓度和个体期望繁殖率来判断个体的优劣[14-15]。定义抗原即为目标函数,抗体为目标函数的优化解即分割阈值的二进制编码，图像熵为亲和力计算式,寻找出使亲和力值最大的成熟抗体,即为分割的最优阈值[16-17]。

假设每个抗体由M位数字组成，共有N个抗体，每个抗体的每位可供选择的数字为L个，L=K1,K2，…,Kl，则N个抗体的信息熵为:

① 任意确定N个个体阈值编码，并从记忆库中随机选出Nget个个体构成初始抗原群。

③ 逐一计算群体中抗体亲和力，并按其值大小顺序进行排列。取排在前N个的个体构成第一代群体，将其存入进行记忆库更新。

④ 从更新后的记忆库中选取疫苗，对第一代群体免疫接种后进行群体克隆和变异，重新计算抗体亲和力。

⑤ 根据结束条件进行判断，是则结束；否则，再次对抗体进行选择、交叉和变异得到下一代，从大到小排列后，再次进行群体更新。

⑥ 重复操作步骤③～⑤，直至满足迭代停止条件。

初始化记忆库时随机选取灰度值(0～255)。更新到记忆库和从记忆库中提取的抗原个数为Nget=10，抗原个体亲合度的初始阈值为T，初始群体个数N=100，变异概率Pm=0.01，代数G=100。采用人工免疫法对划痕图像1和划痕图像2进行分割，原始图像大小为200 pixel×200 pixel，分割后结果图像如图5所示，得到的最佳分割阈值分别为T1=153，T2=111.755。迭代选择阈值分割法、最大类间方差分割法和人工免疫方法3种算法分割最佳阈值和分割用时如表1所示。

表1 3种分割算法最佳阈值和迭代时间对比

对比实验结果可以看出，3种方法均能对芯片图像进行分割，其中迭代阈值分割和最大内间差方法分割图像不如人工免疫方法准确，但耗时相对较少。人工免疫方法采用的最大熵分割，所以在分割上视觉细节相对丰富，但分割时间较长。对于塑封芯片图像因大部分背景区域为塑封、引脚和中心焊盘，划痕区域面积相对较小，为能准确分割划痕区域，牺牲部分时间代价也是可以接受的，经过实际测试并对三者的效果综合比较，系统选择使用人工免疫的分割算法来对芯片图像进行分割。

3 芯片图像划痕特征识别与分类

芯片图像在经过分割后，若要对划痕进行识别，还要测量划痕部位的面积、周长等特征数据作为分类依据。因划痕均为在芯片的5 mm×5 mm焊盘表面形成，可根据芯片划痕的形状特征参数来进行分类[18]。

3.1 待检测芯片图像的基本形态特征

① 检测划痕区域面积A

② 检测划痕区域周长C

③ 划痕区域圆形度F

④ 划痕区域长宽比H

⑤ 划痕区域紧凑性E

3.2 特征提取及统计

选取存在划痕缺陷的典型划痕芯片图像2张，1类为重度划痕，2类为轻度擦痕。分别计算缺陷芯片图像的5种几何特征，计算结果如表2所示。

表2 划痕图像形态特征对比

根据计算得到的图像5种形态特征，对比分析后可以看出,划痕缺陷的面积和周长一般情况都比较大，而浅划痕的圆形度较小，其边缘轮廓较为不规则。综合判断可基本得出划痕识别的依据，为了不失一般性，对存在缺陷的芯片进行数据检测，选取2类划痕照片图像各50张建立缺陷数据库，并以这100组数据为样本集。实验时在每种缺陷数据中各抽取10组，2类共20组数据样本特征,参数统计结果如表3和表4所示。

对表3和表4进行对比分析可知，圆形度、长宽比和紧凑性这3种特征对划痕检测的描述能力最强。因划痕呈条状，其圆形度最小，因其最小外接长方形细长，得到的长宽比数值最大；紧凑性代表划痕部分对最小外接长方形面积之比，划痕因常呈离散状，紧凑性较小。区分划痕1类因呈单条样，检测面积和圆形度通常较小，而长宽比通常较大；划痕2类的面积较大，周长最长但是圆形度最小。

表3 划痕图像1类样本特征参数

表4 划痕图像2类样本特征参数

3.3 划痕检测系统GUI设计

根据计算所得数据结果分析可知,圆形度、长宽比和紧凑性等特征数据是芯片划痕检测的关键特征数据。由于已知样本数据和测试数据特征数量较少,待测数据集总共有50组,可选取决策树分类算法来对待测数据进行分类。为了方便操作，在基于Matlab2018a软件的GUI(图形用户界面)工具编辑功能，将各单元模块集成，主要包括图像读入、图像处理和划痕检测等，设计的人工免疫算法划痕检测系统界面如图6所示。

图6 系统GUI界面Fig.6 Interface of GUI

3.4 实验结果分析

实验采用Matlab2018a软件，在处理器为Intel(R)Core(TM)i5-10500 CPU @3.10 GHz，内存为16 GB的计算机平台上进行实验。选取200 pixel×200 pixel的典型划痕图像1和划痕图像2。用决策树分类法，按照50组样本数据进行自上而下构造二叉树,现以2种划痕图像各50组构成训练集数据,并在50组未分类数据集上进行测试,可得到准确率最高的决策树结构及检测结果。当圆形度小于0.016则可确定为划痕2类，否则为划痕1类及其他缺陷。当圆形度大于等于0.016时，用决策树分类。当划痕面积小于7.3 mm2，判断为划痕1类或者其他缺陷。再通过圆形度，对划痕再分类，当缺陷圆形度小于0.18，判断为划痕1类，否则为划痕2类。经过实验分析，50组未分类数据只出现2组将正常图像识别为划痕图像，识别的准确率可达96.14%，平均运行时间2.167 s，能够达到识别目的。

对原始划痕图像1，检测出了2条,划痕长度分别为137.786 1，147.627 9 pixel。对原始划痕图像2，检测出了6条,划痕长度分别95.425 4，98.478 4，57.982 8，41.012 2，136.400 1，90.210 9 pixel，检测系统运行结果如图7所示。

图7 划痕检测结果Fig.7 Results of scratch detection

4 结束语

完整地设计了一套集成电路芯片表面划痕检测系统，以QFN划痕芯片为例,从图像采集、图像预处理、图像分割和检测识别等模块详细分析了相关技术，实验证明了各图像处理算法的有效性。在GUI实验平台上对系统进行了验证，实际分类准确率可达96.14%。分割和识别算法时间效率也能达到实时使用要求，实验结果验证该系统的合理性。但实际应用时，还存在一些不足，因芯片划痕检测时漏检率要高于误检率，在最佳阈值确定时应比实验数据稍高一些。采集后图像在预处理环节，噪声及光照的影响不可避免，对后续分割及划痕识别检测的影响较大，同时由于分割精度不同也会产生分类的干扰。划痕芯片的数据特征提取时，采用了几何特征，决策树分类算法分类简单，但规则固定，不能同步更新样本数据，可考虑联合其他特征来进一步对不同缺陷进行准确分类。随着划痕图像数据集的增大，分类实验时可采用神经网络[19]和深度学习[20]等先进分类方法，这也是今后值得进一步研究的内容。