一种基于Gabor变换的芯片缺陷特征增强方法

李笑容，覃志东，蔡 勇，肖芳雄

（1东华大学 计算机科学与技术学院，上海 201620；2上海岳展精密科技有限公司，上海 201614；3金陵科技学院 软件工程学院，南京 211169）

0 引 言

芯片封装的外观缺陷会影响芯片的性能与可靠性。为确保芯片质量，科研人员就基于机器视觉的芯片外观缺陷在线检测技术进行了大量的研究。例如，巢源提出了芯片表面缺陷图像预处理的缺陷图像切分矫正算法和缺陷图像快速插值算法，缺陷图像的模糊熵多阈值分割算法。陈恺提出了基于明暗场图像的芯片表面缺陷提取算法。这些表面缺陷检测技术采用传统的二维图像特征提取与处理方式，方法上限制了图像信息的丰富度，缺陷特征提取受限，导致缺陷检测精度不理想。

目前，高端的芯片外观缺陷检测设备仍被科磊等西方公司所垄断并处于技术保密中。在国产替代的大背景下，突破芯片的微小外观缺陷检测核心算法，对提高国产检测设备的检测精度和检出率，具有重要的意义。

现有研究表明，借助图像特征增强有利于发现更加细微缺陷的特征。如梁丽秀等人采用图像增强方法对细小的植物根系末梢进行特征提取。梁淑芬等人利用图像增强对舌体与下唇细微的色差进行了精确划分。此外，光度立体技术具备捕获丰富、微小的图像信息的优势；在此基础上进行图像特征增强，能满足对芯片微小外观缺陷的特征提取，可达到更高的可检测精度。

鉴于此，本文提出了光度立体技术结合Gabor变换的缺陷特征增强方法。本文成果为后期利用三维重建和YOLOv4设计出高精度的微小缺陷检测和定位算法打下了基础。

1 芯片外观微小缺陷检测方案

随着高端芯片制程技术的不断进步，对这类芯片的封装要求也越来越高。基于二维图像处理技术的芯片外观缺陷检测系统，受限于分辨率和成像条件，已不能满足高端芯片外观微小缺陷检测精度要求。而三维光度立体技术利用多光源下不同亮度差异的图像进行数字图像信息的高维重建，可获得丰富的图像特征信息，利于提高缺陷检测的精度。芯片微小缺陷检测方案如图1所示，经过理论分析、论证和实验对照，本文设计出了一个基于光度立体技术的芯片外观微小缺陷检测方案。

图1 芯片微小缺陷检测方案图Fig.1 Chip micro-defect detection scheme diagram

方案中，首先需要进行光源选型和布局，搭建出光度立体硬件原型，才能采集到具有不同光度信息的图片。然后对采集好的图片进行光度立体算子处理，得到反照率图像。在此基础上，调节好Gabor核函数参数，利用Gabor滤波器对反照率图像实行进一步的处理，生成较优的特征增强的图像信息。最后对反照率图像进行灰度三维重建，利用缺陷样本图片对设计好的YOLOv4模型进行训练，就可以实现对缺陷的识别与定位。

其中，生成的反照率图展示了物体表面经入射光照射后反射的表面信息特征。图像表面特征的完整度和局部信息的精确度决定了缺陷检测的效果。文献［6］指出Gabor函数可以同时处理图像的时域和空域信息，而分析图像的频率变化对于表面特征研究起着至关重要的作用。把光度立体技术与Gabor滤波器相结合，利用Gabor滤波器处理光度立体技术生成的反照率图，进行芯片缺陷特征增强是本方案解决微小外观缺陷检测难题的关键所在，本文将详细阐述。

2 光源布局与硬件原型搭建

2.1 图像质量评价方法

光度立体处理和Gabor图像增强都会导致图像质量发生改变。如何评判图像处理后质量的好坏，下面引入几个经典图像质量评价算法。

（1）Brenner梯度函数。Brenner梯度函数是最常用的梯度评价函数，通过对相邻2个像素灰度差的平方做计算而得，对此给出数学定义如下：

其中，（，）表示图像中像素点（，）的灰度值，（）为图像清晰度值。

（2）Laplacian梯度函数。Laplacian梯度函数采用Laplacian算子计算每一个像素点处的卷积结果并依次将其相加。基于Laplacian梯度函数的图像清晰度的定义如下：

其中，，)＞，表示像素点(，)处Laplacian算子的卷积结果值。

（3）熵函数。基于统计特征的熵函数是衡量图像信息丰富程度的一个重要指标。由信息论可知，一幅图像的信息量是由该图像的信息熵（）来度量：

其中，p是图像中灰度值为的像素出现的概率，为灰度级总数（通常取值256）。根据Shannon信息论，熵最大时信息量最多。将此原理应用到对焦过程，熵值越大则图像越清晰。

2.2 光源布局

本文的光源选择的是LED点光源。光度立体技术中光源的个数与入射角度会影响采集图像的质量。本文通过实验对比确定了优化的入射角和光源数目，分述如下。

（1）入射角。根据经验，本文分别选取光源与相机30°、45°、60°进行对比。采集的图片如图2所示。

图2 30°、45°、60°对应采集图Fig.2 30°，45°，60°corresponding photographs

由前面图像质量评估函数可得3种入射角所对应的质量评估值，参见表1。由表1可知，选用入射角为45°时Brenner函数数值、Laplacian函数值及熵函数值较大，即此角度下可以得到质量较优的图像。因此光源与相机夹角选定为45°。

表1 不同入射角对应图质量评估值表Tab.1 Corresponding image quality evaluation value table for different incident angles

（2）光源个数。考虑到常用的光源数在3～6个之间。本文分别针对3、4、5、6个光源的方案进行图像采集并经光度立体算子生成对应的反照率图，依次如图3（a）～（d）所示。

图3 多光源下反照率图Fig.3 Albedo images under multiple light sources

多光源下反照率图的质量评估结果见表2。效果较理想的是4光源和5光源方案。综合考虑系统执行的实时性要求，决定选择4光源布局方案。搭建好以用作光度立体图像获取的系统硬件原型如图4所示。

表2 多光源反照率图质量评估值表Tab.2 The quality evaluation value table for multi-light source albedo images

图4 光度立体硬件系统原型图Fig.4 The diagram of photometric stereo hardware system prototype

3 基于Gabor变换图像特征增强

Gabor变换的图像增强效果取决于函数参数的选择。为最大程度地利于Gabor滤波器展示精确的芯片图像局部特征信息，需要选取合适的参数。下面阐述Gabor变换及其参数设置。

3.1 Gabor变换

Gabor函数与人类视觉系统中简单细胞的视觉应激反应有着相似的特征，具有类似仿真的功能。使用Gabor滤波器对图像的纹理特征及局部信息有着较好的识别效果。

Gabor变换消除了傅里叶变换（Fourier）无法分析图像局部信号的局限。在傅里叶变换的基础上引入了时间局部化的窗函数，得到了窗口傅里叶变换、即Gabor变换。

设函数∈（）为具体的函数，则Gabor变换定义为：

二维Gabor函数是一个用高斯函数调制的复正弦函数，能够在给定区域内提取出局部的频域特征。一个典型的Gabor函数有如下形式：

（，）是高斯函数，通过调节函数旋转角度可得到不同的Gabor核函数，从而达到调节滤波器的效果。3种角度、5种方向的Gabor滤波器如图5所示。

图5 3种角度、5种方向Gabor核函数示意图Fig.5 Schematic diagram of Gabor kernel function in 3 angles and 5 directions

3.2 Gabor滤波器参数设置

Gabor滤波器组生成的子图像会产生冗余信息。为减少冗余信息干扰，本文对Gabor滤波器的函数参数进行比较和选取。图像的频域响应情况会随着不同参数生成的频域信息而改变。因此滤波器设计基本规则是使Gabor滤波器组在图像频域空间的半峰响应值相互接触且不得重叠，相切的半峰幅度响应频谱图即如图6所示。

图6 相切的半峰幅度响应频谱图Fig.6 Spectrogram of tangent half-peak amplitude response

由式（5）可知，确定一组Gabor滤波器组需要确定方向比（）、函数旋转角度（）、带宽（），波长（），5组参数即可。通常一般取1，这样滤波器的直流分量很小。

参数选取见表3。根据选取参数调节Gabor滤波器，图7（a）为滤波器调节图，包含各个参数调节棒及实时对应Gabor滤波效果图；图7（b）为得到的对应核函数图。

表3 Gabor函数参数表Tab.3 Gabor function parameter table

图7 Gabor滤波器调节及核函数图Fig.7 Diagram of Gabor filter adjustment and kernel function

本文选取的函数参数最终达到了使Gabor滤波器得到精确的图像局部特征信息，增强图像的目的。

4 实验与结果分析

首先，本文以图4所示的优化方案搭建的硬件原型系统进行拍照，得到4光源下的不同光度照片，如图8所示。由图8可以看出，图8中显示的多条划痕清晰度是不同的。

图8 4光源光度立体图Fig.8 Four-light source photometric three-dimensional diagram

然后，对图8中的图片进行光度立体技术处理，得到如9（a）所示的反照率图。该图展示了经光源反射后的芯片表面信息特征。

最后，以表3参数为Gabor函数输入值，进行Gabor变换。对芯片微小缺陷特征进行增强，得到缺陷的精确局部信息，效果如图9（b）所示。为进一步说明缺陷特征增强的效果，还在图9（b）基础上进行了灰度三维重建，效果如图9（c）所示。

对比图9（d）的芯片光度原图之一，图9（a）的反照率图由于结合了4张原图的信息，所展示的经光源反射后的表面特征信息较原图9（d）更丰富；经Gabor变换后的图9（b）将图9（a）进行了增强，图像对比度明显提升，细小划痕更加突出；灰度三维重建图9（c）按照灰度特性将图像特征重建，很好地展示了微小缺陷的灰度特征的立体效果。通过与原图9（d）的对比，可验证本文所设计的图像增强方案大大提升了微小缺陷的显现效果。

图9 微小缺陷特征增强效果对比图Fig.9 The comparison diagram for small defect feature enhancement

另外，本文进一步选取了文献［7］中典型的二维图像采集与处理技术做了对比实验。该二维图像缺陷检测方案可以归纳为：单光源下采集图像，以改进的缺陷边缘扫描法为核心，采用Sobel梯度锐化和拉普拉斯锐化的图像增强方法对表面镀铜的PCB裸板进行划痕缺陷检测。二维图像检测方案的图像处理实验结果如图10所示。图10（a）为单光源下采集的原二维图片；图10（b）为中值滤波预处理图。显然，二维图像方法与图9（b）相比并未将微小缺陷特征凸显出来。

图10 二维方案实验图Fig.10 Two-dimensional scheme experiment diagram

实验结果表明，对于细微的划痕缺陷，在光度立体技术生成的反照率图上进行Gabor变换增强的方法比二维图像处理技术有着更优的显现效果。为了更加精确地得出本文方法的效果，研究中进行了精度的计算。使用精度测量软件得到该芯片外观图片的每个像素实际长度为0.04 mm，对微小划痕测量得到宽度像素值为1，则实际精度为0.04 mm。而文献［7］中方法的可检测精度为0.1 mm。由此可知，本文方法比典型的二维图像处理方法精度近似提高了一个数量级。

本文对各方法的图像质量进行评估，结果见表4。由于质量评估值越大，图像质量越高，图像质量评估值：Gabor滤波图＞反照率图＞二维方法图，更进一步证明本文方法对图像特征增强的效果。

表4 图像质量评估表Tab.4 Image quality evaluation table

5 结束语

考虑到Gabor函数可以同时处理图像的时域和空域信息，本文提出了一种芯片外观缺陷特征增强的方法。即在光度立体技术获得的反照图的基础上，进行Gabor变换。实验表明，本方法能有效提升芯片外观局部微小缺陷特征清晰度。通过本方法对芯片外观缺陷的预处理，结合三维重建以及深度学习技术，预期能设计出一种比现有基于二维图像处理技术检测精度更高的芯片外观缺陷检测方案。