基于MST-GAN 的多尺度IC 金属封装表面缺陷检测

随着集成电路产业的快速发展，IC 尺寸越来越小，其生产制造工艺也越来越复杂，因此IC 封装存在缺陷的概率也大大增加。在IC 封装的生产制造过程中，IC 金属封装的表面可能会出现一些缺陷，如划痕、污渍和气泡等，对IC 的可靠性和使用寿命构成了潜在的威胁。因此，IC 金属封装表面缺陷检测对确保集成电路的高可靠性、高稳定性和高可用性具有重要的现实价值，是IC 封装制造过程中至关重要的一环。

针对缺陷样本匮乏、可视性低、形状不规则、类型未知等工业缺陷检测难题，广东工业大学蔡念教授团队结合半监督深度学习方法和统计建模建立了统计学习建模框架，提出了一种基于MST-GAN（Multi-Scale Generative Adversarial Network with Transformer）的多尺度IC 金属封装表面缺陷检测算法，多尺度缺陷检测框架如图1 所示。

为了实现IC 金属封装表面质量的自动化检测，团队搭建了一个光学自动检测（AOI）系统，包括图像采集、运动控制、缺陷检测3 个子系统。利用AOI 系统采集IC 金属封装图像，利用二值化、Canny 和数学形态学等数字图像处理技术对图像进行预处理，提取感兴趣的区域并切割为子图，用于模型的训练和测试。

团队设计了一种完全多尺度的生成对抗网络MST-GAN，设计了新颖的多尺度特征提取和跨尺度特征融合方案，引入了Swin Transformer 模型以提升建模能力；自行设计了上采样模块，以解决零填充会引入异常像素的问题；提出了多尺度检测方案，其中多尺度权重掩模用于抑制重构误差的影响，多尺度自适应阈值用于分割出潜在的缺陷，采用基于图块的多尺度缺陷评估方案对这些潜在缺陷进行了充分的评估，最终分割出缺陷并得出检测结果。

多尺度缺陷检测结果如图2 所示，试验结果验证了提出的多尺度检测算法的有效性和可行性，在70.9 帧/s 的合理检测速度下，实现了0.70%的误检率、0.57%的漏检率、99.3%的正确率、99.8%的精密度、99.3%的召回率和F 分数达0.996 的优良检测性能，优于目前最先进的半监督深度学习检测方法，体现了这一方案强大的应用潜力。

研究团队未来将在此基础上继续探索，以进一步提升检测框架的检测性能，并拓宽该检测框架的应用场景，包括探索相邻图像块的关联性分析，探索具有更强建模能力的生成对抗网络模型，探索内存和能源消耗更小的网络模型，进一步满足工业应用需求。（蔡念 陈凯琼 黄林昕 夏皓 周帅）

原始文献：

CHEN K Q, CAI N, WU Z S, et al.Multi-scale GAN with transformer for surface defect inspection of IC metal packages[J].Expert Systems with Applications,2023,212:118788.