集成电路X射线图像的多正则化图像复原

马鸽，林森，李致富，赵志甲，邹涛

（广州大学 机械与电气工程学院，广东 广州 510006）

1 引言

X射线成像是通过发射X射线穿透被检测元器件，依据待检测元器件内部产生的射线能量衰减情况及其衰减强度的不同，由平板探测器将衰减数据转换成数字图像传递给计算机的过程。X射线成像检测是通过不同材料对X射线的吸收差异，对物体内部结构成像然后进行内部缺陷检测的技术。因其成像具有分辨率高、无损、非接触等优点，在集成电路精密制造业、航空航天、特种装备检测等领域取得了广泛关注［1-3］。然而，集成电路的X射线图像成像过程中存在多个噪声来源，如电子随机热运动产生的热噪声、X射线源光子累积产生的噪声等，因此表现出噪声强烈的特点。同时，集成电路多层封装间隔微小，X射线出射距离短，因此呈现出对比度低的特点，给后续识别检测工作带来很大困难。因此，研究X射线图像复原技术具有理论意义和实际应用价值。

文献［4］将热噪声和光子累积噪声分别建模为加性噪声和乘性噪声，得到集成电路X射线成像的混合噪声退化模型。但是由于工业生产的快速性要求，实际过程中常采用加大电压的方式实现快速累积成像，大大减少了泊松特性，因此文献［5］将其建模为高斯加性噪声退化模型。

图像复原是从采集的退化图像获得原始干净图像的逆过程。复原方法包括滤波方法和正则化方法，滤波方法通常具有确定性的滤波函数，如高斯滤波、中值滤波、逆滤波等，但往往受限于噪声去除和细节保持的平衡问题，而正则化方法因其灵活多变的图像先验知识模型和求解算法，被广泛地应用于工业检测、机器视觉、医学诊断等领域［6-9］。

正则化方法将图像复原问题归结为由数据保真项和正则化项组成的目标函数模型求解问题。常用的正则化模型可分为基于l1范数的模型和基于全变分的模型两大类。l1范数刻画图像的边缘细节信息，具有较好的细节保持能力。尤其地，通过小波变换、字典分解等［10-12］可充分利用图像的稀疏特性来降低数据冗余带来的采样数据存储和硬件设备困难的方法，被广泛地应用于核磁共振成像、医学CT图像重建、图像稀疏重建等领域［13-14］。

全变分（Total Variation，TV）正则化模型［15］最初于1992年由Rudin，Osher和Fatemi提出，但该模型易产生“阶跃”现象，呈现“分片常数”效应。文献［16］则将保真项等效变换到微分空间，并采用ADMM（Alternating Direction Method of Multipliers）分裂算法进行求解获得了快速准确的复原效果。

但是，以上方法均对整幅图像进行统一处理，采用单一的正则化约束条件或者组合的多正则化约束进行求解，容易造成去噪不彻底或过度平滑。文献［4］对集成电路X射线图像的加性噪声和乘性噪声分别采用TV正则化项和l1正则项进行约束，并采用显式差分算法和梯度投影（Gradient Projection，GP）算法进行求解获得了很好的去噪效果。

本文基于图像边缘细节、平滑特征和不同正则化项的复原特点，提出集成电路X射线图像的多正则化图像复原算法。该方法采用高斯高通滤波和高斯低通滤波分别获取图像的边缘细节结果和平滑滤波结果，充分利用l1正则项在细节保持以及TV正则项在噪声去除上的优越性，对边缘细节结果和平滑滤波结果分别采用l1正则化项和TV正则化项约束进行求解，进而获得完整的集成电路X射线图像复原结果，解决整幅图像采用单一正则化项可能造成的细节过度平滑缺失和去噪效果差等问题。

2 基于快速傅里叶变换的图像滤波方法

集成电路的X射线图像退化模型可表示为：

其中：f∈RM×N是观测到的退化图像，H为观测阵，x为待求解的干净图像，n是符合均值为μ、方差为ξ的高斯分布n～N（μ，ξ）的加性噪声。

图像的傅里叶变换是将图像由空间域变换至频率域，其中低频对应集成电路X射线图像内变化较为缓慢的灰度分量，简记为平滑特征；高频对应图像内变化较快的灰度分量，多表现为边缘细节部分，因此，本节基于快速傅里叶变换（Fast Fourier Transform，FFT）计算速度快、效率高的特点，分别采用高斯低通滤波和高斯高通滤波获得低频对应的平滑滤波结果和高频对应的边缘细节结果。

具体步骤如下：

第一步，对观测图像f进行快速傅里叶变换得 到 其 频 谱F(u，v)，其 中u=0，1，…，M-1，v=0，1，…，N-1，F(·)是傅里叶变换；

第二步，对频谱F(u，v)作能量估计，设定滤波器截止频率D0。

选定初始截止频率，获取高斯低通滤波后的F'(u，v)。逐步增大截止频率并不断计算当前截止频率条件下的F'(u，v)，当满足条件（2）时，当前截止频率记为滤波器的截止频率D0。

其中：|F(u，v)|表 示 整 个 图 像 频 谱 的 能 量，|F'(u，v)|表示高斯低通滤波后频谱的能量，β∈(0，1)为经验常数，用于选取滤波器的截止频率；

第三步，基于高斯低通滤波和高斯高通滤波原理对图像进行频域滤波，获取低频部分Fsmooth(u，v)和高频部分Fdetail(u，v)。

其中：

第四步，对低频和高频部分进行反傅里叶变换，获得低频对应的图像平滑滤波结果fsmooth和高频对应的图像边缘细节结果fdetail。

3 基于分区的多正则化图像复原算法

正则化图像复原的目标函数模型求解问题可描述为：

针对集成电路X射线图像噪声强烈、对比度低的特点，本文提出一种多正则化图像复原方法。该方法充分考虑图像边缘细节和图像平滑区域在细节保持和噪声去除上的不同需求，设计了一种TV-l1范数的混合正则化模型，如式（10）所示：

其 中：δ1和δ2为 正 则 化 参 数，D为 梯 度 算 子，‖Dx‖1为TV正则化项，如式（11）～（12）所示。λ为观测图像选择因子，当f是高频对应的图像边缘细节结果时，λ=1；当f是低频对应的图像平滑滤波结果时，λ=0。

若‖Dx‖1为各向同性TV，则：

若‖Dx‖1为各向异性TV，则：

其 中：(Dhx)i，j=xi，j-xi，j-1，(Dvx)i，j=xi，jxi-1，j，Dh表示水平梯度（Horizontal gradient），Dv表示垂直梯度（Vertical gradient），xi，-1=xi，N-1，x-1，j=xM-1，j，（i=0，1，2，…，M-1，j=0，1，2，…，N-1）。

当f是高频对应的图像边缘细节结果时，f=fdetail，λ=1，问题（10）转化为求解l2-l1问题：

本文采 用GPSR-Basic方法［17］进 行求解，步骤如下：

第 一 步，令x=a-b，a≥0，b≥0，将 问 题（13）转化为无约束优化问题。

第二步，梯度投影迭代更新。

其中(*)+=max(*，0)，θk＞0。

第三步，回溯线搜索θ1∈(0，1)。

若 满 足F(wk)≤F(sk)-θ1∇F(sk)T(skwk)，则令sk+1=wk。

最后，判断截止条件，若：

则sk+1=s*，xdetail=a*-b*，否则返回第二步。

若f是低频对应的图像平滑滤波结果时，f=fsmooth，λ=0，则问题（10）转化为求解l2-TV问题（15），

结合微分空间在梯度细节保持上的优越性，本文采用文献［16］的D-ADMM（Derivative Alternating Direction Method of Multipliers）进行求解，力求平滑区域在平滑去噪的同时保留更多的微小细节信息，避免过渡平滑带来的集成电路X射线图像的细节损失。

通过微分空间和图像空间的等效条件，问题（15）转化为：

令z=d，由增广拉格朗日方法，问题（16）转化为无约束优化问题，

其 中：d=[dTh，dTv]T，dh=Dh x，dv=Dv x，z=

在ADMM框架下（17）可以转化为多个简单的子问题进行求解，具体如下：

第一步，求dk+1h，dk+1v：

v+φ2I，Ch=表示按像素相除（entry-wise division）。其中：Bv=HTH+φ1Dh DTh+φ2I，Cv=

第二步，更新zk+1：

对于各向同性TV，有：

对于各向异性TV，有：

第三步，更新pk+1，qk+1：

最后，判断截止条件。

若满足如下条件：

则得到复原图像xsmooth=U(dk+1)=U(d*)。

若条件不满足则跳转至第一步，k=k+1。

综合高频对应的图像边缘细节复原结果和低频对应的图像平滑部分复原结果得到期望的集成电路X射线图像复原结果，获得噪声去除和细节保持的有效平衡。

4 实验与结果分析

为了验证本文算法的有效性，采用标准自然光图像和集成电路的X射线图像进行两个系列的实验验证。实验的软硬件实验环境为：Matlab（R2016b），Inter（R）Core（TM）i5-8250U CPU@1.60 GHz，8 GB内 存。X射 线 成 像 示 意 图 及本文采用的X射线设备如图1所示。

图1 X射线成像示意图及本文采用的X射线设备Fig.1 X-ray imaging schematic diagram and X-ray equipment used in this paper

4.1 标准灰度图像实验验证

该 实 验 采 用Boat，Cameraman，Lena，Peppers 4幅经典的自然光图像进行实验验证，原图如图2所示。实验参数如下：噪声方差为μ=5×10-3，经验系数β=0.72，正则化参数δ1=9×10-4，δ2=9×10-5，截止条件ε=10-5。

图2 标准灰度图像Fig.2 Standard grayscale images

本文采用均方误差（MSE），峰值信噪比（PSNR），结构相似性（SSIM）对4幅图像的复原结果进行分析，如表1所示。显然，本文方法的去噪指标MSE、PSNR和细节保持指标SSIM均优于对比算法，表明本文方法的复原结果得到了噪声去除和细节保持的有效平衡，因此可将其用于集成电路的X射线图像复原。

表1 标准灰度图像实验结果Tab.1 Experimental results of standard gray images

4.2 集成电路X射线图像实验验证

集成电路的X射线图像选择电容元件、焊点等3幅图像进行验证。实验参数选择为β=0.72，正 则 化 参 数δ1=2×10-5，δ2=8×10-4，截止条件ε=10-5。

图3～图5所示为三幅图像的复原结果，对比方法为文献［4］所述的混合去噪方法、各向同性D-ADMM和各向异性D-ADMM。显然，各方法均可获得集成电路X射线图像的有效复原，但是，本文方法的复原结果对比度高，边缘更加清晰。图中放大显示的细节部分表明本文方法能够更清晰地展示电容条状结构、焊点气泡边缘等细节信息，进一步表明了本文方法在噪声去除的同时具有更好的细节保持效果，为后续缺陷检测、提高产品可靠性奠定基础。

图3 电容元件图像复原结果Fig.3 Restored results of capacitance element image

图5 焊点2图像复原结果Fig.5 Restored results of welding spot 2

图4 焊点1图像复原结果Fig.4 Restored results of welding spot 1

为更进一步验证本文算法的优越性，本节计算出以上复原结果的拉普拉斯梯度（Laplacian Sum，LS），灰度平均梯度（Gray Mean Grads，GMG），边缘强度（Edge Intensity，EI）对X射线图像的复原结果进行客观评价，如表2所示。实验结果表明本文算法在去除噪声的同时能够保留更多的细节信息。

表2 3幅集成电路X射线图像实验结果Tab.2 Experimental results of three integrated circuit X-ray images

随后，本文对另10幅集成电路的X射线图像进行了实验验证，客观评价如表3所示，再次验证 了本文方法的有效性。

表3 另10幅集成电路X射线图像实验结果Tab.3 Another ten integrated circuit X-ray images experimental results

续表3另10幅集成电路X射线图像实验结果Tab.3 Another ten integrated circuit X-ray images experimental results

5 结论

本文在分析集成电路X射线成像特点的基础上，提出了一种多正则化集成电路X射线图像复原算法。首先，通过高斯高通滤波和高斯低通滤波获取图像的高频边缘细节结果和低频平滑滤波结果并以此作为图像复原的观测图；然后提出了一种l1-TV混合正则化图像复原模型。该模型充分考虑了边缘细节和平滑部分的复原需求，解决了整幅图像采用单一正则化项造成的细节过度平滑缺失或去噪效果差的问题。实验表明本文方法的复原结果对比度高，边缘清晰，在集成电路X射线图像复原中获得了去噪和细节保持的有效平衡，可为后续缺陷检测、提高产品可靠性奠定基础。