一种用于引线键合视觉定位的图像质量评估方法

李文俊，胡 泓，李峥嵘

(1.哈尔滨工业大学(深圳)机电工程与自动化学院，广东 深圳 518000；2.深圳市大族光电设备有限公司，广东 深圳 518000)

0 引言

引线键合是芯片封装邻域中用于芯片互连的技术，对视觉定位的精度和效率都有很高的要求。引线键合机在工作过程中，由于邦头的高速运动和震动，会导致图像采集设备出现松动，采集到的图像出现失焦模糊和运动模糊的现象，或者由于引线键合机照明系统没有调节在最佳的照明状态，还会产生光照不适的失真图像。这些质量较差的图像将直接影响到图像的视觉定位精度，对焊接质量产生很大的影响。

本文将图像质量评估的方法引入到引线键合的视觉定位系统中，使用生成对抗网络生成采集图片的伪参考图，将无参考图像质量评估的问题转化为有参考图像质量评估的问题进行解决。然后对采集图片和伪参考图片使用基于灰度的视觉定位方法进行定位，将定位坐标差作为图像质量评估的依据。本文提出的图像质量评估方法，相对于传统的无参考图像质量评估方法如PSNR(peak signal to noise ratio，峰值信噪比)、SSIM[1]与FSIM[2]，和有参考图像质量评估方法如CNN[3]与DNN[4]，有更好的图像质量评估性能。

1 相关工作

1.1 图像质量评估

图像的质量评估主要分为有参考图像质量评估和无参考图像质量评估2种。有参考图像质量评估有PSNR、SSIM和FSIM等方法，这些方法评价一致性好并且研究成熟、使用广泛，但是需要有参考图像进行参考，主要用于评估图像在网络传输或者压缩过程中的质量损失。无参考图像质量评估是指在没有参考图片的情况下对图像质量进行评价，本文的研究内容即是属于无参考图像质量评估领域。无参考图像质量评估的主要使用神经网络进行学习的方法进行图像的质量评估，如CNN与DNN的方法。在无参考图像质量评估领域，大量学者们关注的是人对图像的感官质量评估问题，少有学者使用图像质量评估的方法研究图像质量对视觉定位精度的影响，而本文使用图像质量评估的方法来保障图像视觉定位的精度。

1.2 生成对抗网络GAN

2014年，Goodfellow提出的生成对抗网络GAN[5]，主要用来解决图像的生成问题。他采用一个生成网络和一个判别网络相互博弈训练，最终提高图片生成的真实性。后来Martin等为了解决GAN训练模式坍塌的问题，提出了使用Wasserstein距离进行训练的方法WGAN，但是会产生Weight clipping问题。Gulragani等[6]在提出在WGAN的基础上添加惩罚项的方法，有效地解决了模式坍塌的问题，很大程度使GAN的训练能够稳定进行。

2017年，Orest Kupyn将GAN引入到图像去模糊的问题，提出DeblurGAN的方法，能够有效将模糊图像还原位清晰图像。在超分辨率重建的问题上Ledig等[7]提出了SRGAN的方法，用来来解决图像的超分辨率生成。在图像质量评估问题上，Ren[8]提出的RANK4IQA和Lin等[9]提出的Hallucinated-IQA，都是借助GAN网络的思路解决图像质量评价的问题，并且取得了很好的效果。

2 本文方案

本文方案分为RSGAN(restorative GAN，图像复原网络)和TMR-IQA(template match reference-image quality assessment，基于模板匹配的有参考图像质量评估)2部分，方案流程如图1所示。首先利用生成对抗网络对采集图进行还原，生成1幅伪参考图。得到伪参考图之后，使用TMR-IQA方法对图像进行质量评估，对采集图与伪参考图使用相同的模板图像进行基于灰度的模板匹配，将匹配坐标差作为图像的质量评估依据。

图1 本文图像质量评估总体方案

2.1 数据集生成

为满足生成对抗网络的训练要求，需首先采集和制作用于模型训练的数据集。生成对抗网络由生成G网络和对抗D网络组成，在生成对抗网络中，需要同时在G网络中输入失真图，在D网络中输入参考图和G网络生成的生成图。但是在数据集采集过程中，不可能同时采集1张图片的失真图和参考图，因此将焊线机视觉系统采集的清晰图片当作参考图，再使用失真算法在参考图的基础上模拟生成失真图，用这样的方法得到最终数据集。具体数据集的生成方法步骤如下：

a.使用引线键合机采集芯片图像作为参考图。在良好的成像环境下，采集A类芯片图像465张，B类芯片图像360张，共计825张图。

b.使用失真算法模拟生成失真图像。使用高斯卷积核对图像进行卷积模拟生成失焦模糊图像，使用偏中心高斯卷积核对图像进行卷积模拟生成运动模糊图像，光照不适使用调节像素值的方法进行模拟。根据失焦模糊、运动模糊和光照不适的程度不同，将每张参考图模拟生成4张失真图。共计3 300张失真图，其中A类芯片图4组，B类芯片4组，按照芯片类别和失真程度的不同共有8组失真图。将3 300组图片分为训练集和测试集。其中训练集2 940组，测试集360组。

c.计算数据集的标准质量分数。将采集图与对应失真图使用相同的模板进行模板匹配，得到两者的匹配坐标，然后根据两者的匹配坐标值差Lc计算对应失真图的质量分数。质量分数S转换公式如式(1)所示，将此数值作为数据集图像的质量评价标准分数。

(1)

2.2 生成器G网络网络结构

本文所用网络结构与Johnson用于图片的风格迁移[10]中的网络结构相似，如图2所示。

图2 生成器G网络网络结构

a.首先是1层大小为7×7的卷积层；2层为下采样层，下采样层包含1个步长为2大小为3×3的卷积层、instance normalization归一化层、ReLU激活层。

b.然后是9层残差网络[11]，残差网络包含1层大小为3×3的卷积层、instance normalization归一化层、ReLU激活层、3×3卷积层、instance normalization归一化层。

c.接着是2层上采样层，上采样层包括双线性插值加3×3的卷积层、instance normalization归一化层和ReLU激活层。

d.最后1层有7×7大小卷积层和tanh激活层。

2.3 判别器D网络

D网络由6层卷积层组成的，用以判别图片的真假。对于参考图(即采集图)，期望D网络判别为真，输出值接近1；对于生成图，期望D网络判别为假，输出值接近0。

2.4 损失函数

生成对抗网络的训练过程是G网络与D网络相互博弈的过程。G网络的任务是尽量让生成图骗过D网络，让其判别为真，在训练过程生成图越来越接近真实参考图。D网络的任务是在训练过程中提高对生成图与参考图的鉴别能力。整个训练过程对抗损失为

(2)

根据文献[6]的研究，为了防止训练过程中出现梯度消失或者梯度爆炸问题，D网络的损失函数应该在对抗损失Ladv的基础上加上惩罚系数，即

(3)

G网络的损失函数LG由对抗损失Ladv和内容损失Lcontent组成，即

LG=Ladv+Lcontent

(4)

内容损失Lcontent是使用训练好的VGG19辅助进行提取的感知损失Lx。在本文中，由于使用基于灰度的模板匹配算法进行视觉定位，视觉定位的坐标非常依赖于图像的像素值，因此除了使用感知损失，还加上了像素损失LMSE。Lcontent和LMSE分别为：

Lcontent=λ1Lx+λ2LMSE

(5)

(6)

2.5 训练过程

使用TensorFlow进行网络搭建，G网络和D网络交替进行训练，在每次迭代中，D网络训练5次，G网络训练1次。使用GTX 1080 TI型号的GPU经过250epoch训练达到稳定状态。

3 图片生成效果

将训练好的G网络进行图像生成实验，将模拟失真图输入G网络获得生成图。如图3所示，G网络能够很好地对失真图像进行还原。

图3 GAN网络的生成图

4 实验分析

在本方案中，先使用RSGAN对失真图进行还原生成伪参考图，然后使用TMR-IQA对图像进行质量评价，得到图片的质量分数。将本方案得到的图像质量分数序列X与标准质量分数Y进行对比计算SROCC和PLCC值。PLCC(Pearson rank-order correlation coefficient，皮尔森线性相关系数)如式(7)所示；SROCC(Spearman rank-order correlation coefficient，斯皮尔曼秩序相关系数)如式(8)所示。二者都广泛应用于衡量2个序列的相关性，值越大，代表图像质量评估性能越好。

(7)

cov(X,Y)为序列X、Y的协方差计算；σX、σY分别为序列X的方差、序列Y的方差；μX、μY分别为序列X的均值、序列Y的均值。

SROCC(X,Y)=PLCC(R(X),R(Y))

(8)

R(X)、R(Y)分别为序列X、Y的排序序列。

使用RSGAN与PSNR、SSIM、FSIM相结合的方法(如图4所示)对图像进行评价，并计算各组数据集的PLCC和SROCC值，并与本文中的图像质量评估方法进行实验对比，得到如图5所示的结果对比。

图4 RSGAN与PSNR、SSIM、FSIM相结合的图像质量评估方法

图5 本文方法与RSGAN+PSNR、RSGAN+SSIM、RSGAN+FSIM方法结果对比

将本文中使用的图像质量评价方法与无参考图像质量评估方法如CNN、DNN进行实验对比，得到如图6所示的实验结果。

图6 本文方法与CNN、DNN方法结果对比

由图5可知，本文提出的图像质量评估方法与RSGAN和有参考图像质量评估如PSNR、SSIM、FSIM相结合的方法相比有很大的性能优势，说明TMR-IQA相对于PSNR、SSIM和FSIM更加适合解决视觉定位领域的图像质量评估问题。由图6可知，本文方法相对于无参考图像质量评估CNN和DNN有更好的综合性能，说明使用生成对抗网络将无参考图像质量评估问题转化为有参考图像质量评估问题的方法，能够更好地解决视觉定位的图像质量评估问题。

5 结束语

为了保障引线键合机视觉定位的精度，本文提出了一种针对引线键合机视觉定位的图像质量评估算法，将生成对抗网络引入到图像质量评估的方法中。通过使用生成对抗网络生成采集图片的伪参考图，把无参考图像质量评估问题转化伪图像质量评估问题，然后有针对性地使用视觉定位坐标差作为图像质量评估的依据。通过实验，证明本文提出的方法在解决视觉定位的图像质量评估问题上，与RSGAN+PSNR、RSGAN+SSIM、RSGAN+FSIM、CNN和DNN相比有明显的优势。

本文的图像质量评估方法能够在图像视觉定义方向的图像质量评估取得较好的效果，主要得益于使用了生成对抗网络和视觉定位相结合的方法，可以有效地对该类问题进行图像质量评估，具有较强的针对性，为保障焊线机视觉定位精度提供一种有效方法，也对其他类图像质量评估方法提供新的解决思路。