基于信息融合的PCB红外热像检测关键技术研究

李广宏，雷 建



基于信息融合的PCB红外热像检测关键技术研究

李广宏，雷 建

（洛阳理工学院 工程训练中心，河南 洛阳 471023）

利用红外热像技术对PCB（Printed Circuit Board，印制电路板）的板载元件工作状态进行探测，是一种新型的非接触式的检测方法。针对传统检测方法未将PCB的可见光图像作为检测信息的有益补充，本文把两种图像进行融合，将有用的信息有机地结合了起来。首先检测可见光与红外图像的最大稳定极值区域特征，利用简化的SURF描述子实现多模态图像的配准。接下来采用结合非下采样轮廓波变换和压缩感知技术进行红外与可见光图像融合，获得兼具元器件位置和工作属性等信息的图像。最后使用ID3决策树获得被测故障的最大的类别信息，通过实验表明了基于信息融合的红外热像技术进行PCB检测的可行性，同时也对局限性进行了分析和阐述。

印制电路板检测；红外热像技术；图像融合；故障诊断

0 引言

PCB（printed circuit board，印制电路板）是电子电路的载体，各种电子元件以PCB为载体组合在一起，从而实现电路的整体功能。PCB的制造属于板卡级的封装，是整机总成的基础，它的质量直接影响电子产品整机的质量，可靠的电路板是保障电子产品质量的决定要素。产品的质量是一个企业旺盛生命力的基本保障，因此PCB的检测也成为整个电子制造体系里不可或缺的重要环节。

从20世纪70年代起，随着计算机技术、检测技术、人工智能技术的兴起，电路诊断技术进入了智能诊断的新阶段。ICT（In-Circuit-Test，在线测试或称路内测试）技术应运而生，比如针床测试和飞针测试就属于这种方法，缺点就是针床测试对每种单板需制作专用的针床夹具，夹具制作和程序开发周期长；飞针测试相比稍好。随着大规模集成电路的出现，印制电路板集成密度不断提高，制造工艺向小型化发展；由于芯片的封装更为多元化，有的元器件根本没有办法下探针测试。一种新的测试技术产生了，JTAG（Joint Test Action Group，联合测试行为组织）定义这种新的测试方法即边界扫描（Boundary Scan）测试，它的缺点是要求必须有被测PCB的网表或电原理图，对编写测试程序的人员要求高，测试程序编写工作量大等[1]，再者绝大数板卡没有可测性设计。

AOI（Automatic Optic Inspection，自动光学检测）是基于光学图像处理来对焊接组装中产生的缺陷进行检测的设备，可以检查锡膏印刷的质量、贴片元件的贴装是否精准到位以及焊接的缺陷。缺点是不能诊断电路电气性能故障，对被遮蔽的焊点也无法探测。AXI（Automated X-Ray Inspection，自动X射线检测），也是光学检测系统的一种。它使用X射线作为探测源，尤其对BGA（Ball Grid Array，球栅阵列式）、CSP（Chip Scale Package，芯片级封装）的焊点隐藏的元件的焊接质量检测。但它和AOI检测一样，主要进行工艺故障的检测，不能测试电路电气性能方面的缺陷和故障。

借助红外热成像技术对PCB进行检测，是一种新的无损检测技术，出现故障（含疲劳）的元件在电源激励下会有异常的温度表现，通过和正常的红外热像比对可以发现问题所在。与一般电路板检测方法相比，红外热成像技术具有检测速度快、通用性强、操作简便、检测和维修费用低等优点[2]。国外早在20世纪70年代就已经开始研究电路板故障红外诊断技术，比如原美国休斯飞机公司以及美国军方开发了针对各种特殊需求的电路板故障红外诊断仪[3]。与美国等西方国家相比，我国在红外热像仪研发方面、在基于红外热成像进行诊断技术研究方面起步较晚，但是自20世纪90年代初以来国内有很多高等院校、科研院所开展了相关的研究工作[4-6]。其中文献[4]介绍的TIP（Thermal Image Processing，红外热像处理）快速大面积不接触式电路故障检测仪实质上是一个红外检测系统，但是它在处理中仅仅考虑了红外图像，并没有和可见光图像中有用的信息结合起来，本文针对这一不足，着眼于把不同源的图像各自携带的有用信息结合起来考虑，使检测更具有实际意义。

1 红外图像预处理

1.1 高增强滤波

为了改善分辨率低且对比度差这些红外图像的不足，突出边缘和某些细节灰度的跳变使其变清晰需要进行预处理。锐化是常用的方法，但往往也增强了干扰噪声，因此为了在取得更好的锐化效果的同时把噪声干扰降到最低，可以先对原始图像进行平滑滤波，再进行锐化增强边缘和细节。我们这里在空域使用高斯-拉普拉斯（Laplacian of Gaussian，LoG）算子，如式(1)所示：

将产生把图像中浅灰色边线和突变点叠加到暗背景中的LoG图像。将原始图像（如图1(a)所示）和LoG图像（如图1(b)）叠加在一起的高增强滤波方法，可以保护锐化处理的效果，同时又能复原背景信息，叠加后的图像如图1(c)所示。

1.2 伽玛校正

伽马校正就是对图像的伽马曲线进行编辑,对图像灰度的处理是属于非线性变换。这样可以甄别出图像中较暗的区域并增大其比例，同时也可检测出浅色部分并使其比例增大，从而得到对比度提高的图像；还可增强细节，从而带来整体图像效果的改善。伽马变换的一般表达式为：

式中：x与y的取值范围均为[0, 1]，esp为补偿系数，γ为伽马系数。这里采用γ＝1.2，校正后高灰度区域对比度得到增强如图1(d)所示。

2 多模态图像配准

PCB的可见光图像记录了各板载元件的类型、名称、位置等信息，红外图像记录了热模式下的各元件工作状态，若要使多源信息融合首先要将不同模态的图像进行配准。红外与可见光图像属二者灰度差异较大，红外图像甚至会出现灰度翻转的情况，为了克服基于灰度匹配方法缺点，我们采用基于特征的匹配方法。首先提取图像高层次的特征，如果特征描述子性能较为优秀就可使用简单的测度建立两幅图像的匹配对应关系。

2.1 MSER特征提取

最大稳定极值区域（Maximally Stable Extremal Regions，MSER）算法[7]不仅可以检测出灰度值较为一致的区域，同时还具有较强的抗仿射变换的能力。红外图像的缺点就是对比度低、信噪比低、边缘模糊、目标识别困难等，通过前面的预处理可以解决形状和结构信息不足的问题。在PCB上某一元器件所呈现的温度对应红外图像中某一灰度区域，使用MSER方法可以将板载元器件的轮廓和不同热模式识别出来，如图2所示。

图2 MSER特征提取

2.2 简化的SURF特征描述

在特征区域提取之后，需要有合适的特征描述方法来描述特征区域局部图像模式，图像配准过程往往是两幅图像特征区域之间进行相似性比较的过程。为了使用较简单的测度比如欧氏距离实现相似性度量，因此对于特征描述的选用显得尤为重要。Bay提出的SURF（Speeded Up Robust Features，加速鲁棒性特征）描述子[8]就是一种性能优秀、紧凑而完整的描述子，在实时性和鲁棒性上大体上都优于SIFT。

由于红外图像在灰度表达时，和可见光图像相比会出现灰度翻转的情况，因此梯度方向也会发生翻转，所以需要对SURF描述子的主方向进行修正。在以步长为0.2rad旋转张角为60°的扇形区域，在此扇形区域内把harr小波响应值d和d分别取绝对值后相加，最大累加值所对应的方向即确定为主方向，方法如下：

形成特征描述子需要按上述方法得到的主方向将坐标轴与之对齐，按照主方向选取边长为20（采样步长取），以特征点为中心的正方形邻域。再将上述正方形邻域划分成4×4个子区域，每个子区域范围为5×5，在16个子区域内计算尺度为2的Haar小波响应，相对于主方向水平的小波响应记作d，垂直方向的记作d。同样对响应值进行加权处理，以增加对几何变换的鲁棒性；为了避免灰度翻转造成匹配失败，只考虑将每个子区域响应的绝对值相加形成。这样，在每个子区域形成二维分量的矢量：

每一特征点的描述向量由传统的64维降为32维，提高了实时性。再将向量进行归一化处理，可以使其具有抗光照变化的能力。初步匹配后一般还需匹配提纯，比如利用双目立体视觉中对极几何内在的约束，通过随机抽样一致性检验算法估计基础矩阵，可以有效地剔除野点。经匹配提纯后的配准图像如图3所示。

图3 PCB红外与可见光图像配准

3 非同源图像融合

图像融合就是将同一对象通过不同设备获取的、含有不同属性信息的图像数据进行匹配，接着使用一些特定的融合机制，将不同类型的各图像中所含互补性信息有机地结合起来。这样可以较全面地描述被研究对象，最大限度地利用各种信息源提供的信息，为后续的决策提供依据。

3.1 非下采样轮廓波变换

传统的Contourlet变换更有效地表示和处理图像等高维空间数据，但不具备平移不变性，由于需要下采样，会造成较明显的Gibbs现象。非下采样轮廓波变换（nonsubsampled contourlet transform，NSCT）在继承了所有Contourlet变换性质的同时克服了上述不足。NSCT对图像分解后不进行降采样处理，可以很容易找到各子带图像之间的相互对应关系，有利于制定融合规则，因此NSCT很适合图像融合[9-10]。与Contourlet变换处理基本步骤相同，NSCT也是将尺度分解和方向分解分开进行的。

首先采用二维双通道的非下采样塔式滤波器组（nonsubsampled pyramid filter bank，NSPFB）获得图像的多尺度分解，每一级分解得到和原图像大小相同的高频子带和低频子带，这一过程可以再对低频子带迭代进行，一般分解三级即可。然后使用非下采样方向滤波器组（nonsubsampled directional filter bank，NSDFB）对各尺度子带图像进行方向分解，得到不同方向、尺度的子带系数[11]。每一个滤波器都是扇形滤波器，同样满足Bezout恒等式，因此是可以重构的。

3.2 应用压缩感知技术融合

对可见光图像v和红外图像i分别进行NSCT分解，得到相应图像的NSCT系数v与i。经NSCT分解后得到了高频系数及低频系数，由于低频信号为逼近信号，稀疏性很小，这里低频子带系数jv与ji直接采用加权平均法进行融合。而高频系数为稀疏信号，本文使用伪随机傅里叶矩阵对分解后的带通子带系数v与i分别进行观测采样，得到各自图像的观测值后，再进行加权融合重构带通方向子带系数，最后和上述方法融合后的低频子带系数一起经过NSCT逆变换进行重构得到融合后的图像[10,12]，如图4所示。

4 故障诊断

4.1 去除环境温度影响

红外图像本质上是灰度图像，不同的灰度级代表不同的温度。温度越高，图像越亮（灰度值越大）；温度越低，图像越暗（灰度值越小）。检测过程是对灰度图像进行处理和分析。提取元器件的温度特征，需要获得正常PCB的融合图像，也需通过多次测量求平均值到的原始图像原始。由于测量时间和地点的不同，环境温度也可能不同，这会给待检图像的测量带来误差，产生错误的判断。由于PCB板子的温度基本上和环境温度相当，我们采用提取PCB板子边缘的灰度变化，来确定标准图像的灰度值。比如，标准图像板子边缘区域灰度值为0，待检图像对应的区域为T，那么二者的增量为Δ＝T－0，那么，标准＝原始＋Δ。

4.2 差分图像

差分图像检测就是通过将融合后的PCB标准图像与待测PCB的图像做差分运算得到的，差分＝待检－标准，如图5所示。分析它们温度特征量的差值来确定产生故障的元件。一般8位灰度图像的取值为0～255，当灰度值小于0时，图像处理软件会把小于0的值截断为0（黑色）。为了便于区分观察，需要遍历差分图像获得最小值，整个灰度值加上这个最小值，如果超出上限255，使之截断为255（白色）。对于模式识别的话，不需要这样做，只需看它的取值范围就可。

4.3 ID3决策树故障诊断

根据PCB红外图像技术来检测判断故障，样本集和目标属性并不繁杂，这里我们采用较简单实用的ID3（Iterative Dichotomiser 3，递归分类器3）决策树构建故障分类识别方法。

决策树又称多级分类器，在对数据进行决策分类时利用树型结构记录数据并进行分类。ID3算法在决策树各层分支节点上选择属性时的标准是信息增益，这里选择差分图像在某一区域内灰度的平均值作为选择属性标准。在对每一非叶子节点进行观测时，能获得关于被测样本最大的故障类别信息。决策树的构建如图6所示。

图4 PCB融合图像

图5 差分图像

图6 故障决策树

Fig.6 Fault decision tree

决策树可以对PCB板载元器件工作状态进行检测，考虑到红外图像的预处理可能带来的像素值非线性变化，我们增大了正常的阈值范围。由实验测试得到红外图像6个灰度值变化对应温度大约1℃的变化，当元件不高于正常工作温度（由融合的标准图像得到）0.75℃，不管它是什么类型元件，说明它没有工作，很可能是断路故障。当元件温度高于正常工作温度0.75～5℃范围内的元件不管它是什么类型都是正常的。当元件温度高于正常工作温度5～12.5℃，对于电阻元件和线圈这些易发热的元器件是可接受的（正常的）；但是对于电容、晶体管和集成电路元件，它是参数退化，稳定性不良的，这很可能就是未来的故障隐患。当元件温度高于正常工作温度12.5℃的元件是有故障的，具体故障不同元件有不同的形式。

通过对电子秒表的电路板进行实验，根据差分图像检测板载元器件所占据的矩形区域，计算每个矩形区域像素灰度的均值。在IC4区域的平均灰度值达到了95.2，IC8区域的平均灰度值达到了88.6，超出了阈值75，所以判断这两个集成电路损坏。原先这块的电路板出现了显示不正常的故障，初步估计是共阳数码管的译码驱动器74LS247（IC8）出现了问题，通过红外热像的检测，不仅发现了译码驱动器有故障，还意外地检测出计数器CD40160（IC4）也有故障。

5 小结

通过将PCB的红外与可见光图像所包含的有益的信息进行融合，可以实现对其故障的检测和定位。但红外热像技术在PCB检测应用上还有不少需提升的空间，使用的红外图像都是静态的图像，没有考虑元件温度随时间变化的特性，没有考虑环境对红外图像温漂的影响。其次对样本的训练还有不完备、不够完善的情况，存在对模式分类处理过于武断的现象。整个检测是基于PCB的热模式的，没有考虑电路的图论，没有对电气参数和时序逻辑进行检测，如果把这些问题都考虑进来，可以使其具有更高的智能和更大的普适性。

[1] 刘林生, 张东. 印制电路板在线故障诊断技术探讨[C]//第20届测控、计量、仪器仪表学术年会, 2010: 158-161.

Liu Linsheng, Zhang Dong. In-circuit fault diagnostic techniques for PCB[C]//,, 2010: 158-161.

[2] 万九卿, 李行善. 印制电路板(PCB)的红外热像诊断技术[J]. 电子测量与仪器学报, 2003, 17(2): 19-25.

Wan Jiuqing, Li Xingshan. PCB diagnostic technique based on infrared thermal Imaging[J]., 2003, 17(2):19-25.

[3] 宫明文, 李云霞, 蒙文, 等. 浅析国内基于红外技术的电路板故障检测方法[J]. 红外, 2012, 33(7): 6-10.

Gong Mingwen, Li Yunxia, Meng Wen, et al. Analysis of domestic circuit board fault detection technology based on infrared technology[J]., 2012, 33(7): 6-10.

[4] 莫影.电路故障红外实时检测系统研究[D]. 成都: 电子科技大学, 2004.

Mo Ying. Research on Infrared Real-time System for Circuit Fault Detection[D]. Chengdu: University of Electronic Science and Technology of China, 2004.

[5] 郭世苗, 魏臻, 吴建东. 红外光学成像技术在电路板上的应用[J]. 天津理工大学学报, 2009, 25(05): 54-56.

Guo Shimiao, Wei Zhen, Wu Jiandong. Infrared optical imaging technology in circuit board applications[J]., 2009, 25(5): 54-56.

[6] 崔伟. 电路板故障红外热像检测关键技术研究[D]. 南京: 南京航空航天大学, 2011.

Cui Wei. Research on key technologies for printed circuit board detection by infrared thermorgraphy[D]. Nanjing: Nanjing University of Aeronautics and Astronautics, 2011.

[7] Nister, D. Stewenius, H.. Linear Time Maximally Stable Extremmal Regions[C]//10th, 2008, 5303: 183-196.

[8] Bay H, Tuytelaars T, Gool L V. SURF: Speeded Up Robust Features[J]., 2006, 110(3): 404-417.

[9] 陈木生. 结合NSCT和压缩感知的红外与可见光图像融合[J]. 中国图象图形学报, 2016, 21(1): 0039-0044.

Chen Musheng. Image fusion of visual and infrared image based on NSCT and compressed sensing[J]., 2016, 21(1): 0039-0044.

[10] 冯鑫, 王晓明, 党建武, 等. 基于改进非下采样轮廓波的图像融合算法[J]. 农业机械学报, 2012, 43(12): 192-196+164.

Feng Xin, Wang Xiaoming, et al. Image Fusion Algorithm Based on Improved Nonsubsampled Contourlet[J]., 2016, 43(12): 192-196, 164.

[11] 杨艳春, 王晓明, 党建武, 等. 基于NSCT与区域点火PCNN的医学图像融合方法[J]. 系统仿真学报, 2014, 26(2): 274-278.

Yang yanchun, Wang Xiaoming, Dang Jianwu, et al. Medical Image Fusion Method Based on NSCT and Regional Fire PCNN[J]., 2014, 26(2): 274-278.

[12] 邢雅琼, 王晓丹, 毕凯, 等. 基于非下采样轮廓波变换和压缩感知的图像融合方法[J]. 控制与决策, 2014, 29(4): 585-592.

Xing Yadan, Wang Xiaodan, Bi Kai, et al.Fusion technique for images based on non-subsampled contourlet transform and compressive sensing[J]., 2014, 29(4): 585-592.

Research on Major Technology of PCB Infrared Thermal Detection Based on Information Fusion

LI Guanghong，LEI Jian

(,471023,)

A new type of non-contact detection method has emerged that uses infrared thermal imaging technology to detect the working state of printed circuit board (PCB) components. In traditional detection methods, a PCB's visible image is not used to supplement detection information. In this study, multi-modal information is organically combined. First, the maximum stable extremum regions of visible and infrared images are extracted, and then simplified speeded-up robust features are descripted for multi-modal image registration. Then, the combined nonsubsampled contourlet transform and compressed sensing technology are used for image fusion to obtain images with the component location and performance status.Finally, the ID3 decision tree is used to split the classification of the fault attributes. An experiment conducted in our study shows the feasibility of PCB detection based on infrared thermal imaging. In addition, the limitations are analyzed and expatiated.

printed circuit board detection，infrared image technology，image fusion，fault diagnose

TP391.5

A

1001-8891(2017)09-0829-06

2017-05-24；

2017-07-28.

李广宏（1975-），男，汉族，河南洛阳人，硕士，讲师，主要研究领域为图像处理、模式识别、计算机视觉。E-mail：lyliguanghong@163.com。

河南省科技攻关计划项目（162102210279，112102210522）。