基于小波图像金字塔的工件目标检测与定位研究

李增祥 漆志亮 贾楠 吴建华

摘  要： 在工业生产线上的产品加工或质量视觉检测的过程中，经常要完成待加工工件的目标图像匹配或产品的视觉定位，为此，提出一种基于小波图像金字塔的相关匹配方法。基于特征的匹配方法如SIFT和HOG特征方法，虽然有很好的匹配精度和稳健性，但其计算量相对较大，通常不易满足现场实时应用需求。而提出的基于小波图像金字塔的工件目标检测与定位方法，先从低分辨率图像进行粗匹配，再在高分辨率图像上进行精确匹配，从而在基本不降低匹配精度的前提下，大大提高了匹配速度。多图像的目标检测实验以及在点胶机上的应用实践均表明文中所提算法优于传统基于模型的目标定位和识别方法，能满足更多的现场实时应用要求。

关键词： 工件目标检测; 图像匹配; 目标定位; 图像金字塔; 相关匹配; 检测实验

中图分类号： TN911.73?34; TP75                   文献标识码： A                    文章编号： 1004?373X（2019）15?0033?05

Workpiece object detection and localization based on wavelet image pyramid

LI Zengxiang1， QI Zhiliang2， JIA Nan2， WU Jianhua2

（1. Gongqing College， Nanchang University， Jiujiang 332020， China; 2. School of Information Engineering， Nanchang University， Nanchang 330031， China）

Abstract： During the product processing or visual inspection in industry， there are often needs for object image matching or visual localization for workpiece and products. Hence， a new correlation matching method based on wavelet image pyramid is proposed. Although features based matching methods such as SIFT and HOG features matching methods have a good matching precision and robustness， they ordinarily cannot meet the real?time requirements on the spot owing to a large amount of computation. The proposed workpiece detection and positioning method based on wavelet image pyramid carries out a coarse matching in low?resolution images first， and then conducts an accurate matching in high?resolution images. Thereby， the matching speed is improved a lot under the precondition of keeping the matching accuracy. The results of the object detection experiment on multiple images and application practice in gluing machine show the feasibility and effectiveness of the proposed method， it is superior to the traditional object localization and identification methods based on model， and it can meet requirements of more real?time site applications.

Keywords： wavelet transform; image pyramid; correlation and matching; object detection; object localization; gluing machine

0  引  言

在目标检测领域，特征选择与提取是目标检测成功和准确与否的重要前提。Lowe提出高效的尺度不变特征变换（Scale Invariant Feature Transform，SIFT）[1?2]，是局部特征研究过程中的里程碑式的工作，后来许多新的特征提取算法或多或少地均是基于SIFT特征的基础或思路发展起来的。例如，文献[3]提出方向梯度直方图（HOG）用于行人检测，对1 800个包括不同姿势和背景的行人的检测结果优于当时的许多特征，如小波特征、形状上下文、边缘方向直方图等。文献[4?5]在SIFT特征的启发下，沿着Lowe的思路，提出了加速的鲁棒特征（Speed Up Robust Features，SURF）。SURF在生成特征矢量时使用的是积分图像，而不像SIFT特征描述子使用的是高斯图像，避免了重复计算，因此，SURF提高了检测速度。近年来，图像局部不变特征的研究不断取得了一些新的进展，且很多都是基于SIFT，HOG，SURF或它们的改进算法。在文献[6?7]中介绍了SIFT和SURF特征以及其他特征描述子（如PCA?SIFT）。文献[8]将基于SIFT的增强匹配方案用于车辆标志的识别，相比于标准的SIFT特征识别率得到了很大的提高。文献[9]提出对于每一个SIFT特征使用特定的尺度、方向和位置，以剔除边缘关键点从而改进总体匹配性能，并应用于遥感图像的亚像素级配准。

上述这些特征描述子均具有很好的匹配性能，例如尺度不变和旋转不变性等，并成功应用于许多领域。但标准的SIFT及其很多改进算法均存在计算量大的缺点，难以满足很多应用场合的实时性要求。为此，学者们和业界提出了一些快速算法，在保持或略微损失特征描述子的优越性能前提下提高匹配速度。文献[10]提出多层SIFT匹配并应用于大尺寸高分辨率图像配准，减少了由于重复性结构引起的错误匹配，并借助于由粗到细的策略解决了内存需求过大和计算复杂性的问题。文献[11]提出一种超短二进制描述子（Ultrashort Binary Descriptor，USB）并应用视觉匹配和图像检索，表现了优越的性能，且速度比SIFT提高了一个数量级。

本文针对点胶机的工业应用，提出一种基于小波图像金字塔和SIFT匹配方案，以适应很多情况下的实时应用需求。此前，文献[12]将SIFT特征结合仿射变换用于点胶机的工件检测与定位，得到了很好的效果，且增加了匹配的仿射不变性，以适应环境条件的变化，如光照不均匀、工件形状形变等不稳定因素。但文献[12]的方法与上述大多基于SIFT的方法一样，计算量仍然偏大。本文基于小波金字塔算法，采用从低分辨率开始由粗到细、由上到下、由低到高并结合局部搜索，大大减少了匹配所需时间，实验表明本文算法能基本满足实时应用需求。

1  有关的基础性工作

1.1  SIFT特征

Lowe首先在希腊科孚岛召开的计算机视觉国际会议（ICCV）上提出SIFT特征[1]，引起了机器视觉和图像处理与识别等领域学者的强烈反响。随后，Lowe及其团队对SIFT特征提取算法进行完善[2]，很多学者也提出了多种图像特征提取算法，包括较著名的HOG和SURF特征[3?4]，均具有和SIFT类似的性能。

基于图像块的改进的SIFT特征描述符的生成步骤如下[12?13]：

1） 选取适当的尺度[σ]，将图像块[I]与高斯滤波器函数[G]进行卷积得到这一尺度的高斯图像块：

2） 对高斯图像块进行缩放，使图像块的尺寸为18×18，再对该尺度的高斯图像块进行差分运算，忽略边缘效应，只取中心位置上的16×16的高斯差分（Difference of Gaussians，DOG）响应图像：

3） 基于上述结果计算图像梯度，包括幅值[m]和相角[θ]：

4） 将16×16的图像块再均匀分成如图1所示的16个4×4的图像子块，根据每个图像子块的梯度幅度和方向计算梯度方向直方图，相位的分辨率为45°，形成4×4×8=128维的SIFT特征向量，如图2所示。每个箭头所指的方向是这个像素的梯度方向，箭头的长度表示在4×4的图像字块中的像素梯度幅度的相对大小。

图1  16×16的图像块及其划分

图2  128维的梯度方向直方图

5） 直方图的峰值对应图像块梯度的主方向。这也是构成旋转不变特征描述子的旋转角。对特征向量进行循环移位，使特征具有旋转不变性，然后再进行[L2]范数规范化处理，以去除光照变化的影响并改善特征的区分度。

1.2  小波图像金字塔

图像金字塔是一个简单而有效的多分辨率图像描述结构[12?13]，起源于机器视觉和图像压缩的应用。一个图像金字塔是按金字塔形状排列的一个个分辨率下降的图像集合，如图3所示。金字塔的基（塔底）包含待处理的高分辨率图像，塔顶包含图像的低分辨率近似。沿着塔底往上到塔顶，图像的大小和分辨率均逐层下降。如果图像的大小为[N×N]，则[J=log2N]。第[j]层的大小为[2j×2j]，[0≤j≤J]。

图3  图像金字塔

构造一个图像金字塔的步骤如下：

1） 计算第[j]层输入图像的缩减分辨率的近似图像，可以通过低通滤波和[12×12]下采样得到。

2） 从步骤1）得到缩减分辨率的近似图像，建立一个第[j]层输入图像的估计，这可以通过2×2的上采样和另一个低通滤波器得到，产生的预测图像与第[j]層输入图像大小相同。

3） 计算步骤2）得到的预测图像与第[j]层输入图像的差。

4） 将步骤1）得到的缩减分辨率的近似图像放在概略图像金字塔的第[j-1]层，将步骤3）得到的差值图像放到细节图像金字塔的第[j]层，步骤1）中的第[j]层输入图像已经位于概略图像金字塔的第[j]层。

5） [j=j-1]，重复步骤1）～步骤4），得到两个相联系的图像金字塔——概略图像金字塔和细节图像金字塔。

当采用小波变换，即步骤1）和步骤2）的低通滤波器分别采用小波分解的分析低通滤波器和合成低通滤波器时，得到的金字塔称为小波图像金字塔，此时，图像的细节金字塔有3个，它们分别是水平细节金字塔、垂直细节金字塔和对角线细节金字塔。用上述步骤得到的Lena图像的4层概略图像金字塔和3个细节图像金字塔分别如图4和图5所示。

2  基于小波图像金字塔的工件目标检測

在光照稳定的情况下，传统的模板匹配方法能够在一幅包含一个或若干个目标的图像中将目标检测出来，但是传统模板匹配算法耗时长，不能满足实时检测与定位的需求。针对电子元器件的自动焊接或自动点胶等应用场合，本文提出一种基于小波图像金字塔的工件目标检测算法。

图4  概略图像金字塔

图5  细节图像金字塔

工件目标检测算法的具体步骤如下：

1） 假设待匹配图像[P]大小为[P1×P2]，模板图像[Q]大小为[Q1×Q2]，利用Haar小波分别构建待匹配图像（[P12×P22]），（[P14×P24]），（[P18×P28]）和模板图像（[Q12×Q22]），（[Q14×Q24]），（[Q18×Q28]）的三层图像金字塔。待匹配图像的概略图像金字塔的分层图像用[P1a]，[P2a]，[P3a]表示，水平细节图像金字塔的分层图像用[P1h]，[P2h]，[P3h]表示，垂直细节图像金字塔的分层图像用[P1v]，[P2v]，[P3v]表示，对角细节图像金字塔的分层图像用[P1d]，[P2d]，[P3d]表示;模板图像的概略图像金字塔的分层图像用[Q1a]，[Q2a]，[Q3a]表示，水平细节图像金字塔的分层图像用[Q1h]，[Q2h]，[Q3h]表示，垂直细节图像金字塔的分层图像用[Q1v]，[Q2v]，[Q3v]表示，对角细节图像金字塔的分层图像用[Q1d]，[Q2d]，[Q3d]表示。

2） 取模板图像金字塔中的第二层细节图像[Q2h]和Q2v，分别代替SIFT特征计算时要用到的水平和垂直梯度图像，将它们缩放为18×18像素的图像块。忽略边界上的输出，按式（3）和式（4）求取16×16的梯度幅度和梯度相位响应，再分为4×4=16个子块，相位的分辨率为45°，形成4×4×8=128维的SIFT特征向量。

3） 设定门限值[T1]。遍历搜索待匹配图像生成的第二层细节图像[P2h]和[P2v]，以类似于步骤2）的方式求取每个图像子块的128维SIFT特征向量，同时计算它与步骤2）生成的SIFT特征向量的内积。若内积值大于[T1]，则认为在低分辨率层上检测一个目标;若相邻的位置上检测到[N]个有效目标时，则判定这[N]个相邻的目标是同一个目标，该目标位置由这些候选目标位置的加权平均值决定。

4） 设定门限值[T2]。通过Haar小波图像金字塔的分解层数和低分辨率细节图像上的匹配结果推算待匹配图像中的位置。根据步骤2）和步骤3）计算模板[Q]的SIFT特征与图像[P]在该位置上16×16图像块的SIFT特征的匹配内积值。若该内积值大于[T2]，则匹配成功，该位置是目标位置;反之，匹配不成功，该位置不是目标位置。

3  实验分析及结果

本文对部分点胶工件进行目标检测实验分析，运行硬件环境为Intel[?] CoreTM 2 Duo CPU E7500 @ 2.93 GHz，内存为2 GB，软件环境为Microsoft Windows7，实验工具为Visual Studio 2010和OpenCV 2.4.0，上述步骤3）和步骤4）的门限值[T1]，[T2]分别设定为0.73，0.8。图6～图8给出了部分实验结果。

图6  工件A

其中，图6的待匹配图像大小为1 280×1 024，模板图像大小为258×236;图7的待匹配图像大小为1 280×1 024，模板图像大小为158×92;图8的待匹配图像大小为1 280×1 024，模板图像大小为56×936。从实验结果上分析，本文提出的算法可以无误地检测出目标。

图7  工件B

图8  工件C

表1  Haar小波图像金字塔不同层数的实验结果

从表1可知，小波图像金字塔层数在一定范围内，基于图像金字塔的目标检测方法能够找到图像中的目标，并随着金字塔层数增加，目标检测的速度会加快，然而当图像金字塔层数超过2层以后，目标检测的准确率有所下降。此外，本文提出的算法利用了梯度图像和内积规范化处理方法，在一定程度上去除了光照变化的影响，增强了目标检测算法的鲁棒性。

4  结  论

本文提出的基于小波图像金字塔的工件目标检测方法，相比于传统的目标检测方法有如下两个优点：

1） 小波图像金字塔方法不需要在待匹配图像上进行图像遍历搜索，而是在构建的低分辨率图像上先进行粗匹配，再在高分辨率图像上进行精确匹配，节省了图像处理运算量，加快了目标检测速度。

2） 针对工件目标检测问题，本文提出的图像目标检测算法是以图像块为基本单位，将以关键点为基础的SIFT特征计算改进为以图像块为基础的特征计算，改进的算法既提高了计算效率，又保持了SIFT特征的特点和优势，如对光照变化不敏感等特点。

今后的研究方向为：采用并行运算（即利用CPU的多核）和GPU编程，进一步减小算法的运行时间;如果有足够多的正负样品，可考虑采用机器学习的算法。例如，可以选择Haar?like特征或采用级联Adaboosted分类器使算法可以很容易地移植到各种类型的检测目标。

注：本文通讯作者为吴建华。

参考文献

[1] LOWE D G. Object recognition from local scale?invariant features [C]// IEEE International Conference on Computer Vision. Kerkyra， Greece： IEEE， 1999： 1150?1157.

[2] LOWE D G. SIFT distinctive image features from scale?invariant key?points [J]. International journal of computer vision， 2004， 60（2）： 91?110.

[3] DALAL N， TRIGGS B. Histograms of oriented gradients for human detection [C]// IEEE International Conference on Computer Vision & Pattern Recognition. San Diego， USA： IEEE， 2005： 886?893.

[4] BAY H， TUYTELAARS T， GOOL L V. SURF： speeded up robust features [C]// European Conference on Computer Vision （ECCV）. Graz， Austria： [s.n.]， 2006： 404?417.

[5] BAY H， ESS A， TUYTELAARS T， et al. Speeded?up robust features [J]. Computer vision & image understanding， 2008， 110（3）： 346?359.

[6] 王永明，王贵锦.图像局部不变性特征与描述[M].北京：国防工业出版社，2010.

WANG Y M， WANG G J. Image local invariant features and descriptors [M]. Beijing： National Defense Industry Press， 2010.

[7] 杨化超.图像局部不变性特征及其匹配问题研究与应用[M].北京：测绘出版社，2013.

YANG H C. Research and application of local invariant image features and matching problems [M]. Beijing： Surveying and Mapping Press， 2013.

[8] PSYLLOS A P， KAYAFAS E. Vehicle logo recognition using a SIFT?based enhanced matching scheme [J]. IEEE transactions on intelligent transportation systems， 2010， 11（2）： 322?328.

[9] KUPFER B， NETANYAHU N S， Shimshoni I. An efficient SIFT?based mode?seeking algorithm for sub?pixel registration of remotely sensed images [J]. IEEE geoscience & remote sensing letters， 2014， 12（2）： 379?383.

[10] HUO C L， PAN C H， HUO L G， et al. Multilevel SIFT matching for large?size VHR image registration [J]. IEEE geoscience & remote sensing letters， 2012， 9（2）： 171?175.

[11] ZHANG S L， TIAN Q， HUANG Q M， et al. USB： ultrashort binary descriptor for fast visual matching and retrieval [J]. IEEE transactions on image processing， 2014， 23（8）： 3671?3683.

[12] 漆志亮，贾楠，张烨，等.基于M?Sift特征的元器件目标检测及其在点胶机中的应用[J].现代电子技术，2018，41（23）：161?164.

QI Z L， JIA N， ZHANG Y， et al. A new object detection and localization method based on modified sift features [J]. Modern electronics technique， 2018， 41（23）： 161?164.

[13] GONZALEZ R C， WOODS R E. Digital image processing  [M]. 3rd ed. New Jersey， USA： Prentice Hall， 2008.