图像检索技术在喷涂件表面质量检测中的应用

彭太乐，张文俊，张 震，郭桂芳，黄东晋

（1.淮北师范大学 计算机科学与技术学院，安徽 淮北 235000；2.上海大学 通信与信息工程学院，上海 200072；3.上海大学 影视艺术技术学院，上海 200072）

0 引言

随着图像处理技术的不断提高，基于内容的图像检索系统的研究得到了深入发展.基于内容的图像检索系统的任务是从图像数据库中找出用户需要的图像，目前广泛地用于信息检索、网络敏感图像过滤、视频过滤、网络多媒体搜索引擎、交互电视等领域.

喷涂件喷涂质量检测的目的是在生产线检测出合格产品或不合格产品.目前多采用人工结合物理检测的方法.在生产线现场，面对每分钟数以千计的零部件必须投入大量的人力.若采用传感器及图像检索系统组成自动检测系统进行检测零部件，可避免残、次品外流.

图像检索系统分为基于文本的检索系统和基于内容的检索系统（Content Based Image Retrieval，即CBIR）.其中CBIR是近年研究较多的检索系统.CBIR的思想是以样图为索引，在图像数据库中查找符合某种匹配条件的图像.在生产线对产品表面质量检测时，我们习惯上是检测产品的局部视觉特性，比如伤痕、污迹、色泽等特征，并为此采用了物理及人工检测，进一步检测出残、次品.

本文从基于内容的图像检索技术的角度出发，选择以人工及物理方式获取的合格喷塑件为样图，以设定时间内由图像传感器组获取的图像组作为图像数据库.在数据库中检索符合匹配条件的图像，若存在，该产品则为合格品，否则为残次品.

1 基于多特征的图像检索系统

CBIR使用图像的底层物理特征，如颜色、纹理、形状等来描述图像，检索过程主要是通过视觉特征之间的相似度匹配来完成检索.典型的CBIR系统包括IBM公司的QBIC系统［l］，美国麻省理工学院开发的Photobook 系统［2］，哥伦比亚大学的 Visual Seek［3］、意大利Palermo 大学开发的 JACOB［4］、日本京都产业大学开发的OVID［5］等系统.图1给出传统的基于内容的图像检索系统框图.

图1 基于内容检索系统的一般框架

图2 样图

图像匹配是CBIR中的核心环节之一.图像匹配就是计算图像之间的相似性，对于复杂图像若采用单一底层特征进行图像匹配往往无法获取较好的匹配效果.如图2中的天空及草地为非结构性图像对象，其无法采用形状、轮廓特征来计算图像的相似性，却可以用纹理特征进行描述.对牛等结构型对象则可以用形状、轮廓等底层特征进行计算图像之间的相似性.目前的图像匹配技术通常采用多特征对图像进行相似性计算.

根据注塑件本身为结构型图像对象的特点，本文选取图像的SIFT 特征［6］及颜色特征来完成图像匹配.

1.1 Sift特征提取与匹配

Sift 特征是图像的局部特征，对图像尺度缩放、位置、旋转及亮度变化不敏感，具有较强的鲁棒性.Sift特征提取通常包含4个步骤，分别为构建多尺度空间，寻找兴趣点，剔除低对比度的关键点和不稳定的边缘响应点，以128维向量描述子描述特征点.

根据公式（1）、公式（2），对已知图像F（x，y）与高斯核函数做卷积，形成多尺度空间，进行极值点监测.把DOG（Difference of Gaussian，高斯差分）尺度空间中的每个点与相邻尺度和相邻位置的点逐次比较，得到特征点.

公式（1）中，G(x,y;σ)为高斯函数，σ为尺度坐标.

精确定位极值点位置.为了提高关键点的稳定性，对尺度空间DOG函数进行曲线拟合.利用Taylor级数将D（x，y，σ）在局部极值点（x，y，σ）处展开.

对上式求X的偏导，则极值点的精确位置为：

X为修正值，将修正后的结果带入（3）式，得：

若D(X)小于给定阈值（取0.04），则视为不稳定极值点，进行删除.

根据关键点邻域像素的梯度方向，为每个关键点指定方向参数.使用4×4 个种子点来描述关键点，且每个种子点有8个方向，形成128维特征描述符.由每个特征点形成的SIFT描述子向量集DS，形成一个特征集S=｛S1，S2，…，Sn｝.

在生成SIFT 特征描述符后，以欧式距离作为多维向量的相似性度量函数实现特征点匹配.对于两个图像f（x，y），g（x，y），若关键点匹配的数量越多，图像的相似程度就越高.在实验中，使用相似度函数α1来表示图像相似程度.

1.2 颜色矩

颜色是图像的重要特征之一，也是评价注塑件表面质量的参数之一.图像的颜色表达有颜色直方图、颜色矩及颜色相关图等方法.其中，颜色矩是一种简单有效的颜色特征表达方法，其分为一阶矩、二阶矩和三阶矩等，由于颜色信息主要分布于低阶矩中，所以用一阶矩，二阶矩和三阶矩足以表达图像的颜色分布，颜色矩已证明可有效地表示图像中的颜色分布，该方法的优点在于：不需要颜色空间量化，特征向量维数低；但实验发现，该方法的检索效率比较低，因而在实际应用中往往用来过滤图像以缩小检索范围.

对于图像I（x，y）来说，设Pi，j是图像中第j个像素的第i个颜色分量，则该颜色分量矩的计算如下：

图像（Ix，y）的特征矢量可表示为：

设F（x，y）和G（x，y）表示两幅彩色图像，它们的颜色矩距离公式定义为：

其中ηi,j≥0，i为颜色通道，ηi,j为经验小数

2 算法流程

步骤1：获取样图f（x，y）提取其SIFT特征，计算颜色矩Vf=(ui,σi,Si)；

步骤2：通过图像传感器获取图像流gi，记k个图像为一组，来自于同一注塑件，Ω={g1,g2,…,gk,…}；

步骤3：读取gi，根据公式（6）、公式（10）分别计算α1及D(f,gi).若α1→1，且D(f,gi)→0，则认为gi为合格件；

步骤4：i+k→i，转向步骤3.

3 仿真实验

为了验证本文所提算法及质量检测系统的有效性，本文设计了一个仿真平台.由工业摄像机、皮带机、计算机及喷涂件组成仿真生产线，如图3所示.以128个手机前壳、45个鼠标及46 个注塑灯盘为检测对象.在不同的阈值下得到的结果如表1、表2所示.

本文采用准确率来表识检测效果，若待检测的图像流中有一个图像与样图匹配，则认为待检测图像为合格件.

图3 仿真实验平台

表1 手机壳喷涂件检测结果

表2 鼠标及灯盘喷涂件检测结果

4 结束语

本文以图像的SIFT 特征、颜色特征开发了图像检索系统以实现喷涂件表面质量的检测.SIFT 特征及颜色特征能较好地实现结构型图像匹配.以合格件作为样图，对注塑件组成的图像库进行检索.由于图像数据库是在单位时间内获取的图像流，即图像库较小，这为提高喷涂件的检测速度提供了可能.本文从检索合格件的角度实现喷涂件的质量检测，为喷涂件的质量检测提供了一个新的思路.

［1］FLICKNER M.Query by image and video content：The QBIC system［J］.IEEE Computer，1995，28（9）：23-32.

［2］PENTLAND A，WPLEARD R，SCLAROFF S.Photobook：Content-based manipulate on of image databases［J］.Internation⁃al Journal of Computer Vision，1996，18（3）：233-254.

［3］SMITH J R，CHANG Shifu.Visual SEEK，A fully automated content based image query system［C］.Boston:ACM Multime⁃dia,1996:87-98.

［4］CASCIA M L,ARDIZZONE E.JACOB：just a content-based query system for video databases［C］.Atlanta:ICASSP-96,1996.

［5］OOMOTO E，TANAKA K.ODVID：dedign and implementation of a video-object database system［J］.IEEE Trans On Knowledge and Data Engineering,1993，5（4）：629-643.

［6］DAVID G L.Distinctive image features from scale-invariant keypoints［J］.International Journal of Computer Vision，2004，60（2）：91-110.