基于多示例学习的图像检索方法

◆陈涛

( 深圳职业技术学院教育技术与信息中心 广东 518055 )

0 引言

近几十年来，基于内容的图像检索技术成为研究热点。用户提交一个或几个样例图像，检索系统从图像数据库中选出一组相关图像作为检索结果返回给用户[1]。在图像检索中，用户感兴趣的一般是图像中的一个或几个区域，而不是整幅图像。用户对图像的一个区域感兴趣，就认为该幅图像为感兴趣图像。例如，一幅马的图像，除了具有“马”的区域特征，可能它还包含有草丛、灌木等背景区域，只要图像中含有一个“马”特征的区域，就会被认为是感兴趣图像。图像中的全部区域均不是“马”特征区域，才会被认为是不感兴趣图像。图像检索问题与多示例学习的假设十分相似，能够使用多示例学习框架来处理图像检索问题[2]。

多示例学习首先被Dietterichet等人[3]提出并用在药物活性分子预测研究。它是一类处理粗糙标签信息的学习算法，近来年，很多国内外学者致力于这方面的研究工作[4]。在多示例学习算法研究中，代表性算法有多样性密度（DD）算法、ED-DD算法等。DD算法是Maron等人提出，通过在特征空间中寻找一个目标概念点，使得每个正包中至少有一个示例离该点较近，而负包中的示例均远离该点。找到该点后，就可以把这个点作为参照点来判断新包的标签。DD算法使用梯度上升法求解目标函数。以每个示例作为一次搜索起点，在示例空间中执行搜索，一次搜索找到一个局部极大值。最后通过比较极值，得到全局最大值。它的缺点是需要多次搜索特征空间，计算时间开销较大[5]。EM-DD算法是将期望最大(EM)算法与DD算法相结合来得到目标概念点。

1 基于多示例学习的图像检索方法实现

首先将每幅图像分割成若干个区域，每个区域析取出一个9维的区域特征[6]，将图像和区域分别看作为多示例学习中的包和示例，这样，将图像检索问题转换到多示例学习框架处理。多示例学习算法，本文采用EM-DD算法[7]。

在EM-DD算法中，包的标记由包中具有最大可能为正的示例决定，通过EM算法来估计每个包中对包的标记起决定作用的示例。令为带有最大DD值的目标概念点，为第i个包，为包的标签，有公式：

M-Step：对这些训练示例求得公式(1)的最大值，得到新的概念点。

EM-DDE-Step算法通过 步将包中的多示例转换成单示例代表包，降低了求解优化函数的复杂度和计算量。

相关反馈技术是通过用户与检索系统进行交互反馈，来提炼用户所想的语义。系统从反馈的图像标记中学习用户的检索需要，自动调整相似性度量标准，形成新的查询，循环几个轮次，直到用户得到满意的图像。因而，它被融合到本文提出的图像检索方法，算法流程图如图1所示。

算法的实现描述如下：

输出： 从未标签图像集U中返回相似度成绩排名前k名的图像

(1) 用户选择一组相关图像和一组不相关图像作为查询图像。

(2) 将每幅图像分割成若干个区域，每个区域析取出一个 9维的区域特征。将图像和区域分别看作为多示例学习中的包和示例。

(3) 使用 EM-DD多示例学习算法，求得特征空间中的目标概念点。

(4) 将未标签图像集U中的图像与目标概念点的向量距离作为该图像与检索图像的相似度成绩。排名前k 幅图像被作为检索结果返回给用户。

(5) 执行几轮的用户相关反馈，直到一组满意的图像集被返回给用户。在返回图像中，用户标签一些相关样本作为正反馈，一些不相关样本作为负反馈。为了减少用户标注的工作量，用户可以仅标注负类图像（不感兴趣类图像），其余图像被作为正类图像，这些正类图像和负类图像被加入到上轮的图像一起作为新的训练集。在相关反馈过程中，不断提炼用户的高级语义概念，直至返回满意的图像给用户，由用户终止查询过程。

图1 算法流程图

2 实验结果与分析

实验在Corel图像集上进行。为了估算检索算法的性能，我们做了3个实验：第1个是图像检索一个样例；第2个是与DD多示例学习图像检索方法的检索有效性能比较；第3个是相关反馈技术对检索精度的提高。

Corel图像集为COREL 2000，来自：http://www.cs.olemiss.edu/～ychen/ddsvm.html。它有 20 类，每类有100幅图像。类别分别为：非洲人和村庄、海滩、历史建筑、公共汽车、恐龙、大象、花、马、山和冰川、食物等。图像分割采用文献[] 的分割方法，每个图像被分割成2-10个区域，每个区域用一个9维特征表示其颜色、纹理、形状特征。

实验1：图像检索的一个样例。

设置一类图像作为目标类，从目标类别图像中随机选择3幅兴趣图像作为正类图像；另外，从其它3类图像中各随机选择1幅图像，组成负类图像。图2给出了一个图像检索“马”类图像且没有带相关反馈技术的样例，返回与查询图像相似概率高的前20幅图像。从图2的返回图像看，方法取得了较好的检索结果。

图2 检索“马”类图像的一个样例

实验2: 与DD多示例学习图像检索方法检索效率性比较。

采用计算耗时来评测检索的效率。计算耗时是指从用户提交检索图像给系统到第一轮图像返回之间的时间。实验条件为Intel Core i5-4570 CPU 3.2GHz，3.2GHz和内存8GB的微机。图像库为Corel 2000，返回排序前20幅图像。两个方法的计算时间如表1所示：

表1 计算耗时比较（秒）

从表1可以看出，EM-DD方法相较DD方法，它的计算耗时大大减少，约为DD方法的1/3。这是因为：DD方法需要将所有正包的正示例作为一个初始点，来寻找局部极大值，最后比较这些局部极值点。这个过程耗时较长。而EM-DD方法，结合EM方法来寻找DD函数最大值，能快速收敛，减少耗时。

实验3：相关反馈技术对方法的性能提高。

相关反馈技术能有效的提高检索性能。图3显示了没有带相关反馈，带1轮、2轮、3轮相关反馈的“精度-召回率”曲线：

图3 带相关反馈技术的“精度-召回率”曲线

从图3可以看出，每轮相关反馈后的精度，均较上轮的检索精度高。经过3轮的用户反馈后，检索精度得到了大幅提高。这是因为：一个是通过用户相关反馈的标记，更多的标记图像加入到学习中。另一个是通过负相关反馈，系统不断的提炼用户感兴趣的图像。

3 结束语

本文提出了一个基于多示例学习的图像检索方法。它有两个特点：一是通过多示例学习框架来处理图像检索问题；二是通过相关反馈技术提炼用户查询图像的语义概念，缩小语义概念与视觉特征表示之间的“语义鸿沟”。在Corel图像集上的实验表明，提出的方法具有较好的检索性能。