基于SQL/MM的图像检索算法实现

穆芳成，孟 放，姚宇航

(1.中国传媒大学 信息工程学院，北京 100024；2.中国艺术科技研究所，北京 100024)



基于SQL/MM的图像检索算法实现

穆芳成1，孟 放1，姚宇航2

(1.中国传媒大学 信息工程学院，北京 100024；2.中国艺术科技研究所，北京 100024)

对于大型图像数据库，如何实现高效的基于内容的图像检索成为图像数据库的主要研究方向之一。SQL/MM标准是一个基于内容来处理多媒体数据的数据库标准。利用SQL/MM标准中静态图像部分关于图像基本特征的SQL函数实现了基于内容的图像检索，并通过对Corel图像库的检索实验验证了标准中所涉及的各项特征的适用范围以及特性。

SQL/MM标准；Oracle Intermedia平台；基于内容的图像检索

20世纪90年代初，军事、生物以及科学研究等众多领域产生了大量的图像数据[1]。随着个人终端设备的发展，目前个人用户可获取的图像数据也越来越多。这些海量图像数据的管理及检索则变得尤为重要，因此对于海量图像数据检索成为各个领域研究的重点。

早期图像检索的方式只有文本检索，即人工注释图像相关信息，用户通过注释的文字进行检索。这种检索过程简单、易于理解。但是随着图像数据的海量增长，基于文本的检索对人力资源需求过大；再加上各种图像资源的丰富性以及复杂性，导致注释的主观性以及不准确性。20世纪90年代以来，另外一种基于图像本身特征而进行检索的方法——基于内容的图像检索(Content-Based Image Retrieval，CBIR)[2-3]的研究和应用得到了快速的发展。比较著名的基于内容的图像检索系统有：麻省理工研发的手机图像检索系统NETRA[4]、开源桌面图像检索系统的imageseek[5]以及现有的Google Similar Images系统等。传统的SQL标准没有包含对于图像处理的部分，直到SQL多媒体和应用包 (SQL Multimedia and Application Packages，SQL/MM)[6-7]标准的加入才有了多媒体数据的数据库统一标准。SQL/MM标准是因为SFSQL(Structured Full-text Query Language)[7]标准带来的问题而产生的。在1991年—1992年期间为了全文检索而提出了SFSQL标准，由于此标准“劫持”了很多其他机构通用的关键词，导致不同机构与SFSQL之间的矛盾。SQL标准组织由此注意到了SQL扩展的兼容性问题，为了解决兼容性问题，在1992年的东京会议提出了“面向对象的关系模型”，用来统一多媒体的SQL扩展。最终发展提出了处理多媒体数据的SQL/MM标准。SQL/MM标准使得多媒体数据库能够更加有效地处理多媒体数据。

SQL/MM主要分为6个部分[6-7]，第一部分为FrameWork，即“框架”，就是整体框架部分，用来介绍其余各部分的主要内容；第二部分为Full_Text，即“全文”，介绍全文检索的相关内容；第三部分为Spatial，即“空间”，此部分是现今发展最为成熟且应用最广泛的一部分，主要介绍关于地理空间信息数据的处理；第四部分暂时为空，为以后发展预留；第五部分为“静态图像”，主要介绍管理静态图像的一些函数和方法；第六部分为DataMining，即“数据挖掘”，主要介绍数据挖掘的一些概念和方法。

本文主要通过上述标准中“静态图像”部分实现基于内容的图像检索，并通过对Corel图像库的检索结果来验证了SQL/MM标准的适用性以及适用范围。

1 SQL/MM静态图像部分以及Oracle Intermedia简介

SQL/MM标准所提出的静态图像部分用于图像的管理，此部分为本文基于内容的图像检索奠定理论基础。“静态图像”中的大部分函数适用于各种格式的图像，可以为现今纷繁复杂的图像处理带来便捷。标准中提及“静态图像”可应用的领域[7]众多，如图形学、多媒体技术、科学研究和医学等领域。同时此标准涵盖了大部分图像操作函数，如存储、旋转、缩放等，为众多领域的图像操作和管理提供了高效的处理方式。

标准中提出了Still_Image数据类型，这种数据类型用于数据库中直接存储静态图像数据。因此数据库可以直接利用Still_Image类型来更加快捷的管理和查询静态图像。本文针对此类型的数据来进行图像的查询操作，并利用标准中此类型的相关函数对数据库中的图像进行管理和查询。

除了Still_Image数据类型外，“静态图像”部分还包含图像的4个基本特征：平均颜色(SI_AverageColor)、颜色直方图(SI_ColorHistogram)、特定颜色位置(SI_PostionalColor)、纹理(SI_Texture)以及一个综合的总特征(SI_FeatureList)，具体如下所述：

1) SI_AverageColor：图像的平均颜色，用于在库中定位某张图像，例如，在图像库中寻找整体画面偏绿色的广告画，则可以利用此特征进行检索。

2) SI_ColorHistogram：颜色直方图，即某种颜色出现的概率。如要从图形库中，检索绿色占30%，黄色30%的图像，则利用直方图更加便捷。

3) SI_PositionalColor：特定颜色的位置。例如“海上日落”、“在深蓝色的上方有红色和橘色”等类似的检索需求，则能利用此处特征。

4) SI_Texture：纹理特征。主要针对纹理较多的图像检索而言。

5) SI_FeatureList：图像综合特征，通过图像上述4个基本特征加权得到综合的特征

myFeatureList=newsi_featurelist(myAvgColor，W1，

myColorHist，W2，myPosColor，W3，myTexture，W4)

(1)

式中：myFeatureList则为图像综合特征；si_featurelist()则为生成图像综合特征的函数。si_featurelist()函数利用图像的4个基本特征：平均颜色(myAvgColor)、颜色直方图(myColorHist)、特定颜色的位置(myPosColor)以及纹理(myTexture)，再结合W1，W2，W3及W4共4个权重系数生成了图像的综合特征。其中4个权重系数取值范围均在0.0～1.0之间。

在图像库中实现检索时，通过函数得出每张图像的特征值，再通过数据库记录这些特征值。最后在图像检索中利用特征值之间的相似性得分，获得检索结果。

经过相关调查发现，现有成熟的关系型数据库中只有Oracle数据库可以很好地支持SQL/MM中静态图像部分。因此，本文实验主要是基于Oracle 10g中Oracle Intermedia平台，该平台中包含了SQL/MM标准中静态图像部分的标准库。

2 SQL/MM图像检索实验设计

本文利用Oracle 10g Intermedia平台以及PL/SQL数据库语言完成图像检索实验。基于SQL/MM标准中图像特征函数及图像类型进行实验，最终完成基于内容的图像检索。实验的素材来源为Corel图像库，图像数据库含有1 000幅图像，包含风景、建筑、公交车等不同的10个类别，且每个类别的图像数100张。为了完成图像检索实验，首先，建立一个包含图像数据的图像数据表；其次，把实验所用的图像数据利用函数输入到图像库中；完成图像数据的输入之后，再利用标准函数进行特征提取，进而建立图像特征数据库；最后利用标准中相似性比较函数得到检索结果。

2.1 建立图像数据表

为了实现基于数据库的图像检索建立一个图像数据，具体代码如下：

CREATE TABLEStillImage(PRODUCT_ID NUMBER(6)，

PRODUCT_PHOTO SI_StillImage，

AVERAGE_COLOR SI_AverageColor，//平均颜色

COLOR_HISTOGRAM SI_ColorHistogram，//颜色直方图

POSITIONAL_COLOR SI_PositionalColor，//特定位置颜色

TEXTURE SI_Texture，//纹理

FEATURE_LISTSI_FeatureList)//综合特征

如上述代码所示，数据表中主要包含SQL/MM标准中的Still_Image数据类型，即表中的PRODUCT_PHOTO。除了图像数据本身，则包括标准中4个基本特征和1个综合特征。4个基本特征可以作为图像检索的标准，但是由于各个特征的局限性，其适用范围有限。在实验中，为提高图像检索准确性，为4种特征分配合理的权重再进行检索，即利用综合特征SI_FeatureList。

2.2 输入图像

利用Oracle函数库ORDSYS中函数把实验图像存入数据库中。具体实现如下代码所示，其中SI_StillImage()为获取图像数据函数，lobd即为图像的二进制数据。

INSERT INTOSTILLIMAGE (photo_id， photo_photo)VALUES(1， new ORDSYS.SI_StillImage(lobd))；

2.3 特征提取

在存入图像库之后，通过SQL/MM标准中的特征函数，获取平均颜色、颜色直方图、特定颜色位置以及纹理4个基本特征，并存入数据库中。例如平均颜色的获取，可以利用SI_FindAvgClr(myimage)函数实现，其中myimage即待求图像。其他3个特征采用对应的函数实现，最终获取图像的特征库。

用户此时进行检索，通过示例图像的特征与图像库中的特征进行比较，找出距离相近的几幅图像作为最终的检索结果。标准中根据图像之间的相似性得分SI_Score来判定两幅图像之间的相似性。SI_Score取值范围在0～100之间，值越小则代表二者的差别越小。其中0则代表两幅图像之间没有差别，100则表示两幅图像完全不同。

(2)

式中：fj即图像myimage的基本特征；fj.SI-Score(image)则为特征fj方向上两幅图像的对应相似性得分；Wj为不同特征的权重。通过4个基本特征得分的加权最终得到两幅图像之间相似性得分：my-Featurelist.SI-Score(image)。实验中即通过不同图像之间的相似性得分来确定最终的相似性，得出检索结果。

3 实验数据以及分析

本文通过两个实验来验证标准中4个基本特征和综合特征的适用范围。首先，为了验证4个基本特征的适用范围，选取具有代表性的8张图像，从4种基本特征方向进行检索实验；其次，为了验证综合特征的适用范围，选取10类共100张图像进行综合性检索，最终通过查准率来判断检索准确度。并通过分析结果中检索性能不好的示例来进一步确定综合特征的适用范围。

3.1 4种基本特征的性能分析

实验为了验证平均颜色、颜色直方图、特定颜色位置以及纹理4种特征的适用性，从Corel图像库中选取8幅代表性图像，图1a～1d为示例图像，图1e～1h为库中其他图像。图中的各子图编号即对应图像库中该图像的编号。

图1 示例图像和待检索库图像

实验利用标准中基本特征对应的相似性得分函数SI_Score来判断两幅图像之间的相似性。例如，可以用myTexture.SI_Score()函数来比较两副图像纹理上的差别。实验从平均颜色、颜色直方图、纹理以及特定位置颜色4个特征出发，通过计算图1a～1d各示例图像与图1e～1h数据库内的几幅图像之间的4类基本特征，并通过相似性计算结果来分析这4个基本特征的在图像检索中的适用范围。具体得分如表1所示，表中第1列和第2列则为示例图像与库图的编号，而“特征类型”列对应4个基本特征以及对应的相似性得分。如上所述，表1中的数值越小代表图像间越相似。

表1 基本特征图像检索得分

从表1可以看出，对于图207，通过颜色直方图进行检索可以最好地检索出图像208。即，颜色直方图特征的计算中图207和图208最为相似。图211通过SI_PositionalColor特征可以找出最相似性图像215。图像211和图像215在同样位置都有长条的红色区域，因此利用特定位置颜色特征可以有效检索。图229通过纹理特征可以找出最相似图像230。图229纹理特征明显且为主要影响因素，因此纹理特征针对纹理特征明显的图像会有很高的检索效率。图224通过平均颜色特征可以找出最相似图像205。由于实验中图像224颜色一致且种类较少，因此可以通过平均颜色特征找出相似的图像205。例如，图211颜色种类偏多，此时通过平均颜色则找出的却是不相似的图像208。

实验分析可见，针对某些特殊的图像而言，只用一两个特征就能很好地检索出所需的图像。SI_AverageColor适用于查找整体颜色一致并且颜色种类较少的图像。SI_ColorHistgram适用于查找颜色分布均匀的图像。SI_PositionalColor适用于查找特定位置分布特定颜色的图像，并且此特征在总特征中占据比例较小。SI_Texture适用于查找纹理清晰复杂的图像。

3.2 综合特征性能分析

从表1可以看出，4张图像通过综合特征(SI_FeatureList)基本可以找出最相似的图像。为了进一步研究综合特征，设计如下实验：首先从Corel库10类图像中每类随机选10张组成1组，共10组，并重新编号0～99。编号0～9为该库“人物”图像、编号10～19为“风景”图像、编号20～29为“古建筑”图像、编号30～39为“汽车”图像、编号40～49为“恐龙”图像、编号50～59为“大象”图像、编号60～69为“花朵”图像、编号70～79为“马”图像、编号80～89为“雪山”图像、编号90～99为“美食”图像。图像库中从每组中选择两张共2张作为示例图，从100张库图中进行检索，按照SI_FeatureList的分数大小进行排序，检索出相似度最高的10张图。实验中综合特征采用固定的权重，具体如式(3)所示。平均颜色、颜色直方图、位置颜色以及纹理的权重分别为0.25、0.35、0.1和0.5。

myFeatureList=newsi_featurelist(myAvgColor，0.25，

myColorHist，0.35，myPosColor，0.1，myTexture，0.5

(3)

实验把检索结果按照相似度从高到底排序，并计算出相应的查准率。最后，根据检索结果计算出所有组检索的平均查准率均为61.5%，实验结果证明利用SQL/MM标准可以很有效地进行基于内容的检索。

实验部分结果参见表2。例如第一行表示以编号0的图像为示例图，在100张图像库中进行检索，右边则检索出结果为编号0，1，97，8，92，90，7，9，6，20共10张有效图像，同一组的图像有图0、1、8、7、9、6共6张。

实验虽然大部分可以有效地进行检索，但是仍然有几组实验的查准率较低。例如，以图50为示例图的检索结果只有40%查准率。示例图50以及查出的结果如图2所示。

表2 综合特征检索部分结果

图2 示例图50检索结果1

由表2结果以及对应的图3来看，误检的结果中考虑纹理特征较少且颜色特征过多。由于上述实验中4个特征对应的权重为0.25、0.35、0.1和0.5。为了得到更好的检索结果，实验中重新设定权重系数为0.25，0，0.1，0.9。得到检验结果如图3所示。

图3 示例图50检索结果2

由图3结果可见，查准率由40%上升到70%，大部分大象的图像均被检索出来。因此，实验中设置合理的权重则能检索出所有的图像。

经过比较发现实验中多组数据中均包含与整组相差较大的图像，因此图像检索的效率较低。例如，第一组图(如图4所示)，其中图像4与其他图差别巨大，使得检索的准确率下降。两个实验最终检索结果中均没有图像4。同时，由于人像的区别巨大，因此实验结果准确率较低。

图4 实验图像第一组(人像)

上述实验结果说明：大部分图像可以通过综合特征准确的检索到。同时，综合特征的合理权重分配能够进一步提高图像检索的准确率。更加相关的实验图像库则能进一步验证SQL/MM的检索性能。

综上而言，选择合适的特征、分配合理的权重就可以进行高效的基于内容的图像检索。实验充分阐述了基于SQL/MM标准中图像特征的适用范围，给基于内容的图像检索带来新的思路。

4 总结与展望

本文基于SQL/MM标准在Oracle InterMedia平台上，对于Corel图像库完成了一个基于内容的图像检索实验，得出SQL/MM中静态图像部分函数实现图像检索的适用范围以及准确性。实验说明了在图像数据库中利用SQL/MM静态图像标准可以很好地完成基于内容的图像检索工作。

实际情况中应该由用户自己选择选择某种类型特征进行检索。用户根据所查找的图像内容，选择一种或多种合适的特征进行基于内容的检索。在利用综合特征时，应该让用户自己设定4个特征的权重值来进行更加准确的检索。也可以利用适当的算法进行图像内容分析，让计算机自适应地改变对应的权重，达到更好的检索效果。同时，可以结合语义的分析以及成熟的图像检索算法的优势，则能更加有效地实现图像检索。

[1]SINGHAI N，SHANDILYA S K.A survey on：content based image retrieval systems[J].International Journal of Computer Applications，2010，4(4)：22-26.

[2]肖明,王永红，石勇.基于内容的图像检索研究进展[J].情报杂志，2007，26(1)：43-45.

[3]韦娜，耿国华，周明全.基于内容的图像检索系统性能评价[J].中国图象图形学报：A辑，2005，9(11)： 1271-1276.

[4]麻省理工NETRA系统[EB/OL].[2014-04-21].http：//web.media.mit.edu/～pamplona/NETRA/.

[5]imageseek系统[EB/OL].[2014-04-21].http：//www.imgseek.net/home.

[6]ISO/IEC 13249-5：2001，Information technology-database languages-SQL multimedia and application packages-part 5：still image[S].2001.

[7]MELTON J，EISENBERG A.SQL multimedia and application packages(SQL/MM)[J].ACM Sigmod Record，2001，30(4)：97-102.

穆芳成(1990— )，硕士生，主研图像检索；

孟 放(1972— )，硕士生导师，主要研究方向为数字电视技术、视频图像处理、视觉信息处理等；

姚宇航(1983— )，女，本科，主研信息管理与信息系统。

责任编辑：时 雯

Implementation of Content-Based Image Retrieval Using SQL/MM

MU Fangcheng1，MENG Fang1，YAO Yuhang2

(1.SchoolofInformationEngineering，CommunicationUniversityofChina，Beijing100024，China；2.ChinaArtScienceandTechnologyInstitute，Beijing100024，China)

Content-based image retrieval in the large image database is one of the most active fields.SQL/MM is a standard for handling the multimedia data through the content of multimedia data.The paper implements content-based image retrieval using the still image functions about image features in SQL/MM.The experiments on the Corel image database verify the scope of application of some related features.

SQL/MM standard；platform of Oracle Intermedia；content-based image retrieval

“十二五”国家科技支撑计划重点项目(2012BAH01F00)

TN911.73；TP391.4

A

10.16280/j.videoe.2015.07.004

2014-05-03

【本文献信息】穆芳成，孟放，姚宇航.基于SQL/MM的图像检索算法实现[J].电视技术,2015，39(7).