基于内容的遥感图像数据库城市区域检索

胡玉玺， 李轶鲲， 杨树文， 杨萍， 雍万铃

(1.兰州交通大学测绘与地理信息学院，兰州　730070； 2.甘肃省地理国情监测工程实验室，兰州　730070)



基于内容的遥感图像数据库城市区域检索

胡玉玺1,2， 李轶鲲1,2， 杨树文1,2， 杨萍1,2， 雍万铃1,2

(1.兰州交通大学测绘与地理信息学院，兰州730070； 2.甘肃省地理国情监测工程实验室，兰州730070)

摘要：对于大型遥感图像数据库，如何快速准确地检索到需要的图像数据，是一个关键问题。该文在以综合区域匹配算法为图像相似度度量标准的前提下，提出了根据平均高频信号强度降序为排序标准的遥感图像数据库城市区域检索方法。首先，用综合区域匹配算法对图像进行相似度度量； 然后，依据这些图像的平均高频信号强度，按降序对这些图像进行重新排序从而得到含有城市区域这一高级语义特征的最终检索结果。实验表明： 该方法将检索查准率提高了27%，而且检索效率高，可以满足用户需求。

关键词：图像检索； 城市区域； 图像内容； 相似度度量

0引言

随着影像空间分辨率的不断提高，海量遥感影像管理、访问及应用的难度变得越来越大，由此，图像检索技术已成为国内外研究的热点[1-3]。其中，基于内容的图像检索技术(content based image retrieval，CBIR)，以其高效性和符合人类认知习惯的优势，得到了众多学者的重视。高分辨率遥感图像中的城市信息提取和变化监测已成为研究热点，用户急需一种专门的方法来检索他们感兴趣的城市区域图像。本文提出的方法能够在很多领域得到广泛的应用，如国土资源调查、城市发展监测、环境监控等，特别是在城市监控领域，本文提出的方法能快速准确地检索到所需的图像。

CBIR系统一般采用3种检索方式，即直方图检索、颜色布局检索和基于区域的检索。直方图检索算法是通过图像的颜色贡献率或者彩色直方图进行检索，其缺点是会丢失目标地物的位置、形状及纹理等信息； 颜色布局检索算法虽然克服了直方图检索算法的不足，但以一组局部属性作为特征来描述图像，最终仍会对变形、移动及旋转等变化很敏感，会影响检索效果[4]； 基于区域的检索算法采取分割图像的方法，用区域特征来描述图像的局部特征，试图弥补颜色布局算法的不足，其最理想的分割结果是图像的每一个区域都只包含一种对象，但在实际应用过程中，往往由于不能准确地分割图像，从而对检索结果造成影响[5]。

基于上述问题，Wang等[4]提出了综合区域匹配算法(integrated region matching，IRM)，该算法具有旋转和平移不变性，允许1对多个区域的匹配，对不准确分割具有鲁棒性。基于此，本文提出了以综合区域匹配算法为相似度衡量标准，根据平均高频信号强度(average high frequency signal strength，AHFSS)降序为排序条件的遥感图像城市区域检索方法。实验表明，图像检索精度较综合区域匹配法的检索精度有明显提高，基本满足用户需要。

1基于内容的图像检索算法

CBIR是指用户提交样本图像，依据其颜色、纹理及形状等低层特征，在数据库中检索出具有相同或相似内容图像的过程[6-7]。与传统的利用文本标注的检索方式相比，CBIR具有对图像内容描述准确和客观性强等优点，同时又可以自动地提取图像的颜色、纹理和形状等特征，并快速有效地从图像数据库中自动查找与查询图像有着类似颜色、纹理及形状等信息的图像。CBIR克服了传统检索方式依靠手工输入文字信息，不能充分描述图像颜色纹理等特征的局限性[8]。随着城市化进程，城市建筑群的规模和密度在急剧增大，给城市遥感影像的检索增加了困难，由此，本文基于CBIR，针对城市区域的图像检索，提出了改进的检索算法，其流程如图1所示。算法主要包括特征提取和图像分割、综合区域匹配算法及平均高频信号强度计算与排序。

图1　城市区域图像检索系统流程图

1.1特征提取和图像分割

1.2综合区域匹配算法

综合区域匹配算法通过综合地计算图像中所有区域的相似度来确定图像的整体相似度，其原理如图2所示。

图2　综合区域匹配原理图

在图2中，圆代表图像的区域，如果2个圆是连接的，则表明2个区域通过直线所代表的权重匹配到一起； 如果2个圆没有连接，则表明2个区域是在同一幅图像中或者它们之间的匹配权重为0。

该算法优势在于对图像可能存在的错误分割具有很强的鲁棒性。从数学角度来看，图像的相似度可以通过计算在高维空间(特征空间)中2个点集之间的距离来确定。有很多种方法可以计算高维空间中点的距离，例如欧氏距离。然而，它并不适合计算2个点集之间的距离。定义特征空间中2个点集之间距离的最大的困难在于： 如何让定义的整体相似度最大程度地和人类对2幅图像相似度的主观感觉相接近。综合区域匹配算法综合地考虑了图像中的所有区域，允许1个区域与多个区域进行匹配，减少了由于图像不准确分割而产生的误差。

综合区域匹配算法具体描述[4]如下：

(1)

定义综合区域匹配的距离，即2幅图像之间的距离为

(2)

(3)

(4)

式中：m为图像1的区域数；n为图像2的区域数。

1.3平均高频信号强度的计算

光谱信息是遥感图像信息的中重要组成部分。与其他地物类型相比，城市区域大多由人工地物构成。通过对城市区域内的地物光谱信息进行统计分析发现，它们具有更多的高频成分。由于高通滤波具有保留图像高频信息和消除图像低频成分的作用故本文先对图像进行高通滤波处理，然后计算图像的平均高频信号强度，作为城市区域检索排序时的一个特征向量。通过实验研究，本文采用理想高通滤波器，滤波器的截断频率为10。

为了计算图像的平均高频信号强度，首先将图像f(x,y)转换成一系列不同频率的二维正弦波傅里叶图像； 然后，在频率域内对傅里叶图像进行滤波处理，目的是修改图像傅里叶变换的结果，从而减少低频成分； 最后，把频率域的傅里叶图像变换为空间域图像g(x,y)[11]。整个图像的变换过程由

f(x,y)→DFT→F(u,v)→F(u,v)H(u,v)→G(u,v)→IDFT→g(x,y)

(6)

表示，式中：F(u,v)为图像的傅里叶变换；H(u,v)为滤波器变换函数；DFT为离散傅里叶变换；IDFT为离散傅里叶逆变换。

高通滤波处理之后，为了确定图像中所含有的高频信息的含量，定义变换后图像g(x,y)像元值的平均值为平均高频信号强度AHFSS，其值由

(7)

计算得出，式中P和Q分别表示图像行数和列数。

在大多数遥感图像中，与其他地物类型进行比较，例如水体，城市区域含有较多快速变化的分量(即高频信号)，所以城市区域相应的AHFSS值是比较高的。在数据库中分别抽取建筑物、水体及植被的典型图像各1幅，计算不同截断频率下图像的AHFSS值(表1)。

表1　建筑物、植被及水体AHFSS值比较表

由表1可以看出，在同一截断频率下，城市区域的AHFSS明显高于植被和水体的AHFSS； 同时截断频率在[5，20]范围内，同一图像的AHFSS相对稳定，其值没有产生太大的变化，说明截断频率值的选取不会对实验结果产生太大的影响。

2结果与分析

2.1实验设计

一个完整的CBIR系统，一般包括图像预处理、特征提取、建立数据库、用户接口、相似度度量和结果获取等模块[12]。检索城市区域，应加强检索图像中所含有的城市区域的语义信息，减弱无关语义信息对检索的影响，故本文在图像的重新排序过程中，增加了以平均高频信号强度为排序条件的步骤。

在本文实验过程中，所用到的图像数据库是通过对多光谱卫星图像进行不重叠的分割构成的，图像大小为300像元×300像元，共计10 000幅，涵盖了农田、水坝、岩石、城市、森林及海域等多种地物类型。在特征提取时，把图像分割成30像元×30像元的子图像，以图像的颜色直方图作为底层特征向量，利用K均值聚类算法依据颜色特征向量对图像进行聚类，并将聚类结果作为特征数据存入特征数据库。在检索过程中，用户提交检索图像，系统会自动地对图像进行相应的处理，获得图像的特征数据。然后，按照IRM算法的匹配原则，计算出相应的IRM距离，并根据IRM距离，获取第一次检索结果。检索出的结果图像不仅与检索图像有相似的颜色信息，且具有相似的区域信息。最后，系统对检索出的前100幅图像，根据图像的平均高频信号强度，重新降序排序，从而得到最终的检索结果。

2.2实验与分析

2.2.1实验

为了验证依据平均高频信号强度降序为排序标准对城市区域检索精度是否有所提高，在数据库中抽取了一幅具有人工建筑物、水体和植被的图像作为查询图像(图3)，通过查询接口进行查询。查询图像含有较少的城市信息，而水体和植被的干扰很明显。选取这样的图像作为查询图像，是因为用IRM距离查询时，其查准率不理想，但是在使用平均高频信号强度排序后，检索查准率明显提升。同时，在实际应用中，使用本方法可以让用户在没有合适的查询图像的情况下得到满意的检索结果。最后，系统检索的图像见图4和图5。

图3　查询图像

图4　IRM距离查询相似度排序结果

图5　平均高频信号强度查询相似度排序结果

在本文中IRM距离查询是基于图像区域的颜色直方图，所以检索出来的图像和查询图像在光谱特征上比较相似。但是，因为只考虑了光谱特征，IRM往往会检索出与查询图像在光谱上相似，但语义上无关的图像。为了解决这一问题，考虑到城市地块的边缘和建筑物的阴影等高频信号较强，可用平均高频信号强度来对IRM的检索结果按降序重新排序，把平均高频信号强度高的图像排在前面，如此，虽然会导致排在前面的图像与查询图像的光谱特征相似性下降，却提高了被检索到的图像与“城市区域”这一语义概念的相似度。本文用到的查询图像，包含3种语义信息： 建筑、植被和水体。在城市区域检索过程中，植被和水体属于干扰因素，而建筑属于需要的语义。如果单纯地使用只有建筑物的图像做查询图像，无法体现出其他语义的干扰作用。由于篇幅限制，只在检索结果中列出了平均高频信号强度最高的10幅图像，并没有完整地列出所有的检索结果。综合区域匹配算法检索到的图像，由于平均高频信号强度较低(即与城市语义的相似度较低)，故排序相对靠后，并未在文中列出。

在检索结果中可以发现，IRM距离排序结果中，图4(d)和(i)属于森林，与检索目标不符合，而其余图像中更多地夹杂了水体和植被，勉强符合检索目标。而通过平均高频信号强度排序之后，10幅图像均属于城市区域，在图5(i)中，虽然含有了大量的植被信息，但仍有人工建筑的存在，符合检索目标。通过图像内容来看，排序越靠前的图像，越含有更多的人工建筑物，城市特征越明显，这可以为相关反馈选取样本提供帮助。

实验表明，通过含有少量城市信息的图像，检索出含有大量城市信息的图像，把少量的城市信息扩大化，提高了图像所含有的城市语义的利用率，减少了由于检索图像语义不明确所造成的检索错误。

2.2.2结果分析

本文选取10幅查询图像进行图像检索，对综合区域匹配算法的检索结果和平均高频信号强度逆序排序的检索结果做比较，取检索结果中前20幅图的准确度作为标准，综合区域匹配算法的查准率为70%，平均高频信号强度反馈的查准率为97%，也就是说，查准率提高了27%。由此可见，平均高频信号强度反馈法对城市图像检索的查准率显著提高。

3结论

本文根据城市区域集中出现边缘、建筑物阴影及水泥屋顶等高频信号较强的地物这一特点，提出了一种以综合区域匹配算法为图像相似度测量标准，以平均高频信号强度为排序标准的遥感图像数据库城市区域检索方法。得出如下结论：

1)以平均高频信号强度作为排序标准将综合区域匹配算法的城市区域检索查准率提高了27%，证明高频信号强度可以较好地反映“城市区域”这一语义概念。

2)综合区域匹配算法仅依据图像区域的颜色特征信息来检索城市区域遥感图像是不够的，检索结果无法完全满足用户的需求。针对这一问题，本文提出的方法充分利用图像的频率域信息来提高检索查准率，取得了一定的效果。

3)本文方法存在局限性，以高频信号强度为排序标准的方法虽然提高了城市区域检索的查准率，但在一定程度上降低了检索到的图像与查询图像在颜色特征方面的相似度。这一问题还需进一步研究。

参考文献(References)：

[1]Zhang B.Intelligent remote sensing satellite system[J].Journal of Remote Sensing,2011,15(3):415-431.

[2]Li Y K.Semantic-Sensitive Remote Sensing Imagery Retrieval[M].Beijing:China Environmental Press,2014:1-7.

[3]Li Y K,Yang S W,Liu T,et al.Comparative assessment of semantic-sensitive satellite image retrieval:Simple and context-sensitive Bayesian networks[J].International Journal of Geographical Information Science,2012,26(2):247-263.

[4]Wang J,Li J,Wiederhold G.SIMPLIcity:Semantics-sensitive integrated matching for picture libraries[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2001,23(9):947-963.

[5]Tian Y M,Wu Z L,Meng L N.A region-interactive retrieval model based on IRM algorithm[C]//Proceedings of the 2005 5th International Conference on Information Communications and Signal Processing.Bangkok:IEEE,2005:692-695.

[6]Zakariya S M,Ali R,Ahmad N.Combining visual features of an image at different precision value of unsupervised content based image retrieval[C]//Proceedings of 2010 IEEE International Conference on Computational Intelligence and Computing Research(ICCIC).Coimbatore:IEEE,2010:1-4.

[7]Wang M,Song T.Remote sensing image retrieval by scene semantic matching[J].IEEE Transactions on Geoscience and Remote Sensing,2013,51(5):2874-2886.

[8]Zhuang D W,Wang S J.Content-based image retrieval based on integrating region segmentation and relevance feedback[C]//Proceedings of 2010 International Conference on Multimedia Technology(ICMT).Ningbo:IEEE,2010:1-3.

[9]李轶鲲,闫浩文,孙建国.分步式卫星图像检索[J].测绘科学,2009,34(6):53-55.

Li Y K,Yan H W,Sun J G.Stepwise satellite image retrieval[J].Science of Surveying and Mapping,2009,34(6):53-55.

[10]夏定元,付翩,刘丽端.一种综合区域匹配的图像检索改进算法[J].计算机工程与应用,2012,48(26):197-200.

Xia D Y,Fu P,Liu L D.Improved image retrieval algorithm for integrated region matching[J].Computer Engineering and Applications,2012,48(26):197-200.

[11]郭媛,毛琦,陈小天,等.干涉条纹快速加窗傅里叶滤波方法的研究[J].光学学报,2014,34(6):151-155.

Guo Y,Mao Q,Chen X T,et al.Study of a fast windowed Fourier filtering method for interference fringes[J].Acta Optica Sinica,2014,34(6):151-155.

[12]李杰.基于内容的图像检索方法研究[D].合肥:中国科学技术大学,2008.

Li J.Research on Content Based Image Retrieval[D].Hefei:University of Science and Technology of China,2008.

(责任编辑： 邢宇)

Content-based urban area image retrieval in remote sensing image database

HU Yuxi1,2, LI Yikun1,2, YANG Shuwen1,2, YANG Ping1,2, YONG Wanling1,2

(1. Faculty of Geomatics, Lanzhou Jiaotong University, Lanzhou 730070, China; 2. Gansu Provincial EngineeringLaboratoryforNationalGeographicStateMonitoring,Lanzhou730070,China)

Abstract:How to retrieve the image data quickly and accurately from large remote sensing image database is a critical problem. Using integrated region matching (IRM) algorithm as image similarity measurement standard, this paper proposes a retrieval approach to retrieve urban area images from remote sensing image database according to Average High Frequency Signal Strength (AHFSS) values of the stored images, which are used to sort the retrieved images in descending order. The proposed approach firstly utilizes IRM algorithm to measure the similarity measurement of the stored images. Then, the proposed approach resorts the retrieved images in descending order according to AHFSS values of the stored images to obtain the final retrieval result containing high level semantic feature “urban areas”. Experimental results show that the proposed approach increases the retrieval precision by 27% and has reasonable retrieval efficiency to meet users’ requirements.

Keywords:image retrieval; urban area; image content; similarity measurement

doi:10.6046/gtzyyg.2016.03.11

收稿日期：2015-04-17；

修订日期：2015-05-21

基金项目：甘肃省高等学校基本科研业务费项目“基于空间关系敏感的高分辨率卫星图像检索技术研究”(编号： 213049)、中国博士后科学基金项目“基于高分辨率遥感影像的滑坡自动提取方法研究”(编号： 2014M552558XB)及甘肃省科技计划项目“基于GIS和RS的城市土地利用动态演化与模拟研究”(编号： 148RJZA028)共同资助。

中图法分类号：TP 751.1

文献标志码：A

文章编号：1001-070X(2016)03-0067-06

第一作者简介：胡玉玺(1990-)，男，硕士研究生，研究方向为遥感图像检索。Email: 598021029@qq.com。

引用格式： 胡玉玺，李轶鲲，杨树文,等.基于内容的遥感图像数据库城市区域检索[J].国土资源遥感,2016,28(3):67-72.(Hu Y X,Li Y K,Yang S W,et al.Content-based urban area image retrieval in remote sensing image database[J].Remote Sensing for Land and Resources,2016,28(3):67-72.)