基于边缘角度二阶差分直方图的城市遥感图像检索方法

，，

(1.山东科技大学 测绘学院，山东 青岛 266590； 2.中国测绘科学研究院，北京 100830)

随着遥感技术的不断发展，我国的遥感卫星系统不断完善，遥感图像因能提供丰富、准确的信息，在各领域逐渐成为重要的数据源，发挥着不可替代的作用。遥感图像具有更新速度快、数据量大，遥感数据库的容量膨胀迅速等特点，随着存储数据量的不断增加，大数据量导致的检索困难问题日渐突出[1]。

早期通过对遥感图像加注文本词注，将图像及其关联的文本词注建立数据库及检索系统。由于要人工对海量遥感图像进行文本关键词加注，会存在海量数据标注的工作量、文本标签信息全面性不足以及文本标签信息主观性等问题[2]。20世纪90年代，由于传统方法无法满足大数据量条件下的需求，CBIR(content-based image retrieval)方法应运而生。相对于传统的基于文本关键词的图像检索方法，该方法能更加客观、全面地反映图像的内容信息[3]。CBIR运用图像的某些内在特征作为图像检索的依据，例如颜色特征、形状特征和纹理特征，这些特征可通过某些相似性测度如欧氏距离、直方图相交距等，度量待检索图像和图像数据库内图像的相似性获取检索结果[4]。由于遥感图像中的颜色和纹理容易受到传感器精度、大气、观测角度等因素的影响，使得同一地区在不同观测条件下图像的颜色和纹理特征变化较大。而作为遥感地物的内在特征，形状对观测因素变化抗性较高。在进行遥感图像检索时运用形状特征，可以有效避免前文所述的因素干扰，提高检索的速度以及检索的准确性[5]。

目前的检索方法中运用形状特征的主要有两类：一类基于全局特征，运用图像的整体形状信息进行检索[6-8]，特征是提取难度低，但普遍鲁棒性较差；第二类基于局部特征，这种方法过程较为复杂，包括图像分割、分区域描述及各区域相对关系描述等，通过这些局部的形状特征进行检索[9-10]，该类检索方法对于图像有较高的要求，需要图像的前景目标和背景极易区分，而遥感图像的地物种类繁多，这些要求通常难以满足，导致预处理工作难度高。王仁礼等[11]提出利用多尺度边缘特征进行图像检索可以提高检索精度，本文在进行图像检索时也采用了多尺度边缘特征。

图像中的边缘涵盖了大量的形状信息，可通过图像边缘捕捉图像中所包含的形状信息。含有城市的遥感图像具有较为丰富的边缘信息，适合运用基于形状的检索方法。边缘角度直方图是一种可用于图像检索的全局形状特征，该特征通过统计图像中的边缘像素位置的梯度角度，以直方图的形式描述图像的全局形状信息[11]。但边缘角度直方图在图像旋转时会出现圆平移(circle shift)，使边缘角度直方图不具备旋转不变性，且原始的边缘角度直方图不具备尺度不变性[6]。

为了获得具有旋转、尺度、平移不变性的全局特征用于图像检索，本研究提出一种基于Freeman差分码思想的边缘角度二阶差分直方图特征，用于含有城市的遥感图像中，通过对图像中提取的边缘角度进行二阶差分运算，将运算结果统计为频率直方图，使边缘角度二阶差分直方图特征具备了旋转、尺度、平移不变性。

1 多尺度边缘特征提取

1.1 高斯多尺度空间

图1 高斯多尺度空间

图像多尺度表达就是把原图置入一系列由原图处理得出的含有一个自由参数的图像中，这一系列图像就是多尺度观测的模拟[11](图1)。目前在图像多尺度表达方面，较为可靠的方法是使用高斯函数卷积核，对图像进行多次卷积运算形成高斯图像尺度空间。

一维高斯函数是

(1)

令尺度空间f(x,t)=St(f(x))=f(x)*g(x)，其中*是卷积运算，St是尺度变换算子。利用高斯函数对f(x)多次卷积，随着t的不断增大，f(x)的滤波结果平滑程度也不断提高，因此，f(x,t)就是该图像f(x)的一个高斯尺度空间，其中，参数t是尺度参数。高斯尺度空间满足下列性质[11]：

1) 线性性：卷积算子具有线性特征；

2) 因果性：零交叉点在高斯尺度空间各尺度的个数是稳定的；

3) 通过离散化和二维推广，可得到适用于图像的高斯滤波器；

4) 图像的高斯滤波器具有旋转对称性。

通过使用二维高斯滤波器对遥感图像进行多次滤波可以建立对应图像的高斯多尺度空间，如图2。

图2 高斯多尺度空间

1.2 多尺度空间上的边缘提取

Canny算子通过局部梯度最大值抑制和双阈值确定边缘的方法在最大程度抑制噪声影响的同时确保了边缘准确性和连续性，是一种优秀边缘检测算子。本研究结合多尺度空间，在各尺度上利用Canny算子对图像进行了边缘提取(图3)。

图3 高斯多尺度空间边缘

2 边缘角度二阶差分直方图提取

对遥感图像进行高斯多尺度空间构造，并在各尺度上进行边缘检测，利用每个尺度空间下提取的边缘，计算每个尺度空间图像对应点位的灰度梯度方向，边缘角度和灰度梯度方向垂直，由灰度梯度方向易得出边缘角度，进而生成一幅基于灰度梯度方向的边缘角度图像。

灰度梯度指的是像素点与其邻近像素点之间的灰度差异，通常运用灰度梯度算子解算。Sobel算子是灰度梯度算子中较为稳定的一种，选取Sobel算子作为灰度梯度计算算子。Sobel算子将灰度梯度分为x和y方向分别进行计算，可利用反三角函数计算灰度梯度方向。Sobel算子模板为[12]：

(2)

(3)

由(2)式和(3)式计算出x和y方向的灰度梯度后，由θ(x,y)=arctan(g(x)/g(y))，可得边缘角度，再将得到的弧度转为度，并进行角度转化，将角度范围从[-90°，90°]转化到[0°,180°]。

由于图像旋转引起的图像边缘角度变化会导致边缘角度直方图出现圆平移，使边缘角度直方图不具备旋转不变性[6]，针对这个问题，本研究基于Freeman差分码的思想，对边缘角度进行了二阶差分运算。Freeman差分码通过对表示边缘角度的Freeman码进行差分运算得到了旋转不变性[13-15]，本研究直接对边缘角度进行二阶差分的运算，运算得出的结果同样具有旋转不变性。经过二阶差分处理后的边缘角度图像，进行直方图统计可以获得具备旋转不变性的边缘角度二阶差分直方图，对获得的边缘角度二阶差分直方图进行归一化，转换为频率直方图，使其具备尺度不变性[14]。

二阶差分公式：

Δ2θi=θi-1-2θi+θi+1。

(4)

其中，θi为某边缘点对应的边缘角度，θi-1和θi+1分别是该边缘点沿边缘方向的两个临近边缘点的边缘角度。

文献[11]指出，通过降低边缘直方图的量化间隔，可以减弱图像旋转对于边缘角度直方图的影响，同时也可以降低运算量以及简化表达。本文将边缘角度二阶差分直方图统计的边缘角度二阶差分值线性化到[0°,36°]，统计后可以得到一维的边缘角度二阶差分直方图H[0～36]，接下来的全局特征匹配运用H作为图像全局边缘特征。

图4中分别展示了一幅遥感图像与该图像旋转90°后的边缘角度直方图结果与边缘角度二阶差分直方图结果。可以明显看出图4(c)和图4(d)的直方图中均有3个波峰，图4(c)中的波峰分别位于3°、24°和29°附近，分别对应图4(d)中21°、6°和11°附近的波峰，波峰位置出现了圆平移。而图4(e)和图4(f)的整体变化趋势一致性好，在0°附近的波峰位置一致，在15°附近的微小波谷位置也相同，各个角度对应的数量也有较好的一致性。

由上述内容可以得到本文提出的边缘角度二阶差分直方图特征提取的流程：

1) 对遥感图像进行高斯多尺度空间构造；

2) 运用Canny算子在高斯多尺度空间的各个尺度上提取边缘；

3) 计算边缘像素点处的梯度方向，进而得到边缘角度，对边缘角度进行二阶差分计算；

4) 统计边缘像素点上的边缘角度二阶差分值直方图，并将其转换为频率直方图。

图4 边缘角度直方图与边缘角度二阶差分直方图对比

3 相似性测度

常用的图像特征匹配相似性测度有欧式距离、二次距离和直方图相交法等。在使用边缘角度直方图作为匹配特征时，直方图相交法是最适合的相似性测度。直方图相交法定义两幅图像之间相似性为[16]：

(5)

其中，Vq(m)=Vq-mean(Vq)，Vp(m)=Vp-mean(Vp)，Vq是待检索图像的直方图特征，Vp是图像数据库内图像的直方图特征。dqp表征待检索图像与目标图像的相似性程度，数值越高则两幅图像的相似性越高[11]。

4 实验验证与结果分析

为了检验提出的基于边缘角度二阶差分直方图的遥感图像检索方法对于旋转、尺度变化、平移的抗性，以及检索的效率，本文利用下载的覆盖城市的高分1号图像(16 m分辨率PAN)，覆盖河北秦皇岛及附近地区，分割成8个区域80幅图像，每个区域10幅图像；landsat8图像(30 m分辨率多光谱)，覆盖新疆和田及附近地区，分割成8个区域80幅图像，每个区域10幅图像；航空摄影影像，覆盖山东临沂地区，共24个区域240幅图像，每个区域10幅图像，以及the oxford buildings dataset中的10个建筑物共100幅图像，每个建筑物10幅图像，建立一个图像库，库内图像分别含有河流、建筑、道路、海岸线、山体等一种或多种地物，每个区域图像有10幅，每个区域中选1幅作为检索事例图像，其余9幅图像相对检索事例图像发生了旋转、尺度变化和平移的变化，共500幅图像。

在基于图像内容的检索中，给定一幅目标图像(查询图像)后，系统的任务就是在数据库中查找与目标相似的图像[17-18]。本次对比实验每类图像中选取的检索事例图像共50幅组成检索事例图像集，将检索事例图像集中的每幅图像在遥感图像库中检索，返回相似性最高的10幅图像，由于每个区域图像共10幅，所以此时的查全率等于查准率。将检索事例图像集中的50幅图像在遥感图像库检索结果的查准率统计并平均，获得的平均查准率作为评价该检索方法的最终指标。检索事例图像集中的典型地物如图5所示。

图5 检索事例图像集中的典型地物

查准率的计算公式为[17]：

(6)

图像库内数据按照地物类型可分为道路(100幅)、海岸线(80幅)、山体(80幅)、河流(80幅)和建筑(160幅，包括100幅Oxford building dataset中图像)五大类，在图像库中进行两种检索方法的检索性能对比实验，统计五种地物类型的检索精度，得到表1的检索性能对比结果。

表1表示传统的基于边缘角度直方图的图像检索方法(该方法利用边缘角度直方图作为图像检索依据，边缘角度直方图特征是通过提取图像中的边缘，计算边缘位置的灰度梯度，进而得出边缘的角度，统计边缘角度的直方图形成的。)以及提出的基于边缘角度二阶差分直方图的图像检索方法这两种图像检索方法的检索性能，其中检索方法1代表的是传统的基于边缘角度直方图的图像检索方法，检索方法2代表的是基于边缘角度二阶差分直方图的图像检索方法。

表1 两种检索方法性能对比

通过分析表1可以得出，取平均查准率作为性能评价标准，本研究方法比传统的基于边缘角度直方图的图像检索方法性能提升了31.96%，较大地提升了检索性能。由查准率方差结果可以看出，本研究方法的稳定性要显著优于传统的基于边缘角度直方图的图像检索方法，对于图像尺度变化的抗性更高，特别是在含有道路、建筑等人工地物的城市中，能有效地检索到所需的遥感图像。

通过分析表1中的各地物类型对应的两种方法检索性能，可以得出：

1) 含有道路的图像具有较高的边缘信息含量，其中直线与曲线特征的边缘角度信息可以在边缘角度二阶差分直方图中较好的体现出来，因而本研究提出的基于边缘角度二阶差分直方图的检索方法能取得较高的检索查准率；而传统的基于边缘角度直方图的方法虽然也能利用其直线与曲线特征进行有效检索，但由于该方法的旋转抗性差，对于图像库中存在旋转的图像无法准确检索，因而比本文提出的方法检索差准率低20%，充分证明本文提出的方法具有较好的旋转抗性。

2) 含有海岸线的图像具有少量的边缘特征，其中的海岸线可以提供较好的曲线特征，能够为边缘角度二阶差分直方图提供足够的信息量，特别是归一化处理可以有效对抗缩放带来的影响，因而本文方法可以取得较高的检索查准率；而传统方法对于少量边缘信息的利用能力不强，对于图像库中发生旋转和缩放的图像无法准确检索，因而检索查准率较低，充分证明了本方法具有较好的旋转和缩放抗性。

3) 含有山体的图像边缘信息复杂，以曲线特征为主，在边缘角度二阶差分域上曲线特征能提供有效的信息，但由于山体之间的边缘信息有高度的相似性，本方法的检索查准率有所下降；而传统方法对于边缘信息相似性较高的山体难以区分彼此，因而查准率很低(28%)，所以对于具有复杂边缘信息且相似性较高的不同图像，本文方法进行二阶差分域的边缘角度统计具有更好的检索效果。

4) 河流与海岸线特征类似，所以本文方法对于两者的查准率基本一致，但河流可以提供更多的边缘信息量，因而传统方法的检索查准率有所提升，总体上还是本方法的查准率更高。

5) 建筑是这几类地物中能提供边缘信息量最多的一类，具有丰富的曲线、直线等边缘特征，特别是建筑中有许多矩形特征，因而建筑这类地物在边缘角度上具有一定的旋转抗性，传统方法和本方法都有较高的检索查准率，但本方法的旋转抗性更高，所以查准率更高。

综合以上分析可以得出，本研究提出的基于边缘角度二阶差分直方图的图像检索方法，在用于含有明显形状特征地物的遥感图像检索时，相较于传统的基于边缘角度直方图的图像检索方法，有着更高的图像旋转、尺度和平移变化的抗性，能有效提升检索性能，同时稳定性也大幅提高，特别是道路、建筑等人造地物，因而本文方法适合于城市遥感图像的检索。

5 结束语

针对目前的遥感图像检索方法中，图像区域分割困难、不易准确提取局部形状特征的问题进行了分析，在边缘角度直方图的基础上改进，基于Freeman差分码的思想，提出了边缘角度二阶差分直方图特征，使其具备旋转、尺度和平移不变性。进而提出基于边缘角度二阶差分直方图的图像检索方法，并实验验证了该方法比传统的基于边缘角度直方图的图像检索方法性能有较大提升，特别是在城市遥感图像检索中具有较大优势。但这种方法也存在一些不足之处，例如实验结果分析中的对于边缘角度变化信息不足的图像没有达到理想的检索性能，查准率有待提升；对于原始图像的颜色信息及灰度级信息没有充分运用等问题，下一步工作将结合多种特征信息，建立更加完善的遥感图像检索方法。