尺度与特征引导视觉选择性注意机制模型

吴月娥 边后琴

摘 要:针对在传统机器视觉研究中,尺度、显著性和物体识别多数被分开研究的现状,首先分析三者之间的内在联系和相互关系,得出应该在一个框架中来研究它们的结论;然后讨论视觉中的尺度空间表示方法、显著性度量方法。最后选取强度、颜色和方向三种特征以及尺度引导注意,建立一个自下而上的结合尺度与特征引导的计算模型,并给出仿真实验结果。[JP]

关键词:协同模式识别;主动视觉;视觉选择性注意机制;尺度空间

中图分类号:TP391

0 引 言

目前主动视觉是机器视觉研究的热点和发展方向。其核心内容是为了完成给定的视觉任务,如何主动、智能、有选择地获取视觉信息;从计算的观点来说,就是要建立视觉选择性注意机制的计算模型,对图像数据进行显著性度量。

机器视觉要完成从2D图像出发对场景进行理解,而2D图像本身作为对应3D场景的一个不可逆透射变换,它对场景的描述形式表现为数值矩阵形式,所有的信息都隐藏在里面,为此机器视觉算法的基本要求就是要能从这种原始以矩阵形式表示的2D图像数据中提取“有意义”的描述。其中的关键问题是:到底什么是“有意义”的,以及其描述的形式或模型是什么。显然这两个问题都跟具体的视觉任务有关,最基本的任务就是视觉物体识别,为了识别,一个前提是要能从图像中分离出物体出来,即前景/背景分离,前景构成对图像的一种“有意义”描述,而视觉选择性注意机制的计算模型是实现得到这种描述的一种有效模型,为此要对图像进行显著性度量;同时所得前景以及其各种特征只在一定的有限的尺度范围内才是“有意义”的,即尺度也是描述的┮桓霆重要参数,所以尺度、显著性和物体识别对一个描述模型来说是密不可分。

1 视觉中的尺度空间的表示

图像中的尺度问题可以理解为成像所使用的孔径/光圈的大小,以及成像设备和物体之间的距离的综合作用在透射投影下赋予物体的像的一个固有属性。一幅自然场景的2D图像中包括各种不同大小的物体的像,预先并不知道有哪些尺度,为了从图像出发去理解场景,必须要在各个尺度上对图像进行表示和分析处理,即多尺度表示和分析[7,8]。将尺度作为一个自由参量引入图像中。多尺度表示方法由来已久,主要有两种:四叉树和金字塔。

尺度空间表示的一般方法是:将尺度作为一个自由参量引入到原始玁维信号(如2D图像)中,得到一个┆玁+1维的信号,所得信号在尺度维上满足一个扩散方程,该扩散方程是一个以原始信号为初始状态的偏微分方程(PDE),称所得信号为原始信号的尺度空间表示;根据扩散方程的线性和非线性可以将尺度空间表示区分为线性尺度空间和非线性尺度空间;在尺度维上,信号表现出一种由细到粗的过程,一个基本要求就是在粗的尺度上,信号中不能出现新的结构[1,3]。记原始图像为I(x,y)∈[WTHZ]R[WTBX],(x,y)∈[WTHZ]Z[WTBX],尺度记为t∈[WTHZ]R[WTBX]+,图像尺度空间表示为:

式中:玊为尺度空间变换,尺度玹的初始值为原始图像中的尺度,为了数学上分析方便一般可认为为0。┩1(a)为尺度空间表示示意图;图1 (b)为Lena图像的尺度空间表示。玊满足的扩散方程为:

式中:[WTHX]J[WTBX]=-[WTHX]D[WTBX]齌是獸lick法则,表示扩散的平衡特性;[WTHX]D[WTBX]是一个正定对称矩阵表示扩散张量。如果[WTHX]J[WTBX]和齌平行,则表示扩散是各向同性的,这时[WTHX]D[WTBX]可用一个正常数g来代替,反之为各向异性。若[WTHX]D[WTBX]是一个正常数(如常取1),则相应的尺度空间为线性尺度空间;若[WTHX]D[WTBX]是一个与图像结构相关的标量或向量函数,则为非线性各向同性尺度空间或非线性各向异性尺度空间。И

尺度空间表示提供了一种对图像进行多尺度分析的基础。但是在尺度空间中,想要得到“有意义”的描述还隐含于图像数据中,所以重要的是如何利用尺度空间表示来产生更好、更有意义的描述,或者如何利用尺度来引导注意,计算图像数据中自下而上的显著性。

显著性度量是实现引导视觉注意的最常用的方法。在数学形式上,显著性度量函数其实就是从各种早期视觉特征图到显著图的一个映射,它计算的核心在于如何进行对比度计算,而不依赖于其具体的某种输入。目前,显著性度量共有七种方法,文中结合使用两种方法:基于空间和特征整合的显著性度量和基于尺度空间表示和信息论的显著性度量。

2 视觉选择性注意机制计算模型框架

视觉注意计算模型框架如图2所示。针对隐式注意建立自下而上的结合尺度与特征共同引导的视觉注意计算模型,选择使用强度、颜色和方向图作为自下而上引导视觉注意的早期视觉特征,根据主尺度估计的结果建立它们的尺度空间表示,形成度量显著性的高维空间。通过在所得高维空间中进行显著性度量来引导视觉注意,特征和尺度共同作用形成显著图,所得的显著图包括两个部分:图像中区域/物体的显著性大小和它们的最佳尺度。オ[KH-1]

2.1 颜色特征图提取

记r(t),g(t)和b(t)为原始图像中的红、绿和蓝色通道。其中t表示尺度,可设原始图像的尺度为0,则强度图为I(t)=[r(t)+g(t)+b(t)]/3。首先,为了除去色调(Hue)的影响,使用I(t)对r(t),g(t)和b(t)通道进行归一化,然后可以得到如式(3)计算的广义上的红、绿、蓝和黄四个通道。图3所示分别为Lena图像的各个颜色特征分量。

2.2 方向特征图提取

V1区是视觉信息处理的前端,它的数学模型通常用Gabor滤波器表示。Gabor函数是高斯函数调制的正弦和余弦函数,相应地构成其偶小波和奇小波,它是能够取得空域和频域联合测不准原理下限的惟一函数,且有很好的方向选择性。二维Gabor滤波器的数学表达式如下

式中:(x0,y0)是空域中感受野中心;(ξ0,υ0)是滤波器在频域上的最优空间频率。σ和β分别是x和y轴方向上高斯函数的标准差。通常取4个或8个方向的獹abor滤波器输出作为方向特征图:(i/N)π,N=4或8;i=0,1,2,3或i=0,1,2,…,7。图

4是Lena图像的┧母霆方向特征图和相应的Gabor函数。

2.3 显著性度量函数

在经过主特征图提取以后,尺度为t的图像中每个像素可以用一个含10个元素的张量来表示图像描述模型。显著性度量结果应该包含两个部分:一是,要得到图像中哪些区域/物

式中:F用来度量这里所使用的描述玠escrip([WTHX]s[WTBX])表示图像信号的符合性如何;显著性与玠escrip([WTHX]s[WTBX])表示图像信号的符合性成反比。显著性度量的难度在于如何去设计F,使得其结果有一定的认知符合性和有效性。И

3 主尺度估计与注视点最佳尺度选择

建立尺度空间表示,首先要确定当前图像中的主尺度,所谓主尺度是指图像中前景物体的尺度。根据主尺度再确定建立尺度空间表示的所用的尺度范围,同时根据尺度空间表示来对注视点的最佳尺度进行选择。

3.1 主尺度估计

在图像中引人尺度维以后,这时图像在尺度维上由细到粗的变化,总体上表现为一种信息丢失的过程,那么如何去度量其丢失量[3,8]。通过前面对尺度空间表示的讨论,可以知道这种由细到粗的过程是通过让图像在尺度维上按某个PDE扩散方程,为了度量相邻尺度图像I(x,y;t璱)和I(x,y;t﹊+1)之间中的信息丢失量,先对I归一化,即使得隝(x,y;t)玠玿玠珁=1,然后通过计算它们之间的Kullback[CD*2]Leibler距离来度量:

通过在尺度维上计算这种相邻尺度图像间的g(x)值,所有g(x)е抵凶畲笾邓对应的尺度即为图像中的主尺度,如图5所示。原始图像有黑白交替的方块,尺度大约为100个像素,通过度量其KL信息在尺度空间的分布,主尺度的估计值与实际情况相符合。

3.2 注视点最佳尺度选择

尺度空间表示提供了多尺度表示和分析的基础,其中尺度作为一个自由参量,选择最佳尺度也就意味着要建立一个测度。这个测度是关于尺度的一个凸函数,其极大值所对应的尺度即为最佳尺度,如何设计这个测度函数是关键所在。由前面的讨论知道尺度空间表示的一个基本要求就是在粗尺度上图像中不能形成新的结构,也就是说原始图像中的极大值和极小值都要被抑制,从而在图像由细到粗过程中表现出一种平滑作用,最常用的线性尺度空间:

对其求关于x和y的一阶或二阶偏导可得:I瓁,I瓂,I﹛x,I﹜y,I﹛y,这些偏导数的的组合可以得到十分有用的算子,如用于边缘检测的梯度算子玸qrt(I瓁2+I瓂2),И㎜aplace算子等,但这些偏导数本身是关于尺度的递减函数,这是因为随着尺度增大,图像不断被平滑,而实际中通常希望这些算子具备尺度不变性,所以要使用尺度去对其进行规范化,对玿和y进行变量代换:

[HJ1]И[HJ]u=x/t, v=y/t[JY](8)[HJ1]И[HJ]

则可得:I璾=tI瓁,I璿=tI瓂,其他的类推可得,从而使得规范后的偏导是凸函数,可以用来进行最佳尺度选择,文中使用规范拉普拉斯函数,如式(8)所示,求其极大值所对应的尺度为最佳尺度,实验图像如图6所示。

4 结合尺度和特征的显著性度量仿真实验

有了上面的讨论后,现在可以给出结合尺度与特征引导的视觉注意计算的仿真实验。算法流程:

(1) 获取输入图像,提取主特征图:獻,RG,BY┧母霆方向图;

(2) 使用强度图獻,建立其尺度空间表示,按第3.1节中方法估计图像的主尺度玹璸,并保留獻的尺度空间表示;

(3)根据主尺度玹璸确定尺度空间表示的相邻尺度间隔大小玹﹕tep,在此采用四层尺度空间表示,则玹﹕tep=max[Int(玹璸/4),玹﹎in猏],Int为取整操作,玹﹎in为间隔阈值,本文中玹﹎in=2。也可以采用八层或其他;

(4) 根据玹﹕tep建立RG,BY四个方向图的四层尺度空间表示。

(5) 进行中央-外周计算,中央层为center=[1,2],外周层[WTHX]s[WTBZ]=[3,4],从而形成1[CD*2]2,1[CD*2]3,2[CD*2]3,2[CD*2]4四层,所以可得7×4=28个特征;

(6) 对得到的28幅特征图,按式(5)进行迭代产生特征显著图,迭代次数为5;

(7) 对所得特征显著图归一化后线性组合,得到最终显著图。组合系数取为1;

(8) 选取注视点,在获得每个注视点后,根据第3.2节中的方法进行最佳尺度选择;根据注视点及其最佳尺度产生图像前景的一个模板(Mask)。

图7为结合尺度与特征引导的注意仿真实验结果。[LL]从图中可以看出,无论是对尺度范围变化较大的图像还是尺度变化范围不大的图像,模型基本上能将图像中大部分感兴趣的区域/物体注意到,且能对注视点进行最佳尺度选择。

5 结 语

在此讨论了结合尺度、显著性和物体识别的必要性和可行性;着重讨论了尺度空间表示,并给出了尺度空间中一种多尺度表示的方法。在以上的分析基础上给出了一种结合尺度与特征引导的视觉注意计算模型和具体实现,以及仿真实验结果。

参 考 文 献

[1]Navalpakkam V,Itti L.Modeling the Influence of Task on Attention[J].Vision Research,2005,45(2):205[CD*2]231.

[2]Soto D,Blanco M J.Spatial Attention and Object[CD*2]based Attention:A Comparison within a Single Task[J].Vision Research,2004,44:69[CD*2]81.

[3]Duits R,Florack L,Graaf J D,玡t al.On the Axioms of Scale Space Theory[J].Journal of Mathematical Imaging and Vision,2004,20:267[CD*2]298.

[4]Duda R O.Pattern Classification[M].2nd Edition.Wiley[CD*2]Interscience,2000.

[5]Lowe D G.Distinctive Image Features from Scale Invariant Keypoints[J].International Journal of Computer Vision,2004,2(60):91[CD*2]110.

[6]Mikolajczyk K,Tuytelaars T,Schmid C,玡t al.A Comparison of Affine Region Detectors[J].International Journal of Computer Vision,2004.

[7]Florack L,Kuijper A.The Topological Structure of Scale[CD*2]Space Images[J].Journal of Mathematical Imaging and Vision,2000,12:65[CD*2]79.

[8]Kuijper A.Mutual Information Aspects of Scale Space Images[J].Pattern Recognition,2004,37(12):2 361[CD*2]2 373.

[9]Itti L,Koch C.Computational Modeling of Visual Attention[J].Nature Neuroscience,2001,2:194[CD*2]203.

作者简介 吴月娥 上海电力学院讲师,中国科学技术大学博士。主要研究方向为数字图像处理、计算机视觉。

边后琴 上海电力学院讲师,上海交通大学博士。主要研究方向为机器机视觉、机器人控制。