面向语义的图像中主要对象的提取方法

孙 超，周海英

(中北大学电子与计算机科学技术学院，山西 太原 030051)

传统的基于内容的图像检索系统(CBIR)是建立在低层视觉特征的相似性度量的基础上，然而人们对图像的认知通常是在语义理解的基础上，这种差距形成了“语义鸿沟”［1］。为了更好地贴近人对图像的认知，提出一种提取图像中有意义核心目标对象的方法，能够有助于图像内容的语义表达。图像的核心对象通常位于接近图像中心的位置，在颜色和纹理上与周边区域有明显差别，本身所占区域也比较大，决定着该图像的主体语义内容。本文提出的图像中核心对象的提取方法是将图像划分为1个中心区域和4个周边区域以获取每个区域上颜色和纹理显著的对象。首先对图像进行预处理，然后针对每个区域进行显著性处理，通过计算显著相关色(SCC)以鉴别区域中的核心目标图像片，并作为训练集用于BP神经网络训练，从而实现对图像对象的划分和结果优化。

人工神经网络在模拟动物的神经行为方面具有高速并行、容错性强的特点，并能实现信息的分布式存储和表达。BP神经网络采用误差逆传播方式，对特征鉴别和模式分类有较好的作用。

1 图像区域显著相关色(SCC)计算

1.1 预处理

图像预处理主要完成对图像的滤波、色彩量化和分割等前期处理。本文采用同组滤波技术(Peer Group Filtering)对图像进行滤波、去除噪声、平滑图像［2］。CCF*-tree是一种基于分裂和聚类算法的混合方法(见图1)，可以较好地保持颜色的多数性和差异性［3］，使用该方法将图像量化为64色，结果见图1b。图像分割是图像分析、理解和识别的关键技术，是一个信息不足的、不适定性问题［4］。本文采用JSEG 算法［5］，分割结果不宜太过粗糙，图1c中共有137个块。

图1 图像的64色量化和JSEG分割结果

1.2 显著相关色(SCC )

颜色相关直方图(color correlations)可以反映一个区域中颜色的分布和基本纹理［6］。图像被划分为5个DAW区域(默认感兴趣区域)D1，D2，D3，D4，D5，如图 2 所示，中心区域占25%，其余区域均分。对每个DAW区域和对应的SR区域(周边区域)计算颜色相关直方图提取SCC［7］，计算时使用距离集合D={1}。每一DAW区域的SCC像素是满足公式(1)的颜色对 (ci，cj)，CDAW(ci，cj)和CSR(ci，cj)分别是DAW区域和SR区域的颜色相关直方图中颜色对(ci，cj)的数目(下标指区域)。

图2 SCC像素

对于这5个部分，DAW区域分别为区域1到5，与SR区域的对应关系如下:

就周边区域来说，物体多数会分布于整个水平方向上，所以对于 D1，D2，D3，D4，SR 区域不包括处于同一水平的区域。计算时将DAW区域和所对应的SR区域的颜色相关直方图的值代入公式(1)。图2a～图2e显示了依据不同DAW区域计算所得的SCC像素，依次对应的DAW区域为 D5，D1，D2，D3，D4。

2 选取核心图像块

在JSEG分割的块中选取可以显著标示对应DAW区域的块。选取原则为:

1)块中含对应DAW区域的SCC像素的比例比较高;

2)要有多于一半的部分属于对应的DAW区域;

3)块中属于所对应DAW区域的比例要相对高。

利用以上条件，每个块用公式(2)计算判定值PCi，j超出阈值tPC的块，结果见表1。

表1 图2f中编号1，3，4的块的RS，IS值

对于每个DAW区域(如j=1)将所有分割所得块代入公式(2)进行计算，满足公式(2)的块被分到该区域，得到一个可以显著代表这一区域的块的集合。图3为每个部分的核心块。

图3 每个部分的核心块

3 扩展区域

3.1 特征提取

每个JSEG分割所产生的块的特征由颜色和纹理两类特征以及块中SCC像素的比例构成，颜色特征为块在HSV空间的一阶矩和二阶矩，纹理特征提取采用共生矩阵，其中距离为 1，角度取 0°，45°，90°，135°共 4 个矩阵。对共生矩阵计算能量、熵、惯性矩3个纹理参数，求能量(E)、熵(N)、惯性矩(I)的均值和标准差作为最终6维纹理特征。因为每个块的大小不一，计算共生矩阵时，要乘以相应的比例，变换到统一尺度。对于每一图片，有5部分所对应的SCC像素，对应的每个块有5个不同的比例值(就是计算核心块使用的RS值)。于是，每个分割块对应一个17维的特征向量如图4所示。

图4 每个分割块对应一个17维的特征向量

3.2 生成样本特征集并进行神经网络训练

对于每个DAW区域，都要生成一套样本集，每个区域自身的核心部分包含的块的特征向量作为正例，反例选取其他对应区域的核心部分。对应关系为:D1对应{D3，D4，D5};D2对应{D3，D4，D5};D3对应{D1，D2，D5};D4对应{D1，D2，D5};D5对应{D1，D2，D3，D4}。对每一 DAW 区域建立神经网络，将样本分别输入其中。选用BP网络，训练函数为traingd，输入层有17个节点，输出层1个节点，激励函数采用logsig，学习速率0.03，训练要求精度为0.0007。共有5个神经网络，每个对应一个DAW区域。

3.3 生成结果

将分割产生的所有块的特征向量输入训练好的5个神经网络中，结果如图5所示。

图5 神经网络输出的结果

4 结果优化

采用以下原则优化结果(见图6):

1)对上一步产生的5个分类结果，填充被图像本身像素所包围的空白部分，去掉小于5%的不连通的块，去掉 {D1，D2，D3，D4}中包含的{D5}的块;

2)根据SCC像素比例判定是否要合并处于同一水平的D1和D2，D3和D4;

3)对于冲突的块，归类于RSi，j值大的区域。最后得到3～5个区域。

图6 图1最终被分为4部分

5 结论

使用本文方法对大量图像进行了测试，图7显示了一部分图片的处理结果。

图7 部分实验结果

实验表明本文方法对图像核心语义对象的提取具有以下特点:1)可以提取各区域颜色比较集中且与其他区域有较大差别的部分，较完整地得到由不同颜色，不同成分组成的目标对象，可以确保对图像重要语义对象的有效抽取;2)可以得到中心对象的轮廓;3)能够避免传统图像分割产生的大量冗余;4)对于有独特对象分布特点的图像，可以灵活确定感兴趣的DAW区域;5)能够存储包含主要信息的图像主要部分，为进一步的图像语义处理和检索奠定基础。

［1］GUDIVADA V N，RAGHAVAN V V.Content-based image retrieval system［J］.IEEE Computer，1995，28(9):18-22.

［2］DENG Y，KENNEY C，MOORE M S，et al.Peer group filtering and perceptual color image quantization［C］//Proc.ISCAS 1999.［S.l.］:IEEE Press，1999:2-24.

［3］王永刚.彩色图象处理若干算法的研究与其应用［D］.上海:上海交通大学，2005.

［4］杨润玲，周军妮，刘利.基于改进型FCM聚类的图像分割新方法［J］.电视技术，2008，32(6):12-14.

［5］DENG Y，MANJUNATH B S，SHIN H.Color image segmentation［C］//Proc.CVPR 1999.［S.l.］:IEEE Press，1999:2446-2451.

［6］HUANG J，KUMAR S R，MITRA M，et al.Image indexing using color correlograms［C］//Proc.1997 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.［S.l.］:IEEE Press，1997:762-768.

［7］KIM S Y，PARK S Y，KIM M H.Central object extraction for objectbased image retrieval［C］//Proc.CIVR 2003.［S.l.］:CIVR，2003:39-49.