基于多模态信息融合的图像显著性检测算法研究

徐正梅，王慧玲，韦良芬

（1.阜阳师范学院 计算机与信息工程学院，安徽 阜阳 236037；2.安徽三联学院 计算机科学与技术系，安徽 合肥 230601）

图像以其直观性，在现代生活中发挥着越来越重要的作用.随着多媒体技术的发展，图像数据急剧增长，如何在海量数据中高效提取出人们感兴趣、有价值的数据是目前亟待解决的问题.图像显著性检测应用广泛，主要包括：图像分割［1］、目标检测与识别［2］、图像检索［3］和图像压缩［4］等领域.图像显著性检测模型根据处理方式的不同可分为：自底向上的处理方法和自顶向下的处理方法.自底向上的模型由数据驱动，该模型独立于任务，处理数据时利用的是底层视觉特征，如颜色、纹理、方向和亮度等信息，目前大部分图像显著性检测算法都是基于此模型的；自顶向下的模型则是任务驱动，是针对特定目标和任务需求进行显著性检测，处理数据的速度相对较慢.经典的Itti模型是根据人眼视觉特性，用多尺度图像特征的中心周围的差异性来得到图像的显著性，此方法检测出的显著性区域比较粗糙，且含有较多的背景区域［5］.有很多学者为改进显著性检测效果提出了多种算法.钱晓亮等提出基于加权稀疏编码的频域算法，提高了算法检测的速度［6］.郭迎春等提出了一种基于颜色空间的Local特征和Regional特征显著性检测算法，提高了算法的准确性［7］.Rajkumar S利用基于分块的方法提取红外图像显著性检测结果用来做目标检测［8］.Zhao J利用红外图像显著性特征做图像増强［9］.Yang C等采用基于图的流行排序进行显著性检测，并采用二级排序的方式提升了显著性检测精度［10］.

目前单模态图像显著性检测算法在特定测试数据集和简单场景下已经提升到很高水平，但是算法缺乏泛化性，在图像光照不好、颜色相近、跨边界以及图像包含噪声等复杂场景下显著性检测效果有待提升.近年来，随着多元传感器的发展，一些学者尝试融合多模态信息进行图像检测和视频跟踪等领域.Li C等融合可见光图像和红外图像进行跟踪，提高了跟踪准确性［11］.高思晗融合可见光图像的颜色特征和热红外图像的灰度特征进行图像显著性检测，有效提升了因光照不好和雨雪天气下图像显著性效果，但检测结果仍存在噪声多、显著目标跨边界检测不准确等问题［12］.本文算法主要贡献：①利用RGB图像和红外图像的互补性，融合两种模态信息进行显著性检测，提升了单模态图像对比度低，如弱光照、低温差、前景背景相似等情况下的图像显著性检测效果；②采用K-means聚类优化种子点选择，提升了显著目标跨边界情况下的检测精度.

1 算法设计流程

本文算法是在基于图的流行排序算法的基础上做的改进.基于图的流行排序算法可概括为将图中的一些节点标记为查询节点，计算图中标记节点和未标记节点的关联程度，根据关联程度排序未标记节点.算法实现流程为：①将RGB图像和红外图像进行等比例融合产生融合图像；②采用SLIC（simple linear iterative clustering）算法对融合图像进行超像素块分割；③利用第二步产生的超像素块对RGB图像和红外图像分别进行构图；④以图像边界为先验，结合K-means算法进行第一次排序；⑤以第一次排序结果为先验进行第二次排序；⑥将二级排序后的以RGB为数据源产生的显著图和以红外图像为数据源产生的显著图进行融合产生最终的显著图.

2 算法实现

2.1 等比例融合红外图像和可见光图像

单模态图像显著性检测各有其局限性：①可见光图像受光照影响比较大，光照过强或者太弱，颜色对比度都会受很大的影响.依据人眼对暖色比较敏感的特点，现有显著性检测算法大多数都是基于颜色特征来计算对比度的，因而当图像光照不好或背景前景颜色相似时，可见光图像的显著性检测效果会大幅下降.②红外图像是采用热成像原理，它是成像物体表面温度分布图.红外热成像使人眼不能直接看到表面温度分布，变成可以看到的代表目标表面温度分布的热图像.所有温度在绝对零度（-273℃）以上的物体，都会不停地发出热红外线.可以在完全无光的夜晚，或是在烟云密布的恶劣环境，能够清晰地观察到前方的情况.正是由于这个特点，红外热成像技术常用在安全防范的夜间监视和森林防火监控系统中.但是红外图像也有具有分辨率差、对比度低、信噪比低、视觉效果模糊、灰度分布与目标反射特征无线性关系的缺点.

本文算法采用RGB和红外图像进行等比例融合的方式，是考虑到单模态图像可能会因为光照弱，温差小等原因而造成的对比度弱的问题，图像对比度弱又会影响超像素的分割和相似度矩阵的计算，进而影响显著性检测效果，采用融合两种图像的作为超像素分割的数据源能起到平衡和改善检测效果的作用.

2.2 超像素分割

SLIC是一种简单的线性迭代聚类算法，它将彩色图像转化为CIELAB颜色空间.Lab颜色模型由3个要素组成，一是亮度（L），另外两个要素a和b是两个颜色通道.Lab颜色空间不像RGB和CMYK色彩空间，它致力于感知均匀性，接近人类生理视觉.SLIC算法能生成紧凑、近似均匀的超像素，在运算速度，物体轮廓保持、超像素形状方面具有较高的综合评价，比较符合人们期望的分割效果.为了确保后续计算中矩阵维度的一致性，本文算法只对融合后的图像进行超像素块分割.

2.3 构图

（1）图节点和边的权重.图可记为：G=（V，E），其中V是图节点，是由超像素块组成的集合，E是超像素块之间的边，当两个超像素块之间满足3个条件之一时认为它们之间有边：①当两个超像素块相邻时；②当两超像素块之间有共同的边时；③当超像素块位于图像的四条边上时.边的权重计算公式为：

其中，k为模态，k可以取1和2，当k=1时，表示RGB图像；k=2时，表示红外图像.是第k个模态中Vi和Vj两节点边的权重，为第k个模态第i个超像素块的颜色特征值，γ为缩放参数.

（2）计算关联矩阵.节点间的排序方程设计为：

其中Dk=diag{,…,}为度矩阵，=∑j，α 为一个参数 Wk=［］n×n，yk=［…,］T，为指示向量，对于给定数据集 Xk={,…}∈Rm×n，当为查询节点是=0，否则=1.

2.4 第一级排序

分别以四条边上非重叠的超像素块为种子节点进行排序，得到四个不同的检测结果，将四个结果融合后产生第一级排序的结果.以上边界为例，先将上边界的超像素块标记为查询节点，第k个模态的上边界标签向量记为：，在中只有上边界节点对应位置设置为1，其它位置节点设置为0，再运用公式（3）计算得到上边界的排序向量：

其中，i=1，2，…N，N 表示图中节点的个数，fk由公式（2）计算得到.接着再对归一化到［0，1］范围，得到再运用公式（4）得到以上边界为种子节点时各个点的显著性：

同理可以得到以右边界为种子点产生的显著图Srk.下边界和左边界相对于上边界和右边界来说，只有种子点选择时操作略有不同，其它操作完全相同.考虑到图像显著目标经常出现跨边界的现象，同时考虑到图像的对称性，只对下边界和左边界的种子节点进行了筛选.以下边界为例具体筛选过程为：首先采用K-means聚类算法将图像下边界的超像素块聚成两类，如果两类数目不相等，只选取数目多的超像素块作为种子节点；否则，选取整个下边界的超像素块做种子节点，笔者采用此方法是鉴于边界背景节点数目通常大于显著目标节点数目这一先验.以筛选后的下边界和左边界为种子节点产生的显著图可以分别记为，.最后再将4个显著图、、和运用公式（5）进行融合产生第一级排序检测结果：

2.5 第二级排序

2.6 多模态显著图融合

以RGB图像作为数据源产生的显著图S1和由红外图像作为数据源产生的显著图S2，采用点乘的形式将两种模态的显著图进行融合产生最终的显著图S，即：

公式（6）计算结果见图1，本文算法在弱光照、噪声图像、相似纹理和跨边界等复杂场景下检测效果明显优于基于图的流行排序算法.

图1 本文算法与GMR算法显著图比较

3 实验结果分析

笔者对包含有弱光照、相似背景、大目标、小目标、中心偏离等11种挑战的数据集RGBT-Saliency-Dataset上进行了测试，该数据集包含821个RGB图像和红外图像对.笔者将本文算法与SR［13］，SRM［14］，CA［15］，MCI［16］，NIF［17］，SS-KDE［18］，GR［19］，GMR［10］等 8 种算法进行了比较.为了实验比较的公平，本文算法所用参数仍然沿用基于图的流行排序算法的值.超像素数目设置为200，特征权重theta=10，公式（2）中参数α=0.99，第二级排序中二值化的阈值选择的也是均值.用于比较的其它8种算法都保留其原有的参数，将RGB图像和红外图像照等比例融合后直接计算融合图像的显著图.接下来在整个数据集上比较9种算法的平均精度、平均召回率以及 F-Measure，简称 PRF（Precisions，Recall，F-Measure）.其中F-Measure由公式（7）计算得到：

其中，β2=0.3.在PRF的3个值中，F值更具有代表性，能综合权衡平均精度和平均召回率.各个算法在不同模态的PRF值见表1.融合多模态进行显著性检测在测试的几个算法相对于单模态都得到了很大提升，其中本文算法最终检测结果精度和F-measure值都远远高出其他算法.

表1 9种算法在单模态和两种模态融合后的PRF值

4 结语

针对复杂场景下单模态对比度低，以及显著目标跨边界等导致显著性检测效果不好的情况，利用RGB图像和红外图像的互补性，结合K-means聚类算法对基于图的流行排序算法进行改进，检测效果提升显著.今后准备采用动态学习两种模态的特征，进一步提升复杂场景下图像显著性检测效果.