多传感器数据融合研究

杨 丹 董杨琴

摘要:数据融合技术又称多传感器数据融合或分布式传感,即对多类多源和多平台传感器数据进行组合,提供有关空间信息综合态势的一种数据处理技术。数据融合可分为:信号级数据融合、像素级数据融合、特征级数据融合和符号级数据融合。本文讨论了红外图像、可见光图像、多谱图像、雷达图像等的数据融合问题以及各级数据融合的方法。

关键词:多传感器;数据融合

1 引言

随着计算机技术、通信技术及微电子技术的发展,在军事、医学、能源探测、资源勘探、海洋测量、环境和土地利用管理、地形地貌分析等方面的大量应用需求下,数据融合技术呈迅猛发展之势。医学上,这种技术被用来诊断出准确的病变部位。在军事上数据融合技术有着更为广阔的应用前景,包括目标跟踪、目标自动识别、智能武器敌我识别、系统战场监视、战术态势评估、威胁评估、战场预警及战略防御等。

遥感技术发展迅速,获取遥感数据的手段越来越丰富,各种传感器获得的图像数据在同一地区会形成影像金字塔, 单一传感器的数据处理已发展为多种传感器数据处理即多传感器数据融合,数据融合技术可实现多传感器数据的优势互补,为提高这些数据的利用效益提供了有效的途径,极大地提高了处理的自动化,人机界面亦由传统的友好界面发展到人机协作的自适应多媒体界面。

数据融合技术在军事上的应用是随传感器信息处理及综合指挥控制系统的发展而发展起来的,其自动化很大程度上取决于数据融合水平的高低,它所揭示的信息处理思想和方法可以很好地解决目标识别的瓶颈问题。可以说多传感器数据/信息融合迄今已发展成为现代技术尤其是高新技术条件下各种战争模式中正确进行指挥决策及克敌致胜不可缺少的一项关键性技术。

2 多传感器的数据融合Data fusion

在许多应用场合,由单个传感器所获得的信息通常是不完整、不连续或不精确的。此时其他的信息源可以提供补充数据,融合多种信息源的数据能够产生一个有关场景的更一致的解释,而使不确定性大大降低。因此,多传感器数据融合意义重大,利用优势互补可以使目标检测和识别过程变得相对简单,准确率大大提高。

数据融合Data fusion技术又称多传感器数据融合或分布式传感技术,它涉及如何组合多种类型传感器数据对物理事件行为或态势进行推断,对多类多源和多平台传感器获取的数据判别处理综合分析。与其他数据处理技术相比更能快速、准确、可靠、连续及全面地提供有关环境态势的综合性结论。多传感器数据融合可以在表述的信号级、像素级、特征级或符号级上进行。信号级融合是指来自不同传感器信号在生成图像前的联合;像素级融合包括来自不同数字图像的信息的融合;特征级融合指的是从不同图像中提取的特征之间的融合;符号级的融合是来自图像中的信息在抽象这个更高层次上的融合。信号级、特征级和符号级的融合方法都没有很好利用图像数据的相关性,不利于对图像进行正确的目标识别和检测。

2.1 雷达与红外的数据融合

毫米波(MMW)雷达、激光成像雷达(LADAR)与红外传感器组合可以同时提供主动和被动两种工作方式。这样的组合可以用FLIR搜索潜在的目标,利用毫米波雷达具有很好的抗衰减能力的特性进行进一步探测,再与激光成像雷达(LADAR)的信息结合进行目标的识别。另外合成孔径雷达与红外图像的融合,可以充分利用合成孔径雷达全天候、全时段获得目标信息的特点和红外图像具有丰富的谱图的特点,来获得较高空间分辨力和谱分辨力的融合图像。

2.2 光学图像与雷达图像的数据融合

光学图像以光谱信息为主,是一种经常使用的遥感图像。雷达图像反映结构信息较好,而且雷达具有全天时、全天候、穿透性等优点,较光学传感器具有更大的侦察范围,可以发现不易被光学传感器发现的目标。但是雷达信号代表的是被观测物体的微波反射特性的反射率空间分布函数,不为人们所熟悉,而且对于不同的雷达工作频率、入射角和极化方式,感兴趣物体具有不同的微波反射特性,所以如果只使用雷达数据来进行目标检测及识别比较困难。光学图像中的地面目标处于反射状态,它不仅有明暗变化而且形状边缘清晰,图像的细节也较雷达图像明显,这使得检测识别变得相对简单和直接,但是光学传感器大气衰减大且受天气及观测时刻影响较大。因此,雷达图像和光学图像融合意义重大,利用二者优势的互补可以使目标检测和识别过程变得相对简单,准确率提高。

2.3 红外图像与可见光图像的数据融合

一般目标都会有较大的温度梯度或背景与目标存在较大的热对比度,低可视目标往往容易被红外传感器探测到,与红外热图像相比,可视图像可提供更多的目标细节。红外与可见光传感器的组合,数据融合后得到的图像既保留了目标的高局部亮度对比,还能获取目标表征的重要细节。

2.4 多雷达的数据融合

在多雷达的融合系统中无论是检测距离还是覆盖范围,与单部雷达相比,融合系统均有较大提高。当雷达性能相近或相同时,融合系统的性能会有显著改善;而当雷达性能相差较大时,融合系统性能改善不明显,接近较优雷达的性能。对合成孔径雷达数据融合过程可进行相干处理,用双天线提高对观测场景的匹配,可以得到同一传感器的不同频率或不同极化图像的融合。这需要电磁测量的校正和多极化、多频率图像融合、图像互对准等。不同分辨力合成孔径雷达图像的融合,可得到噪声较低的高分辨力融合图像。

2.5 不同波段红外数据融合

采用不同波段的两个传感通道,如:使用3~5μm、8~14μm两种波段的红外传感器探测同一空间目标,会使得到的目标背景信息量增加了一倍,采用融合技术,可提高系统的探测距离和识别能力。在地下探矿、人造目标探测和航空遥感等方面有着广泛应用。

2.6 CT、PET、MRI等的数据融合

各种成像方法在临床上的应用,使得医学诊断和治疗技术取得了很大的进展,同时将各种成像技术得到的信息进行融合互补,已成为临床诊疗及生物医学研究的有力武器。如:X射线断层成像(CT)、正电子发射断层成像(PET)、核磁共振(MRI)、单光子发射断层成像(SPET)、超声成像(US)、显微成像(MI)等。不同的成像模式可提供图像互不覆盖的互补信息。如:CT提供骨骼信息、MRI提供软组织、血管等信息。在有骨骼的地方选择CT属性,在其他有软组织的地方选择MRI属性,融合各信息用于制定手术方案。在未来,基于图像融合的数字可视化与虚拟现实技术相结合,可创造出一个虚拟环境,帮助医生制定最有效、最安全的手术方案。

2.7 单传感器多谱数据融合

多谱图像数据融合是把多变量信息,即多波段的图像信息综合在一张图像上,而且对于融合图像来说,各波段的信息所做的贡献能最大限度地表现出来。为此可对原图像各波段像素亮度值作加权线性变换,产生新的像素亮度值或将多个波段的信息集中到若干个波段上,如红、绿、蓝色波段。多谱图像数据融合也可通过亮度、色度和饱和度变换(IHS变换)、主成分分析(PCA)和高通滤波(HPF)等方法进行。为了得到更好的融合结果,可将已提取的目标信息加到变换公式中,根据先验信息对图像的参数进行修正。基于已知特征的融合方法可以针对不同的要求,灵活改变信息特征的提取方法。用微分几何方法将多谱图像变换为可视图像可能会成为有前途的方法。一般来说,多谱图像融合得到的是彩色图像。

3 数据融合方法

多传感器数据融合可以在表述的信号级、像素级、特征级或符号级上进行。信号级融合是指来自不同传感器信号在生成图像前的联合;像素级融合包括来自不同数字图像的信息的融合;特征级融合指的是从不同图像中提取的特征之间的融合;符号级的融合是来自图像中的信息在抽象这个更高层次上的融合。

3.1 像素级数据融合

3.1.1 逻辑滤波器法

最直观的融合方法是两个像素的灰度值进行逻辑运算,如:两个像素的灰度值均大于特定的门限值,进行“与”运算。来自“与”运算的特征被认为是对应了环境的主要方面。同样,“或”滤波用来分割图像,因为所有大于特定的门限值的传感器信息都可用来进行图像分割。两个像素的灰度值均小于特定的门限值时,用“或非”运算。

3.1.2 加权平均法

加权平均法用于处理来自各个测量精度大不相同的数据源的数据,是最简单最直观融合多传感器数据的方法。该法对某一参数值通过一加权因子取平均,即将由一组传感器提供的冗余信息进行加权取平均,并将加权平均值作为信息融合值。当每个传感器的测量值为标量,且加权值反比于每个传感器的标准差时,加权平均法与贝叶斯方法相一致

3.1.3 数学形态法

数学形态学通过使用从基本算子:集合并、集合交、减、条件加推演出来的一套数学形态算子,如膨胀、腐蚀等算法,对图像进行处理。若两个集合互相支持,则通过集合交从两个特征集中提取出高置信度的“核”特征集;若两个集合互相对抗,则通过集合差从两个特征集中提取出高置信度的“核”特征集。两个集合互相支持,则通过集合并从两个特征集中提取出高置信度的“潜在”特征集;若两个集合互相对抗,则通过一个集从另一个集中提取出高置信度的“潜在”特征集。用条件膨胀和条件腐蚀的形态运算来融合“核”与“潜在”特征集。条件膨胀用来提取“潜在”特征集的连接分量,可用来抑制杂波;条件腐蚀可用来填入在“核”特征集中丢失的分量边界元素。开运算和闭运算的基本作用是对图像进行平滑处理,开运算可以去掉图像中的孤立子域和毛刺,闭运算可以填平一些小洞并将两个邻近的目标连接起来。统计形态的引入为图像融合提供了一种新的思路。将统计的思想与形态滤波相结合估计图像包含的有用信息,噪声抑制效果较好。

3.1.4 图像代数法

图像代数是描述图像算法的高级代数语言,完全可以描述多种像素层的融合算法。它有四种基本的图像代数操作数:坐标集、值域、图像和模板。坐标集,可定义为矩形、六角形、环形离散矩阵及多层矩阵数组,用来表示不同方格和分辨率图像的相干关系。若来自多传感器的用于像素层融合的图像有相同的基本坐标系,则坐标集称为齐次的;否则称为非齐次的。“值域”通常对应整数集、实数集、复数集、固定长度的二进制数集,通常对其定义算术和逻辑运算。若一个值集的所有值都来自同一数集,则称为齐次的,否则称为非齐次的。“图像”是最重要的图像代数算子,定义为从坐标集到值集函数的图。“模板”和模板算子是图像代数强有力的工具,它将模板、掩模、窗口、数学形态的构成元素、定义在邻域像素上的其他函数,统一、概括成数学实体。用于变换实值图像的三种基本的模板操作是:广义卷积、乘积最大、和最大。模板操作可通过在全局和局部卷积来改变维数、大小和图像形状。

3.1.5 金字塔图像融合法

用金字塔在空间上表示图像是一种简单方便的方法。概括地说金字塔图像融合法就是将参加融合的每幅源图像作金字塔表示,将所有图像的金字塔表示在各相应层上以一定的融合规则融合,可得到合成的金字塔。将合成的金字塔,用金字塔生成的逆过程重构图像,则可得到融合图像。金字塔可分为:Laplacian金字塔、Gaussian金字塔、梯度金字塔、数学形态金字塔等。

3.1.6 小波变换图像融合法

3.1.6.1 图像的快速小波分解

Mallat提出了小波的快速分解与重构算法,他利用两个一维滤波器实现对二维图像的快速小波分解,利用两个一维重构滤波器实现图像的重构。

3.1.6.2 基于小波分解的图像融合

若对二维图像进行N层的小波分解,最终将有(3N+1)个不同频带,其中包含3N个高频带和一个低频带。对图像分解层数N的确定和对具体问题母小波的确定还有一些有待研究的问题。基于小波框架、小波包的图像融合方法在一些情况下融合效果较好。

基于小波分解的图像融合基本步骤如下:①对每一源图像分别进行小波分解,建立图像的小波金字塔分解;②对各分解层分别进行融合处理,各分解层的不同频率分量采用不同的融合算子进行融合处理,最终得到融合后的小波金字塔;③对融合后小波金字塔进行小波逆变换,得到重构图像。

小波变换的目的是将原始图像分别分解到一系列频率通道中,利用分解后的金字塔结构,对不同分解层、不同频带分别进行融合处理,可有效地将来自不同图像的细节融合在一起。人的视网膜图像是在不同频带上分别以不同算子进行融合的。基于小波分解的图像融合也是在不同的频率通道上进行融合处理的,因而可获得与人的视觉特性更为接近的融合效果。

3.1.7 多尺度卡尔曼滤波

以卡尔曼滤波的形式在空间上将图像分层表示,引入带有噪声的量测模型,以统计图像的方式对图像进行处理,在各不同层次上对图像融合。

3.1.8 基于微分几何的图像融合

对多谱图像进行融合,可借助微分几何作为工具,计算一阶多谱对比度,求出最优灰度值。将图像的多波段构成几何流形,将多波段对比度构成的多维向量投影到图像的灰度区间上,这种方法计算的对比度值比梯度法和零交叉法,能更充分地利用多谱信息,对噪声抑制效果好。

3.2 特征级数据融合

3.2.1 联合统计

当来自多传感器的信息被用于分类和决策时,需要某种类型的判别尺度,需要对感知的环境与已知特征比较。联合统计量可用于快速而有效地分类未知样本的概率密度函数。

3.2.2 带约束的高斯-马尔可夫估计

协方差矩阵用来存储与约束有关的信息,并可作为基本几何推理的数据库。

3.2.3 广义卡尔曼滤波

利用广义卡尔曼滤波能有效地使图像对准,使它们可在特征层融合,并可在出现环境噪声和传感器噪声时减少有关环境中物体位置的不确定性。

3.2.4 神经网络图像融合

人工神经网络的特点是:利用其固有的并行结构和并行处理;知识的分布存储;容错性;自适应性等。网络的知识表示与它的知识获取过程将同时完成,因而执行速度可以加快。在推理过程中,根据需要还可以通过学习对网络参数进行训练和自适应调整,因此,它是一种有自适应能力的推理方式;另外,现实世界中图像噪声总是不可避免地存在,甚至有时信息会有缺失,在这种情况下,神经网络融合方法也能以合理的方式进行推理。在进行图像融合时,神经网络经过训练后把每一幅图像的像素点分割成几类,使每幅图像的像素都有一个隶属度函数矢量组,提取特征,将特征表示作为输入参加融合。目前绝大多数的神经网络是用数字化仿真来实现的,使用软件和数字信号处理芯片来模拟并行计算。

3.3 符号级数据融合

3.3.1 贝叶斯估计

贝叶斯估计为多传感器融合提供了按概率理论规则组合传感器信息的方法。贝叶斯估计是以贝叶斯法则为基础的技术。

3.3.2 登普斯特-谢副(D-S)证据推理

证据理论可处理由不知道所引起的不确定性。它采用信任函数而不是概率作为度量,通过对一些事件的概率加以约束以建立信任函数而不必说明精确的难以获得的概率,当约束限制为严格的概率时,它就变成为概率论。在证据相关时,可考虑用D-S理论推广方法。

3.3.3 带置信度因子的生成规则

多传感器融合的生成规则可表达为:在前提X条件下,给出结论Y的逻辑含义。用生成规则通过确定性因子与每个命题和规则相联系,来表示系统中的不确定性。

3.3.4 模糊逻辑

模糊逻辑是一类多值逻辑,通过对每个命题以及运算符分配从0.0到1.0的实数值直接表示推理过程中多传感器融合的不确定性。建立融合过程不确定性模型,进行一致性推理。模糊逻辑方法的主要优点在于能将直观经验和知识中的模糊概念给以定量的描述,处理方法也不是常规方法中的是与否的2值回答,而是对某个特征属性隶属程度给出的描述与实际问题看法相类似。作为专家系统思想方法之一的模糊理论被应用到众多信息融合系统的设计中。但这一理论的和谐性和数学的严密性迄今尚未得到完全解决。

3.3.5 关系事件代数方法

是一种有应用前景的方法。关系事件代数是条件事件代数的发展,是对不确定性的一种描述。关系事件代数方法是借助随机集理论,以知识分析的方式进行数据融合。

4 结束语

数据融合技术涉及到复杂的融合算法、实时图像数据库技术和高速、大吞吐量数据处理等软硬件支撑技术。如果神经网络计算机成为可能,神经网络的图像融合方法也可能成为一种最有前途的图像融合的方法。目前主要应结合实际应用背景,充分利用相关电子技术成果,利用高速数字信号处理(DSP)算法来实现图像融合。在计算方法上,人们试图在尽量不丢失信息的情况下,提高计算效率,降低计算代价。一类算法是在满足一定要求的情况下,对图像压缩,以满足传输等要求。目前,我国的数据融合技术处在起步阶段,已研制出一些具有初步融合功能的多传感器数据融合系统,但与发达国家相比,还有很大的差距。

参考文献

[1]何友,王国宏,陆大金,彭应宁.多传感器信息融合及应用.北京:电子工业出版社,2000.

[2]Waltz E,Buede D M.Data Fusion and Decision Support for Command and Control[J].IEEE Trans.On SMC,1986,16(6):865-879.

[3]信息产业部电子第28所科技信息部.多传感器多目标跟踪与数据融合技术,1999.

作者简介:杨丹,女,助教,主要研究方向:计算机应用;

董杨琴,女,副教授,主要研究方向:计算机应用(‘青蓝工程资助,sponsored by Qing Lan Project)