数字图像融合新进展

刘志明

(湖北第二师范学院计算机学院，湖北 武汉 430205)

1.引言

近年来，随着软硬件技术的发展及人类社会生产的发展，数字图像融合在技术、算法、应用等领域都有了较大的变化，多源、多维、多尺度、多时空、复杂环境等方面的因素及某些应用要求更高的处理效率催生了新的处理技术，如并行处理技术、计算智能的仿生学、固件化专业处理设备等。

在深入讨论之前，先对数字图像融合作简要介绍。数字图像融合是将2个或2个以上的传感器在同一时间或不同时间获取的关于某个具体场景的图像或者图像序列信息加以综合，生成一个新的有关此场景的解释，而这个场景是从单一传感器获取的信息中无法得到的[1，2，3]。数字图像融合的目的是减少不确定性。上述定义在现代得到进一步加强，从单一场景到多场景，从静态到动态。数字图像融合技术广泛应用于遥感影像处理、图像分析、机器视觉等领域。

数字图像融合的作用主要有：隐写加密[4，5]、去噪[6]、图像增强[7，8]、特征提取[9]、目标识别与跟踪[10]、三维重构[11]等方面。

2.数字图像融合技术动向

鉴于数字图像融合的不同数据基础及不同应用目的，可对其进行简单的层次划分：信号、像素、特征、决策。

在信号级数字图像融合研究方面，技术相对成熟，主要从处理效率方面有较大的改进，逐步从通用到专用，从软件到固件，针对特定领域应用的专用数字图像融合预处理设备表现出更好的性能。

像素级数字图像融合有着较广泛的应用需求，多源多尺度多时空遥感影像融合、图像拼接、隐写加密等多方面的应用需求，促使新技术的不断引入。首先，在遥感影像处理方面，由于多源多尺度多时空高光谱遥感影像海量数据的广泛应用，超光谱图像压缩算法、多视角图像配准技术、多分辨小波变换、并行图像处理技术被深度引入，同时也促进了海量数据的存取和检索技术的发展。其次，在图像拼接方面，要将具有重叠区域的多幅数字图像或多帧视频图像通过数字配准和融合，获得单幅宽视场图像或动态全景图，需要处理图像间平移、缩放、旋转等多种几何失真及色度亮度不一致、部分模糊、图像拍摄视点差异、场景中的运动物体等。基于区域的拼接算法主要有基于空间的像素匹配算法及基于频域的拼接算法。另外，在数字隐写方面，较有代表性的空域LSB隐写算法和频域JPEG图像隐写算法及相应的隐写分析算法研究方面都有了较大的发展，Jpeg-steg、F5等算法在隐藏图像的抗视觉怀疑性、隐藏信息的抗检测性、鲁棒性、防容量估计性等方面都有较好的表现。

特征级数字图像融合属于中间层次，处理过程可归结为：对来自不同传感器或相同传感器不同时段获取的原始信息进行特征提取，再对提取的多个特征信息进行综合分析和处理，以获取目标状态融合数据或目标特性融合数据。特征提取基于图像分析，在图像分割、目标表达和描述、纹理分析、形状分析及运动分析等方面都存在较大的发展空间。在军事应用中主要用于军事目标的检测、定位、跟踪和识别，民用则非常广泛，如工业生产中的故障检测、天气变化、农作物分布及收成、OCR(Optical Character Recognition)、人的身份识别、交通监管、远程诊断、矿产资源调查、城市热岛效应分析等。在特征级数字图像融合技术方面，大量引入的统计学习算法及仿生算法使得特征级数字图像融合技术成果非常丰富：贝叶斯估计、信息熵、表决、加权平均、聚类分析、支持向量机[15]、模糊逻辑[16]、神经网络[17]、微粒群算法[18]等方法。

决策级数字图像融合必须和具体的应用相结合，层次最高，数据量最小，在决策知识表达方面还需进一步研究。

3.数字图像融合研究热点及问题

在军事领域，IR ATR（Infrared imaging automatic target recognition）、基于二维成像声纳的水下运动目标三维运动轨迹测量、动态目标跟踪、水下自主机器人(ROV)及多目标定位技术等为主要研究热点。

IR ATR在精确武器系统有着广泛的应用，要求工作帧频高、信号动态范围大、实时性强、处理精度高和具有高度的灵活性，但红外成像图像细节模糊不清、传输过程中易受到噪声的污染，严重影响后续目标检测、匹配的精度，另外，其复杂背景低、信噪比小、目标还容易受到虚假目标及随机干扰的影响，还存在进一步研究的必要。

水下运动目标三维运动轨迹测量有内测和外测两种方法，内测是在运动目标自身内部安装速度、姿态等相关传感器来感知运动目标的运动过程中的状态信息，可同步提取并处理，但对敌方移动军事目标大多只能采用外测，以光学和声学成像系统对运动目标进行轨迹测量。基于光学的测量设备的测量效果受环境影响较大，特别是水体的浑浊度，主动高分辨成像声纳能较好地解决恶劣环境的负面影响。高分辨的三维成像声纳实现的技术环境不成熟，多部二维高分辨声纳成像是现阶段采用较多的技术，实时高速处理二维高分辨声纳图像、超分辨率重建及相关的水下多目标定位、ROV等都是有待于今后进一步深入研究的问题。

在医学领域，脑部磁共振成像 (Magnetic Resonance Imaging，MRI)与单光子发射计算机断层成像(Single Photon Em ission Computed Tomography，SPECT)的融合、CT图像分析、人体病理部位的三维重建在辅助医学诊断及治疗过程中的应用日益广泛和深入。在预处理、配准、特征提取、融合过程中所使用的算法对其它领域的应用也具有借鉴价值。另外，基于ITK和VTK的二次开发使得医学图像分割、三维重建更加方便快捷。近几年在中医辨证和人体体表特征的相关性研究也逐步深入，但离临床应用还存在一定的距离。

在工农业生产领域，水下及特殊环境下的自主机器人视觉是代表数字图像融合技术应用的前沿方向之一，与军事领域应用研究部分重叠，值得进一步关注。此外，ICT(Industrial Computed Tomography)无损检测技术通过射线扫描物体获得投影数据，进一步重建物体断面图像和体数据，较适合分析复杂封闭的检测对象，关键问题是特征提取，MSG（Multiscale Geometric Analysis）是继小波分析之后对高维数据进行有效分析的工具，工业CT体数据面特征的提取包括两种思路：一种是先将CT体数据按某个方向进行切片划分，再对每张切片进行线特征的提取，最后由线特征堆砌出面特征；另一种是直接对CT体数据进行面特征的提取，这方面存在的主要问题是找到合适的方式描述工业CT体数据面特征。其它工业应用如工业流水线监控过程的连续帧图像分析、故障诊断等方面的研究则异彩纷呈，由于其分析与故障表征模型的专用性，在数据预处理、分析、特征提取等阶段所采取的处理方式也各不相同，但努力的方向都是一样的：准确、实时，在这方面也还存在期待解决的问题：能否构建通用的特征表示模型，算法是否有并行的解决方案等。在农业生产方面，多源多时空多尺度遥感影像融合技术在农作物长势分析、收成预测、水土保持、病虫害信息提取等方面都有丰富的研究成果，随着超光谱遥感影像数据的广泛使用所产生的海量数据处理技术应用需求更加迫切。超光谱数据压缩、特征提取、并行计算、海量数据存取及检索方法方面还有较多的改进空间。

其它领域应用如电力设施在线监控、交通监控、矿业资源及林业资源调查、矿体三维可视化、矿区环境监测、矿区开发现状动态监测、地质灾害监测及危险性评价也都是近年来的研究热点。

4.数字图像融合算法

数字图像融合算法种类繁多，在信号级、像素级、特征级及决策级图像融合过程中都有着丰富的研究成果，本文仅就其中关键过程做简要评述。

先讨论洗配准问题，像素级图像融合的四个步骤：预处理、变换、综合及反变换（也即是重构图像）。在预处理阶段中的配准处理算法SIFT及SURF都有着较强的匹配能力，可以处理两幅图像之间发生的平移、旋转、放射变换情况下的匹配问题，但在多模态遥感影像配准中特征匹配正确率极低，如何有效地引入边缘、轮廓信息提高匹配正确率及速度期待解决。像素级数字图像融合方法从PCA、IHS到金字塔算法、多分辨小波变换方法，到现阶段智能算法的深度引入，如 KBNNF（know ledge-based neural network fusion）、SVM、PSO、模拟退火算法等，目的是尽可能利用多源多时空影像中提取的特征进行配准，减少配准过程中的人工交互干预。

其次在去噪过程中，基于小波变换的去噪方法被广泛应用。此外，由于Bandelet变换它能对图像局部方向进行最优逼近，可选择效果较好的半软阈值函数。还有Directionlet基函数的方向与图像中各向异性目标匹配时，对图像的逼近效果较好，不匹配时则退化为小波，逼近效果很差，可通过自适应地寻找图像的主要方向，构造Directionlet变换的采样矩阵，使Directionlet的变换方向和队列方向尽量与图像的主要方向一致，能够自适应地捕捉图像中的各向异性特征。随着多分辨率概念的提出及Contourlet变换的发展，可对目标多个极化强度图像分别利用Contourlet变换进行多尺度、多方向分解，从而得到含有低频系数的子图和一系列具有不同分辨率和不同方向的高频系数的子图，再为每个方向的高频子带系数进行区域差异信息的测量，最后对得到的融合系数进行Contourlet逆变换，重构图像。

最后就模糊图像融合、仿生计算及并行图像处理做简要评价。在数字图像融合的智能融合算法中引入模糊集合、模糊关系及模糊逻辑和推理，便产生了相应的模糊图像融合智能算法：模糊聚类、模糊模式识别、模糊神经网络、模糊专家系统、模糊综合评判、模糊决策等。另外，由于计算智能中的仿生学发展迅猛，仿生过程算法（模拟进化计算、遗传算法）、仿生结构算法（人工神经网络）、仿生行为算法（Fuzzy逻辑与Fuzzy推理）在图像融合中应用日益广泛和深入。而并行图像处理技术则主要应实时图像分析的需要而发展的，也必将更深远地影响数字图像处理及应用的深度和广度。

5.总结

数字图像融合技术及其应用涵盖的内容较多，本文只就其中主要的技术和关键的应用做出分析和评价，代表着数字图像融合技术的发展前沿，也希望在未来的工作中在某些方面有所超越。

[1]覃征，鲍复民等.数字图像融合[M].西安：西安交通大学出版社，2004.

[2]M aiter H，Bloch I.Image Fusion.Vistas in Astronomy，1997，41(3)：329-335.

[3]Taxt T，Solberg A H S.Information Fusion in Remote Sensing.Vistas in Astronomy，1997，41(3)：337-342.

[4]Moulin P.The Role of Information Theory in Watermarking and its Application to Image Watermarking.SignalProcessing，2001，81：1121-1139

[5]Ettinger j.Steganalysis，Game Equilibria.Information Hiding.Lecture Notes in Computer Science，1525.Springer-Verlag，1998：319-328.

[6]Liu Dan-Dan，Tang Chun-Rui，Detail enhance FRIT de-noisy method based on energy delamination.1st International Congress on Image and Signal Processing，CISP 2008.PP357-361.

[7]Kuan Shen，YumeiWen，Yufang Cai.Efficient x-ray image enhancement algorithm using image fusion[J]，Journal of X-RAY Science and Technology，2009，17(3)：207-221.

[8]CaiW L，Chen SC，Zhang DQ.Fastand robust fuzzy c-means cluster algorithms incorporating local information for image enhance-mentation.Pattern Recognition，2007，40(3)：825-833.

[9]F.A.Andalo，P.A.V.Miranda，R.Da S.Torres，A.X.Falcao.Shape feature extraction and description based on tensor scale[J].Pattern Recognition.Volume 43，Issue 1，2010.1：26-36.

[10]Yong Deng，X iaoyan Su，Dong Wang，Q i Li.Target recognition based on fuzzy dempster data fusion method.Defence Science Journal.2010，Vol60，No 5.

[11]N ina Jahrling，KlausBecker，Cornelia Schonbauer，Frank Schnorrer，Hans-U lrich Dodt.Three-Dimensional Reconstruction and Segmentation of IntactDrosophilaby U ltram icroscopy.Front SystNuerosci.2010.4.

[12]Hill.P.R，Bull.D.R，Canagarajah.C.N.Image fusion using a new framework for complex wavelet transforms[C].IEEEConference on Image Processing.Italy：Genova，2005，2：1338.

[13]章毓晋.图像工程（中册）图像分析[M].北京：清华大学出版社，2005.

[14]Braunl，T.等.并行图像处理[M].李俊山等译.西安：西安交通大学出版社，2003.

[15]Zheng Sheng，ShiWenzhong，Liu Jianguo，Tian Jin Wen.Remote Sensing Image Fusion Using Multiscal Mapped LS-SVM.Transactions on Geoscience&Remote Sensing.Volume 46，Issue 5，2008.5.Pages：1313-1322.

[16]Singh，Harpreet Reet，Raj，Jyoti，Karu Gulsheen，Meitzler Thomas J.Image fusion using fuzzy logic and applications.Fuzzy Systems.Volume：1，2004.Pages：337-340.

[17]W eiHuang，Zhongliang Jing.Multi-focus image fusion using pulse coupled neuralnetwork.Pattern Recognition Letters.Volume 28，Issue 9，1 July 2007，Pages：1123～1132.

[18]N iu，Yi-feng.Shen，Lin-Cheng.The Optimal Multi-objective Optim ization Using PSO in Blind Color Image Fusion.Multimedia and U-biquitousEngineering.2007.8.Page(s)：970-975.

[19]王新洲，史文中，王树良.模糊空间信息处理[M].武汉：武汉大学出版社.2003.

[20]Jiaqian Yu，Haibin Duan.Artificial Bee Colony approach to information granulation-based fuzzy radialbasis function neuralnetworks for image fusion.Optik-International Journal for Lightand Electron Optics，2012.