面向高保真再现的多光谱图像融合技术

王海文，李 杰，陈广学

（1.浙江科技学院生化/轻工学院，浙江杭州310023;2.衢州职业技术学院信息工程学院，浙江衢州324000; 3.华南理工大学制浆造纸国家重点实验室，广东广州510640）

应用与发展

面向高保真再现的多光谱图像融合技术

王海文1*，李 杰2，陈广学3

（1.浙江科技学院生化/轻工学院，浙江杭州310023;2.衢州职业技术学院信息工程学院，浙江衢州324000; 3.华南理工大学制浆造纸国家重点实验室，广东广州510640）

面向高保真再现（高保真显示和高保真印刷）的多光谱图像融合是多光谱颜色再现的关键技术和核心环节。论文结合人类视觉系统的构成与特性，采用基于多分辨率分析理论的图像融合方法，并嵌入基于图像色貌模型的色彩转换方法，提出了面向高保真再现的多光谱图像融合方法，其核心为基于人类视觉系统的小波图像融合方法，并设计了融合框架、融合算法和融合效果评价指标。最后通过高分辨率图像与多光谱图像的融合试验，并通过融合指标的分析计算验证了此技术方法的有效性，它为颜色视觉的阶段理论学说提供了新的理论解释。

高保真再现；多光谱图像融合；多光谱颜色再现；人类视觉系统；小波融合方法

面向高保真再现（高保真显示和高保真印刷）的多光谱图像融合是多光谱颜色再现的核心技术和关键环节之一，它为后续技术环节（光谱反射率重建与多基色印刷等）提供完整准确的图像颜色信息和细节信息支持，从而从源头上保证高保真再现的实现。其基本原理是，采用恰当的图像融合技术对高分辨率彩色图像与低分辨率多光谱图像进行融合，即基于多源图像信息的互补性与冗余性，从而充分利用高分辨率图像丰富的细节特征与多光谱图像丰富的颜色信息特征，同时也能减少一定的无关数据量[1，2]，进而实现对原稿或原场景信息更精确完整的表达和再现。当前，在多光谱颜色复制技术中，多光谱图像的获取通常采用31个通道，其波段数较多，数据本身包含了大量的冗余信息[3]，且在印刷输出时也无法采用31个基色油墨。因此，必须采用恰当的图像融合技术对多光谱图像进行预处理，从而满足高保真输出再现的需要。

当前，对多光谱图像融合技术的研究主要集中于遥感图像、远程医学、计算机可视化、艺术品存档、军事目标成像等高端应用领域，而对高保真再现领域基本没有涉猎[4，5]。从理论上讲，面向高保真再现的多光谱图像融合与其他应用领域的图像融合技术的原理和方法没有本质区别，仅仅是应用领域和侧重点的不同。其中，上述高端应用领域的图像融合技术主要侧重图像的细节和边缘，譬如遥感图像，着重再现图像的细节边缘，以便于后期的识别和分析，而对颜色信息的准确再现不太强调。而在高保真再现领域，颜色信息的准确和完整再现是其主要侧重点，所以图像融合方法也略有不同。另外，由于小波变换方法具有接近人类视觉系统的多分辨率特性、良好的方向性以及算法的灵活性[6，7]，从理论上比较适合应用于多光谱图像的高保真再现。为此，论文在深入分析人类视觉系统的构成与特性的基础上，采用上述高端应用领域的多光谱图像融合技术框架与基于多分辨率分析理论的图像融合技术方法，针对高保真再现领域，提出了基于人类视觉系统的小波图像融合方法来实现多光谱图像的融合。

1 面向高保真再现的多光谱图像融合技术

1.1 人类视觉系统的构成与特性

人类视觉系统是一个典型的光学变换器和信息处理系统[7]，它将外界获取的光学信息及时有效地转换为生理电波，生理电波信号经视觉传输通道的预处理，再经过视觉神经系统的编码传递给大脑，从而完成图像信息的分析与识别。因此，人类视觉系统可分为五个组成部分，即眼睛（获取外界光学信息并辅助成像）、视网膜（将光学成像信号转变为生理电信号）、视觉传输通道（对生理电信号进行预处理）、视觉神经系统（对生理电信号进行编码）和大脑（分析识别图像信息）。

而人类视觉系统的典型特性主要有：人类视觉具有全局性和选择性，尤其对感兴趣目标或区域更加敏感[8];对图像的颜色和亮度独立获取，分层分通道处理，且对亮度更加敏感;对不同时空分布特征信息的响应不同，且具有一定的方向性，尤其对图像高频成分和倾斜方向不敏感[9];对图像信息感知与环境、媒体等多种因素有关，颜色识别表现出高度的非线性，且对颜色识别具有一定的视觉补偿功能[10]。

1.2 面向高保真再现的多光谱图像融合方法

论文基于人类视觉系统的特性与小波图像融合方法的优越性，提出了面向高保真再现的多光谱图像融合方法，主要包括融合框架、融合算法与融合效果评价指标三个方面，下面进行具体阐述。

1.2.1 面向高保真再现的多光谱图像融合技术框架

面向高保真再现的多光谱图像融合技术框架包括：图像预处理、颜色空间转换、图像分解处理、图像融合、图像反演五个步骤。

1）图像预处理：主要指多光谱图像的校正与配准，为后续图像融合提供良好的规范与条件。

2）颜色空间转换：将多光谱图像由RGB色空间转换至IHS颜色复制空间，从而适应后续颜色处理与再现的需要，并为图像分解与颜色复制提供平台。

3）图像分解处理：将多光谱图像和彩色图像进行分解处理，滤除图像噪声，保证图像颜色信息不丢失，并提升图像细节，从而利于图像颜色信息和细节信息的高保真再现，相应地得到低频和高频成分等信息。

4）图像融合：将多光谱图像和彩色图像的分解成分按照一定的融合算法进行融合。

5）图像反演：对图像融合的结果成分进行反变换，从而得到最终的融合结果。

1.2.2 基于人类视觉系统的小波图像融合算法

根据上述提出的面向高保真再现的多光谱图像融合技术框架，论文设计了基于人类视觉系统的小波图像融合算法，其基本步骤为：

1）首先对多光谱图像和彩色图像进行几何校正，然后采用基于区域的几何配准方法进行严格配准。

2）对多光谱图像进行色适应变换，适当消除光谱色域的偏差，从而利于后续颜色信息的处理与再现。即使用适应程度因子D调制RGB视锥响应信号，得到R′、G′、B′适应信号，然后将R′、G′、B′色空间转换至IHS颜色复制空间，得到I、H、S三个分量。其色适应变换公式[11]为：

其中，R、G、B为iCAM色空间中的视锥响应三刺激值，R′、G′、B′为经色适应变换后得到的视锥响应三刺激值，YW为白点的亮度，D为适应程度因子，RW、GW、BW为白点的长、中、短波视锥响应。

而R′、G′、B′色空间转换至IHS颜色复制空间的公式[11]为：

如果B′＞G′，则H=2πˉH。

3）对多光谱图像和彩色图像进行二维小波分解，得到各自的低频分量和高频细节分量。其目的是将图像的低频分量和高频细节分量分开进行处理，从而提升图像细节，保证图像颜色信息。其二维图像C（m，n）的小波分解公式[12]为：

而其重构过程[12]为：

其中，Ck，dHk，dVk，dDk分别为图像在该分辨率下的低频、水平高频、垂直高频和对角高频分量，h、g分别为理想低通和高通滤波器系数。

4）对分解分量采取分区融合方法，其中低频部分采用中值平均法，主要保证多光谱图像的光谱信息;高频部分采用基于区域的小波系数，即根据区域特征确定融合的相应位置的小波系数，它主要保证彩色图像的细节信息[13]。其目的是，对图像的分解分量分开进行精细处理，可消除图像噪声，提高清晰度，保证颜色信息的正确再现。

5）用得到的高频和低频子图像进行小波反演变换，从而得到融合的高分辨率多光谱图像，即为高分辨率图像与多光谱图像的最终融合图像。其小波反演公式[14]如下：

若H≥0，且H＜2/3π，则

若2/3π≤H＜4/3π，则

若4/3π≤H＜2π，则

1.2.3 面向高保真再现的多光谱图像融合效果评价指标

对于面向高保真再现的多光谱图像融合效果的评价，论文提出了三个指标，即光谱保真度（主要保证同色异谱程度的大小）、图像清晰度（保证融合多光谱图像的细节信息）和感觉信噪比（视觉上主观评价的定量化）。采用上述三个指标能较好地表征融合多光谱图像适宜于高保真印刷的程度。

1）光谱保真度

光谱保真度可用光谱扭曲程度进行评价，光谱扭曲程度反映了多光谱图像的光谱失真程度[15]。光谱扭曲程度越小，则光谱保真度越好，表明图像的融合效果越好，对应颜色复制时的同色异谱程度往往越小。光谱扭曲程度的定义式[15]为：

其中，D为光谱扭曲程度，M、N为图像大小，I（i，j）、IF（i，j）分别为融合后和原图像中（i，j）点的灰度值。计算31个波段的光谱扭曲程度，进行综合评价即可得到光谱保真程度的大小。

2）图像清晰度

图像清晰度用平均梯度表示，它反映了图像中的细微层次反差与纹理的变化特征，其值大小能反映出融合图像中的细微层次反差的变化程度[16]。在图像内容一定的情况下，平均梯度越大，则图像清晰度一般越高，其定义式[16]为：

其中，

3）感觉信噪比

为评价融合图像适于高保真再现的主观评价，引入感觉信噪比。它是在对图像进行小波变换的基础上，利用小波变换域的可视性门限模型，给出了能反映人类主观视觉感觉的图像质量评价方法[17]。感觉信噪比越大，则图像的感觉质量越高，表明融合效果越好。其定义式[17]如下：

其中，PE为感觉误差，定义式[17]为

其中，El0（m，n）=Cl0（m，n）ˉC′l0（m，n）;Cl0（m，n）、C′l0（m，n）分别为原图像和融合图像的小波变换域的局部对比度;SkLL（m，n），S′kLL（m，n）分别是原图像和融合图像k层的光滑子带图像; ΔC′l0（m，n）为原图像所确定的小波变换域中的可视性门限，即人眼可观测到的最小视觉限定值。

2 多光谱图像融合实验

2.1 实验设计与结果

图1 高分辨率彩色图像与多光谱图像的融合结果Fusion results of high-solution color image and multispectral images

实验采用索尼T900数码相机拍摄武汉大学测绘遥感国家重点实验室的门口，得到高分辨率彩色图像（A），然后在数码相机前分别加上红、绿、蓝滤色片，对同一场景进行拍摄，得到多光谱图像（B）、（C）、（D）。其中滤色片由东莞市科谱达光电科技有限公司生产，型号为K-1001，波段选取范围分别为610～740 nm（红滤色片）、500～610 nm（绿滤色片）、390～500 nm（蓝滤色片）。采用论文提出的面向高保真再现的多光谱图像融合方法，对上述四幅图像进行融合，其融合结果如图（E）所示。

然后采用论文提出的面向高保真再现的多光谱图像融合效果的评价指标，本次融合试验的评价结果如表1所示。

2.2 实验结果分析

由图1和表1可以看出，融合图像的清晰度得到增强，图像E相比图像B、C和D的清晰度都高，基本与图像A相同（图像E的平均梯度与A非常接近，而图像B、C、D的平均梯度比A小较多）。图像的颜色信息更加丰富（图像E相比图像A，其颜色信息更加丰富，可表现的颜色数量和阶调层次更多）。

另外，由表1可以看出，融合图像E分别对应A、B、C、D的光谱扭曲程度很小（均小于3.5），因此光谱保真度较高，表明融合图像基本保留了原多光谱图像丰富的颜色信息特征。融合图像E的平均梯度相对B、C、D增加较多，由8左右增至14.259，表明融合图像的清晰度得到明显增强。融合图像E的感觉信噪比较大，与图像A很接近（图像E为86.573，图像A为87.276），表明融合图像E比较符合人眼的视觉感受和评价，主观评价良好，适于高保真输出再现。因此，该方法较好地解决了面向高保真再现的多光谱图像融合问题，是该领域中的创新，也是对多光谱颜色再现技术的创新。

表1 多光谱图像融合试验的评价结果Evaluation results of multispectral image fusion experiment

最后，基于人类视觉系统的小波图像融合方法为颜色视觉的阶段理论学说提供了一个新的理论解释，即人眼对颜色信息的识别首先经过图像的预处理（相当于颜色视觉的三色机制，获取RGB信息后进行简单视觉处理），然后经过颜色空间转换与颜色信息的分解和融合处理（相当于颜色视觉的四色机制，获取的颜色信息进行分解、融合、然后重新编码），最后经过图像反演和评价获得颜色视觉（大脑分析识别融合图像的颜色信息，识别最终的颜色信息，相当于识别阶段）。

3 结论

面向高保真再现的多光谱图像融合是多光谱颜色再现技术的核心研究课题，它解决的是对原稿或者原场景更丰富颜色信息和细节信息的获取和表达，从而为光谱反射率的重建、进而为多光谱颜色输出再现提供完整准确的信息支持。本文提出了面向高保真再现的多光谱图像融合技术，主要包括合理借用和修正遥感图像融合的技术框架，引入色适应变换对图像颜色空间进行预处理，提出融合效果的三个评价指标。它较好地解决了面向高保真再现的多光谱图像融合问题，能保证融合图像的细节和颜色信息，为多光谱复制提供更优良的原稿，从而利于实现高保真显示与高保真印刷，这是多光谱图像高保真再现应用领域中的创新，同时也是多光谱图像处理技术应用的拓展。

另外，基于人类视觉系统的小波图像融合方法较好地模拟和表达了人类视觉系统识别图像颜色信息的机制和过程，它对于颜色视觉的阶段理论学说提供了一个新的理论解释，具有一定的理论意义。

参考文献：

[1] Francisco H，Imai，Roy S.Berns.High-resolution multispectral image archives：a hybrid approach[C].The Sixth Color Imaging Conference：Color Science，Systems，and APPlications.Copyright 1998，IS&T：224-227.

[2] Rosen M，Imai F，Jiang X Y，Ohta N.Spectral reproduction from scene to hardcopyⅡ[C].Image Processing Proceedings of SPIE，2001，4300：33-41.

[3] 唐 红，郑文斌，李宪霞.主成分分析在光全散射特征波长选择中的应用[J].光学精密工程，2010，18（8）：1691-1698. Tang H，Zheng W B，Li X X.Application of principal component analysis to selection of characteristic wavelengths with total light scattering[J].OPtics and Precision Engineering，2010，18（8）：1691-1698.

[4] Wang H W，Li J，Chen G X.Study on key issues of multispectral color reproduction technique[J].Adυanced Materials Research，2011，174（1）：93-96.

[5] 王 莹，王忠民，王义峰，罗雪梅.面向色彩再现的多光谱图像非线性降维方法[J].光学精密工程，2011，19（5）：1171-1178 Wang Y，Wang Z M，Wang Y F，Luo X M.Nonlinear dimensionality reduction of multi-spectral images for color reproduction[J].OPtics and Precision Engineering，2011，19（5）：1171-1178.

[6] 何龙兵，那 彦.多光谱可见光图像与高分辨率图像的分维融合[J].电子科技，2011，24（1）：4-8 He L B，Na Y.Fractal fusion for more spectral visible light images and high-resolution panchromatic images[J].Electronic Science&Technology，2011，24（1）：4-8.

[7] 毛晓波，陈铁军.基于人类视觉特性的机器视觉系统[J].仪器仪表学报，2010，31（4）：832-837 Mao X B，Chen T J.Machine vision system based on human vision features[J].Chinese Journal of Scientific Instrument，2010，31（4）：832-837.

[8] 盛承光.基于人类视觉系统的图像信息隐藏技术研究[J].东莞理工学院学报，2008，15（1）：66-70 Sheng C G.Research on image information hiding technology based on human vision[J].System Journal of Dongguan Uniυersity of Technology，2008，15（1）：66-70.

[9] Garrett M，Johnson，Mark D.Full-spectral color calculations in realistic image synthesis[J].IEEE ComPuter GraPhics and APPlications，1999，19（4）：47-51.

[10] Mitchell.Navigating the roadblocks to spectral color reproduction：data-efficient multi-channel imaging and spectral color management[D].Rochester：Rochester Institute Technology，2003.

[11] 卢沧龙.基于CIECAM02的跨媒休颜色复现评价研究[D].杭州：浙江大学，2013. LU C L.Study of cross-media color reproduction assessment[D].Hangzhou：Zhejiang University，2013.

[12] 徐丽华，岳文泽，李先华，梅安新，章皖秋.基于二维小波变换的遥感分类研究[J].遥感技术与应用，2003，18（5）：317-321. Xu L H，Qiu W Z，Li X H，Mei A X，Zhang W Q.A study on the TM classification of vegetation feature based on twodimensional wavelet transformation[J].Remote Sensing Techonology and APPlication，2003，18（5）：317-321.

[13] 叶传奇，王宝树，苗启广.一种基于区域的ASCT域多光谱与高分辨率图像融合算法[J].光学学报，2009，29（5）：1240-1247 Ye C Q，Wang B S，Miao Q G.Fusion algorithm of multispectral and hi-resolution images based on region feature in NSCT domain[J].Acta OPtica Sinica，2009，29（5）：1240-1247.

[14] 王仁礼，戚铭尧，王 慧.用于图像融合的IHS变换方法的比较[J].测绘学院学报，2000，17（4）：269-273. Wang R L，QI X Y Wang H，Miao Q G.Comparative study on the method of IHS transformation for image fusion [J].Journal of Institute of Surυeying and MaPPing，2000，17（4）：269-273.

[15] 陈大可.多光谱与全色图像融合方法的研究[D].长春：吉林大学，2010. Chen D K.Fusion algorithms of multispectral and panchromatic images[D].Changchun：Jilin University，2010.

[16] 马金福.多源图像融合技术及应用研究[D].西安：西安科技大学，2009 Ma J F.Multi-source image fusion technology and application research[D].Xi，an：Xi，an University of Science and Technology，2009.

[17] 敬忠良，肖 刚，李振华.图像融合---理论与应用[M].北京：高等教育出版社，2007.119-120. Jing Z L，Xiao G，Li Z H.Image Fusion：Theory and APPlications[M].Beijing：Higher Education Press，2007. 119-120.

Multispectral Image Fusion Technology for High-fidelity Reproduction

WANG Haiwen1*，LI Jie2，CHEN Guangxue3
（1.School of Biological and Chemical Engineering/School of Light Industry，Zhejiang Uniυersity of Science and Technology，Hangzhou 310023，Zhejiang，P.R.China; 2.School of Information Engineering，Quzhou College of Technology，Quzhou 324000，Zhejiang，P.R.China; 3.State Key Laboratory of PulP and PaPer Engineering，South China Uniυersity of Technology，Guangzhou 510640，Guangdong，P.R.China）

The multispectral image fusion for high-fidelity reproduction（high-fidelity display and high-fidelity printing）was the key technology and core link of the multispectral color reproduciton.It combined the structure and characteristics of the human visual system，besides it used the image fusion method based on the multiresolution analysis theory and embedded in the color conversion method based on the image color appearance model，thus the multispectral image fusion technology method for high-fidelity reproduction was put forward.And the core of the multispectral image fusion method was the wavelet image fusion method based on the human visual system，besides it designed the fusion framework，the fusion algorithm and the valuation index of fusion effect.Finally the availability of the fusion technology method was improved through the fusion experiments of the high-solution images and multispectral images and the calculation and analysis of fusion indexes.What＇s more，it proposed a new theoretical explanation for the stage theory of color vision.

*Corresponding author，E-mail：wanghaiwen1@126.com

high-fidelity reproduction;multispectral image fusion;multispectral color reproduction;human visual system;wavelet fusion method

10.7517/j.issn.1674-0475.2014.06.550

1674-0475（2014）06-0550-08

2013-11-06收稿，2014-05-21录用

国家自然科学基金项目（60972134）、浙江省教育厅科研计划项目（Y201223999，Y201326661）、浙江省教育科学规划研究课题（SCG062）和浙江科技学院博士科研启动基金（F015113C01）资助

*通讯作者，E-mail：wanghaiwen1@126.com