基于多区间映射评价优选的光谱数据融合显示算法

朱院院，高教波，高泽东，吴江辉，孟合民

引言

成像光谱数据融合伪彩色图像是直观有效的光谱数据应用方式之一，融合处理提供的伪彩色图像便于人眼观察识别。光谱数据融合显示首先需要光谱数据降维，再将降维数据融合成一幅伪彩色图像。传统的降维数据融合方法是将降维后包含最多信息的3幅图像分别赋值给RGB显示模型，该方式没有充分考虑降维数据的特点和人眼对不同颜色的区分能力。在所有的颜色空间中，对色空间和人眼的视觉感受和心理感知较为一致［1－4］。文献［5］将主成分变换（principal component transform，PCT）后的降维数据转换到HSV（hue－saturation－value）颜色空间，直接压缩至有效范围映射；文献［6］将对色空间转换到RGB三色空间，最后简单截取部分数值映射，得到最终的融合显示图像。数值压缩方式产生的融合图像对比度低，人眼不易区分图像细节；简单截取映射方式产生的融合图像，虽然融合图像对比度高，但是截取的信息不能保证融合图像质量最优，容易造成类似光谱目标混叠不易区分。

针对传统伪彩色图像显示容易导致目标混杂不易区分的缺陷，本文提出一种基于多区间平移映射评价优选方法的光谱数据色彩融合显示算法。PCT降维数据分配给对色空间，分区间平移映射颜色数据，同步进行图像评价，最后对所有评价值进行综合评价，选取综合评价最高的平移量作为最优平移量，利用3个最优平移量分别平移映射各通道颜色数据，获取图像能量、信息、清晰度综合最优的融合图像。

1 超光谱融合显示原理

光谱数据立方体经过去冗、降噪、降维，得到最能反映光谱特征的降维数据，再赋值给相应的颜色空间，最后转换到RGB空间存储显示，其原理如图1所示。常用的光谱数据降维方法有波段选择法、PCT法、独立成分分析（independent component analysis，ICA）等，其中PCT方法有严密理论推导，无迭代运算，受到广泛关注。本文采用PCT实现光谱数据降维。

图1 光谱成像及融合显示过程Fig.1 Process of spectral imaging，fusion and color show

降维数据转换到颜色空间是伪彩色显示的关键，关系到融合结果与人视觉感知是否一致，人眼能否感知融合结果中的各类目标。PCT前三成分不相关，能量由强到弱；而人眼对色空间的黑白通道O1、红绿通道O2、黄蓝通道O3也不相关，能量也由强到弱。PCT前三成分与人眼的对色空间的特性基本一致，可以将PCT三大主成分分配给O1、O2、O3。

根据对色空间到 RGB图像的转换关系［1－4，7］，不难推导出对色空间O1O2O3到sRGB空间的转换关系：

最后再进行非线性变换，将标准sRGB颜色空间映射到8位RGB空间［6］，得到最终的显示结果。

如果Rs，Gs，Bs≤0.003 04，

如果Rs，Gs，Bs＞0.003 04，

最后，非线性sR′G′B′值按照下式转换成数字编码值：

值得注意的是上述映射过程中，只截取映射了［0，1］区间内的sRGB数值，小于0和大于1的值没有处理，这种简单截取的映射方式有时并不能获得最佳的视觉显示效果。大的工作量，本文对每幅伪彩色图像进行客观评价，最后将评价值最高的一幅作为最终的融合结果图像。

2 多区间融合评价优选显示算法

2.1 平移映射方法

为了映射sRGB的数值范围的所有数值，采用多区间平移映射的方式进行sRGB标准色彩空间到RGB显示空间的映射，即每次仅取sRGB数值范围内的一部分值平移到［0，1］区间内，综合评价每次平移映射后的图像质量，最终选取图像最优的区间进行映射。

对色空间O1O2O3变换到sRGB空间后，Rs的最小值记为Rmin，最大值记为Rmax，平移公式为

式中：Rn是平移后的值；ΔR是平移步长；NR是平移的总步数；i是步数计数值。

记平移量：

则有：

图2为平移映射原理示意图，当步数计数值i为0时，R 取值［Rmin，Rmin＋1］，对应Rn取值［0，1］，代入（2）～（4）式的Rs进行非线性变换映射，即相当于［Rmin，Rmin＋1］范围内的值被平移映射；当i为1时，R取值［Rmin＋ΔR，Rmin＋ΔR ＋1］范围被平移映射；当i为2时，R取值［Rmin＋2ΔR，Rmin＋2ΔR＋1］范围被平移映射；依次平移R范围的所有值将以ΔR为平移步长全部进行分段平移映射。

每次平移映射后都将得到一幅融合图像，Rs平移后将得到NR幅图像，同理Gs、Bs平移后将得到NG、NB幅图像，总计得到NR×NG×Nb幅伪彩色图像，如果采用人工判别图像的质量将会有很

图2 平移映射原理Fig.2 Principle of shift mapping

2.2 融合图像综合评价

目前，融合图像的客观质量评价方法有很多种，有基于图像信息量的熵、交叉熵、相关熵、联合熵，有基于图像能量分布的均值、标准差、均方差、协方差，有基于图像信号质量的信噪比、峰值信噪比，有基于清晰度的平均梯度、空间频率的多种评价方法［9－10］。但是这些单独的评价方法一般侧重于一个方面，没有起到综合效应；有的评价方法较难操作，不适用于融合图像的评价；有的评价结果和人眼的视觉效果不一致。

本文提出一种“评价、打分、综合”的综合评价方法，每次平移映射后，分别计算每次的标准差值Vstd、熵值Vent、平均梯度值Vavg，全部平移映射结束后，对单项评价值进行打分，记作：

不同类型的评价值数值范围不同，难以综合评价，因此需要再次“打分”，本文采用排序打分的方法，即评价值的最小分值为1，最大分值为评价值的个数。最后进行综合评价：

表1为采用综合评价方法的示意表，表中平移量M为1.0的综合评价值E为最大值13，将此时的平移量M代入（7）式，即可得到最优的融合映射结果图。

表1 综合评价示意表Table 1 Principle chart of comprehensive evaluation

2.3 算法实现

算法实现流程如图3所示。

图3 显示算法流程图Fig.3 Flow chart of fusion and show algorithm

具体实现过程如下：

1）初始化：设置平移步长ΔR＝0.5，载入超光谱数据，并进行归一化处理；

2）光谱数据降维：对超光谱数据进行主成份变换，得到变换后的前3个主分量；

3）空间变化：将PCT后的第一主分量赋给对色空间的黑白通道O1，第二主分量赋给对色空间的红绿通道O2，第三主分量赋给对色空间的黄蓝通道O3，通过（1）式将对色空间数据变换到sRGB空间，得到Rs、Gs、Bs；

4）红色分量平移映射评价，得到红色分量的最优平移量MR：采用（5）式对Rs进行平移操作，每次平移后，采用（2）式～（4）式进行映射，并进行标准差、熵、平均梯度的单项评价；平移结束后，采用（8）式～（9）式进行单项打分和综合评价，通过最优评价值ER得到图像质量最优时的红色分量平移量MR；

5）绿色分量平移映射评价，得到绿色分量的最优平移量MG，方法同步骤4）；

6）蓝色分量平移映射评价，得到蓝色分量的最优平移量MB，方法同步骤4）；

7）最优图像融合映射：将MR、MG、MB分别代入（7）式，得到平移后的 Rs、Gs、Bs；通过（2）式～（4）式映射最优的融合图像。

3 实验结果及分析

实验设备采用自研的可见光成像光谱仪［11－12］，波段范围：0.4μm～0.9μm，空间分辨率：491像素（h）×674像素（w），窄带数目：61。实验对象为6种不同500mm×500mm的迷彩靶布，近景全色图像如图4所示；天气晴朗，实验距离100m；采集的光谱数据立方体经过归一化和PCT变换后，前3个主分量如图5所示。

图4 六种迷彩靶布的真彩色图像Fig.4 True color image of 6 kinds of target fabric

图5 三大主分量图Fig.5 First 3 components images after PCT

3.1 不同映射方法的比较

为了验证本文的融合显示算法，本文选择与Tirance Achalakul于2000年提出的对色空间 映 射 方 法［8］、J.Scott Tyo于2003 提 出 的HSV映射方法［5］以及简单截取［0，1］区间映射方法进行对比，图6是4种不同映射方法的结果图像，表2是针对迷彩靶板的评价值对比表。

图6 4种方法的映射图Fig.6 Images of 4 mapping ways

首先人眼视觉观察图6，其中图6（a）、图6（b）和图6（c）可以看出迷彩靶布颜色基本成单一色调，融合结果不能表示靶布之间的区别，而图6（d）一眼就看出靶布之间的颜色区间。图6的T.A.2000和J.S.T.2003的两种映射方法整体色调柔和，能概要性地显示全部场景的信息内容，但图像的对比度低，迷彩靶板细节人眼不易区分；而简单截取和本文算法图像对比度高，明暗对比强烈，体现了截取映射方式的特点；简单截取方式只是截取［0，1］区间直接映射，但截取的这部分信息内容不最优，丢失了迷彩靶的细节；本文采用的算法遍历了所有可能的值，再优中选优，得到的图像最能反映图像的细节。

表2 四种映射方式的性能比较Table 2 Performance comparison among 4 mapping ways

再从表2迷彩靶板的评价值可以看出，相对于其他方法，本算法的评价值除了熵值稍有降低，其他都明显占优，说明本算法对比度和清晰度都明显优于其他方法，尽管图像的信息量有所降低，但人眼更易区分迷彩靶细节，这与人眼的视觉识别效果一致。

表3列出了4种方案的运行时间模型及测试时间，T1表示PCA运行时间；T2表示空间变换时间；T3表示数字图像变换时间；T4表示颜色空间变换时间；T5表示截取数据时间；T6表示平移映射时间。在i5－3470＠3.20GHz四核CPU计算机上，采用Matlab R2007a软件平台测试了4种方法的运行时间，由表3可知，前3种的方法运行时间几乎一致，本算法虽然时间开销稍长，但仍远远小于1个光谱数据立方体的获取时间6.74s，适用于超光谱数据实时探测应用。

表3 4种映射方式的运行时间对比Table 3 Run time comparison among 4 mapping ways

3.2 不同区间映射结果比较

本文的最优结果为平移步数R通道是7，G通道是12，B通道是7，图7列出了G通道、B通道平移位置保持不变，R通道平移步数从5至8时的映射结果图。从图中可以看出，图（a）的蓝、绿分量占多，红色分量少，靶板之间的区分度不大，随着平移量的增加，靶板位置的红色明显增加，蓝、绿色明显减少，而图（d）的红色成分太多又不能很明显区分靶板之间的区别。表4列出了程序运行过程中的综合评价值，由表4可以看出R通道平移步数为7时的综合评价值最高，最终映射时选择平移量为－4.1021进行映射图像最优，这与图7的人眼识别效果一致。

图7 R通道不同区间的映射图Fig.7 Varied section mapping images of R channel

表4 R通道部分综合评价示意表Table 4 Part of comprehensive evaluation values of R channel

3.3 不同平移步长的比较

（5）式的ΔR平移步长影响最终的映射结果，值得注意的是平移步长为1时，平移区间无重叠，平移步长小于1时，平移区间有重叠，平移步长越小，重叠的区域越多，但这种重叠平移确是有益的，因为sRGB［0，1］的值转换RGB［0，255］时，接近0和255的灰度值对人眼的区分识别是不敏感的，因此平移步长为1时会丢失一部分最优图像，理论上讲平移步长越小越好，但这会引起计算量的急剧增加。图8列出了平移步长分别为1、0.8、0.5、0.3的融合结果图像，可以看出平移步长为0.5（图8（c））靶板颜色区分度要明显优于平移步长为1（图8（a））和0.8（图8（b））的图像，但是与平移步长0.3（图8（d））的图像区别不大。

图8 不同平移步长的最优映射图Fig.8 Optimized mapping images with different moving steps

表5列出了不同平移步长的性能比较表，数值评价结果与人眼评价结果基本一致。

表5 不同平移步长的性能比较Table 5 Performance comparison with different moving steps

4 结论

光谱数据融合及色彩显示是超光谱成像传感器实时应用的关键因素。本文提出的光谱数据色彩融合显示算法，通过分段平移、映射、评价、优选的方法保证最终映射图像质量在可选择范围内最优。既避免了直接截取颜色数据0～1部分数据，进行数字映射容易导致小于0的低能量目标和大于1的高能量目标不能在融合图像中区分显示的缺点；也解决了颜色数据整体压缩到0～1范围，进行数字映射图像对比度整体较低，细节人眼不易区分的缺陷。实验结果表明：该算法能显著提高融合图像的能量和清晰度，融合图像的对比度高，细节区分明显，有利于人眼的快速识别判断。该算法原理简单，易于实现，在超光谱成像传感器的实时侦察中具有广泛的应用前景。

［1］ Bratkova M，Boulos S，Shirley P.oRGB：A practical opponent color space for computer graphics［J］.IEEE Computer Graphics and Applications，2009，29（1）：42－55.

［2］ Johnson G M，Song X，Montag E D，et al.Derivation of a color space for image color difference measurement［J］.Color Research and Application，2010，35（6）：387－400.

［3］ Reinhard E，Ashikhmin M，Gooch B，et al.Color transfer between images［J］.IEEE Computer Graphics and Applications，2001，21（5）：2－9.

［4］ Livitz G，Yazdanbakhsh A，Eskew R T，et al.Perceiving opponent hues in color induction displays［J］.Seeing and Perceiving，2011，24（1）：1－17.

［5］ Tyo J S，Konsolakis A，Diersen D I.Richard christopher olsen：principal－components－based display strategy for spectral imagery［J］.IEEE Transactions on Geoscience and Remote Sensing，2003，41（3）：1－12.

［6］ Stokes M，Anderson M.Chandrasekars，et al.A standard default color space for the internet：sRCB［EB／OL］.http：／／www.color.org／sRGB.xalter.［1996－11－5］.version：1－10.

［7］ Fairchild M D.Color appearance models［M］.3nd ed.West Sussex：John Wiley ＆Sons，2013.

［8］ Achalakul T，Taylor S. A concurrent spectralscreening PCT algorithm for remote sensing application［J］.Journal of Information Fusion，2000，（1／2）：89－97.

［9］ Chen Dake.Fusion algorithm of multispectral and panchromatic images［D］.Jilin：Jilin University，2010.

陈大可.多光谱与全色图像融合方法的研究［D］.吉林：吉林大学，2010.

［10］Yang Fanglin，Guo Hongyang，Yang Fengbao.Study of evaluation methods on effect of pixel－level image fusion［J］.Journal of Test And Measurement Technology，2002，16（4）：276－279.

阳方林，郭红阳，杨风暴.像素级图像融合效果的评价方法研究［J］.测试技术学报，2002，16（4）：276－279.

［11］Zhang Mingxuan，Gao Jiaobo，Meng Hemin，et al.Zoom－FFT based on Fourier transform spectroscopy［J］.Journal of Applied Optics，2013，34（3）：452－456.

张茗璇，高教波，孟合民，等.基于傅里叶变换光谱技术的Zoom－FFT算法研究［J］.应用光学，2013，34（3）：452－456.

［12］Li Yu，Gao Jiaobo，Meng Hemin，et al.Fast inversion techniques of inteferogram imaging spectrum base on CUDA［J］.Journal of Applied Optics，2014，35（3）：414－419.

李宇，高教波，孟合民，等.基于统一计算设备架构的干涉成像光谱快速反演技术研究［J］.应用光学，2014，35（3）：414－419.