一种多狭缝推扫式光谱成像方法

林耀海,石光明,王立志,高大化,3

(1.西安电子科技大学电子工程学院,陕西西安 710071;2.福建农林大学计算机与信息学院,福建福州 350002;3.空军工程大学理学院,陕西西安 710051)



一种多狭缝推扫式光谱成像方法

林耀海1,2,石光明1,王立志1,高大化1,3

(1.西安电子科技大学电子工程学院,陕西西安 710071;2.福建农林大学计算机与信息学院,福建福州 350002;3.空军工程大学理学院,陕西西安 710051)

摘要:高质量、高分辨率的遥感光谱数据获取受限于成像系统的光通量.针对传统推扫式的光谱仪当增加狭缝的光通量以提高信噪比时会降低空间分辨率这个问题,从信号处理角度为推扫式光谱成像系统建模,引入压缩感知理论,使得系统可以通过增加狭缝数目的方式来增加光通量.在理论上,该方法增加了光通量而没有降低空间分辨率.在仿真实验中,光通量增大128倍,用25%的曝光频率就可以很好地获得512× 512的光谱图像.该光谱成像方法在遥感技术领域以较少的曝光次数、存储传输较少的数据就可以获得高质量的光谱数据.

关键词:光谱;成像;压缩感知;空间分辨率;推扫式

不同的地物光谱特征可用来识别场景中的地物,并可用于对其生物、物理、化学的演化过程进行分析.因此,光谱图像在遥感地质勘测、森林监护、农业应用、海洋研究等领域得到广泛的关注.成像光谱仪是获取连续光谱图像的设备,它是集探测器技术、精密光学机械、信号处理技术等于一体的综合性遥感技术,在同一时间段内完成空间图像和物体的光谱信息采集.

在实际应用中,急切需求高质量、高分辨率的光谱数据,而它受限于成像系统的光通量.推扫式光谱成像是遥感中常用的光谱数据获取方法,当增加狭缝的光通量以提高信噪比时,必须以降低空间分辨率为代价.另一方面,传统推扫式光谱成像方法通过逐行扫描采集空间场景的光谱数据.因此,当减少每行宽度以提高分辨率时,由于光通量变小,成像时间将增长,曝光次数将增多.这意味着需要更多的功耗和传输带宽.由于星载成像设备受到体积、质量、功耗、传输带宽等条件限制[1],所以“逐行成像”从某种程度上限制了分辨率的提高.可见,如果要高信噪比和高分辨率两者兼得,就需要从成像方式上进行改进.

针对上述问题,笔者从信号处理角度来分析成像方法.压缩感知(Compressive Sensing,CS)[2-3]作为一种全新的采样方法,不断地应用到了成像系统设计之中.压缩感知将信号压缩和信号采集融合为同一个过程,当应用到光学系统中时,就有潜力以更少的成像次数或者更少的传感器采集场景的光谱信息.压缩感知含观测矩阵和优化重构两个部分:观测矩阵在成像端实现,优化重构在数据接收端完成.它在已有的成像模式上进行较小的改进,借助于后端的优化重构算法,在体积、质量、功耗、传输带宽等条件限制的情况下,可获取满足要求的光谱图像;它使得光谱成像仪的设计者们能够平衡上述的众多挑战,设计出新的成像模型[4].

基于压缩感知的成像模型在近几年得到广泛关注.这类方法能够对场景信息进行编码,然后使用较少的数据样本就能还原出原始信息.比如,单像素相机[5]、运动随机曝光成像模型[1]、编码孔径快照光谱成像(Coded Aperture Snapshot Spectral Imaging,CASSI)系统[6-7].上述方法从理论上可以以更少的采样(更少的像素,或者更少的成像次数)来获取关于目标的信息.这些成像方法的本质区别在于对“更少的样本”的实现方式不同,从而使得它们适应不同的问题.单像素相机是一个理论验证模型,它可以用一个像素来对场景成像,“更少的样本”体现为更少的像素.运动随机曝光成像模型实现了以低分辨率传感器阵列获取高分辨率图像信息,“更少的样本”也体现为更少的像素.编码孔径快照光谱成像系统是以更快的速度获取场景的光谱数据,“更少的样本”体现为更少的曝光次数.编码孔径快照光谱成像系统解决了光谱数据的获取过程中曝光次数过多的问题,但是它的代价是:将各个空间像素点的各个谱段数据混叠一块,不能逐个谱段地下传数据.当传输带宽受限,且需要实时对某个谱段进行观测时,这种方法显然不合适.笔者从信号采样的理论角度阐述了压缩光谱成像方法的原理,分析了多狭缝推扫式光谱成像过程和光通量的变化,论证了该方法能够大幅度提高成像系统的信噪比,进而获得更高分辨率的光谱数据.

1 压缩光谱成像方法

1.1 压缩感知

压缩感知是一种信号采样理论,它利用信号的稀疏性,在远小于奈奎斯特采样率的条件下获取信号的样本,然后通过优化重构算法完美地重建信号.

假设长度为N的信号f′在空间中稀疏,存在采样观测矩阵ΦM×N(M≪N),使得观测值f可以通过优化求解,从而重构出信号.为了简化0范数优化问题的计算过程,Candès等人研究了在适当增加观测值数量M的代价下,可以用1范数替代0范数,即

压缩感知对信号处理过程可视为两个阶段:压缩观测和优化重构.观测矩阵Φ是一个扁平的矩阵.以离散信号为例,在压缩观测中,采集到的样本数远小于信号的维度;每个样本都是原始高维信号的线性叠加.优化重构是指利用数据对象的稀疏性,用较少的样本就可以还原出原始信号.在压缩感知理论框架下,需要寻找光谱数据的稀疏空间.一个场景的光谱数据是一个数据立方体,它由各个谱段的光谱图像组成.在实际中,每个光谱图像具有类似于自然图像的分段连续的特点.因此,可以用针对自然图像的重构方法来实现笔者提出的成像方法.

有学者提出采用全变差(Total Variation,TV)作为图像信号重构的优化目标函数,其表示为

1.2 压缩光谱成像

一些典型的压缩成像的例子有类似于压缩感知对信号处理的两个阶段,以编码孔径快照光谱成像系统、运动随机曝光成像模型为例.编码孔径快照光谱成像系统在孔径处有一个码片,每次成像时,将光谱数据立方体压缩成一个二维图像;通过改变编码,得到多张压缩图像,再利用优化重构算法,便可以较高的概率获得光谱数据立方体.运动随机曝光成像模型将传统的快门曝光方式改进为运动随机曝光模式;当成像设备处于运动状态时,“随机曝光编码”控制曝光方式,多个场景像素点光强与“随机曝光编码”进行卷积投射于传感器上,通过特征解耦优化重构便可获得高分辨率图像.

笔者研究的基于压缩感知的成像方式有两个阶段:压缩成像和优化重构.压缩成像的核心是观测矩阵的实现.在压缩感知理论下,压缩成像仅采集较少的样本,就可以利用信号的稀疏域很好地重构出满足要求的信号.降低了对样本数的要求后,成像系统的设计变得更灵活.样本数目虽然减少,但是每个样本都是原始高维信号的线性叠加,相当于将多个原始信号压缩进一个个样本中.这里的编码是由观测矩阵决定的.优化重构是生成高质量图像的一个环节,寻找稀疏域是其中的关键问题.这里采用全变差作为图像信号重构的优化目标函数,验证了笔者提出成像方法的有效性.

压缩光谱成像的两个阶段相比,压缩成像尤为重要.它从理论上允许采集较少的样本,从而使新的成像方法满足一些应用领域对成像系统在体积、质量、功耗、传输带宽等方面的限制.本研究相应的优化算法可以直接使用全变差函数作为优化的目标函数,不必另外设计;它可以逐步地被改进,或者使用其他学者所提出的自然图像的稀疏域,而不必改变压缩成像过程.例如对于编码孔径快照光谱成像方法来说,文献[8-11]从块重叠、结合光流法、寻找稀疏域等方面入手,从而使得重构速度更快、更准确.

结合应用中对信号的要求和光学系统的特点,进而实现观测矩阵,这是本研究设计压缩光谱成像方法的主要工作.增大光通量而不降低分辨率,从而达到较高图像质量这个需求,重新设计光路系统并用相应的观测矩阵来描述,这是笔者的主要贡献点.

2 多狭缝推扫式光谱成像方法

2.1 推扫式光谱成像

多狭缝推扫式光谱成像方法是基于单狭缝推扫式光谱成像方法改进而来的.单狭缝推扫式光谱成像仪由前置镜系统和光谱成像系统(包括狭缝、准直镜、分光元件、成像镜、传感器)组成.在遥感领域里,前置镜系统是一个望远镜系统.前置镜系统将场景成像在光谱仪系统的狭缝上,通过狭缝的光线经准直镜准直,分光元件分光,最后经过成像镜汇聚,成像在焦平面上.

2.2 多狭缝推扫式光谱成像方法

在推扫式光谱成像方法的狭缝处,按照设计好的编码位置刻上多条狭缝,这就是多狭缝推扫式光谱成像方法.编码由1和0组成,其中,1对应狭缝处.当在光谱成像系统中引入了多狭缝以后,分光元件就可采用双阿米西棱镜(double Amici prism),而不用单狭缝成像方法的光栅或者单棱镜了.之所以不能采用,是因为光栅是根据波的干涉来分光的;单棱镜分光存在空间方向的不同视场角对应的空间入射角不同引起色畸变的问题.双阿米西棱镜在减小色畸变的问题上具有比单棱镜更优良的性质.

多狭缝光谱成像方法在成像过程中,场景的同一谱段的光谱数据经过双阿米西棱镜后,将表现为一组平行光;经过薄透镜后,每组平行光将在焦平面上汇聚于一个点.因此,传感器中每列像元中的信号对应的是由上到下波长递减(或递增)的光谱数据.

图1 多狭缝光谱成像流程示意图

如多狭缝光谱成像流程(图1)所示,每次成像时在CCD上是一幅控制狭缝组的编码对应的压缩光谱图像,它的每个谱段上的数据都是该组狭缝对应的空域像素点在这个谱段上的信号的累加.以图1为例,就是将D中的多个切片,一起混叠投影至y-O-λ平面上.因此,CCD上每个像素点的数据便是D中的多个数据的叠加,即从光学上实现了压缩感知的压缩观测.如图1所示,仅用少数压缩图像,即可以重构出D.

从传感器角度来分析,当传感器阵列与光谱数据立方体中的像元是一一对应的关系时,相邻传感器之间的信号具有比较大的相关性,因此采集到的数据冗余较大.当用多狭缝成像时,每个传感器像元在成像时可以看成对应光谱数据向量的一个压缩观测.在这种成像方式下,传感器之间的信号相关性较小,采集到的数据冗余量相对较小.因此,笔者提出的成像方案能通过优化算法获得更高要求的光谱图像.

从光通量角度来分析,光通量是每单位时间到达、离开或通过曲面的光强度.假设有l道狭缝,由于光强增大了,将用更短的时间就可以达到传感器成像所需的曝光量;由于没有改变传感器阵列的电路,这个成像时间可以看成是原来时间的1/l.散粒噪声是光学系统中的一种常见噪声,当光强增大时,会抑制散粒噪声,相应地,信噪比将提高.当狭缝为l道时,光通量增大到原来的l倍,相应的信噪比将提高到l1/2倍,即同等分辨率时,多狭缝成像方法的信噪比更高.从另一个角度来说,若保持成像所需时间固定,多狭缝成像方法允许狭缝的宽度变小,依然能达到传感器对光强度的要求,即提高分辨率的同时,而不会降低信噪比.

2.3 多狭缝推扫式光谱成像过程

观测矩阵反映了传感器阵列与光谱数据立方体的关系,是成像系统和成像过程的一种抽象.传感器阵列上的每个像素点的值都是该组狭缝对应的空域像素点在这个谱段上的信号的累加.当孔径处的这组狭缝由一个码片来表示时,那么这个像素点的值就是这个码片与空域上的每个空间像素点的(某个谱段上的)光谱值的卷积.

假设孔径处可以设置L条狭缝,有随机向量R=(r1,r2,…,ri,…,rL),其中ri=1或者ri=0,分别表示狭缝是张开还是闭合的.

任取空域中的一列点的任一谱段数据为Di,y,k,该向量表示为f′i,k.每次成像时在CCD上对应一个值表示为fij,k,经过M次成像后组成一个向量fij,k={fij,k|j=1,2,…,M}.每次成像时,fij,k=Rf′i,k.当狭缝组由数字微镜器件(Digital Micromirror Device,DMD)控制时,每次成像时随机产生一个向量,经过M次成像后组成一个向量Φ={Rj|j=1,2,…,M}.于是有

进一步定义fi={fi,k|k=1,2,…,dλ},f′i={f′i,k|k=1,2,…,dλ},于是有

在上式中,f′i是一条狭缝对应的光谱图,即Di,y,λ.每条狭缝可以独立解码,利于算法的并行实现.

还可以进一步定义fk={fi,k|i=1,2,…,dx},f′k={f′i,k|i=1,2,…,dx},于是有

在上式中,f′k是某一个谱段对应的空间图,即Dx,y,k.式(4)和式(5)是多狭缝光谱成像方法的数学描述.其中,式(5)表示每个谱段可以单独下传,独立解码,这个特点有别于编码孔径快照光谱成像系统将各个谱段混叠到一起.因此,优化重构时不需要将整个光谱数据立方体作为一个求解目标,即将光谱数据立方体分成若干个谱段分别独立地求解,利于算法的并行实现.

当沿固定方向移动成像设备时,相当于固定成像设备沿固定方向移动向量R,所得的观测矩阵是一个托普利兹(Toeplitz)矩阵,如图2(a)所示.

3 仿真结果

笔者提出的方法具有增加光通量以提高传感器获取的数据的信噪比,且具有按谱段分别下传、独立解码的优点,这些已经在上文的论述中得到了论证.仿真实验的设计是为了验证笔者提出的方法能够较好地获得场景的光谱信息,而仅仅需要较少的压缩图像,即较少的成像次数.笔者选用了两组6波段多光谱图像“真假青椒”和“真假草莓”作为输入图像.图像的波长在600～700 nm,间隔20 nm获取一幅分辨率为512×512的图像.如图3中(a)～(c)这3列为青椒,(d)～(f)这3列为草莓.

图2 观测矩阵

表1 青椒和草莓在两种观测方式下的重构结果的峰值信噪比　d B

在成像阶段采用笔者提出的多狭缝成像模式,相应参数设置为N=512,M=128.对于传统推扫式成像方法,采集整个场景的光谱信息需要512次成像,用笔者提出的方法,快了4倍.在优化重构阶段,优化函数为全变差函数,观测矩阵分别采用随机矩阵和托普利兹矩阵.两种观测矩阵分别对应了两种狭缝编码的产生方式:随机观测(观测方法1)和移动成像设备(观测方法2).重构后的图像和峰值信噪比如表1所示.在仿真实验结果中,除了图3(c)列中若干个谱段外,峰值信噪比值均大于30 dB.实验结果表明,在两种不同观测方式下,笔者提出的方法在减少曝光次数的同时,还能保持好的峰值信噪比值.

4 总结与展望

笔者提出了多狭缝光谱成像方法,它是在传统的单狭缝推扫式光谱成像方法基础上设计而成的.它针对提高推扫式光谱成像方法的空间分辨率时遇到的两个问题,即曝光次数增多、信噪比变小,减少了光谱曝光次数,减少了前端存储与传输的数据量,且提高了光通量而不用牺牲数据的分辨率,获得了更高图像质量的光谱数据.该技术对于在遥感领域里光谱数据分辨率的提高受限于体积、质量、功耗、传输带宽等条件时,具有较高的价值.与已有的压缩光谱成像方法相比,笔者所提方法具有显著的优点.运动随机曝光成像模型在时域中用随机编码与场景的空域信息进行加权混叠,而笔者提出的方法是在空域中完成的,即在获得同样压缩观测数据的同时避免了高速快门及其相应电路的设计.在编码孔径快照光谱成像系统中,每个传感器像元对应的是光谱数据立方体中不同谱段、不同空间位置的像元,笔者提出的方法在每个谱段可以独立下传,独立解码,对应的优化重构算法的时间复杂度、空间复杂度相对较低.当光谱数据仅需要特定的若干谱段,且对数据的实时性有一定要求时,可以有选择地下传特定谱段的信息.在遥感领域中,下传带宽受到限制,这个优点尤为重要.

在仿真实验中,用25%的曝光次数,就可以很好地获得光谱图像.随着压缩感知理论及光谱数据稀疏表示方法研究的逐渐深入,在新的稀疏域里,将以更少的采样率获得更高分辨率的光谱数据.

参考文献:

[1]SHI G,GAO D,SONG X,et al.High-resolution Imaging via Moving Random Exposure and Its Simulation[J].IEEE Transactions on Image Processing,2011,20(1):276-282.

[2]DONOHO D L.Compressed Sensing[J].IEEE Transactions on Information Theory,2006,52(4):1289-1306.

[3]CANDÈS E J,ROMBERG J,TAO T.Robust Uncertainty Principles:Exact Signal Reconstruction from Highly Incomplete Frequency Information[J].IEEE Transactions on Information Theory,2006,52(2):489-509.

[4]WILLETT R M,DUARTE M F,DAVENPORT M A,et al.Sparsity and Structure in Hyperspectral Imaging:Sensing,Reconstruction,and Target Detection[J].IEEE Signal Processing Magazine,2014,31(1):116-126.

[5]DUARTE M F,DAVENPORT M A,TAKHAR D,et al.Single-pixel Imaging via Compressive Sampling[J].IEEE Signal Processing Magazine,2008,25(2):83-91.

[6]WAGADARIKAR A,JOHN R,WILLETT R,et al.Single Disperser Design for Coded Aperture Snapshot Spectral Imaging[J].Applied Optics,2008,47(10):B44-B51.

[7]WAGADARIKAR A A,PITSIANIS N P,SUN X,et al.Video Rate Spectral Imaging Using a Coded Aperture Snapshot Spectral Imager[J].Optics Express,2009,17(8):6368-6388.

[8]ARGUELLO H,CORREA C V,ARCE G R.Fast Lapped Block Reconstructions in Compressive Spectral Imaging[J].Applied Optics,2013,52(10):D32-D45.

[9]ARGUELLO H,RUEDA H,WU Y,et al.Higher-order Computational Model for Coded Aperture Spectral Imaging [J].Applied Optics,2013,52(10):D12-D21.

[10]MIAN A,HARTLEY R.Hyperspectral Video Restoration Using Optical Flow and Sparse Coding[J].Optics Express,2012,20(10):10658-10673.

[11]王良君,石光明,李甫,等.多稀疏空间下的压缩感知图像重构[J].西安电子科技大学学报,2013,40(3):73-80.WANG Liangjun,SHI Guangming,LI Fu,et al.Compressed Sensing Image Reconstruction in Multiple Sparse Spaces [J].Journal of Xidian University,2013,40(3):73-80.

(编辑:郭 华)

Push-broom spectral imaging method based upon multi-slit

LIN Yaohai1,2,SHI Guangming1,WANG Lizhi1,GAO Dahua1,3
(1.School of Electronic Engineering,Xidian Univ.,Xi’an 710071,China;2.School of Computer Science and Technology,Fujian Agriculture and Forest Univ.,Fuzhou 350002,China;3.School of Science,Air Force Engineering Univ.,Xi’an 710051,China)

Abstract:The acquisition of high image quality and high resolution spectral data is limited by light flux.A push-broom spectral imaging should reduce the spatial resolution if it amplified its light flux to increase its signal noise ratio(SNR).According to this problem,the theory of compressive sensing(CS)is introduced for modeling the push-broom spectral imaging system from the signal processing analysis,so that the number of slits of the imaging system can be increased to amplify its light flux.Under the guidance of the theory of compressive sensing,the light flux can increase without reducing the spatial resolution.In the simulation,if its exposure frequency dropped to 1/4 the original,and its light flux increased to 128 times the original,the spectral image with the resolution of 512×512 could be well obtained.This method is suitable for remote sensing by using a smaller number of times for imaging and less memory for storage and transmission compared with the traditional one.

Key Words:spectrum;imaging;compressed sensing;special resolution;push-broom

作者简介:林耀海(1981-),男,讲师,西安电子科技大学博士研究生,E-mail:linyaohai@fafu.edu.cn.

基金项目:国家自然科学基金资助项目(31300473,61372131,61227004,61003148);中央高校基本科研业务费专项资金资助项目(K5051202050,K5051399020);福建省自然科学基金资助项目(2014J01073)

收稿日期:2014-11-02 网络出版时间:2015-05-21

doi:10.3969/j.issn.1001-2400.2016.02.006

中图分类号:O439

文献标识码:A

文章编号:1001-2400(2016)02-0029-06

网络出版地址:http://www.cnki.net/kcms/detail/61.1076.TN.20150521.0902.003.html