基于压缩感知的单像素成像技术研究进展

吕志强 陆 云,2 孔庆善 薛亚楠,2

1(中国科学院信息工程研究所 北京 100093)2 (中国科学院大学网络空间安全学院 北京 100049)

(lvzhiqiang@iie.ac.cn)

随着信息社会的发展和大数据时代的来临，人们对信息的需求量越来越大，图片信息量剧增，以傅里叶变换和奈奎斯特定律[1-2]为基础的信号处理框架要求采样的速度越来越快，保存的数据越来越多，这对传感器和存储器都提出了更高的要求.传统的图像采集技术如图1所示，需要先用较高的频率获取图像的像素值，每个像素采样都需要一个传感器，然后对数据进行压缩变换，很多的数据又被抛弃，显然这种图像采样模式浪费了大量的采样资源.同时在一些光学领域，例如不可见光领域，传感器不再是廉价的半导体硅，那么大量的传感器将会导致设备的造价极为昂贵.

图1 基于奈奎斯特采样理论的信号处理框架

自2004年以来，文献[3-8]提出了压缩感知理论,该理论打破了奈奎斯特采样定率，与传统的“先采样后压缩”的方式不同，压缩感知流程如图2所示，采用“边采样边压缩”的方式进行，使得信号处理的压力从传感器转移到数据处理上，也节省了大量的存储资源.目前在压缩感知的应用领域，最引人瞩目的就是该理论用于图像采集方面而研制的单像素成像系统[9]，与传统的使用数百万个像素传感器的CCD或CMOS相机相比，该相机使用一个光子探测器对图像进行少于像素点数的测量，进而恢复出原始图像.在信息安全领域单像素成像技术展现了一种全新的数据保护方式,有效防范了数据在传输和存储过程当中的信息泄露问题.

图2 基于压缩感知理论的信号处理框架

本文首先详细介绍压缩感知理论，继而提出了单像素成像系统的组成原理、平台搭建和衡量指标，然后分析了国内外在单像素成像方面的研究现状，最后针对目前研究的不足提出了未来的发展和改进方向.

1 压缩感知理论分析

压缩感知是一种将“压缩与采集”合二为一的数据采集方式，因此大大减少了数据采集量；同时“前端压缩后端恢复”的特点也使其具有数据保护的优点.压缩感知理论的数学模型如图3所示，如果一个长度为N的信号X在某组正交基或紧框架Ψ上的变换系数是稀疏的(即θ=ΨTX，图中的向量θ是稀疏的)如果我们用一个与变换基Ψ不相关的观测基Φ:M×N(M≪N)对系数向量进行线性变换,并得到观测向量Y:M×1，那么就可以利用优化求解方法从观测向量中精确或离概率地重构原始信号X[10].

图3 压缩感知理论的数学模型

由压缩感知理论分析可知，基于压缩感知理论进行信号处理的流程大致可以分为稀疏变换、利用观测矩阵进行观测测量和信号重构3部分.该方法从采集到的一小部分数据中高概率地恢复出原始信号，大大降低了对于信号采集设备的要求，减轻了信号存储和传输的压力.

1.1 信号的稀疏表示

(1)

其中X，θ是N×1的矩阵，Ψ是N×N矩阵，当信号X在某个基Ψ上仅有K个非零系数时(其中K≪N)，称X在Ψ上的系数向量θi是K稀疏的.目前信号的稀疏表示方法大致如下：一维信号通常采用傅里叶变换；图像信号采用离散余弦变换、小波变换等；还有冗余字典下的稀疏分解等.

1.2 观测矩阵的选择

对于给定的观测向量Y，若观测矩阵Φ满足有限等距性质(restricted isometry property，RIP)[11]理论,即满足

(2)

其中δ表示大于0的常数，那么当观测次数满足M≥K×lg(NK)时，可以通过求解约束最优化问题将N维信号稳定地重构出来.由于约束等距性质是一个较强的条件，在实际使用中，只要保证观测矩阵Φ和稀疏变换矩阵Ψ不相关即可[12].

1.3 图像重构算法

信号重构就是从较少的M个采样中恢复N维信号的过程，也是求解最优化问题的过程：

min‖θ‖0s.t.Y=Φθ,

(3)

min‖θ‖1s.t.Y=Φθ.

(4)

图4 单像素相机原理

基于上述问题，目前的信号重构算法大致可以分为4类：第1类是基于求解最小l0范数的贪婪算法，包括匹配追踪算法(matching pursuit, MP)[13]、正交匹配追踪算法(orthogonal matching pursuit, OMP)[14]、分段正交匹配追踪算法(stagewise OMP, StOMP)[15]、正则化正交匹配追踪算法(regularized OMP, ROMP)[16]等；第2类是基于求解最小l1范数的凸松弛算法，如基追踪算法、梯度投影系数重建方法(gradient projection for sparse reconstruction, GPSR)[17]和迭代阈值法(iterative thresholding, IT)[18]等；第3类是统计优化方法，该方法的思想类似于主成分或者独立成分分析,利用典型信号的训练集通过学习的方法找出最优的线性投影集合，大致分为贝叶斯统计框架下的稀疏重建算法[19-21]和基于训练集合学习的统计优化方法[22]；第4类算法是组合算法，算法的本质思想是针对信号进行高度的结构化采样,经由群测试来快速获得信号支撑,主要包括稀疏傅里叶描述法[23]、链追踪(chaining pursuit, CP)[24]以及HHSP(heavy hitters on steroids pursuit)追踪[25-26]等.

1.4 小 结

总结以上压缩感知的基础理论，可以发现压缩感知与传统采样信号的不同之处.

1) 传统采样理论考虑的是无限长度时间连续的信号，然而，压缩感知测量的是有限维度信号；

2) 经典采样会对信号在某个时间点上进行采样，而压缩感知通过内积的方式获取测量，将高维信号投影到低维信号；

3) 2种框架在恢复信号时也不同：在经典采样理论中，信号复原是通过插值的方式进行；在压缩感知理论中，信号是通过非线性方法进行最优化求解来复原；

4) 经典的采样理论需要满足一定采样速率下完成精确重构，而压缩感知理论是在满足一定的观测次数下能实现高概率重构.

2 单像素成像系统

压缩感知理论提出之后，其应用研究也受到了广大研究者的关注，下面本文将介绍压缩感知在成像方面的一种应用——单像素成像系统.此部分主要介绍单像素成像的原理以及单像素成像系统的优点与不足之处.

2.1 单像素成像系统原理

单像素成像系统是依据压缩感知原理制成的，其原理图如图4所示[9]，其核心元件是具有向不同方向偏转的空间光调制器数字微镜阵列(DMD)，该微镜阵列能变换出不同的图像，每次的变换则表示观测矩阵的1行.首先图像通过透镜恰好照满微镜阵列，微镜的每一次变换相当于矩阵的每一行，将图像与微镜图案的内积反射给单点传感器，产生相加的效应，DMD翻转M次即完成M次测量，将M次测量值通过数据采集到PC端进行图像的恢复.

图片信号为XN×1=(x1,x2,…,xn)T，观测矩阵ΦM×N=[Φ1,Φ2,…,Φm]T,观测值YM×1=ΦX=(y1,y2,…,yn)T，单像素成像技术的步骤如下：

首先图像经过透镜1恰好照满DMD阵列，DMD尺寸为p×q，设N=p×q，此时DMD上的信号为原始信号XN×1=(x1,x2,…,xn)T.DMD上的反射镜处于伪随机状态，构成了观测矩阵ΦM×N的第1行Φ1(Φ1是一个1×N的行向量)，此时被反射回去的信号是X在Φ1反射下的值，也是X与Φ1的乘积值，反射信号在传感器上重合，产生相加的效应，得到观测值y1.DMD不断改变状态，共改变M次，构成了观测矩阵Φ，即完成观测矩阵的M次测量Y=ΦX.

2.2 单像素成像技术指标

单像素成像技术指标与普通数码相机一样，主要包括内存的大小(可供保存图片数量的大小)、成像的精度、成像的速度、成像的频谱范围，以及由于其受到成像速度的影响是否可以完成视频拍摄的功能.每个衡量指标的影响因素如表1所示：

表1 成像系统衡量指标的影响因素

在内存方面，由于单像素成像只是进行少于像素点数的观测，因此其观测次数受到观测矩阵和重构算法的影响，但是相比于传统相机，同等大小的照片所需的内存远远小于数码相机需要的内存.

与传统的数码相机一经生产精度固定不同，单像素成像技术的成像精度是可调的.一方面成像精度受到观测次数的影响，观测次数越多，观测精度越大；另一方面受到DMD的微镜个数的影响，其最大分辨率是DMD的尺寸，通常使用的DMD的规格是1024×768，若要减小分辨率，只需要将若干个整个微镜阵列分块，使得1组微镜阵列翻转相同.

单像素成像系统的成像时间t由观测时间和图像恢复时间组成：

t=t观测+t恢复，

(5)

(6)

其中n观测表示观测次数，f观测表示观测频率，观测频率受到DMD硬件的限制，也受到数据传输速度的限制，由式(5)(6)，得

(7)

图像恢复的时间是一个非线性函数，与恢复算法、数据量大小(观测次数)有关，因此在图像能够重构而且在精度可接受的范围内的前提下，选择合适的恢复算法，减少观测次数，提高观测频率，可以减少观测时间，当成像速度能达到8 fs，就可以完成动画的拍摄.

关于单像素成像的频谱范围是受到DMD的影响的，系统中DMD的频谱感知范围就是该系统的频谱感知范围.

2.3 单像素成像的优势与挑战

单像素相机是一种依托于压缩感知理论的产物.它是压缩感知在压缩成像方面的一大成功的应用，延续了压缩感知在信号处理方面的优点.

数码相机利用电子传感器把光学影像转换成电子数据，传感器主要利用电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)，它在拍摄后能即时看到照片效果，也可以删除不需要的照片，此种相机的拍摄质量取决于传感器阵列感光元件的尺寸和像素的个数，而这些感光元件都是用半导体硅材料制成的，随着工艺技术的不断提高和硅材料成本的不断下降，高像素的数码相机已经走入千家万户，手机的照相功能也完全能够应付日常的生活所需.但是在非可见光领域，硅材料无法感应，此时CCD或CMOS都无法作为传感器，例如红外光领域，其感光材料是铟镓砷，是传统硅材料成本的数十倍，如果依靠增加感光元件的尺寸和个数来提高相机的分辨率势必会大大增加成本，因此如何在较少像素的基础上获得较高分辨率是值得探讨的问题；同时数码相机也存在传统数据采集过程中对采集、存储资源浪费的情况.总的来说，单像素成像有如下优点：

1) 单像素成像技术是对场景进行少于像素点数次数的测量，大大减少了采集数据，降低了对相机内存的要求；

2) 单像素成像具有加密性，由于该技术具有前端采样、终端重构的特点，重构需要测量矩阵，此时测量矩阵相当于密钥，在不知道测量矩阵的情况下很难恢复图像；

3) 我们在不同场景下或许对图像的清晰度要求不同，数码相机一经生产其分辨率已经固定，而单像素成像技术可以通过改变其观测次数和观测矩阵来改变获得图像的分辨率；

4) 在不可见光领域，单像素成像因为其只需要一个单点探测器，从而大大降低了相机的成本；同时不可见光领域的成像具有可见光领域无法达到的优势，例如红外相机在光线不佳的情况甚至夜晚也能成像.

但目前单像素成像还只是利用在小部分图像采集领域，并未走进千家万户，究其原因大概有以下几个方面：

1) 家用(民用)的成本偏高.单像素成像的核心元件是可翻转的微镜阵列，而这种技术目前仍控制在少部分供应商手里，核心元件的成本偏高.

2) 设备的尺寸问题.目前单像素成像技术还在实验室阶段，设备的尺寸还没有做到最大限度的集成.

3) 拍摄速度有待提高.拍摄速度影响了用户体验，而单像素成像技术的拍摄速度现在还未能达到数码相机的拍摄速度，成像时间过长，视频拍摄功能还未完善.

3 国内外研究现状

国外在2006年提出了单像素成像的研究模型，国内的研究稍稍晚于国外，于2009年开始涉足该领域.本节主要分析单像素相机在10年以来国内外的研究现状，在不同的研究方面(更宽光谱成像方面、彩色成像方面、应用方面)按照时间顺序展开，以了解单像素相机的发展状况和未来的研究趋势.

2006年，美国Rice大学的研究人员依据压缩传感理论成功首次设计出了一款单像素成像系统[9]，如图5所示.

图5 第1个单像素成像系统

该系统中采用哈尔小波作为观测矩阵，采用基追踪恢复算法进行信号重构，能够比较清晰地恢复出原始简单图像，经过单像素成像系统恢复出来的“R”字如图6所示：

图6 单像素成像系统拍摄的“R”字

此后国内外科研人员开始关注单像素相机的研究，在复现单像素相机的基础上作了不同方向和程度上的改进.

在更宽光谱成像上，2008年，Chan，Charan，Takhar等人[27]提出了能够在太赫兹波段成像的单像素成像系统(太赫兹波泛指频率在0.1～10 THz波段内的频率位于红外和微波之间,具有空间分辨率很高、脉冲很短、时间分辨率很高、能量小、不会对物质产生破坏作用等独特性能)，其装置原理图如图7所示，克服了传统太赫兹成像的速度慢、技术复杂、价格昂贵、体积庞大的缺点；该系统采用最小全变分的重建方法进行图像的恢复，拍摄图像的效果如图8所示，图8(a)(b)分别表示采样率为30%和60%情况下(分别为300次观测和600次观测)的“光”字恢复图像，该实验中成像时间需要10 s左右.

图7 太赫兹单像素成像系统

图8 恢复后图像

2009年，Fu等人[28]利用单像素成像技术生成红外图像获得导弹制导的信息，该单像素红外摄像能够高分辨率实现多光谱成像、显著地提高目标器的成像结果以及抗红外侦探能力和降低背景光干涉等；2012年，McMackin等人[29]根据压缩感知原理制成了具有百万级像素的高精度的远红外单像素相机，该相机能够达到0.3 fs的成像速度，但是该相机的图像重构过程还得通过PC端进行处理，研究人员正在研究内置的数字处理软硬件，这样一个集成的单像素相机就指日可待了.

图9 单像素彩色成像原理图

在彩色成像上，2009年，Nagesh等人[30]提出将Bayer彩色滤波技术用于单像素相机以实现彩色成像，分别对彩色测试图像的RGB 3个颜色通道进行重构，从而实现彩色图像重构，这是单像素成像在彩色成像领域的一座丰碑，其原理图如图9所示.

文献[30]仅提出了初步的设想和仿真验证，但并未进行硬件平台的搭建，因此彩色成像仍停留在理论阶段.后来，2010年,Ward等人[31]将彩色图像通道间的相关性融入到彩色图像的重构中，重构质量有所提高.在国内，燕山大学练秋生等人[32]将压缩编码孔径成像与彩色成像相结合，提出基于编码孔径的压缩彩色成像技术，围绕压缩彩色成像系统、理论以及优化恢复算法展开研究.在应用上，2011年，吕沛等人[33]提出了水下单像素成像系统，结合距离选通技术改善成像的质量.因为水下单像素成像系统是对系统随机反射光线的总光强进行采样，所以探测器探测获得的能量较高，突破了由于吸收和微粒散射光源对成像距离的限制.2013年，Lawrie等人[34]提出基于单像素相机的实时量子成像,通过利用单像素成像技术获得单空间模式与多空间模式的量子相关度，可以实现压缩态光场对标准量子极限散粒噪声极限的突破.这种设计可以应用于强度较低的光源环境中.2013年,Sun等人[35]提出用单像素探测器实现3D成像，其系统装置原理图如图10所示：

图10 3D单像素成像实验装置图

其工作原理是当光线经过一个二进制散斑图案照射到被拍摄的物体上，物体会反射光线，通过4个方向的单点传感器接受反射回来的光线，对每一个传感器观测得到的数据进行重构，最后联合生成三维图像，成像效果如图11所示，4幅图分别表示4个方向上(上下左右)传感器接受的数据所恢复出来的图像.2016年，Sun等人[36]在3D成像的时间和精度上作出了改善.

图11 3D单像素成像中不同方向上恢复的图像

在单像素相机成像速度及精度的改善上，2012年，Sheng等人[37]在压缩重构算法上提出了基于遗传算法的一种图像重构方式，通过多目标优化的方式改善重构图像的速度和精度;2013年，Herman等人[38]提出将镜头视角划分为多个小区域，再对每个小区域同时进行采样和重构，最后对其拼接成完整的图像的设计想法，以此来减少单像素相机的成像时间(此时单点探测器将被光电二极管阵列取代)；2014年彭进业等人[39]提出了一种高速的单像素数据采集系统，以FPGA和FMC子板为基础，性能可以达到分辨率为10 bit，采样率达到5 GSs，实现了将DMD的采集时间降低到纳秒级别的技术.

4 存在问题及发展趋势

本文分析了单像素相机的国内外发展状况，结合目前的应用前景，单像素相机还有不少需要解决的问题，主要集中在以下几个方面：

1) 速度问题.目前单像素相机成像技术由于硬件翻转速率以及软件恢复算法的限制，还未能达到实时成像，距离实现视频拍摄功能还有一段较长的路要走，这严重阻碍了单像素相机的实用化.

2) 精度问题.单像素成像技术在进行简单场景的拍摄时图像恢复效果较好，而在复杂实物图像拍摄时效果不理想，这需要研究人员在拍摄过程中尽量排除外界光线的干扰，同时设计出具有鲁棒性的图像恢复算法.

3) 尺寸问题.单像素成像技术模型由于其需要在终端进行数据处理，目前的单像素成像技术模型是将数据采集到PC端去处理，想要制成一个集成便携的单像素相机，就需要研究人员研制出尺寸小的数字处理芯片.

4) 成本问题.单像素成像技术因为其只需要一个单点传感器可在成本上有巨大优势，但是因为目前数字微镜阵列(DMD)的成本并不低廉，导致其在可见光成像领域并没有太大优势.

根据以上分析可知，单像素成像技术在成像速度、成像精度、尺寸以及成本上仍然有着很多尚未解决的问题和很大的研究空间.这需要研究人员有强大的理论基础，能够在深入了解压缩感知理论的前提下优化单像素成像的恢复算法，以减少图像恢复时间；同时还需要研究人员具备深厚的硬件基础，能够在搭建单像素成像硬件平台的同时提出硬件方面的集成方法，以减少单像素成像系统的尺寸；在成本问题上，可以借助在不可见光领域的成像充分发挥单像素相机的成本优势，与数码相机在成像领域发挥优势互补的作用.

5 结 语

压缩感知理论是一种具有创新性的采样理论，在信息时代的今天，具有广阔的应用前景.单像素成像技术作为压缩感知这样一个具有发展前景的应用，需要多领域知识的融合进行研究和探索.本文介绍了基于压缩感知的单像素成像技术原理，罗列了单像素相机自提出以来国内外的研究状况并分析了现阶段存在的问题，给出了单像素相机的未来研究方向和发展趋势，希望对该领域感兴趣的科研人员有所帮助.