一种基于分块压缩感知的红外成像方法

刘晓宇 于洵 丁良华 韩峰 龚昌妹

摘 要：在红外成像系统中，红外探测器的阵列大小和像元尺寸决定了红外图像的分辨率。由于红外探测器的制作工艺问题，很难通过增大阵列大小或减小像元尺寸的方式来提升红外图像分辨率。为了解决上述问题，将分块压缩感知理论应用到红外成像系统之中，编码模板位于前置红外镜头的像面，并对目标场景所成的像进行多次编码。编码后的像经过中继红外镜头被红外探测器所采集，采用OMP算法对采集到的信号以分块的方式进行重构，最终得到目标场景图像。对不同分块大小重构原始图像进行仿真，并将仿真的重构图像与降采样图像进行对比分析。仿真结果表明，分块大小越大，重构图像的峰值信噪比越高，重构时间越长。重构图像的质量明显优于降采样图像，可以实现低分辨率红外探测器重构高分辨率图像，为提高红外图像分辨率提供了新的方向。

关键词：压缩感知;分块重构;红外成像;像平面编码

中图分类号：TP391.41 文献标识码：A 文章编号：1001-5922（2021）04-0077-05

Abstract：In the infrared imaging system， the array size and pixel size of the infrared detector determine the resolution of the infrared image. Due to the manufacturing process of the infrared detector， it is difficult to increase the resolution of the infrared image by increasing the size of the array or reducing the size of the pixel. In order to solve the above problems， the block-compressed sensing theory is applied to the infrared imaging system. The coding template is located on the image plane of the front infrared lens， and the image formed by the target scene is coded many times. The encoded image is collected by an infrared detector through a relay infrared lens， and the collected signal is reconstructed in blocks using the OMP algorithm， and finally the target scene image is obtained. The original image reconstructed with different block sizes is simulated， and the simulated reconstructed image is compared with the down-sampled image. The simulation results show that the larger the block size， the higher the peak signal-to-noise ratio of the reconstructed image and the longer the reconstruction time. The quality of the reconstructed image is obviously better than that of the down-sam

0 引言

红外探测器能在低照度环境下探测到物体发出的红外辐射，具有抗干扰能力强、全天候工作的优点[1]。在高分辨率红外探测器制作工艺方面，西方发达国家较为成熟，并对该领域技术进行封锁。我国在高分辨率红外探测器技术方面起步较晚，并存在一定的技术瓶颈[2]，因此需要一种提升红外成像分辨率的方法。

2004年，Candes等人提出了压缩感知理论。压缩感知理论的前提是信号是稀疏的或者是可压缩的，对信号中的部分信息进行随机采样，然后根据随机采样结果对信号进行重建[3]。压缩感知理论在对信号采样的同时完成对信号的压缩。为了提高红外图像分辨率，将压缩感知理论应用到红外成像系统之中，可利用低分辨率红外探测器重构高分辨率图像。目前在该方面的研究主要集中在短波红外和中波红外。2015年美国莱斯大学采用DMD（Digital micromirror device）搭建基于分块压缩感知的红外成像系统，系统采用64×64分辨率的红外探测器，重构1024×1024分辨率的红外图像[4]。2014年洛克希德·马丁公司研发出分块式中波红外成像系统，将目标成像于DMD上，通过DMD对像进行编码[5]，2018年该系统已能够重构出1284×1024的分辨率的红外图像[6]。在目前的研究中，基于压缩感知理論的红外成像系统大多采用DMD对中间像进行编码，但由于DMD的反射结构，使得其前后光机部分设计更加复杂，提高了光机部分的设计难度[7]。

由于DMD增加了光机结构设计的难度，本文介绍了一种基于分块压缩感知的红外成像方法，并采用编码模板替代DMD，将红外光学系统从反射式转变为透射式，降低光学系统的设计难度。随着光刻等技术的发展，编码模板的分辨率可以优于DMD。本文所介绍的红外光学系统由前置红外镜头、编码模板、位移平台和中继红外镜头组成。编码模板位于前置红外镜头的像面，并对目标场景所成的像进行多次编码。编码后的像经过中继红外镜头被红外探测器所采集，采用OMP算法对编码后的图像以分块的方式进行重构，最终得到目标场景图像。

1 基本理论

1.1 压缩感知理论

假设信号x为N×1维，如果原始信号中绝对多数的元素为零或者趋近于零，则信号x为稀疏信号。然而自然界中绝大部分的信号不是稀疏信号，如果信号在某个变换域下稀疏的，则该信号是可以稀疏表示的，即：

上式中，φ为稀疏基矩阵，φi（i=1，2，…，n）为稀疏基向量，s1，s2，…sn为稀疏系数，并且大部分系数为零或趋于零。稀疏系数向量s是信号x的k-稀疏表示，即中仅有个非零元素，k为稀疏度。图1为信号的稀疏表示示意图。

根据压缩感知理论，当原始信号x是可稀疏表示的，可以通过满足有限等距性质的观测矩阵将原始信号x从高维投影到低维空间[8]。采用观测矩阵对原始信号x进行观测的过程可以表示为：

上式中，y为观测值，为压缩感知理论中的观测矩阵，称为感知矩阵。其中，为y=M×1的向量、x为N×1的向量、为M×N的矩阵，且。图2为高维信号的观测示意图。

通过观测矩阵对原始信号x进行观测后，得到观测值y。由于，公式（2）中的未知数远远多于观测值y的个数，在一般情况下存在无数多个解。然而原始信号x是可稀疏表示的，当观测矩阵满足有效等距性质时，可以将上述问题转化为一个求最小lo范数的问题进行求解：

但求解最小范数lo是一个NP-Hard问题，在对公式（3）进行求解的算法中采用贪婪算法对公式求近似解。当观测矩阵和稀疏基矩阵不相关时，可以将公式（3）转化为l1优化问题：

通过对公式的求解可以得到原始信号的稀疏系数，最终通过公式（1）可以得到原始信号。

1.2 分块压缩感知理论

从上一节可知，观测矩阵的维度由原始信号的长度N、观测数M决定。当原始信号x为图像时，需要将其转换为一维信号，这导致观测矩阵的维度过于庞大，带来计算量大、重构时间长的问题。为了解决上述问题，2007年Lu Gan提出了分块压缩感知重构的理论[9]，将原始图像分成大小相同、互不重叠的子图像块，并使用相同的观测矩阵对每个子图像块进行独立采样。

假设原始图像的大小为W×W，按照B×B的大小分块，用Xi表示第i个子图像块i=1，2，…，n，n=W2/B2，。分块后的图像采用同一个观测矩阵对各个子图像块xi进行测量，得到观测值yi。采用分块的方式，对于整幅图像的观测矩阵为：

对于整幅图像的观测值y：

根据观测值y，利用公式（3）或公式（4）求解原始图像的稀疏系数，最后通过公式（1），将稀疏基与稀疏系数相乘，最终得到原始图像。

2 基于分块压缩感知红外成像方法

为了便于编码模板的加工，将编码模板设计为二进制稀疏矩阵。由于二进制稀疏矩阵满足有限等距性质且构造简单，矩阵中元素为0和1，在信号重构过程中计算复杂度低。编码模板设计如图3所示，编码模板最小单元尺寸小于探测器像元大小[10]。图3中黑色像元为0，对红外光线进行反射;白色像元代表1，对红外光线进行透射。

如图4所示，编码模板位置前置红外镜头的像面，中继红外镜头的物面上。前置红外镜头将目标场景成像到编码模板上，艾里斑小于編码模板的最小单元尺寸[11]。编码模板对中间像进行编码，通过改变编码模板，实现对中间像的编码。编码模板可放置于位移平台上，位移平台每次移动一个或多个像元尺寸的距离。编码后的图像经过中继红外镜头被红外探测器所采集，最后通过算法重构出原始的目标场景图像。

采用分块的方式对图像进行重构，原始图像、编码模板和红外探测器像元对应关系如图5（a）所示。编码模板与原始图像大小相等，将编码模板和原始图像按照分块大小分成若干个互不重叠的子块。图6中编码模板的大小为8×8，对应红外探测器上2×2个像元，则红外探测器上单个像元对应一个4×4的子编码模板。红外探测器上单个像元所采集到的信号即为子图像块的观测值。

式中，M为观测数;yi为子图像块的观测值，φi即红外探测器单个像元所采集到的信号;为观测矩阵，观测矩阵中的第M行，即第M次采样时编码模板的一维向量化;xi为原始信号，即子图像块的一维向量化。

3 实验仿真与分析

3.1 分块大小对重构结果的影响

在基于分块压缩感知的红外成像方法中，分块大小影响着重构图像峰值信噪比和重构时间。图6为测试图像，分辨率为640×512，设定不同的分块大小B和采样率L（L=M/N），利用OMP算法对原始图像重构5次，统计重构整幅图像的重构时间和峰值信噪比，最后将5次重构试验峰值信噪比和重构时间的平均值作为最终结果，如表1和表2所示。

从表1可以看出，当采样率一定时，峰值信噪比随着分块大小的增大而增大。当分块大小一定时，由于对测试图像观测次数的增加，可以从更多的观测值中重构出图像，峰值信噪比得到提升。因此，提高分块大小和采样率，可以提升重构图像的质量。

从表2可以看出，在不同分块大小、不同采样率情况下，重构时间均大于3s，尚不能满足实时性的要求。当采样率一定时，重构时间会随着分块大小的增加呈指数型增长。当分块大小一定时，采样率的提升导致计算量的增加，使得重构时间也随之增加。采样率每增加20%，当分块大小B≤16时，重构时间增加幅度较小，增长幅度小于1s;当分块大小B=32时，重构时间增长较多，均大于10s。

3.2 成像结果对比

传统的红外成像系统不需要编码模板，目标发射的红外光线经过红外光学系统成像于红外探测器上，红外图像分辨率与探测器分辨率相同。相对于传统的红外成像系统，红外图像的分辨率由编码模板决定。假设在两种红外成像系统中采用面阵大小相同的红外探测器，对比两种红外成像系统的成像分辨率。

从表3可以看出，测试图像大小为640×512，传统红外成像方法采集到的红外图像分辨率与红外探测器阵列相同，且小于测试图像分辨率，红外探测器决定红外图像的分辨率。在基于分块压缩感知的红外成像系统中，编码模板的大小决定重构图像的分辨率，分块大小越大，系统中所需要的红外探测器阵列越小，可以采用低分辨率红外探测器重构高分辨率的红外图像，从而提升红外图像的分辨率。

为了对比两种红外成像方式的成像质量，将测试图像按照分块大小进行降采样处理，模拟传统红外成像系统对目标场景成像结果。图8～10为采样率L=0.8时，不同分块大小下重构图像和降采样图像的对比图。

从图8至图10中可以明显看出，在不同分块大小下，重构图像质量明显优于降采样图像，可以从重构图像中观察到目标的细节。相对于重构图像，降采样后的红外图像由于分辨率较低，不能分辨出图像中的细节。因此，本文所提出的基于分块压缩感知的红外成像方法，可以采用低分辨率红外探测器重构出高分辨率红外图像，红外图像的分辨率由编码模板所决定，为提高红外探测器分辨率找到了新的方向。

4 结论

为了提高红外图像的分辨率，将分块压缩感知理论应用到红外成像系统之中。文章介绍了压缩感知、分块压缩感知理论，基于分块压缩感知的红外成像方法，并通过仿真实验介绍了不同分块大小对重构图像的质量、时间的影响。重构图像的质量随着分块大小、采样率的提高而提高，但分块大小越大，所需要的重构时间越多。最后将重构图像与降采样图像进行对比，重构后的红外图像分辨率由编码模板决定，成像质量明显优于降采样图像。其次，分块越大，后端所需要的红外探测器阵列越小。编码模板决定了红外图像的分辨率，为提高红外图像分辨率找到了新的方法。本文所提出的方法，可以实现低分辨率红外探测器重构高分辨率红外图像，但重构时间较长，尚不能达到实时性的效果。因此在后续的研究中，将如何降低重构时间作为研究重点。

参考文献

[1] Stanley Kishner， David Flynn， Charles Cox， et al. Reconnaissance payloads for responsive space， AIAA-RS4-2006 -5003 [C]//4th Responsive Space Conference， 2006.

[2] 马彦鹏.基于压缩感知的计算成像技术研究[D].上海：中国科学院大学，2016.

[3] Donoho D L，Compressed sensing[J].IEEE Transactions on Infor-mation Theory，2006，52（4）：1289-1306.

[4] Elad M.Optimized Projections for Compressed Sensing[J]. IEEE Transactions on Signal.

[5] Mahalanobis A，Shilling R，Murphy R，et al. Recent results of medium wave infrared compressive sensing[J].Appl Opt. 2014，53（34）：8060-8070.

[6] Du Bosq T，Agarwal S，Dijk J，et al. An overview of joint activities on computational imaging and compressive sensing systems by NATO SET-232[C]//Computational Imaging III.International Society for Optics and Photonics，2018， 10669： 106690H.Processing.2007，55（12）：5695-5702.

[7] 柯鈞，张临夏，周群.压缩感知在光学成像领域的应用[J].光学学报，2020，40（1）：0111006.

[8] Candes E J，Tao T.Decoding by linear programming[J].IEEE transactions on information theory，2005，51（12）：4203-4215.

[9] L Gan，Block compressed sensing of natural images [C] in Proceedings of the nternational Conference on Digital Signal Processing，Cardiff，UK，2007.403-406.

[10] 肖龙龙，刘昆，韩大鹏，等.焦平面编码高分辨率红外成像方法[J].红外与激光工程，2011，40（s11）：2065-2070.

[11]王敏敏.基于压缩感知的动目标检测技术及其应用研究[D].上海：中国科学院大学，2018.