不同正交变换深度Q网络单像素成像性能比较

王之润，赵文静，翟爱平，王东，2

（1 太原理工大学物理与光电工程学院，太原030024）

（2 太原理工大学新型传感器与智能控制教育部重点实验室，太原030024）

0 引言

在很多重要的成像领域如弱光成像［1］和远红外成像［2］，出于技术和成本的制约，难以应用传统的阵列探测器成像，单像素成像的单点探测方式提供了一种新的方法。并且由于其成像的分辨率较高，因此在三维成像［3-5］、光谱成像［6］和显微成像［7-9］等场合均有应用。此外，单像素成像的系统简单，更利于成像装置的集成化。但单像素成像的成像速度受采样策略与硬件的限制，如何提高其成像速度，是提升其性能的关键。

单像素成像由投射掩膜图案与成像目标的相关运算实现对成像目标信息的提取，由单像素探测器实现相关强度的采集，称为一次采样过程。一般来说，掩膜图案的数目越多，提取的目标图像信息越丰富，越能重建出高质量的图片，因此重建目标图像需要多次采样，这使得采样时间成为单像素成像时间的主要消耗。现有的单像素成像提速算法，主要聚焦于如何在保证图像质量的前提下，尽可能减少采样次数，即一种降采样方法。

最早应用的降采样方法是压缩感知［10］，利用成像目标或者是成像目标在其变换域的稀疏特性，可以从较少的采样次数中重建出高质量的图像。但是基于压缩感知的单像素在降低采样率的同时，重构算法的复杂性则会增加图片重建的时间，有时甚至重建时间会超过采样时间，不能达到减少总体成像时间的效果。正交变换的引入为单像素成像的提速提供了新的思路，基于确定正交变换的单像素成像，如Hadamard 单像素成像（Hadamard Single-Pixel Imaging，HSPI）［11-13］、Fourier 单像素成像（Fourier Single-Pixel Imaging，FSPI）［14-15］、离散余弦变换单像素成像（Discrete Cosine Transform Single Pixel Imaging，DSPI）［16］和Krawtchouk Moment 变换单像素成像（Krawtchouk Moment Transform Single Pixel Imaging，KMSPI）［17］，采用的掩膜图案是正交的，能够更高效地提取成像目标的信息。并且基于正交变换的频域聚集特性，基于正交变换的单像素成像的采样顺序，即掩膜图案的投射顺序是可以被人为规划的［13］，这也为单像素降采样提供了可能。

人为规划采样顺序，更多只是针对单一变换而言，如针对HSPI 采用的斜采样和针对FSPI 的圆形采样［18-20］，针对两者采样顺序不具有普遍适用性。对于某些变换，其频谱分布呈现不规则分布，给人为规划采样顺序造成困难［21］。并且，即使限制在同种变换，对于不同的成像目标，其频谱分布也是不同的，规划的采样顺序不能保证对所有成像目标的普遍适用。

本课题组提出一种无需人为规划并且适用于多种变换的DQN 单像素成像（DQN Based Single-Pixel Imaging，DQN-SPI）［22］，该方法基于深度Q网络（Deep Q Network，DQN）［23］，将单像素成像的采样过程视为决策过程，训练得到最优化的采样顺序，从而避免了人为的采样顺序规划。该文献的研究只以FSPI 和HSPI 为例验证了方法的可行性，而没有对多种变换应用DQN-SPI 进行更详尽的性能分析。

本文基于文献［22］所提出DQN 单像素成像方法进行深入研究，拓展实现了基于DQN 的离散余弦变换单像素成像（DQN Based Discrete Cosine Transform Single-Pixel Imaging，DQN-DSPI）和基于DQN 的Krawtchouk 矩变换单像素成像（DQN Based Krawtchouk Moment Transform Single-Pixel Imaging，DQNKMSPI），并对基于DQN 的Fourier 单像素成像（DQN Based Fourier Single-Pixel Imaging，DQN-FSPI）、基于DQN 的Hadamard 单像素成像（DQN Based Hadamard Single-Pixel Imaging，DQN-HSPI）、DQN-DSPI和DQN-KMSPI 的成像结果进行定量比较和分析。

1 原理

1.1 正交单像素成像

1.2 采样路径规划和DQN 单像素成像

如图1所示，在64×64 的分辨率下，对“Cameraman”图像进行HSPI、FSPI、DSPI 和KMSPI，其采集频谱分布均呈现聚集趋势。一般来说，频谱分布越集中的区域，其包含成像物体信息越丰富，低频部分包含物体主体轮廓信息，高频部分包含物体细节信息。因此在采样过程中，按照其信息稀疏程度进行降采样，可以尽可能的保证图像质量。

图1 分辨率为64×64 的“Cameraman”图像频谱图Fig.1 Spectrum of“Cameraman”image with the resolution of 64×64

根据图像变换域的稀疏特性规划单像素的采样路径，从而实现降采样，方法有多种［18］。但是此类人为规划采样路径的方法，存在其劣势，即对每一种正交变换，采样路径不同，且对不同的成像目标，规划的采样路径也不是最优。

为获得最优化的采样策略，本课题组已经将DQN 应用于寻找最优采样路径，其具体原理在文献［22］中已有详细介绍。DQN 作为一种深度强化学习算法，其目的是通过与环境的交互，获得在状态s可以选择的最优动作a，最终得到最优的策略π。这一动作的选择是通过Q值的优化实现的，DQN 为当前状态s下每一个动作a都分配了一个Q值来评估当前动作的合理性，即选择对应Q值最大的动作a。

DQN 中Q值由神经网络输出，将当前状态s作为神经网络的输入，通过神经网络的训练优化，最终隐性表达出当前状态下最优的Q值分布。神经网络的损失函数为

式中，L为损失函数，s′ 和a′分别为下一步状态和动作，γ为一个小于1 的折扣系数。r为执行当前动作所获得的奖励，指导网络参数的训练。M为历史经验缓存，存储先前经验，每一次于环境的交互，都将参数四元组(s，a，s′，r)存入M中，使得按批次学习先前经验成为可能。θ为当前网络参数，根据损失函数训练以优化其参数，θ-保存先前网络参数，用以生成目标Q值。适时交换两个网络参数，使DQN 追逐滞后的参数，可以加速网络参数优化。

具体到单像素成像中，s为一个二值矩阵，频谱中已采样位置为1，未采样位置为0，表征当前的采样状态；a为当前的采样动作，即将当前采样置1 的过程。r设置为与当前采样动作对重建图像SSIM 的提升成正比，以追求单步采样对图像质量的最大提升。DQN-SPI 的算法流程如图2。

图2 DQN-SPI 的算法流程Fig.2 Flow of DQN-SPI

DQN-SPI 是一种相对优化的单像素降采样策略，将单像素成像的采样视为在采样空间的决策过程，根据单步采样对重建图片质量的提高，经过训练后，可以获得成像物体的最优采样策略，从而规避了人为规划采样路径的弊端。DQN-SPI 已经被用于HSPI 和FSPI，其方法理论上适用于所有正交变换单像素成像，包括DSPI 和KMSPI。

2 仿真结果分析

2.1 仿真结果

为了定量分析DQN-FSPI、DQN-HSPI、DQN-DSPI 和DQN-KMSPI 四种方法下的降采样效果，首先进行数值仿真，并与人为规划采样路径的方法进行对比。仿真图像采用8 位灰度的“Cameraman”图像，图像分辨率为64×64。针对不同变换，人为规划采样路径采用理论最优的路径规划方法作为对比。在四种正交变换下，作为对比的人为规划采样路径方法分别为自适应斜采样Hadamard 单像素成像（HSPI Using Adaptive Sampling Along the Zigzag Path，AZ-HSPI）、自适应圆采样Fourier 单像素成像（FSPI Using Adaptive Sampling Along the Circular Path，AC-FSPI）、自适应斜采样离散余弦变换单像素成像（DSPI Using Adaptive Sampling Along the Zigzag Path，AZ-DSPI）和自适应方采样Krawtchouk 矩变换单像素成像（KMSPI Using Adaptive Sampling Along the Square Path，AS-KMSPI）。

仿真结果如图3，每一行分别为在相同采样率下的重建结果。为了进行定量分析，计算重建图片的结构相似度（Structural Similarity，SSIM）与峰值信噪比（Peak Signal to Noise Ratio，PSNR），如表1所示。对于分辨率为M×N的图片，有

表1 不同降采样方式下重建“Cameraman”图像的PSNR 和SSIMTable 1 PSNR and SSIM of the reconstructed“Cameraman”images using different down-sampling strategies

图3 不同采样率和降采样方式下的重建“Cameraman”图像Fig.3 The reconstructed "Cameraman"images using different down-sampling strategies at different sampling ratios

式中，n为图像灰度表示的位数，X为原图像和Y为重建图像。

式中，μx和μy为原图像和重建图像的均值，σx和σy为原图像和重建图像的方差，σxy为原图像和重建图像的协方差，C1和C2是避免零除的两个常数。

2.2 DQN-SPI 与人为规划采样路径

由图3 结合表1 可以看出，相较人为规划采样路径的方法，DQN-SPI 在成像质量上取得了较大提升，尤其是在低采样率下。这种成像效果的提升，对于四种正交变换单像素成像均成立，通过设置采样率，DQNSPI 可以得到四种变换下更加优化的降采样策略。

此种优化效果可以在正交变换频谱上更清楚的观察到。图4 为图3 对应位置图片的频谱分布。由图4可以看到，人为规划采样路径，是依据正交变换频谱的聚集特性进行单像素成像对应采样路径的规划。例如图1 中HSPI 的频谱集中于左上角，对应就优先投射左上角对应位置的掩膜图案，如图4 中a1～a4所示。而选择斜采样的采样路径模型，则是建立在实验总结上的经验选择，基于其余三种正交变换单像素成像，情况与此类似。人为规划采样路径的方法，虽然依据频谱聚集趋势，在低采样率下，可以实现较好的成像效果，但是对于每一张图片，其变换域的分布不同，并不能保证规划的采样路径为最优。

图4 不同采样率和降采样方式下重建“Cameraman”图像的频谱Fig.4 The spectrum of the reconstructed "Cameraman" images using different down-sampling strategies at different sampling ratios

DQN-SPI 解决了这个问题，其采样顺序是通过DQN 优化得到，对于特定变换的单像素成像，针对每一个成像目标，最终得到的采样顺序可以近似视为当前的最优解。采样分布也不再以某一规划的路径局限于频谱的角落，而是自由分布，造成频谱高频的零星散乱点，但是低频部分仍然保留聚集特性。在保留部分主体信息的情况下适当采样高频细节，更能够使重建图像质量得到快速提升。这种自由分布的态势正是DQN 寻找最优解，实现更优化降采样的体现。如图3 中a1，在5%采样率下，AZ-HSPI 重建图像由一系列大像素块组成，这是采样路径规划的低频局限性决定的。

单像素成像的重建过程，如式（2）和图5所示，其形式上可以写为掩膜图案和其对应位置频谱系数的加权累加过程。以HSPI 为例，图3 中a1 由图4 中a1 对应的频谱及其对应掩膜图案重建而来，频谱局限在低频，其重建只能采用大像素块的低频掩膜图案进行，因此重建结果也只由大像素块构成，缺少细节。全采样重建过程中，低频掩膜图案往往组成了重建图像的大体轮廓，而高频掩膜图案恢复重建图像的细节，缺失高频细节对以SSIM 和PSRN 作为评价指标的图像质量的影响未可知。而事实上，如图3 中b1 和图4 中b1，DQN-SPI 以提升重建图像的SSIM 为目标，同时采样低频和部分高频信息，在相同采样率下，重建图像的细节更加丰富，图像质量也更高，说明至少在以SSIM 和PSRN 作为评价指标的前提下，适当的高频细节对图片质量的提升较大，这也是DQN 的方法优于路径规划方法的原因。

图5 低采样率下单像素成像重建过程Fig.5 Reconstruction at low sampling ratios

DQN-SPI 相对于路径优化的优势在KMSPI 更加明显。Krawtchouk 矩作为一种局部描述子（local descriptor），应用于单像素成像，其低频掩膜图案会优先采样成像目标的局部信息。具体到仿真中，如图3 中h1～h4，AS-KMSPI 在低采样率下重建得到的图像保留了“Cameraman”的中心区域，而四周出现了黑色边框，称为成像的局部效应。当成像目标为自然图像，如“Cameraman”，在以SSIM 为标准进行图像质量评估时，局部效应会对图像的SSIM 参数造成较大程度的劣化，在5%，10%和20%的采样率下，重建图像SSIM仅有22.4%，30.0%和44.2%，远低于在同等采样率下其余人为规划方法的数值。如图3 中i1～i4 和图4 中i1～i4，得益于DQN 的优化，DQN-KMSPI 会适当采样高频信息，在相同采样率下的图像，局部效应也得到了改善，成像质量获得了较大提升。

2.3 正交变换选取

正交变换选取对DQN-SPI 的成像效果存在影响。由图3 和表1 可知，就在同一采样率的成像质量而言，四种DQN-SPI 方法的成像质量降序为DQN-DSPI、DQN-FSPI、DQN-HSPI、DQN-KMSPI。但是相较于人为规划采样路径，四种DQN-SPI 方法的成像质量上差别较小，尤其是DQN-FSPI 和DQN-DSPI。

在5% 的采样率下，AC-FSPI 与AZ-DSPI 的SSIM 值为分别为54.1% 和45.2%，而DQN-FSPI 与DQN-DSPI 的SSIM 值为分别为64.6%和65.4%，DQN-SPI 的应用，使得DSPI 和FSPI 之间的成像质量差别减小，甚至成像质量反超。除去正交变换自身性质对成像结果的影响，采样路径规划不合理，可能会限制成像效果，造成DSPI 成像质量的下降。而DQN 的引入使得DSPI 和FSPI 都能找到自身相对最优的采样策略，进而排除了不合理采样路径规划的影响，结果表明，都采用相对最优采样策略，DSPI 和FSPI 的成像质量差别较小。

四种DQN-SPI 方法中，DQN-KMSPI 的成像质量相对最差。究其原因，可能是由于KMSPI 的局部特性对采样策略的优化带来了困难，虽然应用DQN，使DQN-KMSPI 的成像效果相较AS-KMSPI 有了较大提升，但是对比其余正交变换，其成像的黑边效应，使得KMSPI 在整个采样顺序决策范围内，也较难找到能够快速提升成像质量的采样策略。

由图4 可知，DQN 优化获得的频谱采样点分布，与其频谱系数由高到低的分布趋势近似相合，越大的频谱系数，其被采样的概率越高，而频谱分布越集中的变换，更适用于DQN-SPI。

将图1 中频谱I(u，v)展开并按照系数绝对值从大到小的顺序降序排列，得到序列I(x)，根据式（14）处理得到频谱密集度S(k)。

式中，S(k)为频谱中能量最大的前k个系数值的能量在频谱总能量的占比，可以近似作为频谱集中程度的定量描述。四种正交单像素成像的S(k)曲线如图6，按照频谱集中程度DSPI、FSPI、HSPI、KMSPI 呈降序。频谱集中程度S(k)与成像质量存在相关性，频谱的集中程度越高的正交变换，基于此正交变换的DQN-SPI成像质量越好；但也存在分歧，FSPI 与HSPI 的频谱集中程度相差很小，从表1 中可以看到DQN-FSPI 的成像质量相比DQN-HSPI 有较大提升。因此不同正交单像素成像的频谱集中特性只能作为DQN-SPI 应用的一个近似指标，二者不存在完全相关性。

图6 DSPI、FSPI、HSPI 和KMSPI 的S(k)曲线Fig.6 S(k)curve of DSPI，FSPI，HSPI and KMSPI

3 实验结果及分析

为了进一步验证仿真结果，搭建实验平台进行验证。实验装置和参数设置与文献［22］保持一致。实验装置如图7，掩膜图案由主机运算产生，由商用投影仪（ACER V36X）投射至目标物体，目标物体经掩膜图案调制后的反射光强由光电探测器（KG-PR-200K-A-FS）采集并转化为电信号，再经过NI 数据采集卡（NI USB-6216）进行AD 采集，得到的数字信号传输至主机进行目标物体图像的重建。与仿真不同，实验中由于无法获得目标物体的真实图像，将基于正交变换的全采样单像素成像结果作为目标图像。为了与仿真结果保持一致，实验中成像目标物体为白色背景的乌龟模型。

图7 实验装置示意Fig.7 Schematic of the experimental setup

在5%、10%、20%和40%的采样率下，采用AZ-HSPI、DQN-HSPI、AC-FSPI、DQN-FSPI、AZ-DSPI、DQN-DSPI、AS-KMSPI 和DQN-KMSPI 方法分别对目标物体进行重建，结果如图8。为了定量分析成像结果，计算重建图像与对应全采样重建图像的PSNR 与SSIM，结果如表2。

图8 不同采样率和降采样方式下乌龟模型重建图像Fig.8 The reconstructed images of"tortoise"using different down-sampling strategies at different sampling ratios

表2 不同降采样方式下乌龟模型重建图像的PSNR 和SSIMTable 2 PSNR and SSIM of the reconstructed images of"tortoise" using different down-sampling strategies

在相同采样率下，DQN-SPI 的成像质量优于人为规划采样路径方法，并且在低采样率下，优势更大，而随着采样率的升高，优势不再明显。在低采样率下，采用DQN 单像素成像方法探索使SSIM 提升最大的采样策略，使图像质量在较低的采样率下就有较大提升，而人为规划采样路径，如图8，在低采样率下，采样较多的低频信息，相较DQN-SPI，成像质量较差；在高采样率下，因为DQN 单像素成像在低采样率下已经达到比较高的SSIM，在高采样率下进行优化降采样的反而提升不大，而人为规划采样路径的方法，随着高频细节的逐渐完善，其SSIM 值会有稳步上升。因此DQN-SPI 成像更加适合低采样率，这与单像素成像降低采样率，提高成像速度的需求是一致的。

与仿真结果一致，DQN-HSPI、DQN-FSPI、DQN-DSPI 和DQN-KMSPI 四种方法中，DQN-DSPI 成像质量优于DQN-FSPI、DQN-HSPI 和DQN-KMSPI，DQN-FSPI 的成像质量仅次于DQN-DSPI。而DQNKMSPI 由于具有局部特性，其SSIM 与PSNR 均差于以上三种方法，相比于AS-KMSPI，局部效应明显减弱，成像质量已经取得很大提升。因此应用DQN 单像素成像对自然物体进行成像，在没有限制情况下，可以优先采用DQN-DSPI 方式，以取得更好的重建效果。

4 结论

DQN-SPI 成像方式，适用于包括FSPI、HSPI、DSPI 和KMSPI 在内的正交单像素成像。DQN-SPI 通过自动采样对重建图像质量提供更多的信息，而非局限于规划的采样路径，因此其成像质量优于人为规划采样路径的降采样方式，特别是在低采样率下优势明显。四种DQN-SPI 成像方式的仿真和实验结果表明，在没有限制的情况下，DQN-DSPI 的成像质量相对更高，DQN-FSPI 可以取得仅次于DQN-DSPI 的成像效果。DQN-KMSPI 的成像效果差于其余三种DQN-SPI 方法，但是DQN 的引入削弱了其局部效应，在SSIM和PSNR 图像评价标准下，成像质量取得了最大提升。本研究表明DQN-SPI 对于不同正交变换单像素成像具有适用性，并对不同正交变换的DQN-SPI 的成像性能进行了定量分析，结果可以为DQN-SPI 方法的使用和完善提供指导。