基于飞行时间技术的三维关联成像

王惠绩，李楠，李炫奎，周成，宋立军，5

（1 长春大学理学院，长春 130022）

（2 吉林省量子信息技术工程实验室，长春 130052）

（3 吉林大学通信工程学院，长春 130025）

（4 东北师范大学化学学院，长春 130024）

（5 吉林工业职业技术学院，吉林吉林 132013）

0 引言

关联成像［1］又称鬼成像、量子成像，与传统的阵列成像技术相比具有许多潜在的优势，目前几乎所有的阵列探测器成像系统都可以采用关联成像来实现。近十年来，关联成像主要应用于多光谱成像［2］、红外成像［3］、太赫兹成像［4］、生物成像和目标跟踪［5-6］等领域。

2002 年，BENNINK 等［7］通过激光在反射镜上进行随机旋转调制获得出射角随机变化的经典光源，实现了经典关联成像。成像时间长和信噪比低是目前制约关联成像质量的主要因素。2009 年，KATZ O 等［8］将压缩感知（Compressed Sensing，CS）应用于关联成像领域，用于减少测量次数提高成像速度。2016 年，韩申生等［9-10］提出基于稀疏约束鬼成像（Ghost Imaging under Sparsity Constraint，GISC）算法，进一步减少了重构图像的测量次数。由于受图像稀疏度限制，且对环境噪声非常敏感，压缩感知无法进一步降低采样数。2019 年，LYU Meng 等［11］将深度学习引入到关联成像中，同年司徒国海等［12］针对LYU Meng 方案的缺点，提出一种利用桶探测值重构高信噪比图像的深度学习关联成像方案。2020 年，韩申生等［13］提出Y-Net 网络模型关联成像方案。近年来，运动物体关联成像研究逐渐引起人们关注，2011 年，曾贵华等［14］对关联成像中运动物体速度进行了定量分析。2014 年，韩申生等［15］提出了一种对未知速度匀速运动物体的关联成像方案。2019 年，刘伟涛等［5］提出一种对运动物体进行跟踪和成像的方案。

与传统的激光关联成像相比，三维关联成像不仅能够获得目标物体的二维光场强度信息，还能够有效获取目标物体之间的纵向距离信息，从而可以定量分析成像目标的大小及位置。三维关联成像技术主要包括立体视觉［16］和飞行时间（Time-of-flight，TOF）成像技术［17］。2013 年，孙宝清等［18］利用结构光照射和采用四个空间分离的光电二极管作为探测器的成像方案，实现了立体视觉方法的三维图像重构。孙鸣捷等［17，19］基于TOF 技术，采用Hadamard 图样和高速光电二极管实现了5 m 范围内128 pixel×128 pixel 像素分辨率、精度为3 mm 的三维场景单像素成像。2013 年，韩申生等［20］首次利用赝热光关联成像获得三维目标物体的重构图像，2016 年在三维遥感关联成像中引入CS 技术和TOF 技术，实现了1.2 km 的激光三维关联成像［9］。随后，又陆续提出了机载/车载近红外激光三维关联成像方案［10，21］。2020 年，曾贵华等［22］提出了单光子三维激光雷达，并给出了3 km 和100 km 的实验验证。2021 年，徐飞虎等［23］实现了超过200 km 的远距离单光子三维成像，首次将成像距离突破到了百公里量级。

本文围绕赝热光强度三维关联成像系统中的一些性能提升问题展开相关研究工作，主要考察了赝热光三维关联成像中光源激光功率和重构算法参数对成像质量的影响，提出一种TOF 技术与差分关联成像（Differential Ghost Imaging，DGI）算法相结合的三维关联成像方案。利用532 nm 波段的激光作为光源，毛玻璃作为相位调制器，搭建了赝热光强度三维关联成像实验平台，实现了两个纵向距离60 cm 的200 pixel×200 pixel 目标物体在绝对距离测量5.5 m 处的三维图像重构。

1 理论分析

1.1 二维差分关联成像

设二维传统关联成像（Traditional Ghost Imaging，TGI）中的散斑场光场强度为Ii(x，y)，探测信号值为Bi，则Bi可表示为

式中，i表示探测次数，O(x，y)表示待测目标物体。

若探测次数为M，利用Bi和Ii(x，y)进行关联计算可得目标物体的重构图像G2D(x，y)为

目前大部分关联成像重构算法有二阶减背景关联算法、差分关联成像算法、伪逆关联算法及压缩感知重构算法。由于考虑重构算法的时间不宜冗长，基本排除了伪逆关联算法及压缩感知重构算法。相对于二阶关联算法，差分关联成像原理清楚，成像质量较好。因此，本文采用DGI 算法重构待测物体图像，在TGI基础上中新增差分信号Ri，Ri为实际采集参考臂的总光强信息，则DGI 重构图像GDGI2D(x，y)可表示为

1.2 基于TOF 的三维关联成像

基于TOF 的三维关联成像重构过程原理如图1 所示。短脉冲激光器通过旋转的毛玻璃形成赝热光，经过分束器分成两束光，其中一束照射待测目标物体后被光电倍增管（Photomultiplier Tube，PMT）接收；另一束由阵列探测器进行探测。为得到三维关联成像重构图像，高速数据采集系统将PMT 探测到的峰值光强信号数字化成离散的数据点，使用TOF 技术将探测信号Bi分割成不同时间（距离）切片信号，再对各自切片内的信号进行积分获得切片信号探测值。

图1 三维关联成像原理Fig.1 Principle diagram of three-dimensional correlation imaging

最后，采用DGI 算法对每个切片信号按照分别进行二维关联成像重构计算，即

式中，k表示时间切片的数目，Nt为切片总数目。

将式（4）中每个时间切片还原出的二维图像G(x，y)根据空间距离赋予不同伪彩色，再把不同颜色二维图像叠加为一幅目标的三维图像，不同颜色代表了距离维度的不同。叠加后的三维重构图像G3D表示为

式中，Nx表示某个时间切片图像x维度像素点位置最大值，Ny表示某个时间切片图像y维度像素点位置最大值。

采用HSV 色域表示三维关联成像的距离信息，H所代表的颜色对应三维成像中的距离，S为饱和度，V代表亮度对应三维成像中的强度信息。设S最大值为255，达到最大饱和度，即

式中，tkMax、tkMin为单次PMT 采集时间内信号时间最大值与最小值，d0为初始距离，d为切片时间对应距离。设待测物体之间距离分辨率的公式为

式中，c为光速，t为激光脉冲宽度。

2 结果分析与讨论

2.1 数值模拟结果

模拟视场中设置两个相距80 cm 的平面待测目标物体，分辨率均为200 pixel×200 pixel，模拟脉冲激光使用函数，设激光脉冲宽度为7 ns，前端目标为四角星，后端目标为字母F，其中前端目标距离成像系统的测量距离设置为16 m，如图2（a）所示。数值模拟过程中，探测次数M取20 000 次，采样率为50%。切片长度L设定为1 ns，切片数目为12 个，切片阈值参数X设定为0.66，TOF 采集信号时间的起止范围为t1=249 ns，tn=260 ns。

根据式（7），影响两个待测目标物体间纵向间隔距离的因素主要为脉冲宽度。脉冲宽度越大，可以分辨的物体间距越大。设激光脉冲宽度为7 ns，系统的距离分辨率为1.05 m。对于二维目标的关联成像实验，得到的回波信号为一个高斯波包，而三维目标的回波信号会出现多个独立或重叠的高斯波包。所以，数值模拟中两物体间距至少为ΔR=1.05 m 时，能够得到两个物体独立且完整的脉冲回波信号；当物体间距离小于ΔR时，返回的物体回波信号存在重叠的部分（即没有独立的高斯波包），选择两个间隔距离为80 cm 的目标物体进行数值仿真验证。图2（c）给出了50%采样率下两个相距80 cm 的目标物体回波信号重叠在一起的平均回波信号数值仿真结果。

图2 数值模拟结果Fig.2 Simulation reconstruction results

根据式（4），采用TOF 技术和DGI 算法对12 个切片信号分别进行二维关联成像重构，数值模拟结果如图2（b）所示。由图2（b）可以发现，左上角的第1 个切片对应于第249 ns 的重构图像，右下角的第12 个切片对应于第260 ns 的重构图像，在第1 个切片和第12 个切片中分别单独重构出四角星和字母F，对应两个物体的理想回波信号，获得较高质量的三维重构图像结果；而中间的二维切片图像给出了三维图像重构过程中回波信号相互混叠的情况，即同时出现四角星和字母F，当切片时间为252 ns 时，重构图像中除四角星外，开始出现微弱的字母F，随着时间增加，字母F 重构质量逐渐增强，在切片时间为254 ns 时，两物体的重构质量同时达到较好，随后四角星的重构质量逐渐减弱，当切片时间为257 ns 时，视场中几乎看不到四角星，而字母F 重构质量仍然较好，最后在260 ns 时重构图像中只有字母F 存在。

对仿真结果中重构的三维切片图像进行阈值处理，图3 给出了图2（b）中12 个二维切片图像的归一化平均强度值的等高线图，由图3（a）俯视图可以发现，虽然待测目标物体四角星和字母F 的重构图像存在大量背景噪声，但背景噪声强度值与待测目标的信号强度值具有明显区别，因此采用设置阈值参数的方法进行数据处理，将低于设定阈值参数的图像像素点进行归零处理，使用阈值以上的信号强度值进行伪彩叠加重构三维图像。由图3（c）的三维图可以发现，归一化平均强度值增加并超过一定阈值参数后，重构图像质量开始明显下降，直至完全消失。因此，阈值参数应选取去除背景噪声影响，并保证图像重构质量的值为最优的阈值。由图3（b）等高线正视图可看出，背景噪声主要集中在阈值为0.1 和0.2 附近，但在0.3 时仍有少许噪声存在；而当阈值大于0.5后，重构图像质量开始逐渐下降，所以本文数值模拟的最优阈值参数取值范围应在［0.3，0.5］之间。

图3 切片图像的归一化平均强度值等高线Fig.3 The contour map of the different views the slice average image

利用式（6）对待测目标物体的三维关联成像重构进行数值模拟仿真，图4（a）～（c）分别为重构算法中阈值参数取0.15、0.3 和0.45 时的重构结果。由如图4 可以清晰发现，当阈值参数取0.15 时的噪声影响较大，重构质量较差；而当阈值参数取0.3 和0.45 最优区间时，随着取值的增加，在三维关联成像叠加过程中受到其他切片图像的背景噪声影响明显减小，从而显著提高了三维关联成像图像重构质量。由图4（c）可以计算出，重构图像中两个物体颜色数值之间的纵向距离为82.5 cm（四角星取16.35 m，字母F 取17.175 m），与原始目标物体之间的距离基本一致，证明了本方案的有效性。

图4 伪彩色三维关联成像取不同阈值参数的仿真重构结果Fig.4 The simulation reconstruction results of pseudo-color three-dimensional correlation imaging with different threshold

2.2 实验结果与分析

为进一步验证方案的有效性，搭建了一套赝热光三维关联成像实验系统，如图5（a）所示。实验系统具体参数如下：使用波长为532 nm 的脉冲激光器作为光源，信号脉冲宽度为10 ns，重复频率为100～2 000 Hz可调；激光照射毛玻璃产生的散斑直径为2.0 mm；使用光电倍增管PMT（Hamamatsu H10721-20）作为探测器，输入电压范围为［+2.8 V，+5.5 V］，最大输入电流为2.7 mA，信号输出电流为100 μA。数据采集系统利用LabVIEW 软件进行控制，数据处理采用Matlab 软件进行图像重构。待测目标物体采用与数值模拟相同的两个分辨率为200 pixel×200 pixel 的四角星和字母F，材质为高反膜，其中四角星置于前端，距离成像系统5.5 m，后端的字母F 与四角星纵向距离为60 cm，如图5（b）所示。实验过程中探测数M为20 000 次，采样率为50%，基于TOF 时间切片技术的二维图像重构结果如图5（c）所示。

根据式（7），实验中的信号脉冲宽度为10 ns，对应的理论距离分辨率为1.5 m，理论回波信号对应两个独立的波形。实验中选择两个物体间距离分辨率为60 cm，小于理论距离分辨率，返回的回波信号如图5（d）所示。由图5（d）可以发现，两个物体的回波信号存在两个波峰，但没有完全独立分开，出现重叠部分，对应两个回波信号的重叠部分，在重构的切片图像中同时出现四角星和字母F。由图5（c）可以发现，在切片时间为179 ～180 ns 时，二维重构图像中只有四角星单独存在；当切片时间为181 ns 时，重构图像的左侧开始出现微弱的字母F 图像；随着切片时间增加，重构图像中的字母F 质量逐渐提高，在切片时间为183～184 ns 时，四角星和字母F 同时达到较好的重构图像质量；在切片时间为185～188 ns 时，重构的四角星图像逐渐减弱，当切片时间为189 ns 和190 ns 时，重构图像中仅有字母F 单独存在。由此可知，切片时间180 ns 和190 ns 对应两个物体的理想回波信号，可以实现较高质量的三维关联成像图像重构。实际实验结果与数值模拟结果基本相同，证明了本文方法理论分析与实验结果的一致性。

图5 实验装置及实验结果Fig.5 Experimental setup and reconstruction results

将时间切片二维关联成像结果利用式（5）和（6）进行叠加和伪彩色处理，获得彩色三维关联成像结果，如图6 所示，阈值参数分别取0.15、0.2 和0.3。可以发现，实验数据的三维图像结果与数值模拟结果完全一致，在一定范围内随着阈值参数的增大，三维重构图像的质量明显增加。由图6（c）可以计算出两个物体颜色数值之间的纵向距离为61.88 cm（四角星取5.156 2 m，字母F 取5.775 m），结果与前端四角星距离成像系统5.5 m，原始目标物体之间60 cm 的测量距离基本一致。

图6 伪彩色三维关联成像取不同阈值参数的实验重构结果Fig.6 Experiment reconstruction results of pseudo-color three-dimensional correlation imaging with different threshold

为进一步考察三维关联成像实验系统的性能，分别对不同激光功率TOF 时间切片二维关联成像进行实验测试，结果如图7 所示。其中，图7（a）～（o）分别为激光功率6.9 mW、10.3 mW 和11.6 mW 时单次回波信号、平均全波形回波信号、平均全波形回波信号对齐后的曲线图和对齐前后实验重构结果对比。图7（a）是待测目标物体单次回波信号曲线，由图中可以发现有两个可分辨的尖峰存在，所以可以分辨出被探测场景中两个不同的物体，然后分别对两个尖峰的数据进行关联计算得到对应的物体信息，再根据飞行时间获取三维成像信息。

图7 三维关联成像在不同激光功率下回波信号曲线图和对齐前后实验重构结果对比Fig.7 The graphs of echo signal and experimental reconstruction results：3D correlation imaging under the different laser power

由于成像系统中存在激光抖动，使得采集卡所测量到的目标回波信号峰值位置不同，而在关联计算时对所有次数回波信号选取的计算位置是相同的，导致信息出现偏差，探测值序列和三维图像重构均引入误差，降低三维成像的质量和距离分辨性能。在图像重构计算过程中，将所有探测次数回波信号的全波形信号求平均，如图7（b）所示。由图7（b）可以发现，激光功率为6.9 mW 时回波信号的脉冲波形被展宽，真实回波信号的两个尖峰已经混叠成一个大的尖峰。为了降低时间抖动的影响，采用回波信号对齐方法，即回波信号的脉冲波形以第一个回波信号为基准，设置阈值参数，后续所有相同阈值对应的位置移动到第一个基准阈值位置，对回波信号进行对齐，对齐后的全波形信号求平均后曲线如图7（c）所示，可清晰分辨出与图7（a）相一致的真实信号两个尖峰。然后，利用时间切片的方法，分别计算得到原始信号和对齐信号在不同飞行时间下的重构图像结果，如图7（d）所示。通过对比图7（d）可以发现，对齐后的重构图像质量明显优于原始被展宽信号后的重构质量，通过采用回波信号对齐的方法进一步提高了三维关联成像质量和距离分辨的能力。激光功率10.3 mW、11.6 mW 时的分析结果如图（e）～（h）和（i）～（l）所示，与6.9 mW 时的情况完全一致。

将时间切片二维关联成像结果进行叠加和伪彩色处理，获得彩色三维关联成像结果，如图8 所示。可以发现，在相同阈值0.3 的情况下，激光功率为6.9 mW 时，字母F 表面存在较大的噪声影响，且重构图像四角星存在一些背景噪声；随着激光功率增加，四角星和字母F 重构图像表面的噪声逐渐减小，当激光功率为11.6 mW 时得到较好的三维重构图像质量。因此，在一定范围内，适当增加激光功率，可以有效抑制回波信号的时间抖动，更好地区分出目标物体和计算物体之间的距离，提高三维关联重构图像的质量和纵向距离精度。

图8 伪彩色三维关联成像在不同激光功率下的实验重构结果Fig.8 Experiment reconstruction results of pseudo-color three-dimensional correlation imaging under different laser power

3 结论

本文提出一种基于TOF 技术的三维关联成像方案，采用差分关联成像算法，完成了200 pixel×200 pixel 三维待测目标物体的强度关联成像。理论推导了三维关联成像的数学表达式，并给出了利用HSV色域表示三维关联成像距离信息的方法。数值模拟结果表明，利用本文提出的方法可以较好地实现三维关联成像的图像重构，在一定范围内，提高重构算法中的阈值参数可以减少噪声对其他三维切片的影响，显著提高三维图像的重构质量。通过搭建三维强度关联成像实验系统实现了实验室环境下的三维目标物体重构，结果表明，适当增加激光功率，可以有效降低实验中回波信号的时间抖动对三维重构结果的影响，提高三维关联成像的纵向距离测量精度。实验结果符合理论分析且与数值仿真结果一致，研究工作可对促进关联成像在激光雷达等光学遥感领域的实际应用提供参考。

致谢感谢上海光机所王成龙的有益讨论。