基于飞行时间的三维成像研究进展和发展趋势

侯 飞， 韩丰泽， 李国栋， 孙 怡， 孙志斌

（1.中国科学院国家空间科学中心，北京100190；2.中国科学院大学，北京100049）

0 引言

TOF（Time of Flight）技术是一种基于光速不变原理，通过测量光信号的传播时间来测量距离的方法。自Einstein提出光电效应理论以来，随着光电子技术和微电子技术的发展，TOF技术也取得了重要的进展。1968年，Koecher首次实现了基于TOF技术的距离测量系统［1］。近年来，随着CMOS技术、雪崩光电技术和光源调制技术的发展，基于TOF的三维成像相机也得到迅速发展，并在机器视觉、工业检测、自动驾驶、三维成像、深空探测、非视域成像、超分辨成像等科学领域得到了广泛的应用［2⁃4］。

本文介绍了TOF相机的最新发展趋势，第一部分介绍TOF相机的基本原理、误差分析等关键技术，第二部分介绍TOF相机的发展现状，第三部分介绍当前TOF三维成像相机的应用研究热点，第四部分讨论TOF相机的发展趋势。

1 飞行时间三维成像关键技术

TOF相机的深度测量是基于飞行时间原理，飞行时间可以通过使用脉冲或连续波（CW）调制来测量，本文着重介绍基于连续波调制的TOF三维成像技术。连续波调制的相机已经商业化超过20年，并广泛应用于多种领域中［5］，而基于脉冲的TOF相机仍然是稀缺的。

光学飞行时间系统的核心由光发射器和接收器组成，三维TOF相机通过主动发射调制过的光源到目标面上，然后接收对应的反射回来的光，通过发射光和反射光之间的相位差可以得到距离信息，通过转化可以进一步得到景深，如图1所示。一般TOF相机都是使用红外或近红外光信号，这也一定程度上提高了TOF相机适应复杂光环境的能力。

1.1 飞行时间三维成像数学模型

TOF深度成像过程如图2所示，TOF相机控制器发出两个信号，m（t）控制激光二极管，r（t－θ）作为TOF传感器的参考信号。来自物体的反射信号apm（t－φp）被TOF像素采集，然后与参考信号r（t－θ）相关生成相机的输出。

在大多数商用的TOF相机中，发射和快门调制信号的形式如下：

式中，cm、am、cr、ar是常数， 通过改变r（t）上的延迟，可以捕获反射信号和曝光信号之间的全部相关性，利用解调技术，可以完全恢复反射信号。然而，大多数传统的TOF传感器只使用4个测量（称为正交测量），对应于θ＝0、π/2、π、3π/2，来恢复反射信号的振幅ap和相位φp，具体的计算公式如下：

以dp表示目标距离，所以有：

1.2 飞行时间三维成像相机系统结构

典型的TOF相机是一次获得整个场景的深度图，其发送器一般为激光发射模块，该发送器将调制光照射到感兴趣区域；其接收器一般为由CCD或CMOS组成的像素阵列，像素阵列从相同的感兴趣区域收集反射回来的光，如图3所示。由于方波容易由数字电路实现，所以大多数的TOF相机一般以方波作为其发射光。

典型的TOF相机不具有专用的模数转换器（ADC）和每个像素的处理模块，像素阵列中的模拟数据必须读出并进行处理。

1.3 飞行时间相机误差分析

TOF相机系统结构较为复杂，在测量深度信息时，有一些误差来源可能会影响TOF相机的测量，并且可能限制测量精度。TOF相机误差来源有多种，总体上可以分为系统误差和非系统误差。

我一岁生日是在上海友谊餐厅过的。那天晚上我从宴会没有开始一直哭到宴会结束。我爸爸就抱着我兜啊兜啊，然后是我妈妈抱着我兜啊兜啊……可是完全没有用，我仍旧哇——哇——哇——哭。那天晚上友谊餐厅里除了我们一家是中国人，其他都是外国人。外国人就都笑着看着我。那天的生日晚宴就这样被我哭得乱七八糟、一塌糊涂，阿太、爷爷、奶奶、外婆、姑妈、叔叔……所有的人全被我莫名其妙的哭弄得没有了心思吃。长大以后，爸爸妈妈问我，那天晚上你为什么哭，是不是看见都是黄头发蓝眼睛的外国人害怕？这我怎么知道，我根本就不记得有哭的事！

系统误差一般包括积分时间相关误差、振幅相关误差和温度相关误差。积分时间相关误差对于相同的场景，会引起不同的深度值。这是一个系统设计上存在的误差，一般无法消除，但是可以得出一般性规律，一般较长的积分时间增加了相机的信噪比。如图4所示，较长的积分时间（右侧）比较短的积分时间（左侧）有着更高的深度精确度。

振幅相关误差是过低或者过曝的反射光振幅引起的。由于边缘处发射光的功率比中心低，所以在图像的边缘处相对容易出现较低的振幅，从而导致图像边缘处对深度的计算出现较大的误差。相反，如果对象距离TOF相机太近，反射光可能会出现过饱和，这时的深度测量基本是无效的。所以，一般的解决方法都是适当加大发射光的功率并将探测的场景置于TOF相机的合适范围内。

温度相关误差的发生是因为温度会影响TOF相机内部的深度处理，TOF相机得到的深度值可能会因为内部温度而产生漂移，这几乎是所有电子元器件都会存在的误差。当前商业化的相机，如MESA公司的SR3000和SR4000，一般建议用户在启动后等待一定的时间再去使用［7］。除此之外，TI的OPT8241内部集成了一款温度传感器用于校准因为温度产生的相位偏移，也在一定程度上减小了温度相关误差。

非系统误差多是由多重反射、散射光和环境光引起的。TOF相机测距时要求光只反射一次，光线的多次反射会导致测量失真。例如，房屋角落和凹陷形状的物体表面通常会因为光束多重反射产生误差，如图5所示，这也会使得到的深度图像中对象边界变得模糊。

光散射是因为在镜头内或者镜头后产生了多余反射。非常靠近光源的明亮表面会快速将过量的过线散射到镜头中，产生深度失真，使得深度图像中出现伪影，如图6所示。一般解决方案是确保在相机正前方的空间中没有强烈反光的物体。

尽管TOF相机都是采用近红外光作为发射光源，但是环境光依然会对TOF深度成像产生影响。芯片上的一个像素可以容纳的电荷数量有限，环境光占用的容量越多，则为记录实际的反射光保留的容量就越少，也就是说，信噪比会下降。一般的解决方法是在相机上加上光学带通滤光片或者在暗室中使用，这样可以最大限度地减少环境光的影响。

2 飞行时间三维成像发展现状

21世纪以来，随着微电子学和光电子技术的发展，三维成像技术已成为当前研究的重要发展方向。目前，三维成像技术主要有3种：第一种是结构光三维成像技术，其主要优势是识别精度高，但该技术的硬件难度大且成本较高，适合应用于室内环境；第二种是双目视觉三维成像技术，该技术主流的方案是通过两个彩色摄像头模仿人的双眼进行测距，精度较高且成本低，但对算力和后期算法要求很高，且受光照影响较大；第三种是TOF三维成像技术，TOF能够实时快速地计算深度信息，在体感应用体验上表现优异，但是当前成本较高，其推广和发展需要进一步降低成本。3种成像技术的对比如表1所示。

相较于其他三维成像技术，TOF在画面拍摄后，计算景深时不需要后续处理，因此既可避免时间延迟，又可节省采用强大处理系统产生的相关成本。此外，TOF测量距离弹性大，多数情况下只需要改变发射器脉冲频率、光学视野和光源强度即可，适合在近距离范围内的体感、手势识别和跟踪，以及虚拟现实下游戏互动等操作，潜在的应用场景十分广阔。

表1 3种主流深度成像技术对比Table 1 Comparison of three mainstream depth imaging technologies

目前，国外TOF相关技术发展迅速，Sensor则主要由意法半导体、TI等企业掌握，奥地利微电子目前也通过收购完成了Sensor技术的储备。目前，主流的TOF相机厂商包括 PMD、MESA、Optrima、微软、TI少数几家。其中，MESA在科研领域使用较大，MESA公司生产的SR40003D测距相机能以视频帧速率实时输出三维距离值和振幅值。PMD Camcube3.0是唯一一款能够在户内、户外均能使用的TOF相机，也是全球第一款可应用于室外环境的高精度深度相机，为汽车辅助驾驶和移动机器人等应用带来了便利。而Optrima、微软的相机主要面向家庭、娱乐应用，价格相对较低，TI等厂家由于前期的技术积累也推出了多款TOF相机。国内TOF技术处于起步阶段，但是发展也很迅速，以海康威视、乐行天下和中国科学技术大学为代表的国内公司和高校也相继推出了基于TOF技术的深度摄像头。图7给出了目前几款主流的TOF三维成像相机。

3 基于飞行时间三维成像技术的应用研究

连续波飞行时间相机由于其成本效益、简单性和紧凑的尺寸，得到了广泛的应用。但是由于现在的TOF相机分辨率还不是很高，探测距离大约只有10m。因此，TOF相机现在多数是应用在不需要非常精确但需要快速获取3D图像范围数据的场景中， 例如机器人避障［8⁃9］、 姿势估计［10⁃11］、 粗略 3D 对象重建［12⁃13］、 人体（部分）识别和跟踪［14⁃16］等。本文将介绍几种TOF三维成像技术在交叉领域中的应用和研究。

3.1 基于飞行时间相机的汽车驾驶辅助系统

最近几年，随着人工智能的兴起，无人驾驶汽车也在如火如荼地蓬勃发展。国内外对于无人驾驶汽车的不断研究，让我们看到了在不久的将来无人驾驶汽车会成为现实。ADAS（Advanced Driver Assistant System）即高级驾驶辅助系统，是实现汽车智能化，同时也是实现无人驾驶的基础条件。

ADAS要求对行车周边以及车内空间状况进行了解，实现对景深的实时较为精确的测量是对环境信息解读必然面临的问题，而这正为TOF的应用提供了广阔的空间。目前，已有多家公司推出基于TOF相机的辅助驾驶系统解决方案。如Infineon（英飞凌）公司与科世达公司推出了基于TOF相机技术的摄像头驾驶员辅助系统；Melexis的TOF传感器MLX75023，它与3D视觉及手势识别解决方案供应商SoftKinetic公司提供的软件进行绑定，以判断驾驶员的注意力是否集中在驾驶上；SensL公司基于TOF技术开发出一套ADAS原理样机，如图8所示，该ADAS原理样机探测距离超过100m。未来随着汽车智能化过程中ADAS的普及，TOF相机有望迎来更大的发展。

3.2 基于飞行时间相机的非视域计算三维成像

近年来，随着激光技术的发展以及相关探测器精度的提高，国外出现了一种新型的成像方式，即非视域成像模式。不同于传统的光学成像技术通过直接照射场景对视线范围内的场景成像，非视域成像是指能够对视线范围外的场景进行成像。一般非视域成像是通过一种中介对隐藏在视野之外的事物进行成像，该事物可能在拐角处，或者被烟雾遮挡等。

Hullin［17］提出了一种基于TOF相机的非视域成像方案，利用TOF相机的工作原理实现了对非视域场景的三维成像。如图9所示，该方案中，通过调制的激光光源照射能够产生漫反射的墙壁，其中一部分光照射到遮光板中的非视域场景，非视域场景将一部分光反射到TOF相机视野范围内的墙壁上，最终有一部分激光通过反射回到了TOF相机中。

3.3 基于多相机飞行时间系统的三维成像

两个或者多个RGB相机可以获得场景的深度信息并可以对场景进行实时三维重建，同时也能获得更多的目标场景信息，这是单个RGB相机不能做到的。TOF相机也能够实现多相机协同工作，Shrestha等［18］对多相机飞行时间同步系统的设计和应用进行了探讨。如图10所示，其实现了一种多TOF相机同步的方案，并利用Doppler飞行时间成像技术获取了运动物体的实时径向速度。实验发现该系统成像速度快，利用多TOF相机同步可以有效消除运动物体的伪影情况，能够对运动物体实时三维成像。

3.4 基于飞行时间相机的超分辨率三维成像

当前一代的TOF相机，其传感器只能实现像素尺寸接近10μm，填充因子也只能接近10%。而传统的CMOS图像传感器的像素尺寸已经接近1μm，填充因子也大于90%，所以当前的TOF相机 “天生”便具有空间分辨率低的劣势。大量的研究也在致力于通过各种方式提高TOF相机的空间分辨率。一些纯软件的算法，包括字典学习［19］和深度学习［20］算法也被用来提高TOF图像的横向和深度分辨率。Li等［21］通过空间光调制器DMD（数字微镜阵列）实现了TOF相机的超分辨率三维成像，其设计了一种称为CS⁃TOF的原型结构，结合压缩感知技术，使得TOF相机的深度和强度分辨率均得到了极大的提高，效果显著。具体实现方案如图11所示，控制器控制激光二极管和TOF相机，使它们保持同步，发射光照射到目标物体后，反射光通过透镜进入DMD进行调制，DMD中之前已经提前输入了调制掩模，最后经过DMD调制后的光通过中继透镜进入TOF传感器成像。

4 总结与展望

本文详细介绍了TOF三维成像相机的发展、工作原理和误差来源，并与其他三维成像系统做了对比研究，分析了当前TOF三维成像技术的应用研究热点。TOF相机作为一种主动式3D成像相机，具有体积小、帧速高、实时性好、能够同时记录深度和强度信息等优点。但是，TOF相机依然需要提高自身的成像分辨率，不断从软件和硬件两个方面降低误差的影响，提高TOF相机的探测距离。

随着TOF相机的成像分辨率的提高，脉冲激光光源技术的发展，TOF三维成像技术在机器视觉、工业检测、自动驾驶、三维成像、深空探测、非视域成像和超分辨成像等科学领域将会得到进一步的广泛应用。