ToF深度相机标定方法研究进展

胡龄心，李 浩*

（1.河海大学地球科学与工程学院，江苏 南京 211100）

深度相机能获得被拍摄物体到镜头的距离值，在深度图像上体现出物体的远近关系，能更加直观地反映三维世界。深度相机本身具有便捷高效的特点，其在工业、农业、交通、物流、医疗、机器人等领域发挥重要的作用，服务于目标探测、姿态估计、运动估计、自主导航、三维重建等技术需求。一种高精度的深度相机标定方法能够获得精确的相机参数，成为相机高效使用的前提和保障。针对现有的标定方法，本文进行分类整理，比较不同方法的优缺点，为后期深度相机标定的研究和应用提供一定的参考。

1 相机的标定

通过三维空间物体到二维平面的投影关系建立相机成像模型，可以获得相机的内方位元素。由于镜头制造等原因导致实际成像点位置存在偏差，因此建立畸变模型来进行校正。相机的标定便是求解内方位元素和畸变系数的过程。

普通相机接收物体反射的光线，通过传感器将光信号转换成电信号，继而转换成数字信号，从而获得拍摄图像。目前，对普通相机的标定有基于标定物的方法、自标定方法[1]、基于主动视觉的方法[2-3]。ToF深度相机主动发射红外光，再接收由物体反射的红外光，根据时间差或相位差计算距离获得深度图像，根据反射光线量的不同获得红外图像。但深度图像没有图案纹理信息，故传统的像点坐标提取方法不可用，需要制作特殊标定物。红外图像虽然能体现图案信息但分辨率较低，会影响标定效果。此外ToF 相机受拍摄物体材质、拍摄距离的限制，拍摄的场景信息存在不完整情况，导致图像上存在黑洞。因此，与普通相机相比，ToF 相机在像点坐标的提取方面就存在一定的缺陷。

基于标定物的标定方法精度较高，且标定物在ToF 相机成像范围内能较完整成像，目前对ToF 相机的标定主要采用标定物的方法。选用的标定物有线状物体、棋盘格、圆孔板、控制场等，通常将它们分为一维、二维、2.5 维和三维的标定物。确定使用的标定物后，通过建立标定点在世界坐标系与像素坐标系之间的映射关系，从而解算相机参数。ToF 相机沿用普通相机的成像模型，使用的解算方法有线性标定法、单应矩阵法、共线条件法（直接线性变换法、光束法）。

2 基于标定物的标定方法

基于标定物的标定方法需要借助三维空间中位置已知的物体，将标定物上已知位置的点和图像上的点实现一一对应，从而计算相机的内方位元素。该方法精度较高，同时在灵活性和鲁棒性之间取得了综合的效果。

2.1 共线条件法

共线条件方程是摄影测量常见的基本方程式，根据像点、投影中心、物点位于同一条直线上建立共线表达式：

式中，x0、y0、f 表示相机内方位元素；x、y 表示像点的像平面坐标；XS、YS、ZS表示摄站点的物方坐标；XA、YA、ZA表示物点的物方坐标；φ、ω、κ 表示图像的角元素。

在相机的标定方法中直接线性变换法和光束法都是建立在共线条件方程的基础上。直接线性变换法（DLT）是Abdel 等[4]1971 年首次提出的，建立像素坐标系到世界坐标系之间的直接线性关系，采用最小二乘原理求解。但方法未考虑畸变影响，导致精度较低，后期采用非线性优化的方式提高精度。光束法平差（BA）在1958 年被引入摄影测量领域[5]，以共线方程为数学模型，对误差方程线性化后通过迭代的方式进行解算。自检校光束法平差在光束法基础上引入附加参数进行平差计算，在相机标定中通常将畸变系数作为附加参数。

基于控制场的共线条件法在普通相机的标定中使用较广，但因深度相机本身的限制，对控制场有一定的要求，否则存在成像效果不佳的情况。目前，主要使用回光反射材料制作控制场靶标，在红外图像上识别并提取标定点。赵强[6]基于控制场实现ToF 相机的标定，通过DLT 求解初值并以迭代的方式优化，使用自检校光束法对相机参数进一步调整，得到较好的结果。Kahlmann 等[7]引入额外光源增强红外图像上点的显示效果，在平板上按等间隔距离布设红外LED，制作主动发射光源的标定板，采用自检校光束法平差的原理解算相机内方位元素。由于该方法中控制点是共面分布，会影响平差效果从而降低标定精度，但该方法对标定板的改进为日后的标定研究提供了新的思路。

2.2 线性标定法

一维线性标定法是张正友[8]2004 年提出的根据标定物上的共线点实现标定的方法，需要使用包含3 个共线已知点的线状物体做标定物，标定过程中需要固定物体一端而不断变化另一端位置，获得拍摄的多幅图像，通过物点和对应像点间的转换关系以及共线点的线性约束建立方程（式3），从而求解相机参数。

式中，a,b,c 表示标定物上3 个点（A,B,C）在图像坐标系下的齐次坐标形式；λ1、λ2为已知常数，表示标定点之间的位置关系；L 表示标定物长度；K 表示内方位元素矩阵，ZA表示A 点相对深度。

Diana 等[9]2017 年使用线性标定法实现对多ToF相机的标定，通过R-最近邻算法实现不同视角点云对齐状态下的匹配，利用三维匹配点和二维投影点建立相机参数矩阵，加入径向和切向畸变系数实现最终非线性优化。但该类标定方法普遍精度较低，同时算法对图像的噪声较为敏感，因此标定精度有待提升。而一维的标定物构造简单，能很好地解决遮挡、重叠问题，同时减少角点提取的工作量，在深度图像中能更好地减轻物体边缘模糊的现象，相较于其他标定物，其在多深度相机的标定中值得深入研究。

2.3 单应矩阵法

张正友[10]1999 年提出基于棋盘格的单应矩阵标定方法，将像素坐标（u,v）和世界坐标（X,Y,Z）的映射关系用单应矩阵H 的形式表现：

包含如下的约束关系：

使用拍摄的多张图像，根据最小二乘原理求解相机内方位元素K。考虑径向畸变的影响，使用的畸变模型如下：

通过最小二乘原理求解畸变系数k1,k2，最后对相机参数进行非线性优化。

由于棋盘格图案制作方便，且算法具有较好的鲁棒性，因此对普通相机和深度相机都是使用最多的标定方法。对深度相机的标定使用的是红外图像，但受红外图像分辨率的影响较大，会造成角点的提取误差。现有对单应矩阵求解方法的改进主要体现在3 个方面：增强图像显示、改进标定物、优化标定参数。

2.3.1 图像显示方面的改进

Marvin 等[11]2006 年通过多幅灰度图像取均值的方法抑制噪声影响，并利用直方图归一化来增强灰度图像的对比度，采用双线性重采样的方法增加图像的分辨率，从而提高角点检测的准确性。

Sven 等[12]2012 年对ToF 相机得到的红外图像进行双三次上采样，得到亚像素精度，采用非锐化掩膜的方法来增强局部对比度。并对棋盘格图案添加自编码标记，实现角点的自动快速检测，最后使用单应矩阵的方法求解相机元素。该方法缩短了标定点检测的时间，同时提高了标定点识别的正确率。

Ramanpreet 等[13]2014 年分析棋盘格上黑色方形比白色方形的散粒噪声高，利用分割技术提取出白色方形并计算其对应的点云数据，通过对点云数据拟合平面来获得亚像素角点的深度dˆ。考虑相机投影模型中相似三角形原则，在归一化平面上结合深度值dˆ来表示实际的三维点xic，N(i)表示角点i 的周围点，引入真实棋盘格的大小csize，构建参数方程对内方位元素进行优化：

该方法创新地利用深度值与实际棋盘格大小相关联，实现对相机参数的优化，在保证精度的同时，使用较少的图像和角点信息，具备一定的优势。

2.3.2 标定物选取方面的改进

标定板除了棋盘格图案也有圆形图案，与提取棋盘格角点不同，这里将圆心作为标定点。Jiyoung 等[14-15]2011 年针对ToF 相机提出圆孔标定板，在标定板上的随机位置通过挖孔的方式来增加距离信息。对深度图像采用双三次插值来提高分辨率，通过单应矩阵的方法得到畸变系数，消除图像的径向畸变。最后考虑重投影误差，采取非线性优化，提出的圆孔标定板实现了在深度图像上标定，今后基于深度图像的研究有待继续深入。

在圆形图案的基础上，对标定点的提取位置也有改进。David 等[16]2015 年提出将多个圆形通过组合的形式来定义标定点，考虑到图像分辨率低导致圆心提取存在误差，将标定板上各个圆心以“×”形式连线的交点作为标定点。首先固定的小范围内计算单应矩阵，使用模板匹配的方式对该范围内的标定点位置进一步细化，然后逐步扩大范围直至检测到整个标定板。该方法提出了一种标定点定义的新模式，不再局限于棋盘格角点和圆心点，为今后标定点的位置选择提供了更多可能性。

2.3.3 参数优化方面的改进

在获得相机参数初值后，通过构建相应的误差方程可以实现对相机参数的优化。

通过建立深度图像和红外图像方程，定义观测值残差平方和，确定方差因子从而对相机参数实现优化。Christian 等[17]2008 年和Ingo 等[18]同时考虑深度图像和反射图像，建立约束方程分别表示合成的深度图像和反射图像（式9），按泰勒公式一阶展开，建立相应的参数协方差，用来改进参数向量（式10），采取迭代的方式直到收敛，最终实现对相机参数的优化。Marvin 等[19]2010 年采取两步优化的方法，首先利用单应矩阵获得初值，将角点重投影误差最小化，然后将Ingo 等的优化方法应用到红外图像上，实现对相机参数的优化。

Alina 等[20]2014 年使用单应矩阵的方法获得相机参数初始值，根据法向量ni和偏移量θi将棋盘格平面参数化（式11），根据角点paik与重投影点paik的差值、深度测量值dil与预测值dil 之间的差值，建立误差方程（式12），实现基于角点重投影误差和基于平面约束误差的联合优化，最终达到对相机参数的优化。

3 存在的问题及发展趋势

目前对ToF 深度相机标定的研究都是基于标定物的方法，沿用普通相机的成像模型，深度相机在标定以及应用方面还有待深入研究。

在深度相机的标定方面存在着以下的不足：

1）受标定物的影响较大。一维标定物对图像的噪声有强烈的敏感性，造成标定精度较低；二维和2.5 维标定物提取的角点数目较多，但受分辨率等影响存在较多的位置误差，影响标定的效果；三维控制场需使用特殊材料制作，成本较高且使用群体受限。

2）受拍摄条件的影响大。深度相机测量距离的约束限制了其获取信息的范围，受物体反射的影响限制了信息的完整性，黑色物体或全透光物体则会影响信息的准确性，现有标定方法未能充分考虑多种因素对标定效果的影响。

3）标定点的提取精度有待提升。深度图像和红外图像都受到分辨率的限制，导致标定点存在较大的位置误差，而进行过多的预处理步骤会影响原始数据的可靠性。

4）相机模型有待改进。目前的标定延用普通相机的成像模型，模型中缺少对深度值的考虑。目前的方法是在优化过程中引入深度值，若某个点的深度值存在较大误差，则对整个优化过程会产生较大影响。

5）标定方法受限。深度相机因设备的限制导致标定点提取存在误差，给解算方法带来了挑战，目前的算法受噪声、点位误差影响较大，算法的稳定性有待提高。

针对目前标定方法的不足，对其未来发展进行以下推测：由于相机本身测量距离近以及获得图像分辨率低的限制，在提升精度方面更大可能从标定物本身入手，研究一种精度较高同时成像效果较佳的物体来提供约束关系，减轻点位误差造成的影响。同时为适应低分辨率图像，高精度的标定点提取问题亟待解决。可以引入点云数据，结合距离信息提高标定点的位置提取精度。在后期的优化方面，深入探究不同误差项对标定结果的影响，建立约束效果强的误差方程，增加参数优化的可靠性。未来深度相机的硬件设备也日益完善，可能服务于高精度的测量场合，基于三维标定物的方法将被更多地使用。

深度相机在三维重建领域使用广泛，而多相机组合的方式能提高建模效率，但给多深度相机标定提出了挑战。线状物体在深度图像中不存在自身遮挡问题，不同方向成像存在差异，将其作为标定物在多深度相机联合标定中存在优势。在一些精度要求较低的场合，追求的是更加灵活的标定方法。选择结构简单的物体或位于相机成像范围内的场景信息，通过多幅图像间的匹配点建立约束方程，探究更为灵活的标定方法。

未来对深度相机标定的研究应充分考虑深度相机获得物体距离值的特性，对相机成像模型进行改进，实现三维坐标到三维坐标的映射关系，对相机参数标定的同时实现对相机测距精度的确定。

4 结 语

现有的ToF 深度相机标定方法主要使用张正友棋盘格的方法，是目前深度相机标定的主流方法。该方法受图像分辨率的影响，存在一定的提取误差，需要采取措施加以改进，减少角点的位置误差。后期通过引入重投影误差项或深度测量误差项建立误差方程，采用非线性优化的方法提高参数精度。未来对ToF 相机标定的研究更应该结合相机本身的成像特点，考虑自身具有约束的三维物体做标定物，引入距离值改进标定模型，在参数优化方面寻找更稳健的参数。针对服务领域的不同，探究不同的相机标定方法，做到与实际应用更好地结合。