飞行时间法三维摄像机标定与误差补偿

李兴东，陈 超，李满天，孙立宁

（哈尔滨工业大学机器人技术与系统国家重点实验室，黑龙江 哈尔滨150001）

0 引言

近年来，基于飞行时间法（TOF）测距原理的三维摄像机在计算机视觉领域得到了广泛地引用，与传统3D信息获取设备笨重的体积相比，由单片CMOS技术直接探测3D信息的TOF摄相机体积小巧，成像速度快，无需扫描即可获得三维点云信息。但TOF摄像机也存在一些问题，如传感器分辨率较低，测距精度受测距原理、硬件系统和环境等因素影响存在误差。为此，采用PMD Camcube3．0摄像机作为研究对象，针对该摄像机存在这些问题进行研究。

1 PMD摄像机的测距原理

摄相机采用TOF间接测距技术［1］，其发射器通过向目标发出振幅经过余弦调制的出射光信号，再经探测器接收目标反射后的入射光。通过发射与入射光信号的相位差就可以计算出飞行时间，再结合光速，就可以得到摄像机到目标的距离。摄像机上每个像素都可以接收信号，因此，每个像素都能测量到相应目标的距离。在无歧义量程下，假设发射光和入射光的相位差为Δφ，飞行时间为Δt，则目标的距离为：

PMD摄像机调制与解调函数均是余弦信号［2］，出射光信号可以表示为s（t）＝A cos（wt），其中，w为调制频率；A为出射光信号的幅值。入射光信号r（t）可以表示为r（t）＝n＋k A×cos（wt＋Δφ）。Δφ为距离产生的相位偏移；n为外部叠加的噪声信号；K为信号衰减系数。则出射光的相关函数为：

每个像素对c（τ）进行采样，采样点为等间隔的4点。采样时间为Δt，如图1所示，设Ai＝c×（i×π／2），则入射光信号相位φ，幅值A和偏移值B 可以由下式计算得到：

图1 采样示意图［3］

幅值A可以用来衡量测距结果的可靠程度，如果A过小或过大，则认为该像素点所显示的距离是不准确的，也可以用来产生场景的幅值图像，偏移B可以产生场景的亮度图像。

2 摄像机的亮度图像标定

对亮度图像的标定主要是确定相机的内部、外部参数和畸变系数。包括摄像机的焦距f，图像的真实中心坐标（u0，v0）径向畸变系数k1，k2切向畸变系数p1，p2等。通过参数和畸变系数，可以准确获得相机坐标系和图像坐标系的变换关系。

摄像机与图像坐标系投影关系如图2所示，O为摄相机中心，o为图像坐标系原点。空间任一点P在摄相机坐标系下的坐标用齐次坐标表示为（xc，yc，zc）T，在小孔成像模型下，经相机成像后的投影点为p1，图像坐标系下的坐标为（x，y），两者的投影关系为：

图2 摄像机与图像坐标系投影关系［4］

其与以像素为单位的坐标（u，v）的关系为：

dx，dy是像素的长和宽，u0，v0是o在图像坐标系下以像素为单位的坐标。因此，摄相机坐标系和图像坐标系的变换可表示为：

但由于存在畸变，P的投影点由p1变到p2，通过标定得到的畸变系数可对畸变进行矫正，径向畸变的矫正：

切向畸变：

（x2，y2）为p2的坐标，（＾x，＾y）为矫正后的坐标。由于噪声会影响模板识别，在标定之前先对灰度图像进行降噪处理，再通过图像直方图归一化来提高对比度。标定方法采用张正友平面标定法，该方法需要至少3个角度的棋盘图案，通过检测棋盘角点，利用旋转矩阵的正交性得到相机的内部、外部参数，利用最小二乘法估算相机的径向畸变系数。

3 深度数据的误差分析

3．1 非系统误差

非系统误差主要有低信噪比引起的误差、混合反射光引起的误差。当主动光对场景照明的强度低时将导致低的信噪比，同时会引起测距误差，低的照明区域比高的照明区域更容易受到噪声的影响。误差主要和信号的幅值、曝光时间及场景深度的不一致性有关［5］，可以通过滤掉幅值低的像素的方式来解决，或者是提高曝光时间的方式来解决。

混合反射光引起的误差又称为“跳边误差”。各像素均探测实际空间的一个区域，测得的距离是该区域的混合距离。如果某像素接收到的反射信号来自距离差异很大的多个物体表面，如物体的边缘，则该像素为混合像素，这样的像素得到的距离值是没有意义的，应该过滤掉。

采用 MPR（mixed pixel removal）［6］过滤器过滤混合像素误差。首先需要滤除曝光像素，然后再确定哪些像素是混合像素。如果一个像素是混合像素，那么该像素所对应的3D点云与其相邻8个像素对应的点云的距离，至少有一个会大于某个阈值thread。thread＝K×median（Di），median（Di）为这9个点云测量距离的中值，K为经验数据。

3．2 系统误差

3．2．1 温度有关的误差

摄像机内部的传感器对温度的变化十分敏感，因此温度波动会影响距离测量的精度。传感器温度波动由两方面引起，一是环境温度，二是摄像机工作升温。由于在平时使用中，环境温度是不可控的，所以只对摄像机工作引起的温度变化对传感器测量精度的影响进行分析。在此，用多次测量值与参考距离值的均方根作为测量精度，公式为：

xi为每个像素的距离测量值；xm为所有像素的平均值。

在实验条件下分别采用距摄像机1 m和2 m的均匀散射平面作为测量目标，曝光时间为400 μs。数据是每隔5 min采集1次。为了降低噪声影响，数据的每次采集都是同时拍摄10次，然后平均得到的。图3是Ti时刻采集的标准均方差与T0时刻标准均方差的差，可以看出，刚开机20 min，数据波动较大，40 min后数据才保持稳定。标准差最大波动1．5 mm，因此，要进行其他实验，最好是开机预热40 min以后才开始测量。

图3 均方差波动

3．2．2 摆动误差

PMD摄像机主要的系统误差被称为“摆动误差”［7］。与噪声不同，这种系统误差的算术平均值在重复测量下一般是非零值，通常会产生一个和测量值有关的连续偏移。“摆动误差”的成因是由于硬件或成本限制，所发射的信号不是完美正弦信号，由于正弦谐波信号是相位差计算的基本假设，因此测量的距离就会存在误差，“摆动误差”通常是在摄像机整个工作范围内周期变化。

为了评估系统误差，采用的方法为置相机正对白墙，在距白墙0．7～2．7 m范围内每隔10 cm测10次数据，平均后作为该测量位置的数据。通过滤除过曝光像素的数据后，将得到的数据与相应参考距离做差就可得到该测量点的误差数据。采用B样条曲线对平均后的误差数据进行最小二乘拟合，以得到误差分布曲线，进而可以对各位置的误差进行补偿。B样条曲线有更好的局部控制特性，得到的校正结果会更加准确。

用B样条进行拟合时，不断增加控制点的数量得到不同的曲线，在一系列曲线中找到数据点距曲线最大距离最小的曲线作为拟合度最高的曲线。控制点个数和最大距离的关系如表1所示。由表1可以看出，当n大于16时，虽然d更小，但此时出现过拟合，图4显示n＝18所示曲线的拟合情况，由图4可以看出，存在过拟合的情况。于是根据表1取n＝16。图5表示n＝16时的拟合情况。

表1 控制点个数与最大距离关系表

图4 由18个控制点拟合的曲线

图5 由16个控制点拟合的曲线

4 实验

实验采用的设备是PMD Camcube3．0摄像机，摄像机每次曝光都可以得到40 000个距离数据，以形成深度图像以及相应场景的幅值图像和亮度图像；PMD摄像机无歧义量程是L＝c／2f＝7．5 m。

由于没有给出像素尺寸参数，因此，通过标定只能获得ax＝f／dx，ay＝f／dy的值，其中，f为焦距；dx，dy分别为像素的尺寸。表2显示标定的结果，图像的真实中心坐标为（u0，v0），径向畸变系数为k1，k2，切向畸变系数为p1，p2。由此可以看出，各参数稳定。

表2 摄像机参数表

深度数据的补偿实验过程和估计摆动误差方法类似，在开机40 min后，将相机正对墙面随机放在不同距离处，在每个位置都测10次后取平均作为该位置测量值。然后对每个像素应用B样条曲线补偿模型进行补偿。补偿前后误差对比如图6所示，可以看出，由补偿前误差范围-16～-42 mm减小到补偿后的-5～5 mm，有效地减少了误差。

图6 补偿前后误差对比

5 结束语

基于PMD Camcube3．0摄像机分析了飞行时间法测距原理；对采集的亮度图片用张氏标定法进行了标定，得到了稳定的参数结果；针对影响深度数据精度的非系统误差，提出了增加摄像机曝光时间，应用MPR滤波器的解决方法；针对系统误差，提出了应用B样条曲线补偿，同时对温度的影响进行了分析，补偿效果明显。为了更进一步应用到真实环境中，还需要研究者进一步完善的工作有：根据物体反射率差异对距离造成影响进行补偿；对不同曝光时间对距离造成的影响进行补偿。

［1］ 潘华东，王其聪，谢 斌，等．飞行时间法三维成像摄像机数据处理方法研究［J］．浙江大学学报（工学版），2010，（6）：1049-1056．

［2］ Lindner，Marvin，Kolb Andreas．Lateral and depth calibration of PMD-distance sensors［J］．Lecture Notes in Computer Science 2006，4292：524-533．

［3］ Lange R，Seitz P．Solid-state time-of-flight range camera［J］．IEEE Journal of Quantum Electronics，2001，37（3）：390-397．

［4］ 李云翔．相机标定与三维重建技术研究［D］．青岛：青岛大学，2009．

［5］ Foix S，Alenya G，Torras．Lock-in Time-of-flight（ToF）cameras：A survey［J］．Sensors Journal，2011，11（9）：1917-1926．

［6］ Piatti D．Time-of-flight cameras：tests，calibration and multi-frame registration for automatic 3D objectreconstruction［D］．Politecnico di Torino，2010．

［7］ Lindner Marvin，Schiller Ingo，Kolb Andreas，et al．Time-of-flight sensor calibration for accuraterange sensing［J］．Computer Vision and Image Understanding，2010，114（12）：1318-1328．