基于连续全景影像航向与俯仰角速度的计算与应用

向泽君，罗再谦，李 波

(重庆市勘测院，重庆400020)

基于连续全景影像航向与俯仰角速度的计算与应用

向泽君，罗再谦，李 波

(重庆市勘测院，重庆400020)

连续全景影像采集平台常常要集成陀螺仪或惯性导航单元等昂贵设备，造成硬件成本高、集成复杂等弊病。提出一种基于连续全景影像的航向和俯仰角速度的软件计算方法，不需要陀螺仪或惯性导航单元等硬件就可以计算航向和俯仰角速度，并成功应用在连续全景影像的坐标校正与图像防抖中。该方法避免了使用硬件设备，简化了全景采集平台的设计，降低了成本，取得了理想的效果。

连续全景影像;SoftIMU;航向角速度;俯仰角速度

一、引 言

全景影像，即360°无死角的图片。连续全景影像是由采集时间间隔相等的多张全景影像按时间顺序排序的视频全景。连续全景影像采集平台由全景采集镜头、云台支架、运载车辆、附属设备构成。运载车辆在全景采集过程中的航向角速度与俯仰角速度对全景数据的应用至关重要［1］。

目前，众所周知的连续全景影像采集平台大都使用陀螺仪或者惯性导航单元(inertial measurement unit，IMU)及辅助电子设备来获取航向与俯仰角速度数据。大多数连续全景影像采集平台都集成了全景摄像机、陀螺仪或IMU、GPS、车速传感器，以及连接这些传感器的电子设备。它在采集过程中，把GPS获得的经纬度坐标，陀螺仪或IMU获得的角速度，以及汽车速度通过一定算法，求解出采集平台的运行轨迹。这种技术方案价格昂贵，并且设计复杂［2］。

本文通过跟踪连续全景影像中的特征点坐标，利用连续同名点的水平及垂直位移与全景图片的几何关系，把像素位移转换为角度的旋转，最终计算出全景采集平台的航向与俯仰角速度。

二、问题与思路

连续全景影像的采集系统一般由视频采集设备、GPS接收器、移动工作站及配套设备组成。车辆顶部架设全景视频采集设备和GPS接收器，在车辆行驶过程中采集道路周边360°的全景视频和坐标。采集中，一个场景由多张图片和一个坐标组成，经图像拼接与融合后得到球面投影的全景帧(如图1所示)。连续采集的全景帧经过视频处理后，就得到连续全景影像数据，其中每一帧都对应一个坐标。

图1 球面投影的全景影像

在实践中，因受城市楼宇与树木的遮挡，GPS设备采集的坐标并不准确，而视频设备的采集频率要比GPS采集频率高很多。因此，不可能针对每一帧都获得一个高精度的坐标。一般是通过加装IMU等硬件设备来获得每一帧的坐标或者姿态。但IMU设备及其辅助电子设备会增加整个采集系统的硬件成本［3］。

连续全景影像采集过程中，因采集车辆正前方或正后方的物体距离摄像机较远，汽车的直线运动不会引起这些景物在连续两个全景帧中同名像素的坐标变化，而其转向或颠簸运动会引起俯仰角变化，从而引起同名像素的坐标变化。根据这一现象，可以通过跟踪连续全景影像正前方或正后方同名像素的坐标变化来解算连续影像的航向与俯仰角度变化［4］。

三、算法与分析

1.算法步骤

根据以上原理，本文提出跟踪连续全景影像中的同名像素点坐标的变化来解算运载平台的航向与俯仰角速度，算法由以下步骤组成。

1)如图2所示，车载全景影像采集平台间隔地采集全景影像，构成全景影像图片。其中，采集的间隔时间为Δt，且设定相邻帧第i帧、第i+1帧采集到全景影像图片分别为Fi、Fi+1，所述全景影像图片的宽度为w像素，高度为h像素。当选用球面投影模型时，高度h为宽度w的二分之一，即h=。

图2 全景采集示意图

2)如图3所示，采用三维纹理映射技术将所述全景影像图片中的全景影像纹理映射至投影模型上。

3)利用三维技术，在投影模型的中心点设置摄像机，该摄像机与运载车辆行驶的正前方或者正后方在一条直线上，获得水平和垂直视野范围β°内的区域影像。设定所述区域影像的坐标变化与所述运载车辆的直线运动关系无关，利用三维中的渲染到纹理技术将所述投影模型上的区域影像渲染到区域影像图片上(如图3所示)。其中，设定相邻帧第i帧和第i+1帧采集到的区域影像图片分别为Pi、Pi+1，所述区域影像图片的宽度为wp像素，高度为hp像素。宽度wp等于高度hp，即wp=hp=，视野范围 β的取值范围为10°～30°。

4)以所述区域影像图片的中心点为原点建立坐标系统，如图4所示。图4中水平向右为X轴正向，垂直向上为Y轴正向，且计算第i帧所述区域影像图片在原点附近的任意像素点(u，v)的特征向量。

5)计算第i+1帧所述区域影像图片的小区域U={(x，y)|－c≤x－u≤c，－c≤y－v≤c}中所有像素点的特征向量集合(x，y)∈U}，其中，x、y均为整数。

图3 区域影像的获取

图4 区域影像图片的坐标系

7)根据投影模型单位宽度对应的角度，计算所述车载全景影像采集平台第i+1帧相对于第i帧的航向偏转角度和俯仰偏转角度。航向偏转角度的计算公式为dx=×(a－u);俯仰偏转角度的i+1计算公式为dy=×(b－v)。i+1

8)航向偏转角度/Δt、俯仰偏转角度/Δt，即获得第i+1帧相对于第i帧的航向角速度和俯仰角速度。其中，Δt为相邻帧的间隔时间。

2.关键技术

(1)纹理映射与渲染到纹理

在计算全景正前方图片Pi时，使用了计算机三维技术中的两个关键技术。首先，把球面投影的全景帧还原为全景，关键是在三维场景中建立经纬三角形网，并指定每一个顶点在全景帧中的纹理坐标;然后把三维中的虚拟摄像机设置在全景球的中心，指定摄像机方向指向正前方，并设置摄像机的水平与垂直视角;最后使用渲染到纹理技术，把虚拟摄像机拍摄的图片保存到Pi中。

(2)特征向量

特征向量是用来抽取像素点的特征，有多种技术方法。实际操作中，汽车正前方的图像变化会非常多，使用传统的图片块匹配算法准确性不高。在计算航向角速度时，本文使用如下方法来计算特征向量= (v0，v1，…，v2n)， 其中，vj=，0≤j≤2n为Pi中(u+j－n， v－k)像素的灰度值。本特征值定义实质上是以(u，v)为下底边的中心，把一个矩形区域的像素按列累加求和，并把该矩形从左到右每一列对应的和组成一个向量。

使用以上两种特征向量定义，其特征向量中蕴含了该点相当大区域内的特征信息，即使在图像变化比较大的情况下，算法依然非常稳定。

(3)提高特征点匹配的准确性

上述算法中，只计算了相邻两帧之间的匹配特征点，但是无法保证该匹配点每次都精确匹配。笔者使用以下两种方法来提高算法的稳定性。

1)连续两帧之间计算多组匹配点，然后求平均值作为这两帧之间的航向与俯仰变化角度。

2)在计算dxi，i－1(第i帧相对于i－1帧的航向偏移像素)时，考虑 dxi－1，i－2和 dxi，i－2，即 dxi= (dxi，i－1+dxi，i－2－dxi－1，i－2)/2。

3.误差分析

当通过车载全景影像采集平台前进方向区域影像图片时，车载全景影像采集平台向右转向时，航向角速度为正，反之为负;车载全景影像采集平台上坡时，俯仰角速度为正，反之为负。航向角速度和俯仰角速度的采样率与连续全景影像帧率相同;最小分辨率受全景帧分辨率限制，当w=4096，β=22.5°时，使用球面投影时，最小分辨率为0.088°。

本算法有一个假设就是正前方景物距离摄像机足够远。只考虑航向时，平台前进运动可以分解为直线前进、水平位移和转向3个分解运动。直线前进运动不会造成正前方景物的水平像素位移［6］，如果摄像机采样率为16帧/s，平台以30 km/h(约每帧0.52 m)的速度前进，平台最大转向速度为30°/s(约每帧1.9°)，全景帧分辨率为4096像素× 2048像素，则每帧水平偏移最大0.52×sin(1.9°)= 0.017 m。对于距离摄像机 L≈0.017/sin(360/ 4096)≈12 m外的景物，当每帧水平位移0.017 m时，不会产生像素的偏移，显然L＞12 m这个条件在绝大多数情况下都是满足的，也就是在绝大多数情况下，只有平台转向造成了特征点像素的水平位移［7］。

四、算法应用

本课题开发的DPM-π软件如图6所示。使用计算出来的航向数据来对采集的GPS坐标进行校准，其基本方法是：

1)首先计算航向角速度数据。

图6 算法应用

2)通过GPS插值计算每一帧的速度，并对速度滤波。

3)使用每一个GPS信号的HDOP过滤较高精度的GPS坐标，作为控制点。

4)通过控制点、航向角速度、速度恢复采集线路。

另外，在数据采集过程中，常常遇到路面颠簸的情况，造成采集的影像上下晃动严重。可以使用该算法中计算的俯仰角速度来解决这个问题，方法如下：

1)首先计算俯仰角速度，并且使用高通滤波器对俯仰角速度滤波，保留抖动严重的部分。

2)在播放连续实景影像时，把俯仰角速度积分，并把该积分角度增加到三维球的X轴上，从而抵消俯方向上的抖动。

五、结束语

为了降低车载全景影像采集平台的硬件成本。本文提出使用软件的方法来计算该平台的航向与俯仰角速度。本方法的原理是在车载全景影像采集平台的采集过程中，沿着运载车辆行驶方向的较小视野范围内像素点的坐标变化与运载车辆直线运动关系很小，而与运载车辆转向运动关系很大。本文给出了算法的具体步骤与关键技术，并定量分析了精度与误差，最后列举了坐标校正与图像防抖两个方面的算法应用。

［1］ 北京市测绘设计研究院.CJJ 8—1999城市测量规范［S］.北京：中国建筑工业出版社，1999.

［2］ 中华人民共和国国家质量监督检验检疫总局.GB/T 18314—2009全球定位系统(GPS)测量规范［S］.北京：中国标准出版社，2009.

［3］ 国家技术监督局.GB/T 7929—1995可量测的实景影像［S］.北京：中国标准出版社，1995.

［4］ 中华人民共和国国家质量监督检验检疫总局.GB/T 12979—2008近景摄影测量规范［S］.北京：中国标准出版社，2008.

［5］ 刘佳音，王忠立，贾云得.一种双目立体视觉系统的误差分析方法［J］.光学技术，2003(5)：29.

［6］ 于洪川，吴福朝.基于主动视觉的摄像机自标定方法［J］.机器人，1999(21)：1-7.

［7］ 顾峰华，高井祥，仇春平.近景摄影测量监测小变形体的误差分析与精度评定［J］.矿山测量，2005(6)：2.

Continuous Panoramic Image Based Course and Pitch Rate Calculation and Application

XIANG Zejun，LUO Zaiqian，LI Bo

0494-0911(2012)09-0048-03

P237

B

2012-03-21

向泽君(1965—)，男，重庆万州人，教授级高级工程师，主要研究方向为3S技术的研究和管理。