基于视觉的车载组合导航系统

智凯旋　王峰　揭云飞　熊超伟　李学易

摘要：本文对基于视觉的车载组合导航系统进行了综述。首先阐述了融合视觉之前的车载组合导航系统的研究背景以及该研究方向，然后分析了融合视觉的三种组合导航的发展过程及研究现状。最后总结全文，并展望了随着计算机技术的飞速发展基于视觉的车载组合导航系统的研究方向。

关键词：自动驾驶；视觉导航；惯性导航；卫星导航；组合导航；滤波优化

中图分类号：：v249.32+8 文献标识码：A 文章编号：1009-3044（2018）19-0229-03

1 引言

随着科学技术的发展，车载导航已成为人们生活出行的必需品，尤其全球定位系统和惯性导航系统的组合具有较高的导航性能，得到了广泛的应用。但传统的组合导航系统仍然存在着不足之处，导致定位精度的降低，尤其是在特殊环境下，比如在GPS信号不佳时会产生定位誤差。

近几年来计算机视觉技术迅速发展，计算机视觉应用的领域越来越广泛，越来越多的组合导航系统也开始使用计算机视觉进行辅助。这极大地提高了组合导航的定位精度，并且在卫星信号中断等不利条件下保持组合导航的定位精确性。计算机视觉在组合导航的应用及大地促进了自动驾驶技术的发展，如谷歌、特斯拉等公司都已成功进行无人自动驾驶的试验，而计算机视觉在其中发挥关键性作用。

2 背景

GPS定位系统是当前定位系统不可或缺的技术，最初用于军事行动，慢慢发展到民用，可迅速定位用户的位置及海拔高度。其主要由三部分组成，地面控制部分、空间部分以及用户装置部分。GPS定位系统定位相对而言精度高，但其更新频率低，不能实时进行更新，且遇到多径干扰时则会增加定位误差。惯性导航系统通过检测物体运动的加速度和旋转运动而进行导航，其最大的特点是自主式导航，不依赖外部信息，也不向外界辐射信息。惯性导航在短时间内可以提供稳定的实时位置更新，但由于它的自主性，导致惯性导航的定位误差随时间的增长而逐渐增大。而GPS/INS组合导航则融合了各自导航系统的优势，弥补了各自导航定位的劣势。扩展卡尔曼滤波是最典型的用于进行GPS/INS组合导航的方法。而在组合导航系统加入计算机视觉可以进一步提高导航的精确性，同时视觉传感器还能在其他传感器发生故障时保持组合导航系统的稳定性。

3 视觉融合组合导航

相比较于其他传感器，视觉传感器成本较低，同样可以满足例如激光雷达等传感器的感知要求，随着近年来计算机处理能力的不断提高，基于视觉传感器的辅助导航更具有吸引力。

3.1 视觉/GPS组合导航系统

单独使用GPS导航时会出现导航基准线的误差，所以融合了视觉的GPS导航可以通过提取当前的特征信息，提高导航定位的精度。Francisco等人研究了一种使用视觉传感器和GPS传感器在稠密城市环境下进行车辆定位的方法，其中视觉系统用于捕获视频流，进而恢复环境，并通过来自每个图像对的特征检测，匹配与三角测量来进行车辆运动状态的估计，同时GPS接收器周期性地获得车辆方向和位置以调整视觉系统所估计的方向和位置[1]。Toulminet等研究的导航系统融合了单目相机、低成本的GPS和地图数据来实现厘米级的定位精度，基于视觉的车道检测模块提供高精度定位的横向空间信息，而基于视觉的交通标志检测模块则可同时提供高精度定位的纵向和横向空间信息[7]。陈艳等人构建了一个基于GPS和视觉的组合导航定位系统，首先用GPS获取车辆的位置信息、航向角与速度，而视觉系统则通过图像处理获得导航基准线，然后通过无迹卡尔曼滤波器进行滤波，得到车辆更新的位置信息[2]。

3.2 视觉/惯性导航组合导航系统

视觉与惯性导航的组合导航具有很高的精确性，近些年来取得很大的进展，视觉可以为惯性导航系统的误差补偿信息，而惯性导航系统则弥补了视觉的实时性缺点。F.Mirzaei等人提出了一个扩展卡尔曼滤波器，用于精确确定摄像机与IMU之间的变换，明确说明了IMU测量的时间相关性，同时还为估算的转换提供了品质因数即协方差，该方法不需要除了校准目标（3D激光扫描仪等）之外的所有特殊硬件[3]。由于大部分的视觉单目方法都缺乏公制尺度，Weiss等人研究通过添加配备三轴加速度计和陀螺仪的惯性传感器来解决这个问题，该方法独立于估算相机姿态的基础视觉算法，讲惯性导航模块和单目视觉分别作为独立的模块，再利用扩展卡尔曼滤波进行位置估计[4]。L.Kneip等人的研究将视觉利用滤波器融合到惯性导航上用于机器人在室外崎岖地形的实时定位[5]。

3.3 视觉/惯性导航/GPS组合导航系统

当前研究的更多的还是融合视觉、GPS和惯性导航的组合导航系统，该类导航系统进一步提高了定位的精度，各模块间优势互补，弥补了单个导航模块或两个导航模块的不足，适用于多种不利环境条件。MILLE等人的研究采用了PosteriorPose算法[16]，这本质上是一种可以用于增强GPS和惯性导航解决方案的贝叶斯粒子滤波方法，该方法基于视觉测量附近的车道以及停靠线进而测量已知地图的环境特征，测量研究结合了谨慎假设测试和误差建模，以解决由基于视觉的检测算法导致的非高斯错误[6]。G. Conte等人提出了用无源摄像机增强无人机（UAV）导航系统的可能性，为视觉应用于组合导航系统提供了借鉴，此方法是一种基于视觉的组合导航，该组合将惯性传感器，视觉测距和车载视频融合到地球参考系的航拍图像，能够在无GPS的情况下为无人机自主导航提供高速率和无漂移状态估计[8]。C.Cappelle等人提出了GPS/视觉辅助INS，其通过对位置、速度、航向和加速度的偏差估计用于二维运动模型，并通过图像处理来获得车辆的绝对位置和姿态矢量以校正INS的测量值[9]。L.Bai等人提出了一种基于视频导航的传感器融合框架，该类型的导航使车道线直接叠加到道路场景的视频上，而不是像传统导航系统那样叠加在二维地图上，然后用户可以根据视频中的标志行进。此方法还使用GPS和地理信息系统（GIS）来提供关于视觉模块道路的先验信息，而视觉模块则反过来校正GPS[10]。Wei等人使用立体视觉系统与GPS传感器在密集城市环境中进行车辆定位，其中立体视觉系统用于捕获视频，并通过对每个图像对的特征检测、匹配以及三角测量来估计车辆的行进情况，并验证了基于立体视觉的运动估计能在多径等情况引起的GPS信号缺失情况下的位置估计校正[11]。周莉等人使用双目视觉传感器与GNSS定位系统来进行车辆的定位、车道线检测以及规避障碍物的路径规划，接着利用卡尔曼滤波器融合了车辆的视觉定位坐标系与GPS定位坐标以进行矫正[12]。T. Chu等人研究了基于扩展卡尔曼滤波器的视觉/ IMU / GNSS组合导航系统，此组合导航使用在车辆在行进交通环境下收集的实时数据集来进行定位检测，研究结果表明此组合导航在某些不利环境条件下于紧密耦合的GNSS / IMU组合导航系统[13]。A. Vu等人提出一种传感器融合技术，使用计算机视觉和差分伪距全球定位系统进行测量，同时在不利环境下GPS信号不稳定时辅以惯性导航系统。该技术利用先验观测的已知特征数据和卫星的可观测数据来校正使用扩展卡尔曼滤波器的惯性导航模块[14]。Christopher Rose等人开发的导航系统利用基于视觉的特征测量值与基于航路点的地图来辅助GPS/惯性导航组合导航系统，分析了各种不利环境对此导航系统的影响，证明了此导航系统的稳定性[17]。T. Oskiper等人研究了了可以在室内和室外操作的增强现实应用的摄像机跟踪系统，该系统用误差状态扩展卡尔曼滤波器（EKF）以紧密耦合的方式融合惯性导航系统和相机，使得每个视觉跟踪特征都成为特征向量的一部分[15]。

4總结与展望

本文综合概述了基于视觉的车载组合导航系统的应用，该类组合系统是目前研究的前沿，由于基于激光雷达等传感器的成本太高，基于视觉的传感器模块将逐渐取代激光雷达的功能。在理想条件下基于视觉的车载组合导航系统具有很好的实时性，稳定性与鲁棒性。在一些不利环境条件下依然可以维持导航定位的精度，但是在特殊情况下，例如树木繁杂的地带、雨天等恶劣天气条件，定位精度会出现不同程度的偏差。并且视觉模块对光的敏感度非常高，在夜晚等光照不利的情况下也会影响整个组合导航系统的稳定性。综合来看，随着计算机技术的迅速发展，基于视觉的车载组合导航系统具有很高的应用前景，未来会成为导航系统发展的主流，广泛应用于市场。

参考文献：

[1] Francisco Rovira-Mas， Shufeng Han， Jiantao Wei. Fuzzy logic model for sensor fusion of machine vision and gps in autonomous navigation[C]//ASABE paper number051156， 2005.

[2] 陈艳，张漫，马文强，等. 基于 GPS 和机器视觉的组合导航定位方法[J]. 农业工程学报，2011，27（3）：126-130.

[3] F. Mirzaei， S. Roumeliotis. A Kalman filter-based algorithm for IMU-camera calibration[C]. Proceedings of the 2007 IEEE/RSJ International conference on Intelligent Robots and Systems， San Diego ， Ca ，USA， 2007：2427-2435.

[4] Weiss S， Siegwart R. Real-time metric state estimation for modular vision-inertial systems[C]// The Institute of Electrical and Electronic Engineers （IEEE）.Proceedings of 2011 International conference on Robotics and Automation. Shanghai， China ：IEEE，2011： 4531-4537.

[5] Kneip L， Weiss S， Siegwart R. Deterministic initialization of metric state estimation filters for loosely-couple monocular vison-inertial systems[C]//The Institute of Electrical and Engineers （IEEE）.Proceedings of 2011 International conference on Intelligent Robots and systems（IROS）. San Francisco ：IEEE，2011： 2235-2241.

[6] Miller I，Campbell M.Particle filtering for map-aided localization in sparse GPSenvironments[C].IEEE International Conference on Robotics and Automation.Pasadena， CA， USA， 2008：1834-1841.

[7] Li H， Nashashibi F， and Toulminet G. Localization for intelligent vehicle by fusingmono- camera， low-cost GPS and map data[C]// IEEE.Proceedings of International IEEE Annual Conference on Intelligent Transportation System. Funchal ：IEEE，2010： 1657-1662.

[8] Conte G， Doherty P. Vision-based unmanned aerial vehicle navigation using geo-referenced information[J]. EURASIP Journal on Advances in Signal Processing，2009， 1（1）：1-18.

[9] Cappelle C， Naijar M， and Pomorski D. Localization in urban environment using GPS and INS aided by monocular vision system and 3D geographical model[C]. IEEE. Proceedings of the 2007 IEEE Intelligent Vehicles Symposium Istanbul， Turkey， 2007： 811–816.

[10] Bai L and Wang Y. A sensor fusion framework using multiple particle filters for video-based navigation. IEEE.Transactions on Intelligent Transportation Systems，2010： 348-358.

[11] Wei Lijun，Cappelle C and Ruichek Y.GPS and stereovision-based visual odometry：application to urban scene mapping and intelligent vehicle localization[J].InternationalJournal of Vehicular Technology，2011.

[12] 周莉.基于GNSS與视觉的道路监测与避障技术[D].成都：电子科技大学，2015：24-30.

[13] Chu T， Guo N，and Backen S.Monocular camera/IMU/GNSS integration for ground vehicle navigation in challenging GNSS environments[J].IEEE Senors，2012，12（3）：3162-3185.

[14] Vu A， Ramanandan A and Chen A.Real-time computer vision/DGPS-aided inertial navigation system for lane-level vehicle navigation[J].Intelligent Transportation Systems，IEEE，2012，13（2）：899-913.

[15] Oskiper T， Samarasekera S and Kumar R. Multi-sensor navigation algorithm using monocular camera， IMU and GPS for large scale augmented reality[C]//IEEE. IEEE International Symposium on Mixed and Augmented Reality（ISMAR）. Atlanta，USA，2012：71-80.

[16] Y. Bar-Shalom， X. Rong Li， and T. Kirubarajan， Estimation with Applications to Tracking and Navigation： Theory， Algorithms and Software[M] .New York： John Wiley & Sons， Inc.， 2001.

[17] Rose C， Britt J， and Allen J. An integrated vehicle navigation system utilizing lane-detection and lateral position estimation systems in difficult environments for GPS[J]. IEEE Transaction on Intelligent Transportation Systems，2014，15（6）：2615-2629.