基于机器视觉筛选GPS卫星信号的无人驾驶汽车组合导航方法*

段建民，石　慧，战宇辰

（北京工业大学 城市交通学院，北京100124）

基于机器视觉筛选GPS卫星信号的无人驾驶汽车组合导航方法*

段建民，石慧，战宇辰

（北京工业大学 城市交通学院，北京100124）

针对无人驾驶智能车在城市道路环境中全球定位系统信号以非视距传播而造成伪距估计偏差，导致定位不准确的问题，提出了一种以视觉信息为筛选条件的组合导航方法。该系统通过摄像头采集到车体周围环境信息图像并处理，最终得到建筑物上隅角与下隅角的差值，换算出建筑物相对车体所形成的遮挡角度，以此筛选GPS卫星有效信息，采用容积卡尔曼滤波对组合导航信息进行滤波估计，提高导航信息准确性。实验证明，该系统能有效弥补无人驾驶智能车城市道路环境中GPS信号偏差的缺点，较传统组合方式相比具有较高的可靠性及实用价值。

组合导航；非视距传播；机器视觉；城市环境

0　引言

自主驾驶智能车辆的研究受到许多国家的重视，并成为研究的重要内容。车辆实现无人驾驶的前提是其配备的导航系统能够实时、准确地提供车辆的状态信息。其中以惯性导航系统（INS）和全球定位系统（GPS）提供信息更为丰富完备。车载导航系统常采用多传感器进行组合导航，常见组合形式有INS/GPS组合导航。文献[1]将GPS观测姿态信息引入组合导航滤波模型，提高了组合导航系统的估计精度，且提高了方位失准角的估计速度，但是没顾及在城市化道路中GPS信号易受建筑群遮挡，造成信号丢失或跳变的问题，因此有很多学者提出INS/GPS/视觉的组合方式。文献[2]采用此方法，但该方法矩阵维数较高，易出现数值不稳定情况，存在不合理性。针对以上问题，本文提出一种新的组合导航方法，通过摄像头采集的周围环境信息对GPS的卫星数据进行筛选后再进行组合导航。并通过实车实验验证了其可靠的导航性能和突出的容错性，具有较高的实用价值。

1　基于视觉筛选的组合导航方法系统框架

本文提出的导航系统框架如图1所示，通过机器视觉采集周围环境信息，处理得到周围建筑物对车体遮挡角度并与GPS接收到的卫星与地面夹角信息进行对比，判定GPS卫星有效性并筛选。由于GPS基于无线电定位技术，其中视距传播(Line of Sight，LOS)是准确定位的必要条件。而移动端与基站间大多通过反射、散射、衍射方式到达接收端，多为非视距传播（Not Line of Sight，NLOS），因此对GPS卫星数据的准确性筛选很有必要。

图1　组合导航系统框架

2　基于视觉筛选的GPS卫星有效性判定

2.1视觉模块坐标定义

摄像头成像变换涉及不同坐标系之间的转换。在视觉系统中需将大地坐标系换算成摄像头坐标系，大地坐标系原点 Ow在车体重心正下方地面上，zv轴垂直向上，xv轴平行地面指向车体前进方向，yv轴在图中垂直纸面向外。Oc为摄像机坐标系原点，与Ow点的水平距离为l1，与地面的垂直距离为 l2。α，β，γ分别为摄像头旋转角度，本文摄像头只绕 x，y，z轴旋转，该轴与水平面倾斜角为α，旋转角度β、γ为0。如图 2所示，(xc，yc，zc)T为摄像头坐标系，大地坐标系中点(xw，yw，zw)T换算到(xc，yc，zc)T为摄像头坐标系采用式(1)的方法[3-5]。

图2　视觉坐标相对车体坐标换算

其中(tx，ty，tz)T为平移向量，R为旋转矩阵。

本文以大地坐标系为主坐标系，统一其他坐标系[16]。视觉坐标系中X轴的正方向为行驶方向的负方向，Y轴的正方向垂直于X轴，水平向右。建筑物的特征点其在视觉坐标系中的坐标定义为(xpvision，ypvision)。摄像头在大地坐标系中的位置是由GPS实时获得的，其坐标为(xv，yv)，通过此坐标和智能车航向角可以将视觉坐标系转换到大地坐标系下，求出目标点在大地坐标系下的坐标(xp，yp)。建筑物特征点在大地坐标中的坐标与视觉坐标系中的坐标可表示为：

其中，由 GPS提供车辆行驶航向角 φv。

2.2周围环境图像处理方法

图像经处理后提取出代表建筑物特征的候选点。为了寻找建筑物上下角点，对图像做Canny变换以累计概率霍夫变换寻找连续性较高的、近水平和竖直方向的直线簇作为建筑边缘。寻找水平和竖直方向建筑边缘的交点作为建筑物上角点，以上角点作垂线，与最大填充域的交点最为建筑物下角点。然后，分别计算各交点到车体的距离。最后求处于同一垂直线上的点（大于一个的）到车体点距离的余弦值[6]。

建筑物的俯仰角换算方法定义如下：

2.3非视距环境下卫星信号可用性检测

本文采用改进的NLOS识别方法，主要为判断车体周围的建筑物是否遮挡了GPS提供的卫星信号，原理如图3所示。

图3　NLOS情况下信号检测示意图

其中，a，b分别表示被建筑物遮挡而进行非视距传播的卫星与未被遮挡直接进行视距传播的卫星。如果卫星的高度Ea、Eb以及与航向角夹角 Aa、Ab属于建筑物Bn遮挡区域，此卫星被定义为NLOS情况。卫星高度与车体所在位置水平切线的夹角定义为：

其中，rs为卫星轨道半径，re为地球半径，Ls为卫星所处纬度，Le为参照点所处纬度，ls为卫星所处经度，le参考点的经度。

因此，若 cos(Ea)

经过视觉筛选后的GPS数据与INS采用松组合模式，状态变量取为15维，包括3个相对平面坐标系的位置及速度误差、姿态角误差、加速度计偏差、陀螺漂移[7-8]。

其中F为系统状态转移矩阵，u为状态过程噪声向量。

组合导航数据融合采用松耦合方式，取GPS/INS输出的位置和速度之差作为观测值，构造观测量。

3　实验分析

本文以无人驾驶智能车BJUT-IV为实验对象如图4所示。BJUT-IV实验平台安装应用载波相位技术的差分GPS，设备组为 FlexPak-G2系列 GPS接收处理机和PDL4535数传电台及GPS-702-GG接收天线。将摄像机安装在导航车前端的支架上，距离地面高度为 1.73 m，与水平面平行，距车体中心约1 m。

图4　北京工业大学无人驾驶智能车

BJUT-IV组合导航控制系统以 Microsoft VS2008为软件开发平台并引入MapX地图控件，编写了导航与定位系统软件，利用此软件平台进行实验验证。

实车实验环境及周边环境情况如图5所示，试验路段为一段两侧有连续建筑物群遮挡的NLOS路段，如下图所示。

图5　行车路线及路线周边环境

BJUT-IV采用本文所提出的基于摄像头的组合导航系统，重新定义坐标原点O于北纬39.871 9°，东经116.478 9°（即图6中N8点为原点）。实验中GPS/INS组合导航处理结果呈现于一台移动电脑上，如图6所示，视觉模块单独在一台移动电脑上运行，如图7所示。

图6　组合导航系统软件界面

图7　视觉筛选界面

试验车辆严格按照试验道路中线以低于 20 m/s的速度沿实验路线低速行驶5次，为未采用视觉筛选法GPS数据，选取其中一次结果进行分析讨论，如图 8所示，画圈部分未有较大偏差，究其原因，由于道路周围存在较高建筑物，遮挡了部分GPS卫星信号，导致其传播方式为NLOS，即使采用跟踪强度较高平滑度较好的滤波算法仍造成定位精度下降，图8中N6到N7段路线出现多处偏差甚至跳变，此种情况和前文分析周围建筑物群密集情况相符。

图8　未采用视觉筛选法

如图9所示，采用本文提出的导航方法对GPS数据信号进行筛选后，依旧行驶在建筑物密集的N6至N7路段轨迹，估计数据稳定准确，且在其他有建筑物遮挡的路段均未发生大偏差。

图9　采用视觉筛选法

4　结论

无人驾驶智能车行驶在城市道路上，其配备导航系统容易受到连续建筑物群遮挡，进而造成接收机接收到的GPS信号为NLOS传播方式，最终导致定位偏差甚至跳变的问题。本文提出的基于视觉筛选GPS信号的组合导航方法首先通过摄像头采集到的车体周围环境信息，处理得出周围建筑物与车体当前位置形成的遮挡角度，并与此时接收机接收到的GPS导航的卫星所处俯仰角进行对比，若建筑物的遮挡角度大于卫星的俯仰角，则建筑物遮挡了部分卫星信号，造成卫星信号非视距传播，导致定位精度下降，因此通过视觉模块对此类卫星信号进行剔除。将经过视觉模块筛选后的GPS卫星数据信息与惯导进行组合导航，从而最大限度降低由于建筑物群遮挡对车辆定位系统准确性造成的影响。实车实验表明，无人驾驶汽车采用本文提出的基于机器视觉筛选的组合导航系统，能在道路两侧存在连续建筑物遮挡的情况下，保证定位信息不发生跳变，与传统方法相比定位精度明显提高，满足了无人驾驶智能汽车在城市路况下导航需求，方法新颖且具有很高的工程实用价值。

[1]周建军.车辆自动导航定位与控制方法研究[D].北京：中国农业大学，2009.

[2]Sun Chuanwei，Liu Jingao.The design of low-pass filter based on megacore functions[C].2nd InternationalConference on Education TechnologyandComputer.2010，V1-24-V1-27.

[3]邱茂林，马颂德，李毅.计算机视觉中摄像机定标综述[J].自动化学报，2000，26(1)：43－55.

[4]杨少荣，吴迪靖，段德山.机器视觉算法与应用[M].北京：清华大学出版社，2008.

[5]赵颖，孙群，王书茂.单目视觉导航智能车辆的自定位方法[J].计算机工程与设计，2008，29(9)：2372－2374.

[6]Jay A F，Tony D G，Matthew J B.Real-time differential carrier phase GPS-aided INS[J].IEEE Transactions on Control Systems Technology，2000，8(4)：709-720.

[7]赵其杰，屠大维，高健，等.基于 Kalman滤波的视觉预测目标跟踪及其应用[J].光学精密工程，2008(5)：937-942.

[8]吴凤柱，何矞，焦旭，等.GPS/SINS紧组合导航系统信息融合技术研究[J].电子技术应用，2013(2)：67-69，73.

Integrated navigation system for unmanned intelligent vehicle based on vision

Duan Jianmin，Shi Hui，Zhan Yuchen
(Beijing University of Technology，Institute of Urban Traffic，Beijing 100124，China)

In view of the unmanned intelligent vehicles in urban road environment,the global positioning system(GPS)signal to non-line-of-sight(NLOS)propagation caused by the pseudorange deviation,lead to inaccurate positioning problems,puts forward a kind of method for integrated navigation.The system through the camera to process images,finally get the corner on the building and the angle difference of conversion of building block angle,which is formed by the relative body and screening of GPS satellite information effectively.The system adopts the adaptive cubature Kalman filtering for filter estimation,in order to improve the accuracy of navigation information.Experiments show that the system can effectively recluce GPS signal deviation in urban road environment,which has high reliability and practical value.

integrated navigation；non-line of sight；vision；urban road environment

TP39

A

10.16157/j.issn.0258-7998.2016.01.029

北京市教委重点项目；北京市自然科学基金(JJ002790200802)；北京市属高等学校人才强教计划资助项目(038000543115025)

2015-08-20)

段建民（1959-），男，博士，教授，主要研究方向：汽车电子控制及智能化技术。

石慧（1990-），通讯作者，女，硕士研究生，主要研究方向：多传感器融合技术，E-mail：603109545@qq.com。

战宇辰（1990-），男，硕士研究生，主要研究方向：机器视觉。

中文引用格式：段建民，石慧，战宇辰.基于机器视觉筛选 GPS卫星信号的无人驾驶汽车组合导航方法[J].电子技术应用，2016，42(1)：111-114.

英文引用格式：Duan Jianmin，Shi Hui，Zhan Yuchen.Integrated navigation system for unmanned intelligent vehicle based on vision[J].Application of Electronic Technique，2016，42(1)：111-114.