车载双目相机与惯性导航融合下的道路信息采集

杜 毅，杨国仁

（1.长安大学 电子与控制工程学院，陕西 西安 710000；2.浙江浩鑫工程技术有限公司，浙江 杭州 310000）

0 引 言

双目视觉技术起源于国外，美国麻省理工学院的Marr首先应用了双目匹配，奠定了双目视觉理论发展的基础。至20世纪70年代中期，Marr、Barrow以及Tenenbaum等人提出了双目视觉的成套理论体系，该理论的核心是利用数字图像进行物体的三维重构。立体视觉匹配是立体视觉研究的核心问题，不同的工程领域应采用合适的立体匹配方法。

国内对于双目视觉技术也有许多应用与研究。大部分团队都将双目视觉技术应用在了目标追踪和检测领域。张竞艺将目标追踪和双目立体视觉相结合，实现对运动目标的实时测距。郭胜杰把计算机视觉技术与渡槽裂缝检测相结合，实现了裂缝的测距、三维定位和尺度测量。同时，双目视觉技术也能应用在道路环境检测和三维重建领域。陈昆提出了一种基于双目视觉和激光雷达的道路环境感知方法。颜亚雄提出了一种基于双目视觉的道路SLAM算法，重点研究图像特征匹配和场景重建的改进算法。卢亚兵通过对双目图像进行特征提取及匹配实现了实时定位，并围绕特征提取、特征匹配优化、回环检测等环节进行了改进及论证分析。

在道路设施的管理与维护领域，国内一些研究团队提出了一些想法。朱吉认为公路养护管理信息系统的应用很好地解决了查询、统计、归档的问题，同时利用智能化的设备，通过信息化手段，可对日常养护作业实现全过程监管。伍朝辉、李青、朱琳等学者提出将BIM（Building Information Modeling, BIM）技术应用到道路设施维护领域，并且国内多个城市已经开始公路试点。

本文提出了以双目视觉技术为基础的道路信息采集系统。相比上述研究，本项目利用双目相机的图片和惯性导航采集的经纬度、方向角，通过公式计算出目标的矢量信息，对道路设施的管理和维护领域有较大作用。本设备成本低且安装便捷。激光雷达技术与双目视觉技术相比虽然更为精确，但在道路设施的日常维护中不需要这么高的精度，本方法的精度完全足够，而且激光雷达设备昂贵，完整的一套设备和软件需要几十万甚至几百万的投入。同时，激光雷达存在数据更新问题，激光雷达的数据体量庞大，数据处理、更新费用昂贵，不适合道路设施管理与维护的应用场景，也不适合道路情况变化较快的城市道路。

双目视觉技术和惯性导航的结合可以改变道路设施管理与维护领域的传统模式，甚至在数据处理平台搭建起来后，GPS定位精度足够的情况下，可以在出租车、公交车上安装双目视觉相机，将图像数据直接传输到平台的数据库统一管理，管理人员可以直接在平台上根据自己的需求处理某一个区域、某一段路程的数据，然后查看处理后的数据结果，是否存在道路设施损坏、偏移等情况。

1 数据采集

1.1 采集设备

移动道路信息采集车的结构如图1所示，由载体平台、双目相机、惯性导航、采集处理软件、电源构成。

图1 采集车系统结构

（1）载体平台：保护、固定相机和惯性导航，具有稳定支撑作用；

（2）双目相机：采集照片数据以及照片中的深度信息；

（3）惯性导航：采集车辆的经纬度、方向角；

（4）采集处理软件：对采集的信息进行处理、存储，及对设备进行监控；

（5）电源：为各分支部分供电，保证硬件正常运行。

1.2 采集流程

采集流程如图2所示，在对设备进行架设、检测、安装、调试之后进行数据采集，采集结束后关闭设备。

图2 采集流程

采集数据之前观察天气情况，尽量选择晴天或阴天，避免采集的信息误差较大。然后进行设备的检查与安装，设置采集设备的参数。参数设置完毕后，开启惯性导航以及采集处理软件，车辆停在原地，观察经纬度信息直至经纬度信息稳定之后车辆开始行驶，且行驶过程中尽量在一条车道上保持匀速行驶，避免换道、急转弯等影响采集数据精度的行为。行驶结束后，保持车辆停止直至经纬度信息稳定之后，关闭相机、惯性导航，卸载仪器设备。

2 目标定位原理

2.1 双目视觉原理

双目相机采取的深度信息涉及世界坐标系、相机坐标系、图像坐标系、像素坐标系之间的转换。双目视觉原理如图3所示。

图3 双目视觉原理

图3中，世界坐标系为-，作为参考坐标系，其描述相机和其他物体的实际位置关系；左相机的相机坐标系为-，右相机的相机坐标系为-，其中相机坐标系的原点为相机光心。左相机的图像坐标系为-，右相机的图像坐标系为-，其中图像坐标系的原点为图像中心点。作为世界坐标系下的目标点，被拍摄到图像后的像点分别是，。像点在图像坐标系下的坐标分别是（,），（,），像点在像素坐标系下的坐标分别是（,），（,）。左相机的焦距为f，右相机的焦距为f，左相机到右相机两者基线的距离为。

通过公式（1）和公式（2）的计算，获得物体在相机坐标系下的横向距离和纵向距离，即和。其中，相机焦距为、左右相机基线距离均可通过先验信息或相机标定得到，核心问题为视差，即-。

2.2 定位原理

已知一点经度、纬度和到另一点的距离和航向，根据公式（3）、公式（4）可以计算出另一点的经度、纬度。

式中：为经度；为纬度；为方位角（从北沿顺时针方向旋转），由惯性导航系统收集并传入电脑；为角距离；为目标之间的距离，由双目相机的Z、X计算而得；为地球半径；为拍照时车辆的经度；为拍照时车辆的纬度。

3 实验与结果分析

本次实验路段选自西安市长安区航天大道部分区域，手动选取照片中车道线的部分点，获取信息计算经纬度，空间坐标系为WGS-84坐标系，之后与无人机获取的影像进行对比，计算误差。结果表明，定位误差约1 m。部分车道线点定位误差见表1所列。

表1 部分车道线点定位误差

（,）代表车道线的点，++=0表示车道线的部分表达式。距离计算公式可表示为：

车道线定位点与处理后的无人机影像中的车道线进行比较，效果如图4所示。

图4 无人机影像

实验表明，平缓行驶状态下采集的道路信息比较准确，但一旦出现换道、超车等驾驶行为就会使得定位误差增大。

4 结 语

本文基于双目相机和惯性导航融合下的定位方法在每隔20 m进行拍摄的照片中，车道线的平均误差约1 m。本系统是处理时间短、采集设备价格低廉、数据处理过程快捷的采集系统，对于以后的智能化交通有着非常重要的作用。本研究仅考虑了两条车道线的定位，后续将融入深度网络的目标检测，形成一体化的道路信息采集、处理系统。