POS辅助车载组合全景影像路面角点特征匹配算法

王奕丹，闫　利

(武汉大学测绘学院，湖北 武汉 430079)



POS辅助车载组合全景影像路面角点特征匹配算法

王奕丹，闫利

(武汉大学测绘学院，湖北 武汉 430079)

POS Aided Road Surface Corner Features Matching on Vehicle-mounted Composite Panoramic Images

WANG Yidan，YAN Li

摘要：推荐了一种车载组合全景相机影像路面角点特征的匹配方法。路面到摄站的距离近，基高比大，是良好的区域网平差模型连接点，但是路面纹理匮乏，影像中存在移动物体和较为严重的尺度变化和仿射变形，难以匹配到正确的同名点。本文利用路面在一定范围内可近似为水平面的特点，根据相机与路面的距离确定近似路面，将影像路面角点投影到重叠影像，将同名点定位在一个小的矩形范围内；通过POS数据确定角点对应同名核线，矩形区域内距离核线最近的角点即为同名像点。本文匹配方法可获得一定数量的正确匹配同名点，显著降低了误匹配，内点率高，可以进一步精确估计像对间的基础矩阵，为其他地物的匹配提供了约束。

关键词：车载组合全景影像；POS数据；路面约束；核线约束；Harris角点

组合全景相机具有获取速度快、信息丰富全面、像素高、镜头畸变小、各个方向的分辨率近乎一致等优点[1-3]，因而广泛应用于各种移动测量系统中。如Google移动测量车采用的是水平方向放射分布8个相机、垂直向上一个相机的组合全景相机；Earthmine公司的Mars采集系统利用垂直分布的两台组合全景相机组成全景立体量测系统，每一个全景相机由水平方向放射性分布的4个鱼眼相机组成。

目前组合全景影像的普遍处理方法是将一个摄站获取的多张影像投影到球面、圆柱面或立方体面上拼接为一张影像[4-5]。文献[6]直接利用立方体全景影像匹配同名点，提出光流、光流幅度及尺度等约束条件，在短基线条件下可以有效地剔除误匹配，提高内点率。文献[7]提出光流聚类的车载全景影像匹配方法，建立影像间光流场，实现光流的均值漂移聚类，认为小的聚类中包含更多的杂乱光流，将其删除从而提高匹配的内点率。文献[8]提出全景影像的多特征匹配，利用SIFT提取建筑物上的斑点特征；用Forstner提取道路上的角点特征；用点云提取路面来约束模板匹配同名点；最终实现最小二乘精化匹配。以上方法在短基线的情况下可以取得较好的结果，但是在实际的影像采集过程中，受到车辆速度和相机快门速度的限制，各个摄站间的距离往往较大，此时车载全景影像间存在明显的尺度变化和仿射变形，且距离摄站越近的地物变形越严重，路面难以得到稳定的光流场且用模板匹配难以匹配到正确的同名点。

本文考虑到与远处建筑物上的特征点相比，路面点的基高比和交会角大，是良好的模型连接点，但匹配难度大，因此推荐了一种车载全景单片影像的路面点匹配方法：首先提取路面上的Harris角点[9]；利用相机与路面的距离得到近似路面，以路面作为介质得到左影像特征角点在右影像上同名点的概略位置；POS数据计算左影像特征角点对应同名核线[10]；概略位置周围一个小矩形区域内，距离核线最近的角点即为同名点。

一、算法概述

本文采用的车载组合全景相机由8个相机组成，如图1所示，图(a)为其实物图，图(b)为其内部结构图，其中标注了相机的编号及前进方向，各相机的视场角为69.21°，焦距为5 mm，像幅大小为2058×2456像素，像素大小为3.45 μm。

本文具体的技术路线如图2所示。

1. POS辅助路面约束

图1　组合全景相机系统实物与内部结构

图2　技术路线

图3　立体像对及其核线

(1)

(2)

式中

2.POS辅助核线约束

核线几何是数字摄影测量中影像匹配的基础。根据同名像点一定位于同名核线上的理论，可以将二维影像相关转化成一维影像相关，可显著提高匹配效率和可靠性[11]。一般情况下，需要先匹配出一定数量的同名点再平差解算像对间的基础矩阵，从而确定同名核线。但是车载组合全景影像中的路面存在明显的尺度变化和仿射变换及较多的移动物体，造成匹配同名点的内点率较低，无法准确地估计像对间的基础矩阵。本文采用POS数据的同名核线计算方法[10]。

(3)

(4)

式中，C1=BYZA-BZYA；C2=BZXA-BXYA；C3=BXYA-BYXA，同理影像B中其同名核线的表达式为

二、试验与分析

选取前后两个摄站中5号相机影像，如图4(a)所示，左图为影像A，右图为影像B。本文只提取路面角点，相机主光轴方向近似水平，路面约占影像的一半，因此只提取影像A下半部分的Harris角点特征，如图4(b)左图所示。利用本文的匹配方法，首先将影像A中的Harris角点通过近似路面投影到影像B，如图4(b)所示；在影像B的Harris角点特征集合中，找到在投影点确定的矩形窗口内且距离同名核线最近的点为同名点，如图4(c)所示；最后用RANSAC(random sample consensus)方法进一步估计两张影像的精确基础矩阵，同时剔除误匹配，如图4(d)所示；最终得到13个同名点，由于车辆自身部件遮挡，造成3个误匹配点，可以通过删除车辆自身特征点的方式剔除此类误匹配。提取影像Harris角点特征并用SIFT算子描述和匹配得到同名点如图4(e)所示，存在大量的误匹配，由于正确的同名点很少，较低的内点率导致RANSAC方法估计得到错误的基础矩阵，最终没能匹配到正确的同名点，如图4(f)所示。

图4　本文匹配方法与直接匹配方法比较

车辆沿路面行驶，道路方向平行于车辆的移动方向存在极为严重的尺度变化和大量的移动车辆，由于路面纹理匮乏，可用的角点特征有限，常规的匹配方法存在较多的误匹配，几乎无法得到正确的同名点。本文方法利用路面平直这一近似假设，缩小同名点的搜索范围；利用POS数据计算同名核线，确定距离核线最近的特征点为同名点，避免了尺度变化和仿射变形造成模板匹配的失败。虽然本文匹配方法得到的同名点数量少，但是误匹配少，内点率高，可以更为准确地估计基础矩阵，进一步剔除误匹配。

三、结束语

本文推荐了一种车载全景影像的路面角点特征匹配方法，利用道路在一定范围内可近似为平面的特点，通过近似路面将角点特征投影到重叠影像中，建立矩形区域，缩小同名点的搜索范围，最终通过POS数据计算同名核线，确定矩形范围内距离核线最近的点为同名点。相较于常规匹配方法，本文方法可以得到更多的正确同名点，高的内点率提高RANSAC估计基础矩阵的正确性和稳定性，更为准确的核线可以为其他地物匹配提供约束并为后续区域网平差提供高精度的模型连接点。

参考文献：

[1]JAFAR A P, ARMIN G. Sensor Modeling, Self-calibration and Accuracy Testing of Panoramic Cameras and Laser Scanners[J]. ISPRS Journal of Photogrammetry and Remote Sensing,2010,65(1):60-76.

[2]SATO T,IKEDA S,YOKOYA N, et al. Extrinsic Camera Parameter Recovery from Multiple Image Sequences Captured by an Omni-Directional Multi-camera System[C]∥Computer Vision-ECCV2004. Heidelberg: Springer Berlin Heidelberg, 2004.

[3]GLEDHILL D,TIAN G Y,TAYLOR D, et al. Panoramic Imaging—a Review[J]. Computers & Graphics,2003,27(3): 435-445.

[4]SHUM H, SZELISKI R. Systems and Experiment Paper: Construction of Panoramic Image Mosaics with Global and Local Alignment[J]. International Journal of Computer Vision,1999,36(2):101-130.

[5]SZELISKI R.Image Alignment and Stitching: a Tutorial[J]. Foundations and Trends R in Computer Graphics and Vision. 2006,2(1):100-104.

[6]张正鹏,江万寿,张靖.车载立方体全景影像匹配点的粗差检测方法[J]. 武汉大学学报(信息科学版),2014,39(10):1208-1212.

[7]张正鹏,江万寿,张靖.光流特征聚类的车载全景序列影像匹配方法[J].测绘学报, 2014, 43(12):1266-1273.

[8]季顺平,史云.车载全景相机的影像匹配和光束法平差[J]. 测绘学报,2013,42(1):94-100.

[9]SHI J,TOMASI C.Good Features to Track[C]∥Computer Vision and Pattern Recognition. Piscataway：IEEE, 1994.

[10]袁修孝,吴珍丽.基于POS数据的核线影像生成方法[J]. 武汉大学学报(信息科学版), 2008, 33(6):560-564.

[11]HAN J H, PARK J S. Contour Matching Using Epipolar Geometry[J]. IEEE Transaction on Pattern Analysis and Machine Intelligence, 2000, 22(4): 358-370.

中图分类号：P23

文献标识码：B

文章编号：0494-0911(2016)04-0024-04

通信作者：闫利

作者简介：王奕丹(1987—)，女，博士，主要研究方向为摄影测量。E-mail：wyd1004@whu.edu.cn

基金项目：国家科技支撑计划(2012BAJ23B03)

收稿日期：2015-06-09

引文格式： 王奕丹，闫利. POS辅助车载组合全景影像路面角点特征匹配算法[J].测绘通报，2016(4)：24-27.DOI:10.13474/j.cnki.11-2246.2016.0114.