鱼眼镜头全景影像可测量关键算法研究

詹总谦，王　鑫，彭　敏

(武汉大学测绘学院，湖北 武汉 430079)

The Key Measurable Algorithm Research Based on Panoramic Image of

Fish-eye Lens

ZHAN Zongqian,WANG Xin,PENG Min



鱼眼镜头全景影像可测量关键算法研究

詹总谦，王鑫，彭敏

(武汉大学测绘学院，湖北 武汉 430079)

TheKeyMeasurableAlgorithmResearchBasedonPanoramicImageof

Fish-eyeLens

ZHANZongqian,WANGXin,PENGMin

摘要：鱼眼镜头具有短焦距、大视场的优点，在虚拟实景、视频监控、智能交通、机器人导航等领域得到广泛的应用。随着测绘科学技术的发展，希望在广视角图片上有更多的信息，同时通过这些信息的获取能够更好地服务社会。鱼眼镜头摄像机拍摄的影像具有非常严重的变形，需要通过一定的方法将其纠正。本文提出了一种基于球面模型鱼眼影像畸变差修正、共线条件方程及相似三角形原理的全景影像可量测性方法,使全景图像在测绘领域的应用更加广泛。

关键词：鱼眼镜头;全景影像;球面模型;共线方程;相似三角形;可量测性

一、引言

随着测绘技术和社会需求的不断发展，全景相机及其360°全景影像已经广泛应用于测绘生产和其他社会服务中[1]。然而，目前的全景影像主要充当虚拟场景的角色，全景影像可视化软件通常只提供漫游和查询等功能,而基于影像的LBS(localbasedservice)则越来越受到人们的追捧[2]。

从场景中获取深度信息一直是机器视觉研究领域中最重要的问题之一[3]。地全景地图系统是数字城市建设的重要组成部分, 它不仅对政府监管部门在道路养护、城市管理及安保任务执行等方面具有辅助作用，还能为社会公众的出行提供便利[4]。

鱼眼镜头影像的改正和可量测算法是本文主要的研究问题[5]。在鱼眼镜头影像变形改正中，通过一种球面模型将原始影像重新经过一个投影以重新得到一幅改正以后的图像，这幅图像纠正了原始图像的横向和纵向的各种变形。另外一个重要技术，是对改正后的影像通过相机中心、像方点、物方点三点共线的共线方程及相似三角形的方法提出一种简单的、有效的测量方法。

二、 鱼眼图像改正

1. 球面模型原理及方法

球面模型的成像方式简单且校正起来比较容易。本文采用球面模型来改正鱼眼镜头影像的变形[6]。如图1所示，OZ为鱼眼镜头的主光轴，XOY面是成像平面， f是焦距，O(0,0,0)为坐标原点，也是相机中心所处的位置，M(x,y,z)为空间一点。连接OM交球面于P，过P点作OZ的平行线交XOY面于点Q(x,y)，点Q即为空间点M(x,y,z)的球面投影，图中平面是切于镜头的一个平面，OM与其交于P′(x′,y′)，O′(x′,y′)是切平面与主光轴OZ的交点。

图1　纠正模型

在原始影像平面内，以图像中心为原点，Q点坐标为(x,y)，则Q到图像中心的距离为

(1)

β=r/f

(2)

R=tanβ×f

(3)

P′在投影切平面以O′为中心的坐标值为

(4)

式中，β为O′OP对应的弧度；Q点对应在投影切平面上P′点到图片中心距离R。由以上4个公式可以推出由原始影像经投影后，投影影像的高和宽分别为H、W。

根据以上原理，也可以通过已知投影切平面上一点P′(x′,y′)的坐标反算出该点对应于原始影像上某一点的坐标Q(x,y)，以下是解算公式

(5)

式中，α为在投影切平面内P′点跟OX′轴的夹角；S为P′点到图像中心O′的距离；κ为O′OP对应的弧度；L为在图像原始平面内P′对应点Q到图像中心的距离；x、y为对应的横纵坐标值。

2. 试验结果

图2和图3分别为原始影像和经过畸变纠正后的影像对比。

图2　原始影像

图3　纠正后影像

本次试验使用的数据是全景相机ladybug3所采集的数据，ladybug3相机采用的就是鱼眼镜头，其焦距为3.3mm，像元大小为4.4×10-6m，拍摄时相机中心距地面的距离为1.205m。经过重采样[7]，通过对图2与图3对比试验发现通过球面模型方法能很好地改正鱼眼镜头带来的变形。

三、 全景影像可测量关键算法

1. 全景可测量算法

在全景测量中，根据在物方点、像点、相机中心在成像空间的特点——三点共线[8-9]，提出一种简单的相似三角形方法来解决全景测量技术问题。在全景测量中一共可以分为三种直线的距离测量，分别是：①地面任意两点之间距离测量；②过地面某点竖直直线距离量测；③在某一竖直面内非竖直线距离量测。不同的直线类型所用到的测量方法有所不同，但是基本思想都是摄影测量共线方程和三角形相似的原理。

2. 地面任意两点之间距离量测

地面任意两点之间的距离量测，根据图4提出一种更简单实用的方法。

图4　地面量测

在图4中，半圆代表鱼眼镜头；S为投影切平面；S′为地面；A、B分别是图像上的两点；O′为投影切平面的中心点；A′、B′则是在地面上对应的两个物方点；L1、L2分别是过两物方点做沿相片横向方向的垂直线。AO′的距离可以根据投影A点在投影切平面的纵坐标位置y以及投影后影像高H来确定，公式如下

O′A=|y-H/2|×d

(6)

(7)

由于P为S平面与直线P′A′的交点，所以P′P=f，OP=h(h为相机中心高)。由以上已知条件可以换算出

L1=f×h/|yA×d-H/2×d|

(8)

L2=f×h/|yB×d-H/2×d|

(9)

(10)

利用相似三角形，令A、B在投影切平面内沿横向方向到中心距离为m1、m2，令A′、B′在沿着相片横向方向上到D的值为M1、M2

(11)

(12)

因此

由A′M和B′M可以得到地面任意两点之间的距离

(13)

3. 竖直直线之间两点之间的距离

在过地面某一点与地面垂直的一条直线的距离也是可以直接量测的。这种直线的特点是与地面必须有一个交点且这个交点作为直线的一个端点，如图5所示。

图5　竖直量测

在图5中，O′M是与地面平行且垂直于A′B′的直线；A′、B′则是在地面上对应的两个物方点；L1是过物方点A′做沿相片横向方向的垂直线，因此利用式(8)即能求出L1的距离，定义L1为物方点A′到投影切平面的纵深距离，由于物方点B′与A′的连线与地面相互垂直，因此从图2、图3可以得出，B′到投影切平面的纵深距离也是L1。由相似三角形原理

(14)

由式(8)中L1的距离公式可以推出

因此其竖直距离为

(15)

4. 在某一竖直面内非竖直线距离量测

任意竖直平面内斜直线的距离量测是相对于其他方法来说最复杂的一种，从上述两种直线的距离求解中不难发现，求解距离的关键在于到投影切平面纵深距离的确定，如果两物方点的纵深距离确定了，确定直线的距离根据相似三角形原理以及欧氏距离公式即可求解。如图6所示。

图6　任意非竖直直线量测

图6中，S″是某任意与地面垂直的竖直平面；A′、B′是竖直平面内任意某两点；L1、L2分别是过两物方点做沿相片横向方向的垂直线；L为竖直平面与地面的交线，过物方两点分别作L的垂线交于a、b两点，过b点作L1的直线垂线交于n点。

从图6中无法直接求出两物方点到投影切平面的纵深距离，但是不难发现，A′、B′到投影切平面的距离等于a、b两点到投影切平面的距离L1、L2，根据式(8)可知，即是要求得a、b对应的纵坐标。

本文提出一种网格法：①在原始影像上确定S"与地面的相交线。首先在原始图像上选取过这条相交线的两个点，然后根据式(1)—式(4)求出在投影切平面的坐标以得出在地面的距离，即可求出这条相交线即L与投影切平面横向的夹角，再在这两点以某段距离分别向两端作n次延伸，这时就有2n+2个地面点，根据式(6)—式(12)反算出在投影切平面的坐标，根据式(5)反算出在原始图像的坐标，将这些点连起来就是一条线，在原始图片上应该是沿着这条交线的曲线。②过这2n+2个点作地面垂线，然后以某段距离作n次延伸，同步骤①，根据式(14)和式(15)确定这2n+2个点的纵坐标，然后把这2n+2个点相连，在原始图像上就有一个代表S"面的网格出现。③获取S′面(地面)的网格。原理同步骤②，在确定完2n+2个点后，每个点对应着一个到投影切平面的纵深L，只要再沿着这个纵深方向取某一个长度的距离选点，根据式(1)—式(4)就能反算出这些点在投影切平面的坐标，然后再利用式(5)反算出在原始图片上的坐标，最后，将这些点连接，即形成一个代表着地面的网格。

(16)

四、测量结果及分析

1. 试验量测结果

(1) 地面距离量测

如图7所示，图(a)中的2.960 038是斑马线的准确距离，图(b)、图(c)是量测结果，图(b)量测的斑马线就是图(a)中的斑马线，而图(c)中的斑马线是与图(a)中平行的一条斑马线。

(2) 垂直距离量测

图7　地面量测结果对比

图8　垂直量测结果对比

在图8中，图(a)中的7.941 086是电线杆的准确值，图(b)、图(c)是测量结果，这两幅图从不同的地方出发量测电线杆的高度，图(b)和图(c)的测量结果相差了近10cm左右，由于在图(b)中是从电线杆台阶下面的路面开始测量，而在图(c)中测量则是在台阶上从路灯的底部就开始测量，这两个测量值之间实际上相差一个台阶的高度，从这个测量结果可以得出，台阶大概的高度为10cm左右。

(3) 某竖直面内非竖直直线量测

图9　非竖直直线量测

2. 试验量测结果分析

在上述3种直线的量测试验过程中，其试验结果说明通过本文使用的测量方法，测量误差在10%以内，在地面直线、垂直于地面的竖直直线及任意竖直平面内任意直线的量测结果都具有一定的可靠性。

五、结束语

在本次试验中，首次尝试利用鱼眼镜头拍摄的影像资料进行一定精度的近景量测，解决了鱼眼镜头变形改正及近景量测两个难题。在解决鱼眼镜头

变形问题中，利用球面投影的方法，将原始影像上的信息经过一个以焦距f为半径的球面投影可以较好地改正鱼眼镜头的变形。在距离量测部分，首先利用摄影测量中的共线方程证明了全景可测量性，然后根据相机中心、像点、物方点三点共线的关系及相似三角形的原理用简单易懂的方法得到直线的量测方法，使得全景图像在测绘地理信息系统领域的应用更加广泛。

参考文献：

[1]向泽君，罗再谦，李波.基于连续全景影像航向与俯仰角速度的计算与应用[J].测绘通报，2012(9):48-54.

[2]徐辛超，徐爱功，苏丽娟.基于影像服务的LBS应用研究[J].测绘通报，2012(1)：29-32.

[3]陆斌，刘波.动态全景图像在模拟跟踪测量中的应用[J].微处理机，2006(1):60-62.

[4]伍春红，游福成，杨扬.一种基于3维全景图像技术的深度测量方法[J].中国图象图形学报，2006，11(4):563-569.

[5]WANGXF,FENGWJ,LIUQJ，etal.CalibrationResearchonFish-eyeLens[C]∥IEEEInternationalConferenceonInformationandAutomation.Harbin：IEEEComputerSociety,2010.

[6]英向话，胡占义.一种基于球面透视投影约束的鱼眼镜头校正方法[J].计算机学报，2003,26(12):1702-1708.

[7]郝丽，孔祥维 .数字图像重采样检测研究[D].大连：大连理工大学，2010.

[8]王佩军，徐亚明.摄影测量学[M].武汉：武汉大学出版社，2010.

[9]冯文灏.近景摄影测量[M]. 武汉：武汉大学出版社，2002.

引文格式： 詹总谦，王鑫，彭敏. 鱼眼镜头全景影像可测量关键算法研究[J].测绘通报，2015(1)：70-74.DOI:10.13474/j.cnki.11-2246.2015.0014

作者简介：詹总谦(1978—)，男，副教授，研究方向为数字摄影测量与计算机视觉。E-mail：543147143@qq.com

基金项目：国家自然基金(41101418；41071292)；国家科技支撑计划(2012BAJ23B03)

收稿日期：2013-12-30

中图分类号：P23

文献标识码：B

文章编号：0494-0911(2015)01-0070-05