变焦相机标定在无人飞行器中的应用

宋丽华,余旭初,陈菊雷,李二森

(1.信息工程大学 测绘学院,河南 郑州 450052;2.军事经济学院 襄樊分院,湖北 襄樊 441118)

变焦相机标定在无人飞行器中的应用

宋丽华1,2,余旭初1,陈菊雷2,李二森1

(1.信息工程大学 测绘学院,河南 郑州 450052;2.军事经济学院 襄樊分院,湖北 襄樊 441118)

随着数码相机的普及和升级,高成像质量的非量测数码相机用于无人飞行器遥感已经成为现实。目前研究和应用中,变焦相机仅当作定焦相机使用,没有充分发挥其变焦的作用。文中通过利用OpenCV对两款变焦相机进行标定,分析变焦相机不同焦距的使用特点,总结变焦相机内参数与焦距之间的关系,为充分发挥变焦相机的作用提供一定的依据。

变焦相机;相机标定;内参数;无人飞行器

无人飞行器(Unmanned Aerial Vehicles,UAV s)主要包括无人飞艇和无人机等,我国研制无人飞行器已有几十年的历史,在总体设计、飞行控制、图像传输、发射回收、生产制造等方面积累了宝贵的经验,先后成功研制多种无人机和无人飞艇。无人飞行器具有高机动性、高分辨率、低成本等优势,可根据任务随时起飞,并可执行有人飞机不宜执行的任务,所获取的影像资料时效性强。利用无人飞行器影像可以实现重点地区地面信息的“实时”更新,广泛应用于昼夜空中侦察、战场监视、战场毁伤评估、边境巡逻等军事领域和航空摄影、地球物理勘探、灾情监测、海岸缉私等民用领域。

近年来,由于空域限制、成本控制等方面因素,小型无人机的研究和应用一直都是热点。小型无人机一般采用普通的商业数码相机作为传感器,这类相机没有经过标定、镜头畸变往往较大,在对影像进行预处理时必需予以考虑。确定摄像机内外参数及镜头畸变参数,这就是相机标定要解决的问题。为了得到成像质量较高的影像,所选用的数码相机一般都是各知名相机制造商生产的高端产品,这些相机大都配备变焦镜头。在实验和应用中都是将变焦镜头的调焦环固定,用固定焦距进行拍摄,这样无疑是对设备的极大浪费。为此,在变焦相机的标定上进行研究,寻找不同焦段上相机内参数的规律,保证通过实验发挥变焦相机更大的作用。

1 光学镜头的分类与成像特点

1.1 视场角

光学镜头在成像器件上呈现清晰图像的范围叫视场,视场边缘与镜头后节点所成的夹角叫视场角。视场角的计算公式为W =2tan-1b/2f.

式中:W为视场角,b为成像尺寸的高度,f为镜头焦距。

由此式可知,视场角的大小由成像面尺寸(相机的片窗尺寸或相机的CCD尺寸)和镜头焦距两个因素决定。对于成像器件尺寸相同的相机,视场角的大小由焦距决定。光学镜头的视场角决定相机记录景物范围的开阔程度。表 1列出具有2/3英寸CCD的数码相机不同焦距镜头和视场角的对应关系。

表1 2/3英寸CCD相机不同焦距镜头和视场角的对应关系

1.2 光学镜头的分类

1)标准镜头也称常用镜头,焦距等于摄影机画幅对角线的镜头称为标准镜头;

2)广角镜头也称短焦镜头,镜头焦距短于标准镜头的称为广角镜头;

3)长焦镜头也称窄角镜头,镜头焦距长于标准镜头的称为长焦镜头;

4)变焦镜头指镜头本身焦距可变的镜头,目前高端数码相机均配置变焦镜头。

1.3 长焦镜头成像特点

1)视角窄。长焦镜头视角小于 40°,例如,在75 mm定焦镜头或变焦镜头的75 mm焦段,视场角约 16°。焦距 100mm,视场角约 12°。

2)景深小。决定景深大小的因素包括焦距、光圈和物距,其中焦距是影响景深的显著因素。

3)影像大。长焦镜头的影像放大率,也就是影像大,所以在拍摄距离相同的情况下,长焦镜头比短焦镜头可以摄取较大的影像,将远处景物拉近。

1.4 广角镜头成像特点

广角定焦距镜头或用变焦距镜头中的广角部分拍摄的影视画面,具有和长焦镜头相反的影像特点。

1)视角宽,摄取景物的范围广阔;

2)景深大,对焦容易,画面清晰范围广;

3)影像透视比大,画面空间深度感强,近摄有曲像畸变现象。

2 相机标定

使用OpenCV对相机进行标定,OpenCV的标定函数使用针孔摄像机模型,一幅视图是通过将三维空间中的点透视变换投影到图像平面上得到的,其定义为

点在世界坐标系中的坐标;(u,v)为点投影在图像平面的坐标,以像素为单位;(u0,v0)为像主点坐标;α、β为像平面坐标系中u轴与v轴上以像素为单位的焦距。

内参数矩阵不依赖于场景的变化,只要焦距固定,便可以重复使用;旋转平移矩阵,也就是外参数矩阵[R|t]用以描述相机相对于某一固定场景的运动,或物体围绕相机的刚性运动,它随场景的不同而不同。

相机镜头通常有一些畸变,主要的畸变是径向畸变,也有轻微的切向畸变,知名镜头制造商生产的镜头,尤其是高级镜头的切向畸变非常微小,可以忽略不计。故本文只对径向畸变问题进行研究。

OpenCV标定概略步骤如下:

1)用函数cvLoad Image逐个载入多张图像。

2)用函数 cvFindChessboardCo rners筛选图像:将载入的一组图像逐张代入该函数中,如果返回值为1,则表示提取的角点数和设定的相同,角点提取成功,并将角点的概略坐标记录下来;如果返回值为0,则提取失败,该图像不可用。cvFindChessboardCo rners检测到的角点坐标是概略值,若要得到精确坐标,则应使用函数cvFindCo rnerSubPix。在该步骤中,应设定参加标定的图像数量,如果筛选后的图像数量不足,则应重新载入其它图像。

3)用函数 cvFindChessboardCorners和 cvFind-CornerSubPix保存角点坐标。cvFindCornerSubPix函数是通过迭代来得到具有子像素精度的角点坐标。

4)将角点在世界坐标系中和图像坐标系中的坐标值代入函数cvCalibrateCamera2中,得到相机的内外参数。

3 实验结果

标定实验对象为 Pentax K10D相机,配备16～200 mm镜头,FinePix S9600相机,配备 28～ 300mm镜头,实验结果如表2和表3所示。

表2 Pentax K10D相机标定结果

表3 FinePix S9600相机标定结果

由标定结果可看出α和β的差别在10个像素左右,且与焦距成严格的线性关系,这不难理解,因为这两个参数是像平面坐标系中u轴与v轴上以像素为单位的焦距,在此不必给出关系图。图1～图4分别显示两款相机的 u0、v0、k1、k24个内参数随焦距的增大而变化的曲线,可以从中得到一定的规律。

图1 Pentax K10D相机 u0、v0随焦距增大的变化规律

由图1和图2可以看出,相机内参数 u0、v0受焦距影响不大,并且与焦距成线性关系;由图3和图4可以看出,相机内参数 k1受焦距影响不大,且近似成线性关系,而 k2随着焦距的增大,其数值变化越来越快。经过对实验中各组畸变改正前后的图像进行比较,可以看出两款变焦相机各自所摄图像中,焦距最小的一组图像畸变最大,焦距最大的一组图像畸变最小,即焦距越大,几何畸变越小。

4 结 论

图4 FinePix S9600相机 k1、k2随焦距增大的变化规律

1)根据实验结果,选择变焦镜头的焦距时,不用考虑不同焦距时 u0、v0的影响,因为这两个参数在各焦距上的数值比较稳定,不随焦距增大而增大;k1、k2在短焦段都很微小,当焦距变大时,k1变化不大,k2变化越来越快。

2)短焦段适合区域侦查和监控。如果为了获得较大的视场,对所摄区域有较为整体的把握,进行大区域侦查或监控,则可选择该焦段,而且该焦段景深大,对焦容易,画面清晰范围广,也利于区域侦查;但由于变焦镜头短焦段的几何畸变较严重,焦距越小,畸变越大,不利于后期数据处理,故所摄影像不适合测图。也有谢洪等研究人员将短焦距宽视角影像作基准,将长焦距窄视角序列影像与之配准进行影像镶嵌,以减小拼接时误差的积累。

3)长焦段适合对重点地区进行监视。由于变焦镜头长焦段的视角窄,取景范围受到很大限制,呈现在画面中的影像区域较小,无人飞行器容易受气流影响而抖动,当飞行平台抖动时会造成所摄序列影像间重叠度发生剧变,同时,景深小也会造成影像局部区域的模糊,这两点都会给影像匹配等后期处理带来困难,因此,该焦段不适合拍摄地物高差较大的区域。如果为了测图,可选择略大于标准镜头焦距的焦段,适当增加航高,减小抖动带来的影响;长焦段的影像放大率大,特别适合特殊条件下对某重点地区进行监视。在战场上,处于高空的无人飞行器经过感兴趣区域时,在不改变航高的情况下,可以通过地面站发射信号,调节相机焦距,以获得更加清晰的影像。

4)由于短焦段和长焦段各有利弊,为了达到不同的航摄目的,无人飞行器搭载变焦相机时,可以一次起降完成多项任务,不再需要起降频繁更换相机,这样做无疑可以降低航摄成本,而相机在某一焦距时的内参数可以从预先标定得到的类似图1～图4关系中确定出来。

[1]刘瑞祯,于仕琪.OpenCV教程[M].北京:北京航空航天大学出版社,2007:393-404.

[2]陈胜勇,刘 盛.基于OpenCV的计算机视觉技术实现[M].北京:科学出版社,2008:364-383.

[3]陈 磊.计算机视觉类库OpenCV在VC中的应用[J].微计算机信息,2007,23(12):209-211.

[4]Z.A Flexible New Technique Fo r Camera Calibration.Technical Repo rt M SR-TR-98.71,M icrosoft Research,Dec 1998.Available Together w ith the Softw IL re[EB/OL].http://research.microsoft.com/zhang/Calib/..

[5]邱茂林,马颂德,李 毅.计算机视觉中摄像机定标综述[J].自动化学报,2000,26(1):6-9.

[6]刘静宇.航空摄影测量[M].北京:解放军出版社,1995.

[7]谢 洪,宫 照,黄小川.一种序列数字影像自动镶嵌的新方法[J].地理空间信息,2008,6(4):101-103.

[8]王明昕,赵东标,邵泽明.CCD摄像机内外参数标定技术研究[J].机械与电子,2004(3):4-7.

Zoom camera calibration and itsapplication in UAVs

SONG Li-hua1,2,YU Xu-chu1,CHEN Ju-lei2,L IEr-sen1
(1.Institute of Surveying and Mapping,Info rmation Engineering University,Zhengzhou 450052,China;2.Xiangfan Affiliated College,M ilitary Economy Academy,Xiangfan 441118,China)

As the p revalence and upgrade of digital cameras,it is realized that high quality non-metric digital cameras used in UAV s remote sensing.In current researches and app lications,zoom cameras are generally used as those w ith fixed lens,that is to say,we don’tmake the best use of the zoom function,and it is a w aste of the equipment.Through calibrating two zoom cameras using OpenCV,this paper analyses the characteristics of different focuses,summarizes the relationship s of interio r parameters w ith focuses,and p rovides evidence fo r making the best use of zoom cameras.

zoom camera;calibration;interio r parameters;UAV s

TP391.4

A

1006-7949(2010)01-0071-04

2009-07-07

宋丽华(1982-),男,硕士研究生.

[责任编辑李铭娜]