无人水面艇双目立体视觉系统设计*
2015-11-10裴肖颜王建华赵梦铠
裴肖颜,王建华,赵梦铠
(上海海事大学 航运技术与控制工程重点实验室,上海 201306)
0 引言
无人水面艇(Unmanned Surface Vehicle,USV)也称水面机器人,主要用于执行水上不适于载人船只执行的危险任务,如民用的环境勘测、海事搜救和军事上的扫雷、反恐攻击等。20世纪90年代,随着导航技术和控制技术的不断完善,出现了大量的USV研究项目[1],其中以美国和以色列最具代表性,而国内起步较晚,大部分还处于遥控研发阶段[2]。
导航定位系统是实现无人水面艇自主航行的关键,其常用的定位方式有惯性定位、雷达和超声波导航定位等。但惯性导航技术需要惯性测量元件,价格昂贵;雷达测距不能利用目标的颜色特征等属性且存在近距离目标探测盲区,而且水面多路径反射效应会导致跟踪精度达不到要求[3]。而计算机视觉[4-5]作为新兴的导航技术,具有信息量丰富、智能化水平高等优点,正处于蓬勃发展的阶段。
国内外许多机构进行无人艇技术的研究[6]。EBKEN J等人将无人车技术直接引入无人艇,推进无人艇技术的发展[7]。HUNTSBERGER T等人利用鲁棒实时可重构的立体视觉系统分别进行静止障碍物避障和移动障碍物的实验,实现无人水面艇立体视觉自主航行[8]。Wang Han和Wei Zhuo针对无人艇水面障碍物的追踪和定位问题进行不断研究,进而改进立体视觉技术[9-10]。哈尔滨工程大学研究无人水面艇,利用视觉系统提取和识别多类水面目标,并进行算法改进[11-12]。大连海事大学也对无人艇的智能控制等进行了研究[13]。
目前,国际上对无人艇的应用和研究正向智能化方向发展,而国内还处于起步阶段,并且视觉系统的应用较少。本文建立无人水面艇的双目立体视觉系统并进行研究,以弥补雷达定位的不足。
1 双目立体视觉系统硬件平台
上海海事大学航运技术与控制工程交通部重点实验室自2006年起进行无人水面艇的研究,建立无人水面艇视觉导航的试验平台,如图1所示,其视觉系统的主要组成部分是双目摄像机、图像采集卡和工控机。
图1 无人水面艇的双目立体视觉系统
实验采用研祥的MEC-5004工控机,该工控机上配有PCI2318数据采集卡和IEEE 1394端口,可以方便地采集和接收数据。双目摄像机系统的左右两台摄像机分别安装在防护罩内并固定于无人艇上,连接图像采集卡,通过PCI卡槽连接到工控机上。
双目摄像机由两台型号相同的摄像机构成,摄像机有CCD摄像头和FA镜头两部分。CCD摄像头采用大恒的 DH-SV1420FC,数字面阵 CCD,分辨率高,色彩还原性好。以IEEE 1394作为输出,数据传输速率高,CPU资源占用少,可以一台计算机同时连接多台摄像机。摄像头数据格式是FC(彩色),标准C/CS镜头接口,适于Windows XP实验编程环境,可以计算机编程控制曝光时间、亮度、增益等参数。参数如表1所示。
表1 CCD摄像头参数
FA镜头是Computar的M1614-mp,超低失真率,可固定焦距,手动变焦。其性能参数如表2所示。
表2 FA镜头参数
2 双目立体视觉原理
基于双目摄像机的无人水面艇视觉系统,主要是利用左右两个摄像机拍摄同一时刻的两幅图片获得目标的空间信息,其原理过程主要包括3部分:摄像机标定、立体匹配和三维重建。
2.1 摄像机标定
摄像机标定就是设计某种方法和算法求取双目摄像机系统的内部和外部参数。摄像机内外部参数建立了目标点的三维空间坐标与图像像素坐标之间的联系,而这种联系是由摄像机成像几何模型决定的。所以,首先要分析摄像机的成像几何模型,建立坐标系之间的参数关系。
摄像机线性成像模型中,定义了4个相互关联的坐标系,即图像像素坐标系、物理坐标系、摄像机坐标系和世界坐标系,如图2所示。结合针孔成像模型和坐标系转换关系,图像像素坐标系和世界坐标系之间的变换关系如式(1)所示。
图2 线性成像模型及其常用坐标系
其中,dx和 dy是物理坐标系每个像素在 x、y方向的物理尺寸;f是镜头焦距;αx=f/dx,αy=f/dy,表示行和列的等效焦距;Rw表示世界坐标系和摄像机坐标系之间的旋转变换;t是三维平移向量;M1只与摄像机的内部参数有关,称为内部参数矩阵;M2表示摄像机与世界坐标系的位置关系,称为摄像机外部参数矩阵;M为透视投影矩阵。
2.2 立体匹配
立体匹配是将空间中同一特征点在左右图像像素中找到一一对应关系。立体匹配算法实际上是求解最优解的过程,选取能量代价函数,通过求解能量代价函数的极值找出图像中的对应点。
2.3 三维重建
三维重建就是在已知摄像机参数和对应点的条件下将平面图像点转换为三维空间点。对于平行轴双目立体视觉系统,原理简单,只要找到对应点求出图像坐标系中x轴方向的视差,就可以求出空间点位置。但是,这种理想平行状态很难达到,实际研究中都是非平行轴视觉系统。非平行轴视觉系统模型根据左右摄像机焦点与各自图像中一点的连线相交于空间中一点的原理直接重建空间点位置。
3 实验结果
无人艇在水面上运行,并可通过程序进行拍照等操作,拍摄图片如图3所示。
图3 无人艇视觉系统拍摄图片
传统摄像机标定方法比较成熟,精度高,所以实验采用张正友平面标定方法。利用图3所示的水面一组图片标定左右摄像机且立体标定,得到内部参数主点(u0,v0)和 主 距 (αx,αy), 以 及 右 摄 像 机 相 对 于 左 摄 像 机 的 旋转向量Rot和平移向量T,如表3所示。
表3 摄像机标定结果
4 结论
无人水面艇双目立体视觉系统能够克服采用雷达探测方法中的盲区限制、多路径反射干扰和不能通过颜色属性识别目标等不足。本文建立无人水面艇的双目立体视觉系统,可以实现拍照,并完成摄像机标定等操作,从而可以更深一步进行视觉系统的研究。
[1]MANLEY J E.Unmanned surface vehicles,15 years of development[C].Proceeding of OCEANS 2008, IEEE, 2008:1-4.
[2]李家良.水面无人水面艇发展与应用[J].火力与指挥控制,2012,37(6):203-207.
[3]吴海,刘艳萍.一种解决多路径效应影响的方法[J].现代雷达,2007,29(5):26-31.
[4]黄显林,姜肖楠,卢鸿谦,等.自主视觉导航方法综述[J].吉林大学学报,2010,28(2):158-165.
[5]王先敏,曾庆化,熊智,等.视觉导航技术的发展及其研究分析[J].信息与控制,2010,39(5):607-613.
[6]BERTRAM V.Unmanned Surface Vehicles-A Survey,2008.[DB/OL].[2015-02-28]http://www.docin.com/p-761852373.html.
[7]EBKEN J, BRUCH M, LUM J, Applyingunmanned ground vehicle technologies to unmanned surface vehicles[C].Proceeding of SPIE Unmanned Ground Vehicle Technology VII, 2005, Orlando, FL,5804:585-596.
[8]HUNTSBERGER T, AGHAZARIAN H, HOWARD A, et al.Trotz,stereo vision-based navigation for autonomous surface vessels[J].Journal of Field Robotics, 2011, 28(1):3-18.
[9]Wang Han, Wei Zhuo, Wang Sisong.Real-time obstacle detection for unmanned surface vehicle[C].Proceeding of the Defense Science Research Conference and Expo(DSR),Singapore: IEE Press, 2011:1-4.
[10]Wang Han,Wei Zhuo.Stereovision based obstacle detection system forunmanned surface vehicle[C].Proceeding of the IEEE International Conference on Robotics and Biomimetics(ROBIO), Shenzhen, China: IEE Press, 2013:917-921.
[11]马忠丽,文杰,梁秀梅,等.无人艇视觉系统多类水面目标特征提取与识别[J].西安交通大学学报,2014,48(8):60-65.
[12]梁秀梅.无人艇视觉系统目标图像特征提取与识别技术研究[D].哈尔滨:哈尔滨工程大学,2013.
[13]Sun Qiaomei, Ren Guang, Yue Jin, et al.Autopilot design forunmanned surface vehicle tracking control[C].Third International Conference on Measuring Technology and Mechatronics Automation, 2011(155): 610-614.