基于双目视觉的UUV避障半实物仿真系统

严浙平, 姜 玲, 王晓娟, 赵玉飞



基于双目视觉的UUV避障半实物仿真系统

严浙平, 姜 玲, 王晓娟, 赵玉飞

(哈尔滨工程大学 自动化学院, 黑龙江 哈尔滨, 150001)

由于无人水下航行器(UUV)避障研究的实物海洋试验成本高且风险较大, 故针对在试验室进行UUV自主避障规划的需求, 利用双目视觉展开了UUV避障半实物仿真试验系统的设计研究, 包括多自由度运动台架模拟UUV的运动, 双目摄像机代替前视声纳作为避障传感器。阐述了实物双目视觉子系统的关键技术和UUV模型子系统的软件实现方法, 以及系统的体系结构、数据交换方法, 并进行了基于规则的避障仿真联调试验, 结果表明, 该系统结构简单, 试验实施便利, 可作为演示、验证和评估避障路径规划正确性和有效性的实用手段。

无人水下航行器(UUV); 避障; 半实物仿真; 双目视觉

0 引言

无人水下航行器(unmanned underwater vehi- cle, UUV)在复杂海洋环境下执行各种使命时, 首先要具备绕过障碍物向目标靠近的能力, 即自主导航与避障能力(obstacle avoidance, OA)。 UUV首先根据自身携带的电子海图信息进行全局路径规划, 根据规划出的全局路径进行作业。但在航行中可能遇到电子海图中未描述的障碍物, 如沉船、石油钻井平台、未知缆线等, UUV需要通过携带的传感器对未知障碍物进行探测, 执行实时避障(局部路径规划)并在避障结束后趋向目标。在上述有限水下环境中避障, UUV使用的传感器传统上是声纳[1-2]。声纳在大范围避障中具有良好性能, 但在小范围时精度较差, 数据更新率低; 易受水面、水底或其他声反射源干扰, 在浅水、中等深度水域中可能有多径传播带来的模糊, 存在最小测量距离的限制等[2-3]。视觉传感器具有分辨率高和在近距离几乎不存在盲区的优点, 在小范围避障应用中有很大发展。由于实际海洋试验成本非常高, 目前UUV避障规划研究主要通过数值仿真。

本文将硬件在回路的思想引入UUV避障研究, 以多自由度运动台架、双目摄像机以及实现软件功能的计算机等构件构成整个UUV避障半实物仿真系统。利用双目摄像机代替前视声纳作为避障传感器。首先介绍该系统的体系结构、数据交换, 再重点阐述各子系统的建模及算法, 最后给出仿真验证试验及结论。

1 UUV避障半实物仿真系统结构

UUV避障半实物仿真是指在数学仿真的基础上, 将某些模块如UUV模型计算机、避障传感器等用实际器件和设备替代的仿真方法[4-5]。

1.1 系统体系结构

UUV避障半实物仿真平台由多自由度运动台架(如图1所示)、台架驱动系统、双目图像采集系统、环境解算计算机、UUV模型运算计算机组成。

图1 多自由度运动台架及双目摄像机

多自由度运动台架见图1, 可以模拟6自由度UUV运动, 包括纵移、横移、升沉、转艏、横摇和纵摇; 同时还可以模拟空间中5自由度障碍物运动(不含升沉)。台架尺寸3 m×3 m×3 m。根据几何相似性原理, 相似比越小, 模拟平台越能更逼真地反映UUV的实际运动情况, 但平台运动的距离、速度、加速度相应都会加大; 相似比越大, 平台越能模拟更大范围的UUV运动, 但要求的运动精度也随之提高。本文设置相似比100:1, 即台架代表实际海洋环境的300 m×300 m×300 m空间。

台架驱动系统主要由控制计算机, Berger Lahr步进电机VRDM5913/50 LNC, VRDM3913/ 50LWAOO, VRDM366/50 LHA, Berger Lahr步进电机驱动器WS5-9, SD326及D921及步进电机控制卡HIT6502组成。

双目图像采集系统由2台大恒DH-SV1300FM CCD黑白摄像机和配套采集卡组成。DH-SV1300FM的分辨率为1 280×1 024, 焦距为8 mm。2台摄像机成平行结构固定于台架的UUV运动载体上。图像采集卡插于环境解算计算机的PCI插槽。环境解算机通过算法提取环境深度, 将其表示成环境矩阵, 并通过RS232串口输出给UUV模型运算机。模型运算机运行UUV的运动模型及执行机构模型。经过避障解算、控制器运算和模型运算, 向台架下达如直航、转艏避障、复航等运动指令。

1.2 数据通信与信息流

仿真管理模块负责系统的初始化, 包括初始航速、航向、使命点、环境信息; 负责发出开始命令, 启动仿真, 图像采集模块开始采图, 避障模块开始进行路径规划。UUV模型机各模块均工作于设定节拍下, 环境解算机没有固定节拍, 以触发方式向模型机传输环境信息数据。人机交互界面一方面实时显示双目摄像机采集的原始图像, 另一方面在屏幕坐标系下实时显示UUV动态位置及扫描到的障碍物。操作者可以通过该模块启动、暂停和终止仿真进程。

2 环境解算机软件实现

环境解算机主要包括图像采集模块和环境信息提取模块。UUV避障半实物仿真系统的软件信息流图见图2。双目摄像机通过图像采集卡获得周围环境的图像, 并通过双目视觉立体匹配算法得到视差图, 由视差图得到UUV距离障碍物的距离信息, 其中包含方位信息, 利用虚拟声纳模型得到进化距离图, 为避障算法提供环境信息。

图2 UUV避障半实物仿真系统软件信息流

2.1 基于纹理控制的金字塔NCC双目视觉匹配方法

在已校正图像对上施行基于纹理控制的金字塔NCC立体匹配算法的流程如下。

1) 对金字塔级数, 金字塔缩放比例, 纹理度阈值TextureThresh, 匹配窗口尺寸WindowHeight和WindowWidth等参数进行设定, 对视差范围上限max及下限min进行初始化;

2) 按照缩放比例, 由左右两幅原始底层图像分别生成2个级金字塔图像;

3) 从=开始, 分别计算第层金字塔左右图像像素的纹理度。对纹理度大于TextureThresh的像素在视差范围(min,max)内进行双向NCC匹配, 得到最佳匹配;

4) 调整视差范围为(×min,×max),=-1,当>0时, 返回3), 否则跳出循环, 执行5);

5) 根据最佳匹配计算整幅图像的视差图;

6) 根据公式depth =´/(为焦距,为基线长,为视差), 由视差图恢复出距离图。

在环境解算计算机上运行程序获得距离图, 如图3中上图所示。根据海洋试验和水池试验结果, 摄像机与声纳探测相比的摄像机探测的距离精度比较高, 最高可达毫米级。在整个系统中, 立体匹配耗费了绝大部分的时间, 此立体匹配方法耗费时间最短仅需258 ms。从图中可以看出, 大面积的背景区域都被纹理阈值屏蔽掉, 清晰地突显出圆形障碍物的轮廓。

图3 环境矩阵生成

2.2 虚拟声纳模型

多波束声纳(前视声纳)探测的障碍物信息是方位和距离, 利用摄像机代替前视声纳, 建立虚拟声纳模型, 这个虚拟声纳模型同样也包含方位和距离2种信息, 为保证环境解算速度与UUV的运动速度匹配, 环境解算机的解算步长于图像采集卡的采样时间一致, 采样时间间隔约为1 s。

对于避障而言, 上述方法获得的距离图可能包含大量冗余距离数据。提出虚拟声纳模型来简化表示距离图, 完成环境建模。该环境矩阵生成方法如下。

假设摄像机的视场像前视声纳一样在水平方向被条射线平分为等角度的+1个子区域, 在垂直方向被条射线平分为等角度的+1个子区域, 则整个视域被分割为×个子区域。由此距离图也可以相应地表示为一个×环境矩阵(见图3)。矩阵中每个元素的行列索引号恰好是实际的方位, 元素值则代表对应方位的距离。这样虚拟声纳模型就将距离图中的障碍物方位和距离信息简化表示为环境矩阵。

2.3 动态自适应滤波器

到达避障规划模块的环境数据(即环境矩阵)往往含有脉冲型噪声干扰, 其主要来源包括立体匹配过程中的误配以及串口通信链路引入的随机噪声。如果不进行滤波处理, 就会干扰UUV的正常运动。如UUV在不存在障碍物的区域产生存在障碍的“幻觉”, 就无法通过原本可以通行的区域; 反之若UUV对存在的障碍物视而不见, 就有迎面相撞的危险。

0及其邻域像素在相邻时刻的探测距离表示为

Dmin是时间与空间上0与相邻值的最小差值, 当Dmin>(t)时,0即被判为噪声点而剔除。

3 UUV模型软件方法

3.1 UUV避障控制算法原理

在没有海流干扰情况下, UUV躲避障碍物的一般方法是分别或联合调整艏向角、纵倾角以及航速。设计了艏向控制器、纵倾控制器和速度控制器, 采用的控制算法是比例-积分-微分 (proportional–integral–derivative, PID)控制。原理框图见图4。

图4 避障控制原理图

3.2 避障策略

研究者已经就处理未知、变化环境下的UUV避障算法提出了多种方法, 包括虚拟势场法、模糊逻辑法、神经网络法和遗传算法等[9-12]。作为避障仿真系统的演示验证, 本文采用基于规则的避障策略, 概述如下。

1) 如果视域中没有障碍物, 则沿既定航线直行;

2) 如果视域部分被障碍物占据, 但不阻碍主航线, 则沿既定航线直行;

3) 如果视域内部发现障碍物, 且障碍物阻碍主航线, 则UUV减速航行并搜索最优航向;

4) 如果UUV视域全部被障碍物占据, 则发出停速指令, 需根据前5拍的数据判断最好是向左还是向右转艏, 模拟辅助推进器原地调整航向, 继续观察直到视域部分地被障碍物占据, 转规则3)得到最优航向。若前5拍的数据均为全部被障碍物占据, 则采用变深避障规则5);

5) 模拟UUV大纵倾上浮过程, 输出纵倾指令, 直到视域中没有障碍物, 定深航行;

6) 如果连续若干节拍均未检测到障碍物, 则认为避障结束, UUV复航。

4 UUV避障模拟试验及结果分析

在所开发的仿真平台上进行联调试验。UUV初始位置(单位mm)(755, 900, 1500),终点位置(2850, 2550, 1500), 初始航向为40°, 航速为10 mm/s (按100:1的相似比, 相当于真实航速2 kn)。

试验1: 单一球形障碍物模拟避障试验。球形障碍物置于UUV初始位置右前方。UUV以设定航向、航速作趋向目标运动, 直至双目摄像机扫描到障碍物, UUV进行转艏避障, 然后复航。避障路径曲线见图5。

图5 无滤波时单一球形障碍物避障曲线

试验1: 未加入动态自适应滤波器, 图5中出现噪声点, UUV会把噪声误判断为障碍物, 导致UUV转艏更大角度避障, 但UUV成功地躲避了障碍物, 在实际海洋试验中, UUV遇到小型海洋生物例如水母, 会出现同样的情况。

试验2: 多障碍物避障模拟试验。设置了球形和方形2个障碍物, 分别置于UUV左前方和右前方稍远处, 并加入动态自适应滤波器。实物图见图6, 避障路径曲线见图7。

在2幅曲线图中可清晰分辨障碍物的表面形状(用点线表示), 这表明虚拟声纳模型的简化处理是恰当的, 且仍保留较高精度。为对比得到滤波的效果, 试验1未加入动态自适应滤波器, 图5中出现噪声点, 导致UUV转艏更大角度避障。试验2加入了自适应滤波器, 消除了噪点, 环境表示准确, 避障决策与动作正确。这说明系统软件设计合理, 逻辑正确, 算法有效, 模型适用。

图6 多障碍物避障实物图

图7 有滤波时多障碍物避障曲线

5 结束语

本文描述了UUV避障半实物仿真试验系统的体系结构, 对其中主要的子系统包括环境解算、UUV运动模型和避障规划的软件设计做了详细论述, 并对系统做了仿真联调和结果分析。评估结果及仿真联调分析表明, 该系统结构简单, 实施便利, 满足UUV避障仿真系统的逼真性和实时性要求。该系统便于对UUV避障路径规划进行演示、验证和评估, 同时为开发、调试及评估视觉感知系统提供了一个直观、实用的研究平台。

[1] 燕奎臣, 吴利红. AUV水下对接关键技术研究[J]. 机器人, 2007, 29(3): 267-273. Yan Kui-chen, Wu Li-hong. A Survey on the Key Tech- nologies for Underwater AUV Docking[J]. Robot, 2007, 29(3): 267-273.

[2] 严浙平, 曲镜圆. 基于DGPS无人潜航器避碰声纳的试验研究[J]. 传感技术学报, 2009, 22(1): 75-79.

Yan Zhe-ping, Qu Jing-yuan. The Obstacle Avoidance Sonar of AUV Experimentation Based on the DGPS[J]. Chinese Journal of Sensors and Actuators, 2009, 22 (1): 75-79.

[3] Horgan J, Toal D. Review of Machine Vision Applications in Unmanned Underwater Vehicles[C]//Proceedings of 9th Inter- national Conference on Control, Automation, Robotics and Vision.Singapore, 2006: 1-6.

[4] 杜辉新, 严卫生. AUV前视声纳模拟及避障研究[J]. 鱼雷技术, 2010, 18(1): 49-52.Du Hui-xin, Yan Wei-sheng. Simulation of Forward Looking Sonar and Obstacle Avoidance for Autonomous Underwater Vehicle[J]. Torpedo Technology, 2010, 18(1): 49-52.

[5] Podder T, Sibebac M. UUV Docking System for Sustainable Science Missions[C]//Proceedings of IEEE International Conference on Robotics & Automation, 2004: 4478-4485.

[6] 宋毅, 崔平远. 一种图像匹配中SSD和NCC算法的改进[J]. 计算机工程与应用, 2006, 42(2): 42-44.Song Yi, Cui Ping-yuan. A Computational Optimization Method of the SSD and NCC Algorithms of the Stereo Ma- tching[J]. Computer Engineering and Applications, 2006, 42(2): 42-44.

[7] 施小成, 王晓娟. 一种面向UUV水下对接的双目视觉测距方法[J]. 计算机测量与控制, 2008, 16(10): 1460-1462.Shi Xiao-cheng, Wang Xiao-juan. A Ranging Method in AUV Underwater Docking by Binocular Vision[J]. Computer Mea- surement & Control, 2008, 16(10): 1460-1462.

[8] 郝颍明, 吴清潇. 基于单目视觉的水下机器人悬停定位技术与实现. 机器人, 2006, 28(6): 656-661.Hao Ying-ming, Wu Qing-xiao. Technique and Implementation of Underwater Vehicle Station Keeping Based on Monocular Vision[J]. Robot, 2006, 28(6): 656-661.

[9] Calvo O, Rozenfeld A. Experimental Results on Smooth Path Tracking with Application to Pipe Surveying on Inexpensive AUV[C]//Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems. 2008: 22-26.

[10] Das S K, Shome S N. Modeling a Hybrid Reactive-delibera- tive Architecture towards Realizing Overall Dynamic Be- havior of an AUV[C]//Proceedings of International Confe- rence on Computational Science (ICCS), 2010: 259-268.

[11] Negre A, Pradalier C. Robust Vision-based Underwater Homing Using Self-similar Landmarks[J]. Journal of Field Robotics, 2008, 25(6-7): 360-377.

[12] Park J Y, Jun B H. Experiments on Vision Guided Docking of an Autonomous Underwater Vehicle Using One Camera[J]. Ocean Engineering, 2009, 36(1): 48-61.

Hardware-in-the-loop Simulation System of UUV Obstacle Avoidance Based on Binocular Vision

YAN Zhe-ping, JIANG Ling, WANG Xiao-juan, ZHAO Yu-fei

(College of Automation, Harbin Engineering University, Harbin 150001, China)

The sea trials for the obstacle avoidance research of an unmanned underwater vehicle (UUV) are expensive and high-risk. To facilitate the research of automatic obstacle avoidance of an UUV in laboratory, a hardware- in-the-loop simulation system of UUV obstacle avoidance has been developed based on binocular vision, where the multi-degree of freedom test platform is used to simulate the motion of the UUV, and the double-stereo vision system is used to simulate forward looking sonar. In this paper, the structure and data stream of the system are discussed. The key technologies for vision subsystem and the software scheme for UUV model subsystem are also described. Joint simulation tests were conducted by adopting rule-based obstacle avoidance approach. Experimental results show that the system has the advantages of simple structure and convenient application, and it can be used in demonstration, validation, and evaluation of obstacle avoidance path plan.

unmanned underwater vehicle (UUV); obstacle avoidance; hardware-in-the-loop simulation; binocular vision

TJ630; TP391.9

A

1673-1948(2012)02-0143-06

2011-05-04;

2011-06-02.

新世纪优秀人才支持计划（NCET-10-0053）.

严浙平(1972-), 男, 博士, 教授, 研究方向为水下自主航行器.

(责任编辑: 许妍)