基于毫米波雷达和摄像头的农用车辆障碍物检测

2019-09-10宋正根彭竟德肖璨

现代信息科技 2019年14期

宋正根彭竟德肖璨

摘要：本文针对单个传感器仅能获得局部环境特征信息，为进一步提高障碍物检测的准确性，提出一种融合毫米波雷达和视觉传感器的障碍物检测方法。通过毫米波雷达得到障碍物的数量与坐标点，同时对摄像头采集到的场景图像进行预处理，得到待分割图像。然后以毫米波雷达得到的坐标相对应的像素坐标为种子点，采用区域生长法进行图像分割。至此，即可检测到障碍物的位置和轮廓信息。

关键词：障碍物检测;信息融合;毫米波雷达;区域生长法;种子点选取

中图分类号：TP391.41;TN959.5 文献标识码：A 文章编号：2096-4706（2019）14-0046-03

Obstacle Detection of Agricultural Vehicles Based on

Millimeter Wave Radar and Camera

SONG Zhenggen，PENG Jingde，XIAO Can

（Nanjing Agriculture University，Nanjing 210095，China）

Abstract：For a single sensor，only local environment feature information can be obtained，in order to further improve the accuracy of obstacle detection，an obstacle detection method combining millimeter wave radar and vision sensor is proposed. Obtain the number of obstacles and coordinate points through the millimeter wave radar，and preprocess the scene image collected by the camera to obtain the image to be segmented. Then the pixel coordinates corresponding to the coordinates obtained by millimeter waveradar are taken as seed points and the image is segmented by region growing method. So far，the position and contour information of the obstacle can be detected.

Keywords：obstacle detection;information fusion;millimeter wave radar;regional growth method;seed point selection

0 引言

实现农用车辆在未知环境中的自主导航，必须先实现实时检测、识别环境中的障碍物，再根据当前信息规划路径。农用车辆障碍物的检测一般通过传感器进行感知，障碍物检测方法主要有：基于视觉检测、雷达检测、超声波检测、红外检测、多传感器融合检测[1]。由于单一传感器难以全面、准确地检测出障碍物，且适用于特定场合，不适用于农业环境工况。而多传感器信息融合的障碍物检测方法能弥补单个传感器的缺陷[2]，进一步提高检测的准确性。张俊杰[3]等结合激光雷达和视觉显著性应用分水岭算法分割障碍物，饶阳[4]等结合毫米波雷达和深度学习算法识别前方车辆，徐进[5]等人提出结合Hough算法提取障碍物和激光雷达再次检测障碍物。

毫米波雷达穿透雾、烟、灰尘的能力强，具有全天候、全天时工作的特点[6]，适用于烟、灰尘多的农用车辆作业环境。毫米波分辨率略低，且无法得到障碍物轮廓信息，与视觉传感器融合使用可彌补这一缺点。针对此，本文主要研究了基于毫米波雷达与摄像头融合的障碍物检测方法。

1 毫米波雷达测障

毫米波雷达测距基于Time Of Flight原理，即利用反射波与发射波的时间差，根据电磁波在空气中的传播速度（接近光速）计算得到距离。S=c·△t/2，其中c为光速，△t为时间差。测距方式有脉冲雷达测距和连续波雷达测距，技术上脉冲雷达测距存在一定难度[7]，故主要采用调频连续波的（Frequency Modulated Continuous Wave）测距方式。雷达发射调频连续波，通过检测回波与发射波的时间差，可计算得到雷达与障碍物的距离。

毫米波雷达对目标的速度测量有两种方式，一种应用多普勒频移公式，即当目标物运动时，回波的频率相对于发射波有改变，这种改变与目标物的速度成正比，基于此可测得目标物的移动速度。另一种为基于位置（角度）跟踪，通过对其进行微分进而求得目标物的速度。

2 图像分割

图像分割指的是将图像分为若干个区域，并将感兴趣的区域从图像中提取出来的技术。应用图像分割技术，可简化数字图像的信息量，直观地检测出障碍物的轮廓信息。图像分割分为以下五类：基于边缘的图像检测法、基于阈值的图像分割法、基于区域生长的图像分割法、其他复合分割法[8]。在障碍物检测应用中，常用的是区域分割算法，区域生长法计算简单，分割效果良好，边界信息清晰。因此，本文所提出的障碍物检测算法中采用区域生长分割算法。

区域生长法对噪声比较敏感，在噪点比较多的图像的分割结果中会出现很多不连续的小区域[9]。由于噪声的干扰可能会出现空洞以及过度分割的现象，故在分割前可针对图片进行预处理。对输入图像进行卡尔曼滤波，消除图像中的噪声，增强检测的可靠性，缩短分割时长。

区域生长法的基本思路为：确定种子点，根据特定的生长准则，将种子点周围符合相似条件的像素划入种子区域。以新划入的像素为种子点继续生长，直至种子点与周围像素的灰度差超过生长准则。以集合R代表整个图像区域，对R的分割可理解为将R分成N个满足下列条件的非空子集（子区域）R1，R2，…，RN[10]。

3 融合检测

区域生长法最终的分割效果与种子点的选择位置有密切关系，由种子点确定分割相似区域的起始位置，故此算法中选取毫米波雷达检测到的障碍物坐标点投影到像素坐标点为种子点，确保有效地分割出障碍物轮廓。此算法的框架图如图1所示，具体实施步骤如下：

（1）由单目相机获取场景图像;

（2）对场景图像进行滤波、灰度化处理，得到待分割图;

（3）通过毫米波雷达扫描得到障碍物数据;

（4）获取障碍物位置坐标;

（5）将障碍物坐标点进行转化，得到在待分割图上的像素坐标。

根据摄像头内外部参数和雷达与摄像头的位置关系获得二者坐标系空间转换关系[11]，设空间内某点A在摄像头坐标系中的坐标为AS=[Xs，Ys，Zs]T，在雷达坐标系中的坐标为AR=[XR，YR，ZR]T，XR，YR，ZR分别表示目标物体在雷达坐标系中的横坐标、纵坐标和垂直高度。As和AR的坐标存在转换关系：

4 实验结果与分析

实验平台为智能小车，摄像头采集图像分辨率为1920× 1080，焦距6.0mm。毫米波雷达为德国Continental公司生产的ARS408-21，目标更新频率为17Hz。在模拟环境中选取背景较为复杂的场景进行实验验证，实验结果如图2所示。

图2中a、b为根据毫米波雷达反馈的障碍物信息选取种子点进行分割得到的效果图，从效果图中看出障碍物的轮廓被较为完整地分割出。图2中c、d为随机选取种子点进行分割得到的效果图。从图中可明显看出，此时分割效果差，无法完整分割出障碍物轮廓。

在农田作业环境下，背景杂乱，易出现过度分割和分割不足的情况，影响分割效果。张小祥[12]提出的显著性检测方法MAX算法，可突出整体一致性和局部差异性的显著性信息应用到图像分割上，从而可避免出现分割不足和过度分割的情况。

5 结论

基于毫米波雷达和摄像头的障碍物检测方法，充分发挥视觉传感器可检测障碍物轮廓形状和毫米波雷达检测障碍物位置信息的特点，结合区域生长法可有效地检测出障碍物的信息，排除环境因素的干扰。试验表明，此方法有效。由于本次试验为模拟场景，对于实际农田作业环境下应用需结合显著性检测等算法，以排除背景的干扰。

参考文献：

[1] 何勇，蒋浩，方慧，等.车辆智能障碍物检测方法及其农业应用研究进展 [J].农业工程学报，2018，34（9）：21-32.

[2] 丁幼春，王书茂，陈红.农用车辆作业环境障碍物检测方法 [J].农业机械学报，2009，40（S1）：23-27+17.

[3] 张俊杰，丁淑艳，李伦波，等.基于视觉显著性的无人车图像检测及分割方法 [J].计算机工程与应用，2017，53（22）：176-179+242.

[4] 饶阳.基于毫米波雷达与机器视觉的前车识别研究 [D].武漢：武汉理工大学，2017.

[5] 徐进，帅立国.激光传感器和视觉传感器的机器人障碍物检测 [J].激光杂志，2016，37（5）：56-59.