雷达与视频融合的落物检测研究

梁 影 黄嘉智 朱思悦 王磊磊

（1.上海无线电设备研究所，上海 200090；2.上海市目标识别与环境感知工程技术研究中心，上海 200090）

毫米波雷达具有体积小、质量轻和空间分辨率高的特点，其与激光、红外雷达相比，具有全天候且抗雨、抗雪、抗雾干扰的优点，目前在无人驾驶、手势识别、治安监测等领域都有着广泛的应用。智能视频监控已广泛应用于周界安全防范等领域，如人群密度估计、治安卡口、铁路异物入侵检测等，由于视频易受光照、能见度、天气状况的影响，漏报及误报率较高，导致其无法单独用于落物检测，因此本文将雷达与视频融合，提出了一种雷达、视频融合的危险落物检测方法。

1 系统组成

雷达与视频融合落物检测系统主要由雷达系统、视频系统及数据融合系统组成，雷达系统主要对监测区域的运动目标进行检测，对目标的距离、速度、角度等信息进行测量，根据目标运动轨迹筛选出潜在下落目标，若为潜在落物，则触发视频获取目标的多帧运动图像，并将目标数据传输给数据融合系统进行进一步数据处理；视频系统对获取的连续多帧视频图像进行目标提取、滤波等图像处理操作，提取出图像中运动目标的相关信息，并将数据实时传输给数据融合系统，进行进一步目标筛选及与雷达探测数据的融合处理。

2 雷达系统

采用2发4收的毫米波雷达，发射正交FMCW波，对探测区域的目标进行距离、速度、角度探测，并进行跟踪滤波，根据目标运动趋势确定是否为潜在落物。

雷达天线发射宽波束信号，覆盖整个照射区域，4路间距为d的接收阵元并行接收回波信号，天线阵型如图1所示。有两个发射天线TX1、TX2，其中TX1发射信号形成的接收相位序列为[0 w 2w 3w]（以第一个天线阵元作为参考阵元），因为发射天线TX2与TX1之间的距离为4d，TX2的发射信号与TX1相比额外增加了4dsinθ的路径长度,每个接收天线上的信号都有一个额外的4w相移(与接收到的TX1的信号相比)。TX2的发射信号在4个接收天线形成的相位序列为为[4w 5w 6w 7w]。由于从TX1和TX2获得的接收信号序列为[0 w 2w 3w 4w 5w 6w 7w]，相当于8个接收阵元的接收，该阵型形成4个虚拟阵元，增加了接收阵元数量，从而提高了信号角度分辨能力。

图1 2发4收雷达天线阵型

接收信号采用数字波束合成技术，对监控区域进行空域滤波，通过二维FFT处理对目标的距离、速度进行估计。

二维FFT方法进行距离—速度解算的实现步骤如图2所示，将单个调频周期的采样数据[ab c…]，进行FFT变换，得到频谱[A B C…]，该频谱包含了目标的一维距离信息，积累M个周期数据后得到矩阵。

图2 回波信号采样图

通过多个周期间的包络变化可以得到目标的速度信息，即对M个周期每个距离单元数据进行FFT变换，频谱包含了目标的速度信息。

信号处理硬件平台采用高速AD、FPGA、ARM处理架构，FPGA中进行实时信息解算，如数字波束形成、二维FFT距离速度解算，并将数据传输给ARM，ARM对目标数据进行目标检测及融合，该处理架构具有较高的数据刷新速率。

3 视频系统

视频系统目标检测通过目标提取、滤波、目标融合等图像处理措施，从连续多帧图像中获得运动目标的位置、轮廓等信息，同时将数据传输给雷达视频数据融合系统。

3.1 视频目标提取

视频目标提取将背景差分法与三帧差分法相结合，即将背景差分后二值化的图像，再用三帧差分法进行处理，该方法能够较为完整地提取出运动目标，并且不受运动目标速度限制。背景图像对光照、天气等外部动态场景变化极其敏感，若要取得较好的差分结果，必须实时对背景进行更新。

3.1.1 背景建模

中值法背景建模是取图像序列相同位置像素值的中值作为背景。设连续fnum帧图像序列为{I1，I2，…，Ifnum}，均值法和中值法的背景建模分别如式（1）和式（2）所示。

式中，i、j分别为图像像素的行标和列标。第k帧图像背景差分结果Dk(i,j)为：

3.1.2 二值化

背景差分后图像需再进行二值化操作，将运动目标与背景进行分割，设二值化阈值为T，第k帧图像二值化结果为：

阈值的选取直接影响目标提取结果，阈值取值太小，则噪声及干扰残留较多；取值太大，则前景提取不够明显，可对多次试验获得的样本图像进行处理，选取合适的二值化阈值。

3.2 形态学滤波

视频监控环境往往比较复杂，图像易受噪声等干扰的影响，导致背景差分后的二值图中仍混有噪声点，需对图像进行滤波。

形态学滤波是对图像先进行开运算，再进行闭运算。在形态学滤波中，开、闭运算能够在滤除噪声斑点、填补空洞的同时，很好地保存图像局部特征。需要注意的是，形态学滤波中结构元素的形状及大小对滤波的结果有直接影响，可根据不同需要进行相应设定。

采用结构元素为4×4的正方形对包含目标与噪声的图像进行形态学滤波，滤波前后的图像如图3所示，图3(a)为滤波前图像，图右侧最大的圆形亮点为真实目标，图中左上角、右上角、右下角有很多噪声点，图3(b)为滤波后图像，可以看出图3(a)中的噪声点被滤除，且目标的特征被很好地保存下来。

图3 形态学滤波

采用形态学滤波方法可将图像内小的干扰滤除，降低噪声及其他干扰（如昆虫、落叶等）对目标检测的影响。

3.3 目标融合算法

为了防止将一个目标识别为多个目标，需进行目标融合，目标融合、分类采用近邻原则，即将距离间隔小于一定阈值的目标合并为一个目标，采用八连通进行连通分量标记，计算相邻两个连通分量间距离，分类后对目标重心进行提取。

目标融合操作将距离间隔小于阈值R的目标合并为一个目标，具体操作如下：

首先，进行连通分量标记（八连通），并计算相邻两连通分量间距离。设A1，A2为两相邻连通分量，如图4所示，A1边界的行坐标为r11，r12(r11＜r12)，列坐标为c11，c12(c11＜c12)，A2边界的行坐标为r21，r22(r21＜r22)，列坐标为c21，c22(c21＜c22)，每个连通分量的边界线都构成一个矩形区域，用该矩形作为连通分量的代表。若A1为已有分类，A2为待分类，A1、A2之间的距离d12的计算分为以下4种情况：

（1）两矩形区域相交。若r21或r22在（r11，r12）之间（包含等于），并且c21或c22在（c11，c12）之间（包含等于），则d12=0。

（2）两矩形为上下结构。若c21或c22在（c11，c12）之间（包含等于），但r21或r22不在（r11，r12）之间（包含等于），则d12=min(|r22-r11|，|r12-r21|)。

（3）两矩形为左右结构。若c21或c22不在（c11，c12）之间（包含等于），但r21或r22在（r11，r12）之间（包含等于），则d12=min(|c22-c11|，|c12-c21|)。

（4）两矩形为对角结构。若c21或c22不在（c11，c12）之间（包含等于），且r21或r22不在（r11，r12）之间（包含等于），设连通分量A1的矩形区域4个顶点分别为a11、a12、a13、a14，A2的矩形区域顶点分别为a21、a22、a23、a24， 则d12=min(d(a11,a24)，d(a14,a21)，d(a12,a23)，d(a13,a22))。

图4 相邻联通区域

其次，进行分类合并，将连通分量间距离小于阈值T1的分量合并，T1取最小可检测目标的大小。若不满足合并条件，则建立新类别；若满足合并关系，则将满足合并关系的类别与待分类的分量合并到标号最小的类中（可能与多个类别满足合并关系）。

对滤波后的二值图进行目标融合和不进行目标融合的目标分类结果如图5所示，蓝色框内图像为目标区域的局部放大，目标分类用红色矩形框标出。图5 (a)为没有进行目标融合的分类结果，可以看出一个目标被分割成4个，图5(b)为目标融合算法作用后的目标分类，目标碎片得到了融合，确认为一个目标，目标融合算法降低了同一目标的分离概率。

图5 目标融合

4 数据融合系统

数据融合系统对雷达探测的目标数据进行处理，通过运动目标轨迹拟合及运动速度等信息进一步判断是否为落物；根据视频系统提供的各帧图像中目标的位置，采用Hough变换法进行多目标运动轨迹提取，根据运动参数提取下落目标；将雷达落物数据与视频处理结果进行融合，进一步剔除干扰。雷达视频数据融合系统简要处理流程如图6所示。

图6 数据融合系统简要处理流程

首先将雷达探测目标位置转化为视觉系统坐标，雷达探测目标与视频系统检测的运动目标进行匹配，对能够匹配的目标进行危险目标判断，判定为危险目标则报警；无法匹配的目标与预存的虚警信息库进行匹配，若不属于预存的虚警情况，则需人工查看视频图像数据来判断是否为危险目标，若为危险落物则报警，否则更新虚警信息库。

雷达与视频中匹配成功的目标，仍可能存在干扰目标，会影响危险目标的判定。为了去除漂浮物、飞鸟、突发干扰及危险区域外落物产生的虚警次数，列出以下3种简单的危险目标判定方法：（1）通过图像中目标轮廓来区分危险目标与干扰目标； （2）计算目标下落高度，若下落高度小于一定阈值(倾斜飞过监控区域的鸟等），则不报警；（3）根据目标轨迹对目标落地位置进行预测，若目标下落位置不在危险区域，则认为目标超界，否则输出报警信号。

5 结束语

雷达具有全天候的工作能力，且抗雨、抗雪、抗雾干扰能力强，但无法识别目标种类；视频易受环境干扰，但可以实现探测场景的可视，所以可将两者结合起来进行检测。雷达与视频融合的目标检测方法将是未来重要的发展方向，本文对落物检测的探索开启了一个新的应用领域。