多传感器采集和数据融合用于智能监控的目标检测

2020-10-10王达志刘雨希赵永辉

通信电源技术 2020年12期

王达志，杨康，成果，刘雨希，赵永辉

（东北林业大学信息与计算机工程学院，黑龙江哈尔滨 150040）

0 引言

智能安防是指借助电子信息、物联网以及视频监控等领域的技术优势，充分发挥信息通信（ICT）、射频识别（RFID）、图像分辨以及人工智能（AI）等技术特点，从而实现对公共场合进行智能化的综合管理。智能监控是国家智能安防行业的重点项目，也是学校、小区以及商店等公共场合的基础安全设施[1-5]。传统的监控系统由专门人员在固定的时间查看监控区域，并对监控内容进行有限期保存，但无法快速并及时地对安全事故作出反应，因此迫切需要设计并构建一套智能化的监控系统。本文主要研究在监控区域内提取目标信息，并在此基础上提出一种用于智能监控的目标检测手段。

1 毫米波雷达与摄像机的时空统一

1.1 空间统一

毫米波雷达与摄像机的空间统一主要是指二者在描述相同事物时观察空间的统一。毫米波雷达与摄像机各自描述的共同事物处于不同的描述空间中。综合各自空间中对事物描述的优点，可使事物特征更加明确。设毫米波雷达坐标系为Or-XrYrZr，摄像机坐标系为Ov-XvYvZv，世界坐标系为Ow-XwYwZw，图像坐标系为o-xy，像素坐标系为uv[6]。从图像上观察事物具有很强的直观性，但如果摄像机在成像过程中丢失了一个维度的数据，那么将导致很难还原图像数据。因此，本文以图像坐标系为主要研究对象，只做从雷达坐标系到图像坐标系的转换[7]。

综合推导得到从世界坐标系到像素坐标系的转换关系：

式中，R是摄像机外部参数旋转矩阵，T为摄像机外部参数平移向量，焦距f是摄像机内部参数。R和T作为摄像机外部参数可通过摄像机的标定方法获取。

摄像机参数标定方法中，张正友标定法[8]不仅克服了传统标定法需要的高精度标定物，而且相对于自标定提高了精度，更加便于操作。标定过程中，采集不同角度和不同位置的标准棋盘图像，利用张正友标定原理得到摄像头内部和外部参数，棋盘格标定如图1所示。获取摄像机内、外部参数后，可得到毫米波雷达检测到的目标和图像空间中的映射信息。

图1 棋盘格标定图

1.2 时间统一

毫米波雷达和摄像机的时间统一主要是指二者同步获取数据。由于两个设备获取数据的频率不同，因此需要同步处理获取的数据，从而保证两个设备的同步运行。毫米波雷达在某时刻所采集的数据，有很大概率不是该时刻的数据，导致毫米波雷达和摄像机观测到相同空间内不同时刻的数据，从而产生无法准确映射的现象。本文以摄像机的采样速度为标注控制毫米波雷达的采样速度，从而保证数据的统一。由毫米波雷达检测到目标的位置、速度以及加速度，利用速度和位移公式即可计算出摄像机在采集图片的瞬间和目标在空间中的位置。

2 雷达检测与图像检测的综合处理

2.1 雷达的目标检测及图像映射

本次研究中，毫米波雷达系统通过连续发送射频信号，利用张正友标定法得到摄像机的内、外部参数，计算毫米波雷达所检测到的目标到图像空间的映射。根据映射内容，直观分析目标与当前空间的关系。但是，由雷达所检测到的数据映射到图像空间后仅有一个目标相关点，因此无法直接从图像数据中提取目标的全部信息。雷达映射如图2所示。

图2 雷达映射图

2.2 基于图像处理的目标检测

利用图像处理技术分析摄像头所监测的空间，从而得到空间内的目标信息，并从视觉角度分析空间内的事物。其中，目标检测是通过处理二维图像数据，提取出目标的最小包围矩形。YOLO是一种较优秀的目标检测方法，由Joseph Redmon等人提出[4]。它的突出优点是处理速度快，轻松进行实时处理，且识别准确率较高。

2.3 综合雷达与图像处理的目标检测

雷达可在同一时刻得到空间内目标的位置、速度以及加速度，但是无法在雷达坐标系下进行直观分析。摄像机能得到空间压缩后的二维图像数据，并从中分析得到目标的类别等信息，但是无法获取目标准确位置等相关信息，且未能达到实时检测目标的速度。

本文综合雷达和图像的优势，分析空间内目标。综合雷达速度快、抗干扰能力强、可获目标在空间中运动状态的特性以及图像可获得目标类别信息和可直观分析的特性，解决存在的问题，并充分发挥相关优势。综合过程中，首先将雷达空间的数据映射到图像空间，其次裁剪目标范围，使用YOLO的目标检测，最后输出绑定目标在空间中运动信息的目标身份数据。

在雷达和摄像机综合检测目标的过程中，不仅存在各自的局限性，而且很难把握时间的统一，导致出现雷达数据和图像数据在时间上的不一致。此外，雷达和摄像机有不同的检测范围，雷达无法捕捉到的信息摄像机可以。分别在两个进程中运行雷达和摄像头，可利用共享内存传递雷达检测到的目标信息，并利用物体的运动信息，匹配统一时刻下的图像数据和雷达数据。