基于毫米波雷达与视频分析融合的机场围界入侵报警系统

张道钰 王超宇 王健 刘凤陵 陶欣 刘青 刘晓疆

摘要：机场安防领域向来是机场安全运行管理的重中之重，承担着机场内旅客、货物、航空器及其他航空设施的安全保障职能。其中机场围界是机场与外界隔离开来的最直接的保护屏障，做好围界的安全和防护，就相当于守护住机场安防的第一道防线。文章提出了一种基于毫米波雷达和视频分析融合技术来实现对围界入侵进行防范的围界安全防范技术，能有效解决机场现有围界入侵报警技术易受复杂天气、周围环境影响以及漏报率和虚警率高的问题。

关键词：围界入侵报警；毫米波雷达；视频行为识别；智能分析

中图分类号：TP311    文献标识码：A

文章编号：1009-3044（2023）35-0136-03

开放科学（资源服务）标识码（OSID）

0 引言

在傳统的民航机场围界安防中，现有技术主要采用振动传感器、红外对射、被动红外、电子围栏、视频监控、热红外等手段，以上技术同时存在“误报率过高”等问题，这种缺陷是从技术原理中带来的且无法消除的；本身系统易受复杂天气、周围环境影响，一定强度的风霜雨雪、小动物活动等均会触发入侵报警，产生较高误报和虚警，且无法做到高灵活性、高精准度的防区划分，不能完全满足机场围界高等级的安全防范要求。

针对此问题，文献[1]和文献[2]提出了毫米波雷达与摄像头的融合算法，基于雷达与摄像头信息的融合技术，本文提出了一种基于毫米波雷达和视频分析融合技术的机场围界入侵报警系统，通过在机场围界周边划分防区并配置入侵监控报警单元，各个单元设置有毫米波雷达和多目摄像机，各监控报警单元之间设置可旋转球型摄像机。毫米波雷达对围界防区进行实时运动目标监测，多目摄像机和球型摄像机根据雷达识别到的入侵目标位置，自适应焦点对准入侵目标，通过对实时视频的行为分析，系统实现入侵类型及入侵行为的行为识别和智能分析。

1 技术原理

毫米波雷达和视频分析融合围界入侵报警系统是一种基于毫米波雷达探测技术、视频行为分析识别技术来实现对围界入侵进行防范的新一代围界安全防范技术。

1.1 毫米波雷达

毫米波是指波长介于1～10mm的电磁波，波长短、频带宽，比较容易实现窄波束，其分辨率高，不易受干扰。毫米波雷达是通过收发电磁波的方式，实现对目标距离、速度、方位的测量。

测距[3]是利用发射信号和回波信号之间的时延，结合毫米波传播速度以及雷达信号频率差推算出毫米波雷达和检测目标的相对距离。 雷达天线发射线性调频脉冲信号，经过时间t后，接收天线收到目标反射回来的信号，其频率差为S*t，即可得到中频信号f0（IF信号），由于延时t与目标距离d有如下关系：t=2d/c，其中S为线性调频脉冲的斜率，c为光速，经转换即可得到d=f0*c/2S。

测速是利用多普勒效应来确定目标的径向速度。由于物体距离的变化ΔR会引起接收信号相位的变化，因此通过观测一段时间内的接收信号的相位变化，即可通过ΔR/t估算出此时目标的速度。

对于目标角方位的测量，目标距离的微小变化会导致range-FFT峰值的相位变化。角度估计至少需要2个RX天线，从目标到每个天线的差分距离Δd导致FFT峰值发生相位变化，该相位变化用于估计到达角。通过并列的接收天线收到同一目标反射的雷达波相位差计算得到目标的方位角。那么方位角就可以通过两个接收天线之间的几何距离以及两天线收到雷达回波的相位差通过三角函数计算得到。

1.2 入侵探测

当毫米波雷达探测[4]到防区内的入侵目标后，毫米波雷达实时测算得到入侵目标的距离、运动速度和方位数据，通过数字波束合成（DBF） 技术，能够有效地提高雷达系统的抗干扰能力，具有高精度角度分辨能力，较低速度探测能力，借助边缘计算信号处理和模式识别算法，可区分人、车目标，并有效滤除昆虫、飞鸟等小动物以及一定强度的风霜雨雪干扰。多目摄像机根据入侵目标的距离自动选择合适焦段对入侵行为进行录像，可旋转球型摄像机可根据入侵目标距离和方位自适应焦点并旋转对准入侵目标，对入侵行为进行补充录像[5]。

2 入侵行为分析识别

多目摄像机和可旋转球型摄像机两路摄像头通过光纤环网将实时视频上传至视频分析服务器，视频分析服务采用深度学习[6]建立模型，预先准备一系列系统关注的特定入侵行为[7]视频作为时序多模态样本数据，根据数据模态特征及因素特点，对多模态学习行为数据进行清洗与预处理，再使用智能算法进行浅层特征分析，然后将多模态学习行为数据进行归一化与深度融合，具体包括：

运用深度混合判别受限玻尔兹曼机神经网络处理多模态学习行为数据，以此建立多模态学习行为分析模型[8]；然后将待分析的视频时序图像输入到上一步建立的模型中进行分析。

首先，将视频时序图像进行清洗，将清洗后的图像数据输入到相应模态的深度学习网络中进行归一化，为了进一步提取高维特征，采用深度混合判别受限玻尔兹曼机，构建基于多模态数据的深度学习方法，对于训练集Dtrain，生成玻尔兹曼机以最小化负对数似然为目标函数，即最小化目标函数，借鉴在强化学习中成熟且广泛运用的e-greedy策略，使得混合判别受限玻尔兹曼机可以在数据集增多时自动降低生成模型对整个模型的影响比重，从而获取更为灵活、更为准确的模型效果，从而构建基于多模态数据的深度学习方法。

其次，通过分析特征数据集，获得先验信息，求得各个节点之间的相互关系，并建立相应的网络结构，网络结构主要分为两类，分别是基于评分搜索的方法和基于依赖统计分析的方法，其中前者过程简单且规范，因此较为常用。评分函数用以评价网络拓扑结构与样本集数据集拟合的程度，评分函数会基于一个空白的网络，按照节点次序遍历待求节点前面的所有节点，随后选择后验概率值最大的节点作为该节点的父节点，然后通过有向边相连，一直遍历直到网络构建完成。再通过生成Moral图、Moral图的三角化、找出所有子团和建立联合树四个步骤，把网络结构转换成相应的联合树结构，再把学习到的网络以及相关参数进行分析与推理，得出入侵行为分析结论。

入侵行为分析结论包括对入侵目标类别的分析、入侵行为的分析；入侵目标类别包括人、车、无人装置、动物移动目标和树木、风霜雨雪虚警目标，入侵行为包括翻越、攀爬、冲撞、毁坏。

3 系统结构

基于雷视融合的围界入侵报警系统包括地理信息系统、入侵监测模块、行为分析模块、数据融合模块、报警处理模块和防区配置模块。入侵监测模块包括若干个入侵监控报警单元，一个入侵监控报警单元对应一个围界物理防区，入侵监控报警单元包括毫米波雷达、多目摄像机、可旋转球型摄像机、警告喇叭和照明射灯；入侵监控报警单元的毫米波雷达、多目摄像机按照入侵监控报警单元所对应的围界物理防区对应布设，可旋转球型摄像机、警告喇叭和照明射灯可根据防区实际地理情况在入侵监控报警单元内布设或跨单元布设。雷达用于监测防区内的入侵目标，多目摄像机可自动选择合适焦段对入侵行为进行录像，可旋转球型摄像机可根据入侵位置自适应焦点并旋转对准入侵目标，对入侵行为进行补充录像和跟踪录像。行为分析模块用于接收上述两类摄像机的实时视频，并对视频中的入侵行为进行分析，包括对入侵目标类别的分析、入侵行为的分析。进而将入侵初步分析结论发送至数据融合模块，数据融合模块接收雷达监测上报的入侵目标位置信息，并融合行为分析模块初步分析得到的入侵初步分析结论，最终判定是否触发入侵报警。

入侵监控报警单元的各个雷达依据围界实际的地理状况，按照合适的间距在围界防区进行布设，各单元覆盖防区范围最大半径为150米，并使各单元所监控的范围交叉覆盖，避免监控盲区。所有雷达通过千兆网线接入到交换机，实现与数据融合模块的网络互通，用于传输雷达监测结果信息。所有摄像机通过千兆网线接入到交换机，实现与行为分析模块的网络互通，用于传输入侵监控录像视频。

触发入侵报警后，数据融合模块将入侵报警传输至入侵监控报警单元关联的警告喇叭和照明射灯，警告喇叭自动播放警报。在日照光线不足的情况下，照明射灯自动开启照明，以对入侵目标形成一定程度的震慑和驱离。

防区配置模块根据监控报警单元所覆盖的防区设定围界防区范围，可根据围界防区内实际的地理状况，划分出更为精细的预警区和报警区，以设定不同区域的入侵报警级别和响应级别。

数据融合模块将汇总后的入侵报警信息传输至报警处理模块，通过消息提醒的方式提醒监控中心查看警情，消息提醒方式包括响铃、震动、闪烁。汇总的报警内容包括：入侵目标类别、入侵行为、入侵级别、入侵目标的行动轨迹、入侵行为视频录像。监控中心同时可以查看关联摄像机的实时视频，通过球型摄像机旋转控制云台手动控制调节球型摄像机的旋转角度，以便于从多个视角核实入侵行为是否已经停止或消除。

监控中心在远程处理入侵报警事件时，可随时将入侵监控报警单元的警告喇叭和照明射灯切换至手动模式，通过警告喇叭对入侵目标直接进行喊话或播放特定的驱逐音效。同时手动控制开关照明射灯，以对入侵事件实施更为主动的人工介入处理，提高入侵事件的处理效率。

对于仍在持续中的入侵行为，监控中心通过派工处理模块，将警情信息下发派工至围界巡查人員的手持设备终端，巡查人员立即前往报警位置查看，对入侵目标实施驱离或抓捕行动，待入侵行为解除后，巡查人员通过手持设备终端反馈驱离行动结束，完成本次入侵报警事件的处理。

围界巡查人员的手持设备终端按间隔10秒的频率上报所在位置信息至报警处理模块，监控中心在派工时可以实时查看并寻找距离入侵位置最近的围界巡查人员，调度特定围界巡查人员就近前往入侵位置，缩短入侵事件的处理时间。同时，监控中心可以通过报警处理模块实时查看围界巡查人员抵达位置，以便于对入侵报警事件处理进程实现更高效率的调度。

4 结束语

基于毫米波雷达和视频分析融合的围界入侵报警技术，通过入侵监控报警单元设置的雷达和多目摄像机以及球型摄像机的组合，任何入侵行为都能及时被监测到并实时传输至行为分析模块，通过融合雷达监测到的入侵位置和行为分析模块分析得到的入侵行为分析结论，综合研判是否触发入侵报警及报警级别，整体采用模块化组合方式，布设安装灵活，防区划分操作方便，全域覆盖无死角。雷达的全天时、全天候工作特性相对视觉监控有很好的环境适应能力，可以第一时间发现并跟踪可疑目标。

通过融合毫米波雷达探测信息、视频监控以及行为分析，通过雷达技术的主动探测、高灵敏度，视频行为分析的数据判断、可视性，达到入侵目标的高检测和高识别率，显著降低了入侵误报率和虚警概率。对入侵目标进行多源探测与协同识别与定位，刻画目标轨迹，可以辅助监控中心对围界入侵事件迅速做出判断和应对处理，并及时派工至围界巡查人员，可以降低围界巡查频率，提高围界巡查效率。

参考文献：

[1] 李洋，韩萌，王紫欣，等.毫米波雷达与摄像头单应性变换标定方法误差因素分析[J].物联网技术，2022，12（10）：16-20.

[2] 刘振东，宋春林.一种基于摄像头和毫米波雷达的多模态信息融合算法[J].计算机科学与应用，2022（11）：2544-2560.

[3] 李嘉浩，姚金杰，姬娜娜，等.基于ARM的高精度毫米波雷达测距传感器[J].单片机与嵌入式系统应用，2022，22（11）：58-61，69.

[4] 刘峰，刘恩晓，陈晓林.一种基于背景学习的毫米波雷达机场跑道外来物探测方法研究[J].中国科技期刊数据库 工业A，2022（6）：222-225.

[5] 期治博，杜磊，霍如，等.基于边缘计算的多摄像头视频协同分析方法[J].通信学报，2023，44（8）：14-26.

[6] 孟令睿，丁光耀，徐辰，等.基于深度学习的新型视频分析系统综述[J].软件学报，2022，33（10）：3635-3655.

[7] 莫辉强，邵唐红，王伟，等.一种基于视频分析的异常行为识别算法及应用[J].计算机与数字工程，2022，50（9）：1895-1898.

[8] 费宝顶，李鹏飞，张旭，等.基于AI芯片的视频分析应用开发框架研究[J].警察技术，2023（3）：4-7.

【通联编辑：梁书】