基于轮式机器人与微小目标识别技术的机场跑道异物检测系统研究

摘要：文章针对航空器起降间隙较大的支线机场跑道的异物自动识别与定位问题展开研究，提出了一种基于具备自主导航功能的轮式机器人结合工业相机与激光雷达系统的跑道异物自动识别定位系统。该研究主要采用图像分块处理与深度学习框架相结合的计算机视觉算法，对跑道微小异物目标进行自动识别与定位，具备跑道自主巡航检测的能力。该研究实现了系统样机的集成与跑道环境现场测试的一系列工作，获得了对5 mm直径微小异物80%的综合检出率，有利于该类型机场跑道异物检测的进一步研究并取得了积极的效果。

关键词：轮式机器人；目标识别；机场跑道异物；图像处理；深度学习

中图分类号：TP391.41; V351中图分类号" 文献标志码：A文献标志码

作者简介：白颢（1982— ），男，教授，正高级工程师，博士；研究方向：数字信号与图像处理，智能建造，人工智能工程技术应用，空间大数据分析。

*通信作者：刘璟之（1989— ），女，讲师，博士研究生；研究方向：信息处理，大数据分析技术。

0" 引言

随着我国航通交通运输和军事发展的需要，各类型机场的建设持续推进，机场跑道异物（Foreign Object Debris，FOD）对航空安全的威胁也日益凸显［1］。随着航空交通量的增加，机场跑道异物可能对飞机起降造成严重威胁，导致设备损坏甚至人员伤亡。因此，开发有效的FOD检测方法和识别系统既是亟须解决的问题，又是航空安全的重要保障。近年来，随着自主导航机器人及视觉识别技术的发展，其自动、高效、非接触及实时性强等优势得到广泛关注，基于这种方法的FOD识别系统及方法的研究也逐渐成为热点。

1" 异物识别系统及识别算法研究现状

传统的机场跑道异物检测方法主要包括人工巡检、物理围栏和地面雷达等。人工巡检主要依赖于工作人员的经验和注意力，不仅检测效率低下耗费人力，还存在较多盲区；物理围栏虽然可以阻挡较大的异物进入机场跑道范围，但对于小型或微型异物的检测能力非常有限；地面雷达等技术虽然具有较好的探测能力，但受天气条件影响较大，成本高昂。随着新一代信息技术和计算机机器人技术的发展，基于图像处理、深度学习、计算机视觉等技术的FOD识别方法得到了积极的应用。

目前，在国内外FOD检测系统中，有相当一部分研究采用了光学传感器与雷达传感器相结合的系统集成方案，因此图像处理及视觉分析技术成为此类系统的主要研究内容。赵军香等［2］提出了一种基于图像差值的FOD检测方法，通过图像分割与目标合并实现对异物目标的识别与定位；武治国等［3］提出了一种采用分块自适应阈值方法对背景帧图像与当前帧的差分图像二值化为基础的视觉分析FOD检测方法，可以实现异物与对应背景区域的显著分离；于之靖等［4］提出利用小波变换和数学形态学相结合的方法进行检测图像的边缘检测并利用质心定位法获得异物像素坐标；王国屹等［5］提出一种利用图像分块与对其差分检测和小目标异物跟踪的算法，为小目标FOD识别提供了借鉴。

随着人工智能与深度学习技术的发展，针对FOD识别过程中的海量图像数据，国内外学者纷纷展开基于多种深度学习模型的FOD识别方法研究的探索。其中，YOLO模型的应用最为普遍。李小军等［6］提出了一种基于改进YOLOv5的FOD快速检测算法；李海丰等［7］提出一种基于YOLO双通道检测器和CIoU损失函数的高精度FOD实时检测算法，提高了跑道异物的检测速度和精度。

在FOD检测算法研究的同时，多传感器和系统平台也获得了积极的发展，不仅有结合了毫米波雷达与高清夜视摄像仪的新型异物检测系统方案［8］，还有基于移动车辆平台［9］及无人机平台［10-12］和人工智能识别算法［11-12］的FOD检测系统。

本文基于轮式导航机器人平台及高精度工业相机系统自主研发了一套用于中小型机场跑道异物的检测系统，针对通航间隙较大的支线军民机场跑道，采用自主规划导航巡查及图像快速识别相结合的方法对跑道微小异物目标进行快速识别及定位。

2" 系统设计

面向支线机场飞行器起降间隙较大的通航特点，本研究设计了一套基于自主导航机器人平台并结合工业相机与激光雷达系统的跑道FOD识别系统，利用实时图像识别算法与深度学习架构对跑道微小目标异物进行快速识别与定位。整体系统由轮式机器人平台、工业相机系统、激光雷达系统及控制系统等部分组成。系统组成架构如图1所示。

本系统中将具备快速图像采集及夜视能力的工业相机系统作为主要传感器，利用实时图像处理方法对微小异物目标进行快速识别，在导航组件和激光雷达系统的协助下进行异物目标的高精度定位，将识别结果进行记录和上报，以便场站地勤人员进行异物的快速处置。

3" 基于视觉的目标识别算法

区别于其他日常应用中基于视觉的目标检测任务，机场跑道异物目标多为5～20像素或点云的极小目标，训练样本数量较少。因此，本文采用的方法主要考虑针对小目标的数据增强策略，模拟实际异物目标，提升模型的泛化能力。

3.1" 数据预处理与数据裁剪

机场跑道异物检测过程中获取的原始数据大小通常超过一般检测模型的最大输入要求，若直接进行降采样，则会影响算法精度。因此，本文采用将原输入数据裁剪，再分别送入模型进行算法识别与检测的方法。具体操作是采用滑窗方式将原始数据裁剪为指定尺寸的待检测数据作为模型输入并且相邻图像块保持50%以上区域的重叠，目的是保证原图中的每个区域都能被完整检测到，重复检测可通过后续NMS算法进行去除。

针对数据预处理与裁剪，一方面，可以在保证目标不被降采样的前提下，缩小输入数据的尺寸；另一方面，上述处理过程相当于进行目标移位的数据增广。

3.2" Copy-Pasting数据增强算法

由于机场运行环境的限制，基于实际机场跑道环境所获得的训练样本通常数量有限，可识别目标缺少数据量和位置多样性，为了提高算法检测精度和鲁棒性，除了采用通用的随机旋转、镜像、随机移位等数据增强操作以外，本研究采用了Copy-Pasting增强策略，在不覆盖其他目标的基础上，将小目标的任意位置进行粘贴。在粘贴前，对目标进行随机增强处理，例如：随机缩放小目标尺寸（20%内），随机旋转（15%左右）等。本文将上述方法使用条件扩展到mini-batch中，将目标粘贴到该mini-batch内的其他相似区域。

基于上述概念，针对机场跑道异物的小目标识别算法模型网络整体结构的设计如图2所示。

本算法整体采用Cascade R-CNN结构，使用3层RPN网络，逐阶提高设定的IOU阈值，提高proposals（候选框）的质量。使用Resnet50作为主干网络，通过FPN网络使用多层特征进行联合预测，最终输出分类得分和位置信息。

ResNet采用过多的下采样操作，如步长为2的卷积、最大池化等。为了保留更细粒度的特征信息，将7×7卷积层替换为2个级联的3×3卷积层。

3.3" 算法数据训练

选用机场采集数据随机筛选数据片段作为训练集，滑窗剪裁成小块数据，每块数据间有50%的重叠，将小块数据送入网络训练。

训练过程分为前向传播和反向传播，两者交替进行。前向传播是在训练集中随机选择一个batch的数据统一到规定尺寸，送入检测网络，输出分类得分和位置回归的偏差；反向传播是根据损失函数求得的损失值反向调整网络参数，直到网络损失达到比较好的收敛效果完成训练。

损失函数分为分类损失和位置回归损失2个部分，分类损失采用交叉熵，回归损失采用Smooth L1 loss形式，如式（1）所示。

Loss=1Ncls∑iLcls（pi，p*i）+λ1*1Nreg∑ip*iLreg1（ti，t*i1）+λ2*1Nreg∑ip*iLreg2（ti，t*i2）+λ3*1Nreg∑ip*iLreg3（ti，t*i3）（1）

其中，λ1、λ2、λ3分别取为1、0.5、0.25。

训练采用端到端的训练方式，先使用coco trainval35k数据集对该模型预训练，再在训练集上对模型进行微调训练，增加模型收敛速度。

训练过程采用随机梯度下降（Stochastic Gradient Descent， SGD）方式在8GPU上训练，batch size为16（2 images per GPU）。训练初始学习率为0.02，总训练轮次为12 epoch，第一个epoch采用warm up方法随机生成较小学习率进行预热训练，随后学习率恢复初始值，在第9和第11个epoch上降低为原来的1/10，即0.002和0.0002。使用多尺度训练，输入数据尺度设置为（1200，1200）、（1400，1400）、（1600，1600）。

4" 现场实验及测试结果

4.1" 测试样机与实验指标

在上述系统与算法设计的基础上，本研究完成了实验样机的集成调试，选取国内某支线机场跑道进行现场样机测试，具体测试内容与测试指标如表1所示。

现场测试环境指标如下。

（1）试验场地：试验场地为机场跑道或混个凝土路面，路面平整度符合跑道标准。

（2）试验环境：无雨无雪的白天，光照良好。能见度不小于5 km，风速不大于5.4 m/s（符合3级风条件），海拔1000 m以内，温度为15～18 ℃，湿度小于80%。

4.2" 现场测试结果

在本次现场测试实验过程中，共设置异物目标30个，随机放置于跑道不同位置，其中包括直径5 mm钢珠5个，直径10mm钢珠10个，直径5mm、长20mm的钉子5个，其他直径10 mm以上异物目标10个。在现场实验过程中，轮式机器人系统采用自主导航模式，共进行4组重复测试，获得下列跑道异物检测结果：针对直径10 mm及以上异物综合检出率为91%，直径5 mm钢珠目标检出率为80%。异物目标识别测试结果如表2所示。

5" 结语

本文主要针对航空器起降间隙较大的支线机场跑道异物自动识别定位问题，提出了一种基于具备自主导航能力的轮式机器人平台搭载工业相机与激光雷达系统的FOD自动检测系统，基于图像分区域识别与深度学习网络相结合的计算机视觉算法对微小尺寸异物目标进行自动识别与定位。同时，本研究结合激光雷达系统的高精度定位特征，极大地提高了跑道异物目标的定位精度，为场站地勤人员的准确响应和处置提供了保证，从而极大地提高了机场跑道的航空器起降安全保障，为更大范围的技术推广提供了有益的尝试。

本研究也存在一定不足：一方面，异物目标的数据量由于现场试验限制，数据量略显不足，后续研究中会尝试更多的数据增广方法；另一方面，算法网络架构对极小目标不够友好，后续将对网络进行进一步改进，以持续提升本系统的异物识别能力。

参考文献

［1］国家民航总局机场司民航安全技术中心.FOD防范手册［M］.北京：中国民航局机场司，2009.

［2］赵军香，梁兴东，李焱磊.一种基于图像差值的跑道异物检测算法［J］.国外电子测量技术，2016（9）：17-23.

［3］武治国，王明佳，丁南南.基于视觉分析的机场跑道异物检测技术研究［J］.仪器仪表学报，2015（增刊1）：62-67.

［4］于之靖，陶永奎，郑建文，等.基于小波变换与形态学的机场跑道异物检测算法［J］.科学技术与工程，2020（21）：8690-8695.

［5］王国屹，孙永荣，张怡，等.背景对齐差分的机场跑道异物分块检测与跟踪算法［J］.计算机辅助设计与图形学学报，2021（3）：413-423.

［6］李小军，邓月明，陈正浩，等.改进YOLOv5的机场跑道异物目标检测算法［J］.计算机工程与应用，2023（2）：202-210.

［7］李海丰，李纪霖，王怀超，等.复杂机场道面外来异物高精度实时检测算法［J］.智能系统学报，2023（3）：525-533.

［8］李沙，李春娟.机场跑道异物检测系统设计与算法研究［J］.现代雷达，2021（6）：80-85.

［9］WUA X，LUO M，SUN H，et al. Demonstration of Airport Runway FOD Detection System Based on Vehicle SAR：IOP Conference Series Materials Science and Engineering May 18-20，2018［C］. Melbourne：IOP Publishing，2018.

［10］兰庭信，蒋进，尚帅，等.机场跑道异物检测与定位技术研究［J］.电光与控制，2021（9）：75-79.

［11］PAPADOPOULOS E，GONZALEZ F. UAV and AI Application for Runway Foreign Object Debris （FOD） Detection：2021 IEEE Aerospace Conference，March 06-13，2021［C］. Big Sky：IEEE，2021.

［12］NOROOZI M，SHAH A. Towards optimal foreign object debris detection in an airport environment［J］. Expert Systems with Applications，2023：118829.

（编辑" 王永超）

Research on runway foreign object debris detection system based on wheeled robots and

small object recognition technology

BAI" Hao1，3，4， LIU" Jingzhi2*， LI" Xiongwei3， WANG" Zewei4

（1.College of Information Engineering， Hainan Vocational University of Science and Technology， Haikou

571126， China; 2.School of International Education， Nanjing University of the Arts，

Nanjing 210013， China; 3.Changzhou Vocational Institute of Engineering，

Changzhou 213164， China; 4.Brisight （Hainan）

Science and Technology

Development Co.， Ltd.， Haikou 571158， China）

Abstract： This paper focuses on the issue of automatic detection and localization of foreign objects debris （FOD） on the runway of regional airports， where the intervals between aircraft takeoffs and landings are relatively large. A runway FOD automatic detection and localization system is proposed， based on a wheeled robot equipped with autonomous navigation functions， combined with industrial cameras and a LiDAR system. The research primarily employs a computer vision algorithm that integrates image block processing with a deep learning framework to automatically detect and localize small objects on the runway. Additionally， the system is capable of autonomous runway inspection and navigation. In the study， the integration of the system prototype and a series of on-site tests in the runway environment are successfully conducted， achieving an overall detection rate of 80% for small objects with a diameter of 5 mm， which has the advantage for a further research and positive results for the FOD detection on this type of runway.

Key words： wheeled robot; object recognition; runway foreign object debris; image processing; deep learning