浦东机场航班地面保障节点视频分析技术的应用研究

王亚民，潘硕华，钱一斌

上海国际机场股份有限公司浦东国际机场，上海，201207

0 引言

近年来，为提升机场运行效率和服务能力，民航局推出机场协同决策系统建设规范，因受制于信息共享机制和信息采集条件，协同决策所需的航班地面保障节点数据在及时性、完整性等方面仍存在问题。根据2022年国际数据公司（IDC）对企业人工智能技术应用现状的调研结果，计算机视觉目前为最主要的应用技术类型[1]。随着机器视觉技术以及大量AI视频图像分析应用的兴起，视频智能分析为节点数据采集提供了可能。

1 业务现状分析

1.1 航班地面保障业务简介

航班地面保障服务是指在航空运输过程中，在机场范围内为航班提供支持和保障的一系列服务。这些服务通常由地面服务提供商或航空公司的地面服务团队提供，旨在确保航班安全高效运行。航班地面保障服务涵盖多个环节，保障里程碑是指从航班起飞到落地，完成过站到再次起飞，其间涉及45个地面保障节点。

1.2 航班地面保障视频分析智能化现状

浦东机场曾在2017年上线基于视频分析的飞机入离位节点采集系统，它具备输出标准结构化数据的能力，可通过客户端展现机位的占用情况，但该系统使用上一代机器视觉技术，采集精度（综合准确率约90%）和采集节点（仅支持入离位2个节点）都无法满足目前的业务需求。

1.3 民航行业标准的要求

为实现机场协同决策、优化地面资源配置、管控运行保障节点等目标，民航局在2022年发布的民用航空行业标准《机场协同决策系统技术规范》（MHT6125—2022）提出：数据自动化采集应采用人工智能机器学习技术，通过对地面保障节点的视频数据进行分析，实现保障节点时间数据的自动提取、录入和推送。

1.4 视频智能化自动采集的现实意义

1.4.1 降低人工录入差错率

当前航班地面保障数据主要来源于航司、地服等单位，地勤人员通过移动APP或对讲机报备调度室录入部分节点，产生的数据存储于各自系统，单位间的数据共享通过企业服务总线实现，但仍然存在数据不完整、数据误差和上传不及时等问题[2]。通过视频自动采集可以降低人工录入的数据质量问题。

1.4.2 优化业务流程

航司、地服等单位可分析地勤人员的操作时间和行为，识别出异常事件，如航班计划时刻冲突、航班保障资源分配冲突、航班计划过站时间不合理等信息，进而调整作业流程。

1.4.3 提升航班正点率

运行指挥中心通过数据分析保障过程的深层次问题，通过航班运行信息的整合与计算，结合历史数据及条件约束，预测航班的保障完成时间，完善航班保障业务规则库，更好地对关键环节采取监控和延误预警，提高机场保障效率[3]。

2 局部验证性研究与测试

2.1 概念验证测试

为充分验证视频分析技术采集地面保障节点的可行性，先期开展概念验证测试。选取航站楼、卫星厅、远机位中具有代表性的5个机位，对若干关键节点进行验证测试。验证阶段共有10家厂商参与，包括头部互联网企业、AI独角兽以及传统安防厂商。测试规定了必须实现的8个基础节点如表1所示，允许各家厂商根据独特的能力，开展全要素保障节点的测试，主要评估数据精确率（Precision）和召回率（Recall）两项指标。

表1 测试节点及定义

2.2 测试结果

验证测试期为2021年6月至12月，其间受到疫情影响和一些客观条件限制，总体符合测试预期。各家均完成最低8个节点要求，除了难度较大的开关货舱门等2个节点，各家对其他6个节点的数据综合精确率都超过98%，对航空器入离位等拍摄目标较大的节点，有6家的精确率为100%。此外，3家厂商完成了货邮行李装卸、加油、配餐等更多节点的测试，总计19个节点高于95%的精确率。

2.3 项目难点分析

基于概念验证测试获取的经验，总结视频分析项目存在的主要技术和管理难点，需在后续正式项目中统筹考虑并解决。

2.3.1 视频采集的困难

视频智能化技术高度依赖视频前端采集的画面质量，视频采集会面临目标物被遮挡、自然强光干扰、人造强光干扰、摄像机画面偏移等问题。

2.3.2 复杂场景的挑战

视频智能化技术要应对各种复杂业务场景的挑战，系统需设计对航班拖曳、航班维护、多次靠桥、多次配餐等特殊业务场景的处理逻辑。

2.3.3 算力资源的压力

视频分析技术普遍采用的深度学习算法，对基础算力尤其是GPU的算力需求较高，比如在航站楼出发大厅人群较为密集的场景下识别人员体貌特征，每块NVIDIA T4 GPU显卡最多只能处理8路1080P高清视频。

2.3.4 运维工作的优化

视频智能化系统的建成，将对保障团队提出更高的要求。例如对于前端摄像机的维护，原先只要做到拍摄清晰，但智能化以后，即使摄像机采集出现超过1°视角偏差，都会影响后台分析运算结果。后端软件平台和智能算法提升了视频平台的规模和复杂度，原有视频监控的维护模式需要调整，包括提升维护人员的技术能力、升级运维工具等。

3 整体设计方案

3.1 总体范围与项目目标

根据局部验证中对于技术可行性的验证结果，以及实际业务需求，系统建设目标为安装及调优990路摄像头全量采集浦东机场所有在用290个机位的19个主要保障节点数据，并将采集的数据融合航班数据以后上传至企业服务总线。且满足航班保障节点采集算法识别率在白天且良好天气场景下精确率和召回率分别不低于98%，在夜晚或恶劣天气且满足肉眼可见场景下精确率和召回率分别不低于95%，航班匹配精确率不低于99.5%。

3.2 系统整体架构

系统逻辑架构图如图1所示。其中物理层为系统的各类摄像机等前端采集设备，以及服务器GPU、服务器CPU等计算资源；图像算法层主要是计算机视觉技术，主要包括飞机识别、飞机部位识别、保障车辆识别、地服人员识别、运动目标检测等图像算法，以及从视频和图像中提取结构化的数据；业务逻辑层根据航班生产的业务逻辑，配置生成各个保障节点采集、行为和事件发生的判定规则算法，并对视频结构化数据进行进一步处理，得到各个保障节点采集、行为和事件。应用层主要实现最终对用户展示的各项功能，包括行为与事件的监管人机交互、机场协同决策系统的各项子功能。

图1 系统逻辑架构图

系统功能模块图如图2所示，由四个部分组成：前端图像采集包括前端摄像机及视频流媒体平台，流媒体平台通过平台SDK方式提供视频或者图片流[4]；视频分析算法模块是系统的核心功能，获取视频或者图片流并完成图像解析处理后，经过深度学习推理，获取航班地面保障时间节点，并生成动图集中存储；节点数据融合模块实现原始节点数据与航班动态数据的智能融合，再次生成航班保障节点数据，同时在模块中实现数据治理功能，对重复上报、不符合航班保障逻辑的节点进行自动剔除或覆盖，并完成与ESB对接；管理及运维平台实现用户管理、运维管理、数据核验、统计报表、日志模块等管理功能。

图2 系统功能模块图

3.3 摄像机部署方案

现有机位视频监控主要采用200万像素高清摄像机，为提升视频算法精度，最理想方案是将所有机位更新至4K摄像机，且根据现场条件调整安装位置和照射角度（摄像机架设建议如图3所示）。为遵循“降本增效”原则，需在实用性和经济性之间取得一个平衡。因画面捕捉目标主要集中在飞机右边引擎一侧（即图3所示点位1），因此前端方案主要确保该侧摄像机按照4K标准更新，其余方向摄像机根据使用年限更新或者利旧。

图3 摄像机架设建议示意图

3.4 外部数据辅助

获取机坪设计图、机位设计图、机型设计图等静态信息。通过ESB接入航班动态、机位分配等系统的动态数据，对航班号、机型、机位、计划到达时间、计划起飞时间、实际到达时间、实际起飞时间等数据融合处理，优化模型训练和数据融合，提高节点采集精确率。

3.5 综合算力测算

根据前期测试结果，可以估算GPU算力资源总体需求。在不降低视频算法精度的前提下，通过两种方法节省算力资源。一是根据航班动态分配算力资源，即当机位上有飞机正在执行保障任务的过程中才启用算力。二是通过减少视频流解析来减少算力资源，即在前端采集时获取可以直接用于分析的图片流。

3.6 视频算法概述

视频分析算法总体分为训练阶段和推理阶段。在训练阶段，通过采集停机位的图像，使用深度学习模型对海量的图像进行训练，得到图像检测和图像分类的模型参数；根据航班保障的业务逻辑，产生各个保障节点的位置、时序等生成逻辑。在推理阶段，算法通过神经网络得到航空器、参与航班地面保障的车辆、人员的种类、位置、置信度等信息，按照保障节点的生成逻辑，生成各个保障节点。

3.7 数据治理与服务

290个机位每天产生的保障节点数据巨大，验证每个节点的数据质量远超人力统计核验的能力范围。在实际保障过程中，很多保障任务是串行或者并行发生的，有着一定的制约关系[5]，设计一套逻辑校验、采集率统计、风险因素分析、局部核验、多个维度统计、多方参与的方式，实现自动和人力相结合，在有限人力的投入下，提高保障节点数据质量监控的公信力。在数据质量监控过程中，对错误节点数据进一步补充采集，并导入算法模型训练，使保障节点的精确率不断提升。系统在企业服务总线设计发布2个服务，实现保障节点实时和历史数据的共享。浦东机场、机场集团各系统可通过ESB快速获取保障节点的结构化数据、缩略图、快照等。

4 项目实施成果

4.1 健全节点

4.1.1 提供标准化数据接口

在遵循企业服务总线接入开发规范进行适配后，系统支持推送保障作业节点信息，包括但不限于节点类型编码、节点类型描述、航班进出港标识、航班编号、停机位编码、保障批次、计划保障时间、识别保障时间等。同时系统支持提供保障节点信息的动图，通过URL地址的形式提供动图调阅服务。

4.1.2 数据质量评估

通过抽样方式采集100个机位在2023年4月14日-4月20日期间的节点数据，包含了昼夜晴雨等多种场景，总计采样数量为9977个。经综合统计，精确率、召回率均大于99%，符合项目预期。数据质量抽样评估表如表2所示。

表2 数据质量抽样评估表

4.2 优化算法

按照原设计，系统配置了8套GPU服务器（每套服务器含4块NVIDIA的T4 GPU）。通过对神经网络进行优化，选用新型神经网络并进行合理裁剪，在保持模型精度的前提下，大幅提高推理吞吐量。同时，使用TensorRT通过剪枝、量化、融合等技术来减小模型规模和计算复杂度，从而显著提高深度学习模型在GPU上的推理速度。算法优化后，实际减少至5套GPU服务器，且按照150个机位同时保障的峰值计算，平均占用率不高于25%，最高占用率不高于50%，完全符合运行要求。

4.3 赋能业务

4.3.1 提升管控能力

通过精准的航班保障节点数据，运行指挥中心可查看各机位的保障进度，实现航班的精确指挥；机组可清晰掌握航班的保障进程；地勤人员可通过移动应用实时了解各项任务时间和航班推出目标时间。

4.3.2 提高安全裕度

保障节点可以结合机位容量、机位调配、整体航班量等数据实现可视化分析，支持机位容量不足、机位冲突、机位机型不匹配等情况时的报警功能，为机场资源管理、运营效率提升提供数据决策依据。

4.3.3 推动数据共享

机场掌控高质量的实时数据，提升了与空管、航司之间数据交换、数据融合的话语权。这不仅可以促进行业内数据治理的良性循环，也可以探索对外提供有偿数据服务，产生可观的经济价值。

5 展望

以机坪作为业务场景，未来可以采集更多更细颗粒度的目标物，可从静态的采集升级为采集动态矢量信息，例如采集人员、车辆、行李的动态信息，研究实现绕机生产作业标准化、规范化检测，研究实现违规人员进入机位、违规接近航空器以及粗暴行李作业等预警功能。