AI视频分析技术在南京禄口国际机场中的应用

孙英志 姚林

（东部机场集团 江苏省南京市 211113）

1 南京禄口国际机场四型机场建设诉求

1.1 安全管理层面

当人流密集密度过大或时间过长，很容易产生旅客骚动等情况；旅客密度过大时，面对突发事件，如失火、航站楼玻璃脱落，也很容易产生旅客拥堵踩踏、疏散不利等情况，因此南京禄口国际机场迫切需要基于视频分析手段，对旅客密集区域进行监控，分析、预警，实现四型机场的安全管理。

1.2 人文服务层面

在旅客值机安检过程中，时常有值机柜台、安检口资源不足的情况，导致旅客排队等候等情况出现，在旅客通关过程中，也时常发生旅客找不到值机柜台、不熟悉通关流程以及丢失物品等情况发生，为更好的提供旅客驻楼服务，迫切需要可信、可靠手段对值机岛、安检口等旅客排队等候情况进行分析，对旅客徘徊等待行为进行分析，并在监控页面进行实时报警提示。

1.3 智慧运行层面

南京禄口国际机场的值机、安检等驻楼服务与旅客密度和人流分布紧紧相关，通过视频采集手段，可实时感知旅客人流密度与分布情况，从而针对性进行安检、值机、送餐、指引等服务资源倾斜与调配，实现机场的智慧运行和资源优化配置。

1.4 绿色机场层面

南京禄口国际机场航站楼运行需要大量的水电设备设施提供基础保障，若此类资源一直保持运行，很容易导致资源浪费；因此，需要借助视频分析手段，感知航站楼内旅客分布情况，对于无旅客分布区域的能耗设备进行暂停使用，如电梯、楼内灯光等，实现绿色机场建设。

2 视频分析技术能力

视频分析技术简单来说就是利用视频前端设备采集的信息，通过智能算法，不断的运算分析，从而提取视频中关键信息的一种技术，通用技术通过对目标的大量样本标绘，通过光流法和高斯分布法，实现目标前景和背景的分离，进一步进行视频分析；常用的场景分为三种，第一种，目标识别，例如通过视频设备，采集航班保障过程中的人员信息，通过对保障人员着装信息提取，对保障人员是否穿着反光背心进行判断；第二种，目标跟踪，是对目标识别的进化，例如已经识别了航站楼中某位旅客，在一个旅客持续运动的、多个旅客混合行动的画面中对已识别的旅客运行轨迹进行持续的跟踪；第三种，行为识别，例如通过视频设备采集，去分析目前航班保障进程，根据投入资源情况和实际需求情况，视频分析算法分为前端视频分析和后台视频分析，即将视频分析算法封装在视频采集模块中分析，将分析结果传输到后台或视频采集模块只负责采集视频样本信息，通过后台算法对视频进行分析；前一种做法的好处是总体投资低，对网络条件和后台服务器资源配备压力需求较小，缺点是如果需求进行变更，整体需要对视频采集设备进行替换；后一种做法的缺点是整体视频工作由后台完成，视频设备只负责采集视频样本，整体对网络带宽和服务器资源配备压力较大，有点是一旦有需求场景变更，只需要对后台算法进行补充和优化，无需整体替换视频设备。

图像识别技术往往针对单一图片，对目标进行识别、分析，区别于图像识别技术，视频识别技术具有时序性，即某一帧率的视频与近邻一段时间范围内的帧率具有较强的逻辑关系，依据于这种时序特性，我们可以将视频识别范围分为关键帧和非关键帧，有效的去降低算力的压力、增加算法的准确性和提高算据的样本范围，从而提高视频分析技术的可靠性和可实施性，以较小的资源投入，获取较大分析结果输出。

3 传统安防平台所存在的痛点难点

南京禄口国际机场已建设的安防平台存在以下几点痛点和难点：

（1）随着建设阶段不同，视频设备可能采取不同的厂商进行供应，视频设备种类多、数量大，在为机场提供不同区域监控的同时，本身设备的运行维护也是较大的工作量；

（2）视频设备本身存在的视角的盲点，有些活动是无法采集到的，即便是采集到的视频内容，其中也存在着大量的潜在分析内容，光靠人脑是无法对视频设备采集到的信息进行逐条、逐帧进行分析的，必须借助先进的技术手段去实现；

（3）即使机场建立了大量的视频设备，可以对机场各个区域做到无死角监控，但是在监控的过程中，还是需要人力资源的投入，即人去盯着视频监控终端，对场景进行监控，不但需要大量人力资源投入，由于人存在着疲劳、注意力不集中等行为的可能性，在转瞬即逝的活动场景中，监控的质量也难以保障。

为解决以上痛点难点，南京禄口国际机场充分利用现有视频设备，在一些无法采集的点位进行补盲，并结合AI视频分析技术目标识别、目标跟踪以及行为识别的能力，结合高精度地图服务，实时感知机场目前的航班动态、旅客动态、旅客行为等信息进行有效汇总，并对视频采集的风险行为进行实时报警提醒，降低了人力资源的投入、对视频信息有效的进行挖掘。

4 AI视频分析技术在南京禄口国际机场的应用

4.1 智能分析平台业务架构

如图1所示，根据整体业务需求以及南京禄口国际机场现有视频设备建设情况，智能安防分析平台采用多层的应用架构体系，通过系统对接、视频设备采集、采集数据建库、数据挖掘与分析，实现整体四型机场建设目标。

图1：智能分析平台业务架构

4.1.1 数据汇聚层

数据汇聚层主要通过系统对接的方式和设备集成的方式，汇聚前端的感知数据，例如基础的视频流信息、安检口人脸识别的信息、旅客个人信息、安检数据信息以及航班数据信息，并通过GIS系统与视频设备进行联动。

4.1.2 数据处理层

对接的数据分为结构化的信息，例如旅客的基本信息和非结构化信息，例如视频信息，并通过大数据技术将数据进行结构化，分为机场业务库、员工库、旅客库、黑名单库、事件资源库和安全资源库，通过与解析中心体系对接，将数据进行量化和指标化，供业务展示层进行展示使用。

4.1.3 业务数据展示层

业务数据展示层包括智能事件应用展示、安全态势展示、业务展示和GIS应用服务。

（1）智能事件应用包括旅客行为轨迹、旅客画像、排队长度等。

（2）安全态势是以目标行为分析为数据基础实时进行预警报警。

（3）业务展示包括机场业务数据的展示，如航班进程等业务数据。

4.2 智能分析平台逻辑架构构想

如图2所示，智能分析平台系统架构基于南京禄口国际机场现有基础技术架构和资源条件进行设计，自下而上划分成三层：PaaS层、基础SaaS层、行业SaaS层、应用层，以及一个统一运维系统。

图2：智能分析平台逻辑架构构想

PaaS层提供基础的功能服务。

基础SaaS层为基础功能汇聚和业务逻辑处理层，通过PaaS协议，从PaaS获取数据（视频/图片/结构化数据）、控制设备等等，将PaaS的一系列简单的功能进行业务组合，并结合业务场景提供更加专业能力，如用户账户系统，权限控制，预案处理，消息推送，布控管理等更为专业的应用功能供应用层使用。

平台SaaS依据南京禄口国际机场SaaS层进行建设，和基础SaaS层的区别在于平台系统可以基于SaaS层的服务进行组合，并加入机场业务系统，组合形成具体面向特定行业的整体数据分析平台。

应用层主要包括有C/S客户端、B/S客户端、二次开发包有PSDK、OCX，作为平台的入口，面向南京禄口国际机场桌面运行监控的实际需求，完成人机交互。

4.3 智能分析平台系统部署架构构想

如图3所示，平台部署架构如上，终端采集设备包括原有的摄像机、补充的人脸抓拍相机、180度全景相机、双目客流统计相机，通过安防网统一将采集的视频数据向后台智能分析服务器进行传输，视频原始信息在云存储空间进行存储，分析结果数据分主题分业务进入SODB（安全业务数据库），并进行双机热备存储，分析结果实时向客户端进行展示，其中一些危险违规行为、旅客超时排队、旅客流量过大等行为实时进行报警预警提示。

图3：智能分析平台系统部署架构

4.4 目标识别技术的应用

目标识别技术主要通过前端摄像头设备采集的信息，后台智能服务器进行分析，实现航站楼内的旅客人数感知、区域人数统计、人群密度检测和人员排队检测场景，主要根据人流密度实现楼内值机资源调配和能耗设备开关、当人流密度过大时，进行派遣资源进行人流疏导，实现安全、人文、智慧、绿色机场建设目标。

4.4.1 客流感知

如图4所示，由前端双目客流统计摄像机实现客流量感知，通过吊顶式安装，设备镜头与水平面呈90度，最大限度读取旅客流量信息，点位主要设置在航站楼出入口大门、T1与T2通道口、往地铁方向通道口。覆盖整个航站楼的所有通道口，将航站楼各通道形成闭环，双目摄像头对旅客进出行为进行判断，出口离开即为出港，进入即为进港，每个摄像头负责2米范围内旅客。

图4：客流感知示意图

如图5所示， 人数统计基本原则是航站楼各出入口进的人数减去出的人数、再减去安检人数，从而得到航站楼公共区的总人数。

图5：人数统计

人数统计：通过对前端相机规则区域的绘制，区分进入和离开的方向，并实时显示进入和离开人数的动态数量。

报表统计：通过开始时间、结束时间、人数统计方向或显示人数方式，统计区域及出入口的客流统计报表。

4.4.2 区域人数统计

由后端智能分析服务器实现，支持通过标准协议接入第三方摄像机进行分析。

如图6所示，前端摄像机输出标准视频流，把视频流传输到智能分析服务器，也可以采用onvif协议提供视频流接入到智能分析服务器。

图6：后端智能分析服务器

区域人数统计通过图像颜色纹理等信息去检测行人目标，配合跟踪、计数等算法，最终得到区域进出的总人数。

系统的主要流程是：将视频信息传入至视频分析服务器中进行目标检测。将得到的结果进行后处理模块，筛选检测结果，再进入跟踪算法模块对目标进行关联。将得到的检测跟踪信息传入至规则算法中，通过配置好的区域、过线和报警阈值对结果进行判断，输出人数统计值和告警信息。

（1）人数统计：通过对前端相机规则区域的绘制，区分进入和离开的方向，并实时统计区域内的人数。

图7：系统的主要流程

（2）报表统计：通过开始时间、结束时间、人数统计方向或显示人数方式，统计区域内客流统计报表，并可以以报表周期和报表进行呈现。

4.4.3 人群密度检测

由后端智能分析服务器实现，支持通过标准协议接入第三方摄像机进行分析。

前端摄像机输出标准视频流，把视频流传输到智能分析服务器，也可以采用onvif协议提供视频流接入到智能分析服务器，点位主要设置在航站楼安检待检区和远机位候机区域。算法和规则分离，算子分为底层感知计算服务和上层规则判断服务。

通过对智能分析服务器绘制检测区域，统计输出通道视频中的人数，人数在监测区域的左上角实时刷新显示，当区域人数超过阈值时进行预警。

检测区域可以任意绘制，人群密度通过热力图的方式展示，通过密度设定的规则以不同颜色展现不同的人群密度。如图8和图9所示。

图8：人群密度原图

图9：人群密度展示图

4.4.4 人员排队检测

由后端智能分析服务器实现，支持通过标准协议接入第三方摄像机进行分析。

前端摄像机输出标准视频流，把视频流传输到智能分析服务器，也可以采用onvif协议提供视频流接入到智能分析服务器，点位主要设置在航站楼安检待检区和远机位候机区域。算法和规则分离，算子分为底层感知计算服务和上层规则判断服务。

在安检待检区，值机岛，出租车候车区等进行排队检测功能设置，比如统计安检通道排队人数统计，当人数超过设定阀值是报警，通知管理方及时增加安检通道。

通过对智能分析服务器绘制检测区域，统计输出通道视频中的人数，人数在监测区域的左上角实时刷新显示，当区域人数超过阈值时进行预警。

检测区域可以任意绘制，一个视频通道可以设置多个检测区域，对于蛇形排队区域可以绘制多边形区域进行区域人员统计，每个区域可以设置不同的阈值。

把排队长度信息上传到平台，配置告警预案，超过告警长度联动报警。

5 目标跟踪技术的应用

目标跟踪技术在南京禄口国际机场主要服务场景在于旅客行李丢失、黑白名单旅客通行跟踪，对于安全和人文机场建设很有价值。

5.1 人脸识别

如图10所示，在航站楼主要出入口、重要部位、隔离区重要通道口、电梯扶梯口等部位部署人脸识别采集设备，采集前端人脸抓拍设备抓拍到的人脸照片后推送给智能分析平台，通过视频分析设备对图片进行机构化分析。

图10：人脸识别示意图

将人脸抓拍照片与抓拍旅客库进行比对碰撞，如与库中的某人达到一定相似度则判断为同一个人，将该人员照片归位同一个档案ID；如没有相似度较高的档案，则判断为一个新出现的人员，建立新的档案ID。

（1）将同一人员在不同时间、地点的抓拍人脸记录进行归类聚类成一个人员档案，档案的详情信息中包含该档案人员的抓拍历史图像信息。

（2）上传一张图片搜索出最符合记录的旅客的一人一档信息，查询结果包括：姓名、身份证号、抓拍地点、抓拍时间、出现次数、标签。

（3）以时间段、身份证号、姓名、标签等条件查询出人员的一人一档记录，查询结果包括：姓名、身份证号、抓拍地点、抓拍时间、出现次数、标签。

从抓拍的路人库进行筛选，根据路人出现的频次生成黑名单库；

前端人像卡口抓拍的图像上传到智能分析服务器跟黑名单库进行动态比对；

发现结果进行提示分析、跟踪预警。

5.2 以图搜人

通过所有的前端人像卡口相机，实时抓拍经过图像中的人脸，将人脸的大头照传输到后端，智能分析服务器，进行人脸的特征结构化提取，建立旅客库。

将安检系统提供的人脸照片上次到应用平台，通过智能服务器结构化后同旅客进行比对，检索，按照相似率排列。

查找一定范围内的历史人脸轨迹；输出最终的人脸出现位置，在GIS地图上以轨迹的方式展示。

考虑到目前航站楼隔离区内部安装位置等限制，有可能会导致旅客经过人脸卡口的概率较低，或者出现经过人脸卡口但未抓拍到人体正脸，导致实时比对效果差，以图搜人检索点位数量少，根据业主需求，通过深化设计增加人脸识别和人体特征共同检索功能，提高旅客快速定位和对人脸轨迹的精确描述。

首先需进行人脸人体特征进行关联——配置全结构化摄像机，即摄像机既支持人脸的结构化也支持人体的结构化，通过后端智能分析服务器进行关联。

通过安检获取人脸大头照检索，通过旅客的人脸运动轨迹，（包括安检系统的人体全身照片）。

通过人体关联的人脸进行以图搜人

通过安检系统的人体全身照片，进行以图搜图检索

操作人员对检索结果通过人体特征结构化（裤子为蓝色）进行二次检索过滤，选取过滤后的人体特征进行二次检索，并最终选择合适的人脸+人体检索结果共同作为旅客轨迹的点位，生成对应时间段的旅客轨迹。

6 目标行为分析技术的应用

目标行为分析技术在南京禄口国际机场主要应用场景在区域入侵检测、旅客徘徊检测和物品丢失等场景，当发现旅客禁区入侵、徘徊等待和物品丢失，进行报警提示，并指派相关人员进行处置，实现了安全、人文、智慧机场的建设目标。

6.1 区域入侵

由后端智能分析服务器实现，支持通过标准协议接入摄像机进行分析，用过描绘禁区范围，视频设备采集信息在后台进行自动分析，并基于分析结果进行报警提醒，防止非法人员闯入。

6.2 徘徊检测

由后端智能分析服务器实现，支持通过标准协议接入第三方摄像机进行分析，摄像机采用onvif协议提供视频流接入到智能分析服务器。

通过徘徊检测区域设置，布防徘徊检测时间的设置、检测目标过滤设置，实现徘徊检测，并对徘徊行为进行实时报警，在GIS地图上进行弹窗展示。

6.3 物品遗留遗失

由后端智能分析服务器实现，支持通过标准协议接入第三方摄像机进行分析。

摄像机采用onvif协议提供视频流接入到智能分析服务器。

支持自定义绘制区域，当绘制区域经过识别有物品遗留或者遗留物品被别人拿走的情况，则后台自动进行提醒，并将视频进行保留，也可结合目标识别和目标跟踪功能，对取走物品人员进行识别、跟踪。

物品遗留/消失功能用于检测监控场景内的某些区域是否有人、车、物品等的遗留或消失现象发生

如果目标物体驻留或者消失的时间超过规定时间，则触发联动报警。

7 结语

基于AI视频分析技术，可以将目前机场人力资源解放，并挖掘一些人脑无法分析的信息，后续通过在飞行区部署视频点位，可精准实现航班保障进程节点信息，如上轮档、加油等信息，也可对飞行区一些违规行为进行分析，如未穿着反光背心等行为；结合航站区，通过旅客密度的分析、位置分析，关联旅客身份信息，进行旅客知识图谱刻画，一方面可以对广告牌等进行精准定价、另一方面可针对不同旅客进行精准营销，增加非航收入，因此，视频分析技术在机场不仅仅可以解决运行管理、安全管理问题，在商业价值挖掘上，也拥有良好的发展前景和挖掘空间。