AR全景视频助力多机坪可视化运用

□文/刘紫云 王宗义

近年以来，中国的民航行业进入了高速发展的新阶段，各大机场的航班量均呈现井喷式增长，大型机场的地面交通往往处于密集型高位运行状态。为适应激增的运输压力与不断扩大的机场规模，提高机场整体的运行管理效率，如何高效整合空管、机场、航空公司信息资源，实现精细化管理机场地面交通，达到安全事故零容忍，航班正点共提升的目标就成为亟待解决的问题。

为落实科技创新提出的总体任务，推动机场的科技进步，加快平安机场、智慧机场、绿色机场、人文机场的建设步伐，遵循“战略导向、问题导向、前瞻导向”的原则，切实解决机场在生产运行过程中面临的难点问题为目标部署。运用AR全景视频技术，实现对机场多机坪区域的全视频覆盖，同时开发、引入适用于机坪管制业务的进场面引导控制系统、VHF系统、内话系统等，形成完整的远程机坪管制应用环境，用于日常航空器机坪管制工作，提高机坪管制安全裕度。

何为AR增强现实技术

增强现实（Augmented Realityt），简称AR。顾名思义，就是在现实世界中将元素标签化、虚拟化，以便在屏幕上把标签化、虚拟化的元素套叠加并呈现在现实世界，进行良好的互动，例如，超市商品导购，对面林林总总的商品，通过AR技术，在手机屏幕上就能快速定位所想要购买的商品。又如AR街道广告：通过手机屏幕，呈现商店标签及其相关信息，便于消费者快速识别。

AR全景视频系统与其优势

众所周知，夜间飞行及恶劣天气会给机场运行带来诸多不确定因素，造成极大的安全隐患。起飞和着陆是飞机运行中最容易发生事故的两个阶段，飞行区作为安全保障等级最高的区域，实施全景视频覆盖是必然趋势，将现行制度与AR进行有机结合，能够在完美保障飞行区安全的同时，为管理人员提供更佳操作体验。

AR全景视频系统是基于AI深度学习的高性能运算平台对多路高清视频进行拼接组合成统一的监视系统，能够实现对机场跑道、滑行道、停机坪等重要云台协同定位区域的实时全景监视。利用此系统，机坪管制员可以在正常气象条件以及低能见度的情况下，以全局的角度监视整个机场场面的运行态势，能够全力辅助管制员在工作时做出更准确的决断，有效提升机场航空器地面运行的安全水平及机场运作效率，打造智慧机场管理新模式。

现状分析

在AR全景视频系统引入机场之前，机场的监视系统是以空管塔台场面监视雷达系统和机场安防监视系统为主，空管塔台的场面监视雷达系统是以一次雷达信号为数据源，这种数据呈目标点集，没有目标三维几何信息并且在机坪内部存在大量雷达无法扫描到的盲区，可靠性较低。机场的安防监视系统采用的摄像头大多独立离散不连续，无法对飞行区进行全景态势的把握，并且缺乏全过程全时空的历史回溯功能。相较之下，AR全景视频系统作为新的机场场面监视系统最大的优点就是可以实现对局跑道、滑行道、停机坪等重点盲区的航空器进行直观可靠的全景显示与局部关注。其主要解决如下问题：

监控点位低，存在盲点

目前机场的安防监控主要采取在机场内安装枪、球机为主的低点监控建设模式，普通摄像机视野容易被机场的建筑物及其它设施遮挡，要想实现对机场的全面监控相当困难。

监控点位分散，全方位布控欠缺

目前机场监控点位分散地分布于各重点部位且独立离散不连续，随着环境日益复杂，普通摄像机的缺陷也逐渐暴露，单点监控范围小，无法实现每个区域都覆盖视频监控，存在监控盲点，监控点位无法兼顾整体与局部，无法了解整体机场的运行情况，全方位布控比较欠缺。

地图二维展现，查看调度不直观

视频监控系统、指挥调度系统、引导控制系统、VHF系统等相对独立，通常依托二维或三维地图展现，缺乏全景监控视频画面进行各子系统的直观管理调用，对异常突发事件的应急调度指挥效率低。

实际应用功能介绍

通过引入AR全景视频监控系统，在实际应用中主要实现了机坪资源整合、实时指挥、应急调度三大功能，对机坪管制的日常工作发挥了极其重要的作用。具体如下：

机坪资源整合：该系统通过拼接横向和纵向上多路高清摄像头，将其融合成无缝、无畸变、无色度差异的宽场景视频，管制员可以在尽可能宽广的范围内进行全局监视，并且能够清晰辨认机场场面的航空器、车辆及人员，这样管制员就能更全面的掌握地面各个部门的保障情况，比如拖车是否挂上、舱门是否关闭、引导车是否到位等，管制员可以根据这些整合的资源情况发布有效的管制指令。

实时指挥：管制员通过AR全景视频系统可以全局把握地面交通情况，对地面滑行冲突作出较早的预判，随时调整地面航空器交通流，确保地面交通安全高效。另外，该系统同时还具有全景实时增强处理功能，支持强光抑制、夜视、雾透等功能，提高了画面显示的清晰度与舒适度，有效缓解了管制员夜间视觉疲劳。

应急调度：该系统的球机联动功能支持对视频中某细节进行放大，通过左右移动实现对该位置的周围进行观察，自动追踪功能支持对视频中某个移动目标进行实时跟踪，在需要应急调度时，管制员可以对特定的区域或航空器、车辆及人员等移动目标进行精准监视，实时向应急指挥中心通报现场保障情况。

除上述三大功能以外，AR全景视频系统的数据融合功能对机坪运行管理和指挥发挥了技术优势。该系统可以对视频数据与雷达或多点定位等数据进行融合，通过视屏叠加挂牌的方式进行航班信息的可视化增强显示，便于管制员在全景视频中直接读取航班信息。另外该系统还可以将大数据的动态视频流接入媒体服务器，实现对全景视频的存储与回放，便于管制员对特定事件进行复盘和事后调查。

应用中的技术难点

AR全景视频系统的应用过程中，最难解决的技术难点主要集中在如下方面：

高性能兼顾大场景和小细节 全景视频需通过多个摄像头组合成一体化的设计同时提供全景与特写兼顾大场景与特征细节。因为要在制高点，机身需为全铝轻量化金属，散热性能优良，高精度CNC切割工艺确保拼接融合的准确性和可靠性。球机具有高复杂度的内部结构，14核CPU多级级联，保证了极强的运算性能。模块化设计理念，满足用户多样化需求，可兼容更多定制化内容。

多目拼接技术 多目全景视频需将四个或者八个摄像头按锥面排布，将获取的八张图片统一投影到同一个锥面上，在加以sift特征匹配，计算每个图像需要移动的矢量，从而实现目标匹配和无缝拼接。锥面拼接是柱面拼接的一种变形，相对于柱面拼接，增加了ptich和欧拉角的矫正，投影变换的复杂度显著增加。同时为了保证图像清晰度，图像插值算法也需要改变，从而增加了图像处理的难度。比如AR全景球采用多项专利技术同步曝光控制、图像拼接处理，将多个图像传感器输出的视频画面，无缝拼接融合成一幅完整的全景视频画面，拼接图像之间无明显的亮度、色彩上的差异，可以将4个或8个定点摄像机的视频画面拼接成180°或360°“沉浸式”全景画面，细节跟踪采用44倍大倍率定位球机，兼顾全景与细节，全景画面与球机实现联防联动和3D定位，检测直径240米范围内运动物体，同时检测60个目标，跟踪切换时间小于1S。

多目全景+特写联动全景跟踪 AR全景视频系统通过多目定点可拼接成180°或360°全景画面，并配大倍率定位球机，既能实现大范围全景监控，又能特写跟踪，成为全景与细节兼顾的大场景全局监控，需实现定点、动点摄像机联动，宏观掌控全局，细节追踪定位，在更大的视野间任意放大细节，球机特写，并联动声音、白光、激光警戒。既会对固定看守位进行看护，全景通道检测出异常闯入时，球机通道会通过白灯闪烁、语音提示、激光跟踪对目标进行警示震慑和提醒。并实时反馈给指挥调度进行干预处理。

AR全景视频系统部署

AR全景视频系统在机场部署时首先需考虑的是视频点位的分布，必须做到机场全区域覆盖，点位地址的选取要考虑建筑物的高度，视频视角效果，设备支架高度不能超过机场净空高度；其次，视频点位的规划要考虑机场施工区域的影响和新建机坪的施工进度，点位的设备需要接入网络和电源，机场施工可能会影响点位的启用；第三，AR全景视频系统的吊屏在机坪塔台管制室安装时要考虑与其他设备的影响，比如灯光照明系统、自动遮阳帘等，避免出现屏幕反光或由于遮阳帘的升降触碰到视频接口造成的短时黑屏现象；最后，该系统应当配备备份系统，进一步提高系统可靠性。

结束语

近年来国内外都在致力于研发 “智慧塔台”系统，这是科技进步的必然趋势。“智慧塔台”需要基于云数据、人工智能、AR全景等多种高精尖技术的综合应用。对于机场而言，AR全景视频系统的引入在保障机场运行安全与效率，提升机场容量，增加机场区域经济效益方面可以起到事半功倍的效果。另外，一些中小机场可以利用这一技术实现“远程塔台”以此解决边远机场人员紧张的现状。通过部署AR全景视频系统可以逐步摆脱人工对实际外部环境的监视，运用视频分析的方式实现计算机自动化监视，成为“远程塔台”的开发过程中极为重要的环节。