机坪塔台全景视频拼接系统设计分析

侯明利

摘要：2018年，全国多个机场开始进行机坪管制从空管塔台到机场管制室移交的改革。双流机场完成移交，机坪塔台由此诞生。机坪塔台是机场地面与空中交通调度的重要指挥中心。机坪塔台管制员24h不间断地指挥航班起降，合理管控机场的跑道、滑行道、停机位等机场资源。传统塔台都是依靠多个广角云台设备来传递机场场面上的实时监控信息，且需要多个显示器同时查看才能完整观测机场场面的运行情况，这不仅降低了塔台的调度工作效率，且也十分不利于机场跑道安全管理。因此，本文介绍一种适用于机坪塔台的全景视频拼接系统，并对其系统优势、技术原理及设计思路进行阐述。

关键词：机坪塔台 全景视频拼接系统 监控系统 设计

2018年，全国多个机场开始进行机坪管制从空管塔台到机场管制室移交的改革。双流机场完成移交，机坪塔台由此诞生。机坪塔台是机场地面与空中交通调度的重要指挥中心。机坪塔台管制员24h不间断地指挥航班起降，合理管控机场的跑道、滑行道、停机位等机场资源。只有机坪塔台的监控系统提供可靠的视频图像信息，才能避免机场跑道冲突等问题，确保整个机场起落航空器的安全运行。但以往传统的监控摄像回传画面的整体感较差，且对于在盲区管理上的作用十分有限，难以帮助空中交通调度人员高效率地完成机场跑道资源的管理工作。因此，若是能够利用全景视频拼接技术，将机场跑道的监控图像整合为一个完整的全景空间模型，那么一定可以显著地提高基础塔台空管工作的质量水平。

全景视频拼接系统的技术原理与优势

全景拼接技术（Image Stitching）又称IS图像合成技术，它是指利用多组实景拍摄的图像信息，找到其中不同图像描述的同一景物图，将它们按照一定空间逻辑顺序进行组合排列后，就可以直接得到一幅大广角的180°或360°全景图像。这种全景图以大广角、高尺度的表现形式，可以尽可能地在单一图幅中表现出更多的环境信息量，来模拟出360°广角全观的效果。那么若是将传统的监控视频也按照这种思路进行拟合，就会得到监控景物的全景视频，甚至生成景物的三维全景模型[1]。这种监控视频或图像在机坪塔台中实际应用，主要有如下几个方面的优势。

一是可以减轻塔台空管指挥人员的工作负担。以往的机场监控系统为了实现机场跑道的盲区监控，通常都会在遮挡塔台实现的位置安放多组交叉视角的摄像器材，但这样的监控安装方案会产生多组重复的回传画面，这样塔台工作人员在观察跑道场地时，就必须要从多组视频监控画面中不停切换找到理想的监控角度，这无疑加剧了塔台管制人员的工作强度与负担。但经过多组视频合成后得到的全景视频，可以为塔台指挥管制人员将重复画面全部从监控图像中剔除，且本机播放时，由于监控画面均是取自原图，因此它与以往一般监控视频在跑道细致景物上的拍摄效果是一样的。

二是可以较好地解决传统监控系统视角局限的问题。传统单一多画面的视频监控系统，拍摄广角十分有限，塔台指挥人员需要通过多组画面的切换来捕捉同一个航班的起飞、降落情况。而与此同时，塔台指挥人员还要协调好拖车、牵引车以及其他跑道资源上的地面交通工具，这样的工作模式严重影响了机坪塔台的实际调度管理效率。若是可以通过180°或360°全景球形环视效果的视频图像来捕捉需要管理的对象，控制人员就可以通过拖动视频画面来观察场景的各个方向了。因此，全景视频拼接系统的应用，有利于实现航班、地面车辆的全过程控制。

三是可行性与经济性优势。当前阶段其他3D工程建模技术在机坪塔台的实际应用方案都存在着较大的成本压力问题，且建模难以适配机场全地貌特征。而这种全景视频拼接系统技术，利用360°环视视频监控画面，可以完美地模拟出三维立体的空间视感。它的视频画面素材，均是来源于机场各个角落分布安装的摄像器材，所以在机坪塔台应用时不仅不需要额外的成本投入，且还能最大限度地保留监控视频图像的真实性特点。

机坪塔台全景视频拼接系统的图像处理设计

2.1多路视频同步采集模块

这种全景视频拼接系统合成得到的图像，需要网络监控摄像头提供原始拍摄图像，之后根据计算机编辑好的特定算法程序进行图像匹配融合操作。但在实际应用时，由于各个控制点位摄像器材的安装机位不同，得到的原始素材图像的倾斜度、缩放比例以及方位角等均有一定差距，给视频图像合成工作带来了一定难度[2]。因此，在机坪塔台实际应用全景视频拼接系统时，需要利用多路视频同步采集模块，对网络摄像头的镜头差异进行物理校準。

首先在机场跑道、航站楼、飞行器起落停放点等重要控制部位选取合适的坐标基准，建立控制网格，而后调整各个网络摄像头的取像焦距，使获得图像的某一基准参照物在图像中的尺寸一致。

而后多路视频同步采集模块会根据信号指令，不断以平移、绕轴转动、镜头旋转、变焦等方式调整镜头运动，使不同点位监控视频图像的表现效果一致化。经过这样的视频图像校正处理，才能进行后续视频图像的拼接处理。

2.2图像坐标自适应变换校正模块

全景图像的获得一定是需要按照一定布局的摄像头以不同位置和角度进行拍摄的，否则合成视频的图像很容易因机载特性不同，导致画面无法出现在同一轴线上。造成这种的问题出现的主要原因有两个：一是相机镜头的投影角度问题，这些摄像头的柱面投影在安装时就未处于同一柱面上，平面投影自然也不在同一平面上。二是摄像头下倾问题，机坪塔台网络摄像头在安装时，考虑到减少控制盲区的需求，通常都会将器材架高固定，且向下倾斜一定角度。若是不经过坐标变换运算直接将原始图像合成，得到的整体全景图将会是整个下倾视角的全景，而这种角度差异会导致视频合成画面的综合效果受到严重影响。因此，必须要确保中央图像正对景物拍摄，使所有摄像头的监控视频画面可以被投放到同一柱面或平面上，这需要对标定好的摄像头以空间坐标参量为基准，进行空间与位置上的变换，获取到坐标变换后的图像。

理论上只要满足了图像投影处于同一轴线上的基本条件，就可以藉由一个摄像头提供的拍摄图像变换生成对应的虚拟相机拍摄图像。这种图像坐标的变换设计可以参考如下相机运动效果参数。

以8参数的透镜变换规律来表述图像的坐标，它的参数矩阵分别为：[m0、m1、m2、m3、m4、m5、m6、m7、1]，而其中m0、m1、m3、m4参数对应的相机运动成像效果为缩放、剪切与图像旋转;m2参数对应的是摄像机在x轴上的水平位移;m5参数对应的是摄像机在y轴上的竖直位移;m6与m7则分别对应了图像在以x、y轴为基准方向的梯形失真变换与线性调频。例如，机场航站楼正南方向原有一水平向下倾斜的网络监控摄像头，根据镜头投影原理，它得到的图像一定是景物正向图像在x軸基准上的梯形变换失真图像，满足m6参数的变换条件，所以可以根据8参数矩阵中m6参数对应的变换参数，输入摄像机的水平倾角，经过变换运算后，生成航站楼南侧的正向视角图像，这样就相当于在航站楼南侧由“虚拟”化的摄像头来替代原有摄像头生成拍摄图像。

2.3图像畸变修正模块

分析机坪塔台监控系统的实际建设情况，由于多数机坪塔台在不同运作时期都存在过“补盲”安装作业，采用的摄像器材并不为同一批次同一型号的设备。这些摄像器材镜头部件在制作工艺影响下，拍摄图像往往会存在些图像差异的畸变问题，与实际拍摄景物的情况并不完全相符。图像畸变主要分为两种：一是桶型畸变，整体画面如同凸面镜反射一样，越靠近边缘的位置受到缩放形变影响越剧烈;二是枕形畸变，画面如凹透镜反射效果一样，越靠近图像边缘越容易受到扩放形变影响[3]。这两种图像畸变问题都是由于不同镜头的曲径倍率不同引起的，镜头透镜不同程度弯曲了传播光线，所以监控视频图像出现这种弯曲差异。而为了确保视频拼接的精准度，图像畸变修正模块应采用电子放大技术，根据镜头曲径倍率参数变化，自适应性地修正不同图像畸变部位的像素区域。

基于点特征的模板匹配配准逻辑模块的逻辑设计

配准是指实际塔台跑道的视频图像拼接时，根据所有原始图像点进行的特征提取方式，将原始监控视频的景物图像进行匹配的过程，出于图像匹配准确度的应用需求，需要为整个系统选择一种最优化的半自动调整算法。通过场景分析可知，点特征的模板匹配算法在全景视频拼接系统中的适用性是比较强的，这种算法可以在基准图像中挑选出合适的窗口图像，以点特征的相似度算法为基本依据，推算出图像拟合的最佳匹配位置。模板是指图像的大致拟合位置，而点特征则可以帮助系统找到相似度较高的色彩排列区块。将图像上预备拟合的区域定义为S（i，j），原图像位置为T，其中i、j代表拟合像素的坐标位置描述[4]。S（i，j）与T拍摄捕捉的均为跑道某一处的同一景物，但由于实际上受到拍摄进光量的影响，S（i，j）与T之间的像素色彩区块分布并不是完全相同的。因此，需要采用模板匹配相似度算法，作为系统提取图像特征点的处理依据，来提高两组图像同一景观在色彩上的耦合度，这样的算法可以用如下公式表达：

Rmax（i，j）=（∑_（X=1）^X▒∑_（Y=1）^Y▒〖×S（i，j）[x，y]×T（x，y）〗）/√（∑_（X=1）^X▒∑_（Y=1）^Y▒〖{S（i，j）[x，y]}〗^2 ）：√（∑_（X=1）^X▒∑_（Y=1）^Y▒〖[T（x，y）]〗^2 ）

其中，Rmax（i，j）表示为与上一幅图像中T区块分布相似度最大的区块坐标相似度，取最大值输出;模板图窗在大致拟合区域T中搜索时，共计可以移动（m-x+1）×（n-Y+1）个位置，其中m与n分别表示特征点在x与y轴上像素点分布的数量，得到所有的R（i，j）相似度值输出后，最大值Rmax（i，j）相似度对应的（i，j）坐标位置，就是想要得到的图像拟合位置。在算法中特征点T的像素区块数量越少，整个画面的有效特征点就越多，但对机坪塔台监控系统的服务器的运算能力要求就越高。

4.全景视频拼接系统的优化

但上述功能模块的实际应用有一处较明显的问题，就是全景视频拼接时两幅之间的重合处经常存在错位、虚影以及明显接缝。出现这样的问题主要有两个原因：一是摄像器材安装位置镜头进光量不同，不同幅图像色彩存在较大差异导致拟合效果不理想;二是机场跑道的景观过于单调，存在多个同色区域块，在特征点提取时出现了选择错误。因此，机坪塔台全景视频拼接系统进行框架设计时，就要将CPU与GPU进行异构化处理，其中CPU主要负责多路视频同步采集模块、图像坐标校正处理模块、图像畸变校正模块与特征点模板匹配的算法处理，而GPU则负责生成图像处理、拟合等色彩加工处理动作。同时在CPU中运行的还要有一个DirectShow软件方案，负责读取监控视频的每一帧图像，并将读取过的视频帧格式从YUV转换为RGBA格式，这样在系统服务器GPU采集视频图像区块特征点时，可以通过曝光补偿来提高不同幅图像特征点的色彩相似度。将曝光补偿的各个参数以内存管理函数的形式转化为图像投影权重，并与拟合图像的特征权重进行融合，生成新的总权重矩阵，显著提高合成视频图像在临近拟合接缝处像素分布的鲁棒性。而这种CPU与GPU异构化的设计，也可以显著提高系统拼接生成全景视频画面的处理速度，满足机坪塔台高效率管理调度工作需求[5-6]。

5结语

综上所述，上述全景视频拼接系统设计方案可以基本满足机坪塔台指挥调度的视频监控需求，以更加直观、真实的全景视频画面来替代传统分割式的监控图像。在整个系统中，由多个单一分布的功能模块来分别负责网络摄像原始图像的校正处理、拟合匹配与视频帧效果优化功能。但在实际开发时，还要合理选择各个模块之间的物理连接链路与数据库分布节点，调整各个分散模块在系统中的耦合度，显著提高全景视频拼接系统的运行稳定性与视频拼接效果。

参考文献

[1]梁恩泽，李宏刚，杜双.复杂机场全景视频拼缝优化方法研究[J].电视技术，2021，45（9）：119-123，128.

[2]付强，钱宏文，刘会.基于FPGA的全景视频拼接系统的防抖动设计[J].电子设计工程，2021，29（3）：167-170.

[3]晏细兰.全景视频拼接系统的研究与设计[J].科学技术创新，2021（1）：83-84.

[4]蓝先迪. 全景视频拼接关键技术研究[D].成都：电子科技大学，2020.

[5]胡珈玮. 机场塔台空管人员工作状态识别系统设计[D].长沙：湖南大学，2020.

[6]王亦萌. 舰载航空塔台管理软件界面优化设计研究[D].西安：西安工程大学，2017.