无人机全景摄像机的图像拼接技术研究

葛思远

（沈阳航空航天大学电子信息工程学院，沈阳 110136）

0 引言

为了能够获得一个清晰且超宽全景视角、高分辨率的全景图像，通常对选择的全景视频中序列帧进行拼接融合处理。传统拍摄方式主要是直接通过采用较贵的摄像器材等来进行图像拍摄,采集这些特殊图像并对其本身进行图像处理。通过适当的图像序列处理采集技术和拼接方法，逐步提高各种图像采集质量，最终可以达到对各种图像采集序列的自动化处理拼接，这样就可以获得一个具有各种超宽成像视角、大成像距离和广视野、高分辨率的立体图像。

但是，在实现特殊场景（如高空中）中的全景实时视频拍摄时，仍存在着很多问题，比如拍摄环境的约束、相机性能差异性、景深导致的视差问题、图像实时配准拼接的精度问题。针对以上问题，本文提出了基于相机标定的柱面图像拼接技术。

1 基于相机标定的柱面图像拼接

针对固定装置的相机，在拍摄过程中不可避免会出现抖动，导致采集的图像需要进行相机标定来校正，以便实现多角度拍摄的序列图像拼接。矫正成像中产生的径向畸变，再用柱面模型重投影获取待拼接的序列图像，最后用基于块匹配的图像配准方法，结合线性加权融合得到最后的拼接图。

1.1 相机标定

相机标定作为序列图像拼接的关键步骤之一,标定精度直接影响了拼接质量。在三维摄影相机的整体成像处理过程中，三维空间的映射点被直接映射为一个位于三维相机内部整体三维成像处理平面上的一个三维图形映射点，这个图形映射的空间关系参数是用三维相机的各种三维几何图像在形成为影像时的模型参数来进行确定的。几何光学模型的其他各种重要参数通常是由位于相机的其他参数类型决定的，其中通常包括位于相机外部参数和内部的其他参数［1］。

如图1 所示的坐标关系图，它们之间有着准确的数学变化关系，即小孔成像模型。相机标定采用的是简单有效的张正有标定法，其主要原理是先利用Harris 角点检测算法提取黑白棋盘标定板上内角点的图像坐标，再根据其世界坐标得到它们之间的映射关系，即单位矩阵H，再由单应矩阵推算出内参矩阵M和外参矩阵N，完成对镜头的校正。

图1 坐标关系图

世界坐标点与理想像素点的齐次变换如下公式：

式中，［xw yw zw］是三维数学世界物体坐标系中每一个三维物体所在节点的三维世界坐标，［u v］则是每一个物体成像中的物体所在点对应的三维物体像素世界坐标，R是一个3×3 的旋转矩阵，T是一个3×1 的平移矩阵，ρ是尺寸因子，dx和dy分别为成像器件元在x和y方向上的物理尺寸，［u0v0］表示的是像素坐标系中的主点坐标，s为倾斜因子，一般可以忽略计算。

广角镜头的标定操作主要包括内、外两个参数矩阵的初始化，以及非线性的优化三个环节，采用Levenberg-Marquardt 算法进行迭代计算最终获得优化后的内、外参数矩阵，实现相机的标定校正。

1.2 畸变矫正

根据标定后的图像坐标与实际坐标之间的关系构造摄像机的非线性模型，由于实验中采用的是广角镜头，其畸变矫正一般只需考虑径向畸变（如图2 所示），其径向畸变的表现形式为桶形失真，所以使用了偶次多项式模型获得畸变系数［2］。实验中发现，畸变中心的精确度对图像失真校正有直接影响，可以用拍摄多张图像计算均值的方法来修正畸变中心的坐标。

图2 桶形畸变

根据标定后的图像未畸变点坐标和其实际畸变点坐标之间的关系可以构造出一个相对于摄像机的非线性仿真模型，本系统中使用的广角鱼眼镜头畸变矫正一般仅考虑径向畸变，如下公式所示，其径向畸变的表现形式为桶形失真，所以使用了偶次多项式模型获得2阶畸变系数。

式中，［xc yc］表示畸变中心坐标，k1、k2为畸变函数。

1.3 柱面投影

采用柱面投影可以使全景拼接图更符合人眼的观察习惯。柱面投影被广泛应用于水平方向的全景拼接，能够一定程度地减小视差，且不会产生透视变换带来的梯形失真。如图3 所示，柱面投影的建模过程是将一幅平面图像沿着柱面进行重投影的过程。柱面投影模型主要包含两个核心参数，一个是柱面映射的投影中心（即畸变中心），另一个是摄像头的焦距。

图3 柱面投影模型

根据柱面体的立体结构特征，构造图像坐标点变换方程，最后计算得到原图像点（x，y）柱面重投影后的点（u，v）的坐标换算式如下:

式中，w和H为图像的宽和高，f为相机的聚焦。

1.4 基于块匹配的图像配准

将图像拼接的配准进行技术处理作为图像拼接的图像拼接的一个关键步骤，其处理结果直接影响最终图像拼接的图像质量［3］。图像配准就是根据不同场景图像的信息相似性，精确计算图像间的变换性等参数，使成像校准装置同样能够在不同的成像时间、不同的成像视角下获取的多幅图像，可以直接转化，或转换至同一个图像坐标系下，并且同样能够得到最优化相匹配的一种图像技术校准过程。根据计算图像的灰度相似性可以作为图像处理计算的依据和计算的对象，图像匹配的处理计算方法大致分为四种基本类型：基于灰度的匹配、基于模板的匹配、基于变换域的匹配和基于特征的匹配［4］。

基于块匹配的图像配准算法，其主要思想就是通过在图像已知的重叠区域中选择一块矩形区域作为模板，应用于图中对随机扫描被图片匹配的两块图像中相同矩形尺寸和相似重叠大小区域之间的图像差异结果进行比对，计算它们之间的图像相似性和误差度量，确定最佳的块匹配图像点的地理位置［5］。本文采用基于块匹配的图像配准算法如图4 所示，首先载入两幅图像矩阵，在设置完成图像块扫描窗口、阈值等参数后，开始扫描，计算出图像区域间的绝对差值，差值结果和阈值进行比较，最后通过遍历循环两幅图像的区域特征（灰度差值）来得到匹配曲线结果［6］。对于已知重叠区域的待配准图像，块匹配的图像配准方法可以对图像进项全面扫描，确保图像匹配精度，减少视觉导致配准误差，对环境适应性强。

图4 图像块匹配过程

1.5 图像融合

图像融合的方法有很多，为便于实现，本实验采用最简单、效果又明显的渐入渐出的加权融合方法［7］。该算法避免了直接平均法对图像灰度的直接叠加，首先将重叠区域的像素点分别在图像I1,I2中的对应像素值进行加权，然后利用加权系数的渐变实现逐渐过渡，从而得到融合图像，原理图如图5所示。

图5 线性加权融合

设I（x，y）为融合后的图像，I1（x，y），I2（x，y）分别表示待拼接图像的原始图像，则有：

式中的w1，w2分别是图像I1（x，y）和I2（x，y）重叠区域对应像素的权值，其中w1+w2=1，0

图像拼接采用简单高效的线性加权融合方法，在确保拼接图像质量的同时，大大降低了计算量，可以提升实时性［8］。

2 实验分析

此次实验使用广角相机多角度推摄，首先进行相机标定，保存好该广角摄影相机的内外参数和畸变系数；然后用该相机进行多角度旋转拍摄，获取原始序列图像，通过畸变矫正和柱面投影，得到如图6 所示的待拼接序列图，用基于块匹配的图像配准方法定位出最佳匹配位置；最后使用加权平均的图像融合方法，得到质量较好的拼接图像，如图7所示。

图6 待拼接柱面图像序列

图7 柱面图像拼接

3 结语

本文从实际应用出发，为解决的不同场景下的多视角图像拼接问题，通过相机标定实现广角图像畸变矫正，得到柱面图像序列，再利用块匹配算法进行图像配准，最后加权融合完成图像的拼接。本文设计的图像拼接算法较好地解决了视差图像的畸变以及图像在空间中的位移关系等因素对于配准精度的影响，减小了视差带来的拼接误差，具有良好的配准精度，可以在复杂环境中得到质量不错的拼接图。对高空飞行中实时全景拍摄系统的研发，该技术具有十分重要的参考意义。