基于高清图像处理的全景拼接技术研究

姚洁

摘要：选用合适的硬件系统，结合对应的软件算法，可以实现高清的全景图像拼接。在未来的发展中，硬件的系统拓扑和软件算法仍然会不断进步，让全景拼接更加的清晰化和智能化。

关键词：高清图像处理;全景拼接;技术

中图分类号：TP391.41 文献标识码：A 文章编号：1672-9129（2020）08-0038-01

1 全景拼接的硬件系统方案

全景拼接的硬件系统主流的有两种方案，一种是基于FPGA的图像拼接，另一种是基于DSP的图像拼接，下面分别进行介绍。

1.1基于FPGA的图像拼接。采用这种方案的硬件系统，通常DSP都不具备图像拼接的功能，因此只能通过FPGA的算力来完成。在这种方案下，多目图像传感器通过MIPI或者LVDS接口连接到FPGA上，FPGA通过视频接口连接到DSP，图像的数据采集和拼接工作都是在FPGA内完成。拼接好的图像再传输给DSP进行其他方面的处理。这种方案的成本较高，系统实现也较为复杂，对于硬件的设计要求也比较严格，比较适用于对拼接要求较高而DSP主芯片能力相对较弱的场景。

1.2 基于DSP的图像拼接。现阶段已经有不少的DSP芯片内部集成了AVSP模块（Any View Stitching Processor，全景拼接处理器），而且可以支持多目图像传感器的连接。这种方案的系统架构相对简单，多目图像传感器通常通过2对或4对MIPI或者LVDS与DSP直接连接。为了保证多目传感器之间的同步性，推荐其工作在Slave模式（从模式），通过控制不同图像传感器之间的同步信号，使得它们的曝光时间保持一致，实现相邻图像传感器重叠区域一致的效果，同时也避免了时差造成的拼接错位现象。这个方案的优点是架构简单，软件开发量相对较小，缺点是图像帧率和图像质量会比FPGA稍差一些。但是，随着DSP芯片的不断升级换代，DSP性能提升很大，DSP主芯片作为图像拼接的载体已经慢慢成为主流的选择。

2 全景拼接的算法实现步骤

全景的图像拼接，是将场景中采集到的多个重叠图像拼成一张全景图像的方法。从数学的角度看，全景拼接输出的是多个图像的并集。全景拼接一般按照如下步骤进行：

（1）特征点提取：对多个图像传感器采集到的图像中的特征点进行图像的配准操作，图像之间建立一个几何的对应关系，那么在同一个参考系中，可以快速对他们进行变换、比较和分析等操作。可以从不同的角度来提取特征点，包含以下几种：直接使用原图像的像素值、对图像数据进行频域处理、提取边角信息、提取高级特征（通常是处理重叠部分）。（2）图像的变形：将采集到的图像进行重新投影，放到一个新的画布上进行放大、缩小、旋转等变形操作。根据不同的算法，图像的投影与变形的处理方式和结果会有差异，但是基本原理和目的都是一样的。（3）特征点匹配与筛选：对上述步骤提取的特征点进行匹配，找出两幅图像中相同的特征点，继而可以判断出重叠的区域，作为图像融合的参考依据。而实际在特征点提取的时候，并不是百分百正确的，有些特征点并不能匹配，属于无效的特征点，那么就需要剔除掉这部分而只保留匹配成功的特征点。

3 全景拼接的关键算法介绍

上述已经对全景拼接的硬件系统和软件实现流程做了一个介绍，这一小节将重点介绍全清拼接中使用到的几种关键的算法。

3.1 特征点提取算法-SIFT。SIFT，全称尺度不变特征转换（Scale-invariant feature transform），属于电脑视觉的算法，可以用来侦测并描述图像中的局部特征。SIFT的关键特征是不受旋转和图像大小的影响，这个也是它作为主流特征点提取算法的标签。SIFT算法主要具备以下特点：

（1）SIFT提取的是图像的局部特征，可以保持对图像的旋转、尺寸变化、亮度变化下特征信息不变，在视角发生变化或者噪声干扰时也有比较强的稳定性。（2）特性信息丰富，而且具有很好的区分性，便于在海量的特征数据中完成快速精准的匹配。（3）多量性，不管是复杂还是简单的画面，都可以提取出大量的SIFT的特征量。（4）高速性，可以进行实时的SIFT的匹配。（5）便于扩展，可以与其他形式的特征量进行联合等算法操作。

3.2 特征點提取算法-SURF。

SURF算法还具备如下特点：

（1）使用了积分图像，用来完成图像卷积及相关的操作。（2）使用了Hessian矩阵用来检测特征值。（3）使用了基于分布的描述符，用以描述局部信息。

SURF算法在特征点的提取和识别上均有很大的改进，主要步骤如下：

（1）构建Hessian矩阵：构建Hessian矩阵的目的是为了生成图像稳定的边缘点（突变点），跟Canny、拉普拉斯边缘检测的作用类似，为特征提取做准备。构建Hessian矩阵的过程对应着SIFT算法中的DoG过程。（2）构建尺度空间：SURF算法中，不同组间的图像尺寸是保持一致的，不同组间使用的滤波器模板尺寸会有差异，模糊系数也会有所不同。（3）精确定位特征点：SURF算法的特征点定位过程和SIFT是类似的，把Hessian矩阵处理过的像素点和二维图像空间以及尺度空间邻域中的点位进行比较，再经过剔除能量较弱的关键点和定位错误的关键点，筛选得到最终稳定的特征点。（4）主方向确定：SURF算法中，采用了统计特征点圆形邻域内的HARR小波特征的方法。在特征点的圆形邻域内，对60°扇形内所有点的垂直和水平HARR小波特征总和进行统计，将扇形进行旋转后再次重复统计操作，最后将值最大的扇形方向作为该特征点的主方向。

参考文献：

[1]王菲.一种改进的红外图像配准拼接算法研究[D].兰州：兰州大学，2015.

[2]陆园，张明.基于SIFT算法的红外图像拼接方法改进[J].计算机系统应用，2015，24（8）：165-170.