基于全局相似性约束的多视点图像拼接

刘雨翰，常 敏，韩 帅，陈 果

（上海理工大学 光电信息与计算机工程学院，上海 200093）

引 言

图像拼接技术是将多张图像合成更大视野的全景图的过程[1]。在相机纯旋转的单一视点下，经过多年的大量研究后，已有较为成熟的模型与算法，并被广泛应用在实际生活中[2-3]。然而，随着智能设备的兴起，手持式镜头在近距离拍摄的情况下会产生大的视差，因此研究多视点图像的拼接方法具有很高的实用价值。

在多视点的条件下，如果拍摄对象仅存在一个平面，则待拼接图像间的几何变换仍可由一个全局单应矩阵来完成。典型的拼接算法有Brown等[4]提出的AutoStitch，该方法使用全局单应性对齐图像，鲁棒性较强。但是，拍摄环境通常情况比较复杂，一个全局单应不能很好地满足该环境。对此，科研人员提出了用多个局部投影变换矩阵来对图像中的不同部分进行分别处理。Lin等[5]提出的平滑仿射变换（smoothly varying affine，SVA）模型，通过在图像重叠区域的网格变形拼接图像，类似于整体的全局变换。Zaragoza等[6]提出的尽可能投影变换（as projective as possible，APAP）模型，通过在图像重叠区域的局部投影变换结合Moving-DLT方法进行图像拼接。这些方法都假设存在一个全局的透视变换或仿射变换，局部模型仅在全局模型基础上进行一些轻微改动，其本质仍然是单视点，易对大视差图像产生误差和累积形变，使得拼接后图像产生严重的畸变。

由于单视点的图像拼接不可避免地会带来严重的形状和尺寸失真，2014年，Chang等[7]提出了单应性变换和相似性变换相结合的多视点图像拼接方法（shape preserving half projective, SPHP）。SPHP方法将重叠区域的单应性变换平滑过渡到非重叠区域的相似性变换，重叠区域的单应性变换能够保证较好的图像对齐，而非重叠区域采用相似性变换，可以减少投影失真，保持图像的观感。但SPHP模型包含了对两幅图像之间的单应性关系分析，因而继承了单应性的局限性。2018年，梁楠等[8]提出了使用局部加权融合并在特征点垂直方向增加约束的拼接算法，增强了相对复杂的（如医疗手术）图像的拼接效果。罗永涛等[9]提出基于最佳缝合线与灰度均值插改正比结合的算法，对拼接缝的消除效果更好，图像过渡更为自然。2020年，王红军等[10]提出了一种改进SPHP模型的遥感图像拼接算法，在大图像背景下使拼接速度更快。

综上，现有的各类图像拼接方法虽可以允许相机有较轻微的移动，但对实际复杂环境下拍摄的那些具有较大视差的图像，仍存在着一定的问题。针对以上算法不足，本文提出了一种基于全局相似性约束的多视点图像拼接方法。本方法在传统网格模型的基础上进行优化，添加了一个先验的全局相似性约束项，该约束项通过改进AutoStitch中的光束法平差[2]来估算每幅图像的缩放尺度和旋转角度，从而获得一个最佳的相似变换度，使拼接效果更为自然。

1 全局相似约束图像拼接

1.1 最佳缩放尺度的确定

图像拼接包括特征提取、特征匹配、计算投影变换矩阵和图像融合四个主要过程，其中变换矩阵的计算是图像拼接的核心。本文引入了一个全局相似性约束，以确保每一幅变形的图像都通过对应的全局相似变换矩阵进行相似变换。如果缺少此约束，将可能导致如SPHP模型一样的扭曲或失真。本文提出的拼接方法为：首先，为每幅图像()确定一个最佳缩放尺度()和旋转角度()，通过自适应的确定缩放尺度与旋转角度，可使多图拼接性能和观感自然度大幅提升；然后，在此基础上计算出对应的全局相似变换矩阵；最后，使用求得的全局相似变换投影矩阵对待拼接图像进行配准并完成拼接。

将传统图像网格模型中每一个单元格都视为一幅独立的图像，可得一组图像（N为单元格总数），将作为参考图像。由于根据两幅图像之间的单应性可以估算出两幅图像的焦距[11]，且通过APAP算法可以获得图像网格中单元格之间的单应性关系，所以每个单元格图像都可以得到一个相对应的初始焦距（由于局部和全局均采用相似变换，所以变换矩阵求解方法大致相同，主要差别在于第一步初始焦距的确定，全局相似变换的初始焦距取图像网格中所有单元格图像的初始焦距中间值），进一步生成每个单元格图像的初始内参数矩阵Ki，即

1.2 最佳旋转角度的确定

首先通过分解式（2）得到的三维旋转矩阵Ri得到相对轴的旋转角，则相邻图像和之间的相对旋转可以定义为。

图1 求解最佳旋转角度流程图Fig. 1 Optimal rotation angle flow chart

1.3 全局相似变换矩阵的确定

在已经求得缩放尺度和旋转角度的基础上，全局相似性变换可以定义为

2 实验结果与分析

2.1 实验平台搭建

本文的图像处理平台：CPU为Intel（R）Core（TM）i5-6400，2.7 GHz，内存为16.00 GB，操作系统为Windows 10，仿真平台为MATLAB 2018a。对多组待拼接图像数据分别采用APAP、SPHP以及本文方法进行拼接，对比拼接效果。本文选取不同特征的三组图像进行分析，三组图像分别为：视角不同（建筑）、亮度不同（花园）、复杂场景（铁轨），三幅图像的大小分别为852×1 135，1 531×1 022，2 000×1 500，如图 2 所示。

图2 待拼接图像Fig. 2 Images to be spliced

2.2 图像拼接质量评价方法

拼接后的图像质量很大程度上取决于人在看到图像时的主观感受，因而大部分图像拼接质量评估都是以主观评价为主。通常采用国际无线电咨询委员会制定的CCIR500-1的主观评价标准。但是由于图像拼接结果注重拼接部位的错位以及边界是否平滑过渡等，主观评价对图像的细微变化不能很好地区分，所以也需要对拼接图像进行客观评价。为了更好地对本文提出方法的拼接质量做出评价，本文借鉴文献[15]所提出的图像拼接质量评价方法，采用结构相似度（structural similarity index Measurement，SSIM）和边缘差分谱（different of edge map，DoEM）两种方法进行客观评价。SSIM评价方法是由亮度相似度、对比相似度和结构相似度三个元素组成。DoEM评价方法主要分为三个步骤，分别为图像边缘检测、图像边缘差分谱构建以及差分谱信息统计并计算得分，从而得到评价结果。

2.3 图像拼接结果分析

图3、4、5分别为对三组图像采用不同方法得到的拼接结果。

从拼接结果可以清晰地发现，APAP方法的拼接不能有效解决视差问题，在重叠区域存在大量重影与模糊；SPHP方法相对APAP方法有了一定的改善，但仍未完全解决视差问题，且该算法在整体上使图像产生了非均匀变形，在部分重叠区域仍然存在重影，图像感观不够自然。相比之下，本文提出的基于全局相似性约束的图像拼接方法有效地改善了重影和扭曲变形的问题，重叠区域没有明显的重影，且图像保持了拼接前原始视角，没有产生扭曲变形，拼接效果更为自然。

为了进一步评价拼接效果，本文采用SSIM和DoEM方法分别对APAP、SPHP和本文方法的拼接结果进行评价，所得结果如表1所示。

从表1的结果可以看出，本文提出的方法拼接得到的SSIM和DoEM评价分数相比其他两种拼接方法提高了10%以上。

图3 建筑拼接图像Fig. 3 Building splicing results

图4 花园拼接结果图Fig. 4 Garden splicing results

图5 铁轨拼接结果图Fig. 5 Rail-tracks splicing results

表1 拼接质量客观评价Tab. 1 Comparison of stitching results

3 结 论

本文提出一种针对大视差环境的多视点图像拼接方法。该方法在传统细分网格模型的基础上，引入了一个全局相似约束项，针对每幅图像的缩放尺度与旋转角度做出良好的选择，可以保持在良好对齐的同时减少失真，最终在整体视角上获得一个更好的缝合图像。实验结果表明：该方法可有效降低大视差图像拼接时易出现的鬼影、重影、畸变等问题，且在整体上图像仍保持一个良好的视角，不会扭曲失真，图像拼接质量评估分数比相关文献报道的提高了10%以上。本文提出的方法适合大视差场景下的图像拼接，可为大视差图像处理提供参考。