基于特征对应与分割的图像拼接技术研究

张舒　徐庆

摘   要：圖像拼接计算几何变换以基于重叠图像之间的特征对应的最佳拟合来对齐图像。之后使用接缝切割来隐藏未对齐的伪影。有趣的是，要获得直观的无缝效果，通常是接缝步骤是最关键的。这促使我们提出了一种接缝驱动的图像拼接策略，其中不是基于特征对应的最佳拟合来估计几何变换，而是基于所得到的接缝切割的视觉质量来评估变换的好坏。结果表明，这种新的图像拼接策略往往比现有的方法能产生更好的视觉效果，特别是对于具有挑战性的场景。

关键词：图像拼接  特征对应  接缝切割

中图分类号：TP39                                  文献标识码：A                        文章编号：1674-098X（2020）06（b）-0131-02

传统图像拼接流水线（上图）和改进的接缝驱动图像拼接流水线（下图）的示例，如图1所示。在传统方法中，诸如SIFT之类的特征点被计算并在图像对之间进行匹配，从而产生一组特征对应。针对非平面场景几何特征和错误匹配的特点，采用随机样本一致性（RANSAC）稳健估计具有最佳几何拟合的单应性。具体地说，一组单应词H1，H2…是随机假设的，并根据他们的共识大小衡量进行排名。使用最好的单应函数来扭曲和对齐图像。然后进行接缝切割以产生最终结果。

1  图像拼接技术

本文的接缝驱动方法以类似的方式运行，但评估和选择单应不同。这是通过修改RANSAC中的假设和测试循环来实现的，在该循环中，我们生成鼓励多样性的候选单应性，并使用所有候选来将接缝切割应用于对齐的尺寸，接下来，我们基于我们的新的排名度量来评估不同的接缝切割，该排名度量有利于获得具有良好感知质量的结果。

RANSAC通过在随机采样的数据最小子集上拟合单应性来生成模型假设，其中每个子集包含四个对应。对于每个假设，记录与其一致的对应关系（即，假设的内部人员）。此随机抽样过程重复多次，并选择具有最高共识大小的假设。

2  评估切割

虽然接缝能量最小化了I1和I2之间的图像梯度，但用于对不同接缝的感知质量进行排序时效果不佳。我们引入了一种更具区分性的误差度量。对于沿着接缝的每个像素p，我们通过提取以p为中心的17×17面片P并在I1或I2中搜索其最相似的面片来估计误差值E（p）。这可以表示为

其中Si表示I1和I2的重叠区域中的所有图像块。这个想法是，如果沿着接缝的补丁与I1或I2中的补丁相似，那么沿着接缝的补丁在感觉上是可信的。如果沿着接缝的面片在两个源图像中都找不到，那么它很可能是一个伪像，因此指定了更大的错误。沿尺寸为斜体的接缝的总误差计算为。

图2显示了该过程的示意图以及具有对应的每像素误差E（p）的三个不同切割的示例，E（p）显示为热图，总误差    。最小误差表示我们的感知排序。（A）说明了如何评估接缝。对于沿着接缝的每个像素，在任一重叠图像中找到的关于该像素的最相似面片的平方差被用作失配误差。（B）使用我们的误差度量显示来自不同切割的能量热图。累计接缝误差用于对切割进行分级。

3  结语

本文提出了一种接缝驱动的图像拼接策略，图像拼接计算几何变换以基于重叠图像之间的特征对应的最佳拟合来对齐图像，之后使用接缝切割来隐藏未对齐的伪影。结果表明，这种新的图像拼接策略往往比现有的方法能产生更好的视觉效果，特别是对于具有挑战性的场景。我们的接缝驱动图像拼接的想法是一项正在进行中的工作。

参考文献

[1] Benjamin E J， Blaha M J， Chiuve S E， et al. Heart disease and stroke statistics-2017 update： are port from the American Heart Association[J].Circulation， 2017， 135（10）： 146-603.

[2] Xue W， Islam A， Bhaduri M， et al. Direct multitype cardiac indices estimation via joint representation and regression learning[J]. IEEE Transactions on Medical Imaging， 2017，36（10）： 2057-2067.

[3] Xue W， Lum A， Mercado A， et al. Full quantification of left ventricle via deep multitask learning network respecting intra-and inter-task relatedness[C].International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer， Cham， 2017：276-284.