基于无人机载图像的局部精细拼接算法

杨晓冉, 蹇制京, 孙洁洁, 丁祝顺

（北京航天控制仪器研究所, 北京 100039）

0 引言

近年来, 机载空地侦察、 监视任务提出了多元地物目标精细检测、 跟踪等新兴功能需求, 从而对无人机光电载荷观测视场尺度、 探测空间分辨率等性能指标提出了较高要求［1］。 主流研究通过图像拼接技术实现大尺度、 高空间分辨率机载成像, 然而机载成像环境复杂, 无人机翻滚、 旋转、 方向变换运动、 光学离焦、 镜头畸变等因素导致图像拼接不准确, 在图像中表现为伪影、 模糊、 失真等图像质量劣化, 不利于目标精细提取。 因此, 无人机载图像精细拼接成为了目前学术界研究热点。

提升图像拼接质量方面, 目前已有较多研究成果。 Zaragoza 等［2］估计了加权的局部单应模型,然而引起了非重叠区域的投影形状失真; Chang等［3］保留了非重叠区域原始图像, 但引起了过渡区域的透视关系失真。 针对失真现象, Zhang 等［4］提出了图像矩形边缘约束, Liao 等［5］关注了线结构斜率问题, Jia 等［6］指出了图像中线结构共线特性的射影不变性质并设计了定量评估指标。 李加慧等［7］提出了基于级联光学的系统, 通过光学设计实现了单孔径广域成像, 然而设计维护成本较高。 Xue等［8］改善了最优缝合线检索的学习机制, 但引入了较高的时间开销。

为了匹配无人机载图像拼接的高质量需求,本文提出了一种高精度、 高自然度的图像精细拼接方法: 首先通过一种射影不变特征子, 为待拼接图像划分子平面并进行局部配准; 然后通过网格局部优化实现透视改善, 包括基于图像直线结构的投影失真约束与透视失真约束, 从而最小化并均匀分配形状结构失真能量, 改善非自然扭曲;最后基于GraphCut 定位最优缝合线, 实现无缝融合。 通过定量对比多种图像拼接算法, 证明本文方法提高了机载图像拼接精度, 并在改善扭曲失真方面具有良好性能, 为多元地面目标精细提取奠定良好基础。

1 机载图像局部精细拼接算法

本文通过图像线特征划分重叠区域子平面［6］,综合加速鲁棒点特征（Speed Up Robust Features,SURF）［9］与 线 分 割 特 征（Line Segment Detector,LSD）［10］构建射影不变特征子品质数（Characteristic Number, CN）［11］, 获取图像拼接局部预配准关系。为精细化配准模型, 本文在图中建立密集网格进行局部配准。 定义目标图像I与参考图像I′,I中网格顶点构成向量V=［x1y1x2y2…xnyn］ （V∈R2×n）, 其预配准变换结果为, 则图中任意点坐标p（x,y）可由四角网格点的双线性插值表出, 记作τ（p）。 为了最小化变换后图像I^ 与I′间的差异, 本文以网格控制点作为配准模型稀疏表示, 最优化目标函数由匹配精度约束与透视改善约束构成, 形式如下

式（1）中,为匹配精度约束,为透视改善约束。

1.1 匹配精度约束

目标函数中,为与I′间匹配精度约束条件, 形式如下

式（2）中,λq与λl为权重系数, 通过SURF 与LSD 获取图像点特征匹配集与线特征匹配集。Eq为点特征匹配精度约束,满足

在线特征lk上进行等距离点采样, 得到点集合, 如图1（a）所示,为lk的单位法向量。 在lk预配准取得的l^k上存在的对应点集合, 则线特征匹配精度约束条件为

式（4） 中,为采样点与参考图像中对应线特征的几何距离［12］, 如图1（b）所示。为的单位法向量, 约束线特征的直线性, 如图1（c）所示。

图1 线匹配精度约束Fig.1 Constraint of line features correspondence accuracy

1.2 线结构透视改善约束

一方面, 视差致使不同图像的透视消失点在世界坐标系中不一致, 因此拼接后图像中重叠区域O与非重叠区域Z之间的过渡区域T存在透视关系失真, 在图像中呈现为局部直线的弯曲变形;另一方面, 在延展单应变换至非重叠区域Z时,边缘形状结构受到射影变换的非线性影响, 存在形状扭曲情况, 即投影形状失真。 针对失真问题,本文创新性地研究了透视改善约束, 通过线性结构保留兼顾透视关系一致性与目标结构自然度,提升拼接图像质量。

式（5）中,λpe与λpr为权重系数,约束非重叠区域Z的投影失真。 准单应变换（Quasi Homography, QH）［13］证明存在一组对于投影变换具有平行不变性的直线族, 其变换前后的斜率均仅与射影变换参数有关［5］。

图2 QH 变换Fig.2 Diagram of quasi homography（QH）

式（7）中,和分别为参考图像中对应直线族和的单位法向量,保持了直线族的直线性,均匀分布v方向的尺度拉伸。

式（7）中,基于共线性射影不变的性质建立。 本 文 通 过 线 段 共 线 评 价 标 准［6］提 取中共线子集, 拟合形成全局直线集。 对跨越O、T、Z的全局直线进行点采样, 具体形式如下

综合上述约束条件, 优化目标函数得到精确对齐的机载图像。 为了保留机载图像边界的关键地物信息, 本文利用GraphCut 算法［14］检索图像最优缝合线, 并在HSV 色度空间中协调明度、 饱和度均衡性［15］, 进行图像无缝自然融合。

2 实验与分析

为评估本文算法应用于机载图像拼接中的实际效果, 本文利用飞行实验中光电载荷采集的图像数据, 对比本文算法与当前先进图像拼接算法,定量评价算法性能。 实验所用硬件平台为PC 机,处理器为i5-10210U, CPU 时钟频率为1.6GHz, 主存储器为12.0G, 软件平台为Matlab 与Visual Studio。 实验通过拼接后图像均方根误差（Root Mean Squared Error, RMSE）对比图像质量, 根据直线结构保留性定量评价准则［6］评估失真扭曲改善效果,并客观给出算法运行时间。

2.1 图像质量评估

实验选用不同飞行高度（500m ～3000m）的真实机载图像6 组, 如图3 所示。

图3 图像拼接算法评估实验数据Fig.3 Images for evaluation experiment of stitching method

实验对比了开源算法中的尽可能投影拼接（As Projective As Possible, APAP）［2］、 形状保留半投影拼接（Shape Preserve Half Projective, SPHP）［3］和 单视角翘曲（Single Perspective Warps, SPW）［5］三种先进图像拼接算法。 本文算法所涉及参数中,λq与λl分别设置为1 和5,λpe为50,λpr为100, 线特征长度下限阈值为30, 对照算法所涉及参数均依据原文推荐设置。 拼接后图像的均方根误差（RMSE）如表1 所示。

表1 不同机载图像拼接算法RMSE 对比Table 1 Comparison of RMSE on airborne images by different stitching methods

实验结果表明, 相比于对照算法, 本文算法在机载图像拼接实现中引入的误差更小, RMSE 比APAP 算法平均减小了0.9808, 比SPHP 算法平均减小了0.9857, 比SPW 算法平均减小了0.2290,图像质量更好。

2.2 透视关系保留能力评估

实验选择了8 组视差较大的机载图像, 根据文献［6］中给出的直线性定量指标评估透视关系保留情况。 直线性定量指标包括如下3 项:

1）点共线性误差: 基于拼接图像中直线上点与拟合直线间最小二乘误差构成;

2）线对齐误差: 基于拼接图像中直线上点与参考图像间匹配精度误差构成;

3）直线倾角一致误差: 基于拼接图像中直线与参考图像间斜率变化误差构成。

实验结果如图4 所示。

图4 直线性定量指标评估Fig.4 Diagram of quantitative evaluation on line property

实验结果表明, 本文算法在图像配准变换前后的图像点共线性水平、 线特征对齐水平方面都呈现出优于对照算法的效果。 本文算法的点共线性误差相比SPW 算法平均减小了41.83%, 线对齐误差减小了26.33%, 直线倾角一致误差减小了13.95%。 其中, 本文算法的直线倾角一致误差略高于APAP 算法, 这是由于APAP 算法完全基于单应变换实现, 因此在直线性保留方面呈现出较好性能。

图5、 图6 将不同算法实现的机载图像拼接结果进行了对比: 在蓝色实线框标注的房屋线条、 阴影处, 可以看出相比于APAP 算法与SPHP 算法,SPW 算法和本文算法都缓解了形状拉伸变形, 减小了投影失真; 在红色虚线框标注的街道、 树林处, 可以看出本文算法增加的共线性约束条件减弱了局部伪影。

图5 不同算法的机载图像拼接结果对比（阴影、 街道）Fig.5 Comparison of results on different airborne image stitching methods（architectures shadow, road）

图6 不同算法的机载图像拼接结果对比（房屋线条、 树林）Fig.6 Comparison of results on different airborne image stitching methods（architectures edge, bush）

将本文算法对上述6 组图像运算时间具体列出, 如表2 所示。 实验前已将图像尺寸统一调节至600 ×450, 均为8 位RGB 三通道图像。

表2 本文算法运行时间Table 2 Operation time for proposed method

3 结论

为了提高无人机载图像拼接算法性能, 本文提出了一种基于透视改善的局部精细拼接算法,包括预配准、 网格优化与无缝融合环节。 通过在网格优化约束条件中引入特殊直线族和线段共线判别准则, 综合减小并平衡了透视失真与投影失真。 根据实际机载图像实验, 本文方法优化了输出图像的质量, 减小了图像中形状结构的非自然形变, 保留了拼接图像目标细节信息, 提升了拼接图像精细度, 适用于无人机载图像拼接应用场景。 然而, 本文算法在无缝融合阶段的计算效率较低, 后续将对该阶段进行更深层次的优化研究,减少时间开销。