无人机遥感图像融合方法研究
2018-04-09任伟建王子维娄洪亮
任伟建, 王 楠, 王子维, 任 璐, 娄洪亮
(1. 东北石油大学 a. 电气信息工程学院; b. 黑龙江省网络化与智能控制重点实验室, 大庆 163318；2. 中海油安全技术服务有限公司 资产完整性管理中心, 天津 300457；3. 海洋石油工程股份有限公司 设计公司, 天津 300450； 4. 大庆油田建设设计研究院 计量仪表室, 大庆 163712)
0 引 言
随科学技术的迅速发展, 航空遥感技术已成为人类获取地理环境及其变化信息的必备科技手段[1]。由于地理测绘及其相关领域对遥感数据的需求呈现出急剧增长的趋势, 将无人机(UAV: Unmanned Aerial Vehicle)作为航空摄影和对地观测的遥感平台已成为一种新的解决方案[2]。无人机低空遥感系统(UAV Low Altitude Remote Sensing System)与其他遥感平台相比, 在移动性、 灵活性及实时性等方面有明显优势[3]。因无人机低空航拍生成的遥感图像存在数量大、 重叠度高、 单张图像覆盖区域较小等问题, 需将遥感图像进行拼接, 形成大视野无缝图像, 以便于对目标观察区域进行更好地分析[4]。
在对遥感图像拼接与融合时, 拼接区域往往会出现缝合线, 既影响融合图像的视觉效果, 也不利于对图像的后续处理与分析。无人机遥感图像融合的目的就是修缮待拼接图像间的图像像素信息[5], 使无人机遥感生成的序列图像能平滑地结合在一起, 形成一幅视野更大、 包含信息要素更多的图像。因此, 如何使拼接后的无人机遥感图像信息丰富且过渡自然是人们致力于研究的热点问题[6,7]。目前无人机遥感图像融合技术已逐渐发展为3个级别： 像素级、 特征级与决策级[8]。根据各融合层次所涉及的算法特点可知, 无人机遥感图像拼接需采用像素级别的拼接方式[9], 因为像素级别的融合拼接方法信息损失最小, 能尽可能保留遥感图像的信息要素, 获得最大信息量； 像素级别的融合方法有很多, 例如高通滤波[10]、 小波变换[11]和加权平均等, 目前应用最广泛的方法为加权平均融合算法。
为使加权平均融合技术实现突破性进展, 人们针对各类特点不同的遥感图像提出了相应的解决方法。陈芸芝等[12]在加权平均算法的基础上, 提出了基于像元周围的数据源分布情况进行权值确定的自适应加权平均融合算法, 该算法能较好地保持图像数据的细节特征, 降低数据源噪声； 程红等[13]以拼接缝两侧相邻像素的改正比值为基准比值,再将其分别在改正范围内逐渐过渡得到其他像素的改正比值,沿拼接缝方向对改正比值进行卷积平滑, 最后与原图像加权融合得到无缝的拼接图像, 在遥感图像间灰度差较大的情况下适用性较强； 付云洁[14]提出了基于余弦曲线的加权平均算法, 采用余弦加权方式, 对遥感图像拼接边界做平滑处理, 使接缝线处的过渡更为平滑, 实现了影像的无缝拼接； 瞿中等[15]提出了将最佳缝合线与加权平均算法相结合的思想, 首先建立最佳缝合线, 利用最佳缝合线外接矩形的左右边界计算权值, 在实现融合区平滑过渡的同时避免了因物体移动所造成的鬼影； 张学武等[16]将改进后的多尺度分解算法与加权平均法结合, 提出了基于客观评价系数的迭代方法, 使改进后的算法比传统算法更加精确。
从目前的应用范围和研究结果可知, 以上改进方式普遍存在着应用条件过于理想化以及受限于重叠区域的形状、 大小等问题。而待拼接的两幅无人机遥感图像重叠区域形状一般是不规则的, 若采用以上算法对其进行拼接, 可能会出现拼接图像分辨率低、 融合区域模糊、 缝合线明显等问题。
鉴于此, 为使加权平均融合算法更好地适用于无人机遥感图像的融合问题, 笔者针对加权平均融合算法受限于重叠区域形状、 信噪比低的特点, 主要对加权平均融合算法进行以下改进： 首先改进重叠区域的确定方法, 引入圆弧折线化思想, 采用基于等角切分的不规则区域生成法减小误差； 进一步计算权值时, 运用基于距离比的自适应权值分配算法实现权值的精确分配； 最后采用阈值法进行权值检验, 以消除特殊情况对结果的影响。改进后的加权平均融合算法可以实现根据无人机遥感图像重叠区域的情况具体化分析的权值自动分配方式, 不受重叠范围的限制, 达到使拼接图像重叠区域平滑过渡的目的。
1 加权平均融合算法
加权平均融合算法可简单、 直观地对数据源直接进行操作与处理, 已广泛应用到各类图像融合中。该算法在融合具体数据时, 首先根据一定条件为数据分配权重, 再进行加权平均计算, 得到融合结果。
如在遥感图像的采集过程中, 因无人机飞行姿态、 传感器视角变化等因素会造成图像在亮度、 颜色等方面的特征差异, 因此, 为权衡数据的不同特征, 引用表征数据灰度值的特征数字“权”表示各像素的相对重要程度。在融合待拼接图像重叠区域的数据时, 加权平均融合算法通过对重叠区域内两幅图像的像素赋予不同权值[17], 即加权系数, 再进行相加, 具体如下
(1)
其中f1和f2表示两幅待融合图像,k1和k2代表图像f1和f2重叠范围内对应像素点所分配的权值要求,k1+k2=1, 0≤k1≤1, 0≤k2≤1。由式(1)可见, 在加权融合算法的实现中, 权值分配的准确性直接影响最终的融合质量： 权值分配越恰当, 则融合精度越高, 融合效果越好。
一般情况下, 在图像融合领域都采用Szeliski[18]提出的渐入渐出法进行权值分配。该方法利用重叠区域的宽度作为权值分配的考量, 根据待融合像素点的位置距离图像重叠区边界的坐标差值计算得出权值, 所以, 可将式(1)改写为
(2)
图1 渐入渐出式权值变化图Fig.1 Weight trend of fade in-out method
其中d1和d2是由该像素点距离重叠区域边界的距离所计算出的权重, 满足d1+d2=1, 0≤d1≤1, 0≤d2≤1。在融合过程中,d1从1逐渐过渡为0, 而d2从0逐渐过渡为1。假设图像拼接顺序为从图像f1到图像f2, 则在非重叠区域, 取f1的原图像, 进入重叠区域后,f1所占比例逐渐减少, 而f2所占的比例逐渐增加, 直到出重叠区域时已平滑过渡到了图像f2。示意图如图1所示。
2 改进的加权平均融合算法
通过对加权平均融合算法的分析与验证可知, 该算法在遥感图像的实时处理中简单有效, 但也会降低拼接后图像的信噪比, 当两幅待拼接图像的对比度差异过大时, 会出现较为明显的拼接线现象。此外, 传统的加权平均融合算法是在假设图像重叠区域形状为固定的矩形前提下进行权值分配, 而待拼接的无人机遥感图像重叠区域大多为不规则多边形, 这种情况下, 原算法在执行过程中无法确定重叠范围的一致距离, 从而无法正确得出权值, 导致拼接后的图像中出现较为明显的拼接线, 融合图像质量较差。
因此, 在整个算法的实现中, 影响算法融合质量的关键问题是如何针对具体情况确定恰当的权值。基于距离比的权值计算方法[19]在分配权值时, 首先根据重叠区域的形状将其分类, 再针对类别以重叠区内像素点相对于原图像的坐标信息作为权值分配参考标准, 实现加权融合, 在一定程度上减小了传统加权平均融合算法在对不规则重叠区域图像拼接时产生的误差。笔者借鉴上述基于距离比的权值计算思想, 针对加权平均法的缺点进行改进, 改进后的加权平均融合算法可以根据重叠区域的形状自动分配权值, 实现图像融合。
2.1 基于等角切分的不规则区域生成法
图2 折线化重叠范围的流程Fig.2 The process of piecewise linear approximation
加权平均法在分配权值前, 需确定待拼接图像间的重叠区域, 一般处理方式是将重叠范围近似估计为矩形, 该处理方式过于理想化。在实际的图像拼接过程中, 重叠部分往往不是规则的矩形区域, 而是一个边界模糊的范围, 在这种情况下, 原算法可能无法确定重叠区域的左右边界, 致使算法失败或得到不精确的结果。为使算法在处理图像重叠区域不规则的情况时不受限制, 引入数学中的圆弧折线化思想, 在保持重叠区域原有特征及精度要求的前提下, 确定好重叠区域的中心后, 采用等角切分的方法, 将实际中趋近于弧线围成的重叠区边界进行折线化处理, 处理后的多边形折线轮廓具有明显的坐标信息, 满足算法后续工作的要求, 使算法更贴近实际需求, 也使算法的精确度更高。重叠区域轮廓的折线化流程如图2所示。
弧线转为折线, 转换后所得折线与圆弧不可避免地会存在一定误差。折线点越密集, 与圆弧的误差越小, 折线也更加圆滑, 反之, 则误差越大。在算法的实现中, 可通过设置切分的角度值, 调整转折线后的节点数, 从而调整转换精度。角度值越小, 折线节点越多, 精度越高。
2.2 基于距离比的自适应权值
加权平均融合算法的关键是权值的分配。如图3所示, 与原算法中仅利用重叠区域的宽度作为权值分配考量标准有所区别, 笔者算法在权值分配时, 将像素点在重叠区域及原图像的位置差异同时作为考量依据, 根据像素点分别到重叠轮廓与原图形的最短距离比的差异对该点的权值进行选取, 权值的大小与比值大小成正比。
a 实际重叠区域范围 b 原算法的重叠区域轮廓 c 改进算法的重叠区域轮廓图3 重叠区域轮廓的效果示意图Fig.3 The effects of overlapping region outline
设像素点元到重叠轮廓的最小距离为L1、 像素点到原图形边界的最小距离为L2, 改进加权融合算法处理后的重叠区域内像素点P的灰度值可表示为
G=GLWL+GRWR
(3)
其中GL和GR分别为像素点P在两张待拼接图像中的灰度值,WL和WR为自适应权重： 当L1
2.3 基于阈值的权值检验
当像素点距离重叠区轮廓与原图形边界的最小距离相等时, 权值分配结果为1与0, 这时会出现融合结果将第2幅图像的影响完全排除的情况。因此,设置阈值, 当根据实际情况计算出距离比值后, 将得到的结果与阈值进行比较, 当其低于阈值时, 将比值结果作为最终的权值; 否则, 重新计算距离比。改进后的算法在一定程度上提高了算法对特殊情况的容忍度。改进后的算法流程如图4所示。改进加权平均融合算法在实现图像拼接过程中较加权平均融合算法有如下几点优势。
图4 改进后的加权平均融合算法流程Fig.4 The process of the improved weighted average fusion algorithm
1) 在确定重叠区域时, 将找到的重叠范围采用折线化处理。转换后的多边形重叠轮廓更贴近实际形状, 与传统的矩形重叠形状相比误差小。
2) 根据重叠区域的形状进行具体化分析, 使权值的分配随图像重叠情况的变化而变化, 权值分配相对准确, 灵活性强。
3) 在权值分配时, 据像素点分别到重叠轮廓与原图形的最短距离的比值大小对该点的权值进行分配。即将像素点在重叠区域及原图像的位置差异及相对关系同时作为考量依据, 使分配更加准确, 且针对重叠区域为不规则多边形的无人机遥感图像特点, 实现了权值的自动分配, 提高了算法的精确度。
3 实验结果与分析
为检验改进的的加权平均融合拼接算法的融合效果, 笔者从两方面设置图像处理实验对比分析传统的加权平均融合法和改进后的算法。
拼接后的无人机遥感图像效果可通过空间分辨率和图像融合区域拼接线清晰度这两个重要指标进行判断[20]。其中图像空间分辨率可用图像标准差(Standard Deviation)参数表示, 标准差数值越大, 则图像空间分辨率越高； 而拼接后图像的融合区域拼接线清晰度可使用图像的平均梯度(Mean Gradient)参数表示, 其数值越大, 则代表图像融合区域越清晰, 拼接线越不明显。
因此, 笔者采用融合拼接后的图像标准差和平均梯度两个参数判定拼接后效果, 参数计算为
(4)
(5)
其中I表示对应像素的平均值, ΔI表示x,y方向差分值。由于实验采用的待拼接图像为彩色图像, 所以采取RGB(Red Green Blue)3通道计算拼接后图像的标准差和平均梯度。
实验1分别对传统加权平均融合算法和改进后的算法进行融合对比实验, 将同一条件下获取的两幅无人机遥感图像进行拼接, 对比验证融合效果。
图5a和图5b是连续同一航迹无人机在执行巡线任务过程中低空拍摄的管线遥感图像P1和P2, 其大小均为250×150像素。
a 原始图像P1 b 原始图像P2图5 待拼接图像Fig.5 Images to be matched
首先对P1、P2进行图像匹配, 确定两幅图像间的融合区域, 再使用加权平均融合算法进行图像融合, 效果如图6所示。同样地, 使用改进后的加权平均算法将P1、P2拼接融合, 效果如图7所示。
通过观察图6和图7可知, 使用加权平均融合算法的拼接图像融合区域内像素信息灰度过渡较明显, 出现模糊、 扭曲等现象, 并出现1个像素宽度的拼接缝合线, 拼接过度区域现象较为明显。与传统加权平均融合算法相比, 改进后的融合算法所处理的拼接后融合区域缝合线基本消失, 其实际融合效果及实用性要明显高于前者。
参数计算结果如表1所示。
表1 图像融合参数结果
由表1可知, 在图像重叠区域内, 与传统加权平均融合算法相比, 改进后的算法在标准差和平均梯度两个参数的结果数值有所增加。其中, 空间标准差参数可表示图像空间分辨率, 其数值的增加证明使用改进算法后的图像空间分辨率有所提高； 平均梯度参数与图像清晰度相关, 数值越大, 表示图像融合区域越清晰, 拼接线的痕迹越不明显。
实验2将改进后的加权平均融合算法应用到多幅无人机遥感图像拼接融合的情况中, 验证融合效果。
如图8所示, 图8a～图8d分别是重叠度较高的4幅无人机执行测绘任务时所拍摄的遥感图像P1,P2,P3,P4。分别将图像P1和P2、 P3和P4进行两两拼接, 得到图像F1与F2, 最后将图像F1和图像F2进行拼接得到最终的大视野拼接图, 可知多幅图像拼接的本质也是两两图像间的拼接。
首先, 基于改进的加权平均融合方法拼接图像P1与P2, 拼接图像F1如图9所示。同样地, 遥感图像P3与P4的拼接结果F2如图10所示。将前面所得拼接结果F1与F2再次进行拼接, 最终得到大范围区域的遥感图像, 结果如图11所示。
a 待拼接图像P1 b 待拼接图像P2
图8 多幅原始待拼接图像Fig.8 Original images to be matched
图9 拼接图像F1 图10 拼接图像F2 Fig.9 Mosaic image F1 Fig.10 Mosaic image F2
图11 多幅图像最终拼接结果Fig.11 The final mosaic image
从最终的融合图像可见, 在融合区域内, 没有出现明显的拼接线现象, 虽然由于几何畸变等问题导致了模糊等拼接痕迹, 但总体效果达到了去除拼接缝隙、 使图像融合区域过渡平滑的的目的。
4 结 语
笔者在深入研究传统加权平均融合算法的基础上, 主要针对无人机遥感图像重叠区域不规则的特点, 提出了将原有算法的渐入渐出式权值分配方式替换为权值自动匹配的改进策略。改进后的加权平均算法能有效地消除拼接线现象, 实现平滑过渡, 得到理想融合效果的拼接后图像； 同时减小了传统加权平均法对重叠区域大小与形状的依赖, 大大提高了加权平均融合算法的应用范围。但随遥感技术的多方位发展, 基于加权平均算法的遥感图像融合技术仍有许多方面有待于深入研究。包括如何进一步提高融合图像的数据连续性, 提高数据空间覆盖率等问题仍需进一步探讨。
参考文献：
[1]李德仁, 李明. 无人机遥感系统的研究进展与应用前景 [J]. 武汉大学学报: 信息科学版, 2014, 39(5): 505-513.
LI Deren, LI Ming. Research Advance and Application Prospect of Unmanned Aerial Vehicle Remote Sensing System [J]. Geomatics and Information Science of Wuhan University, 2014, 39(5): 505-513.
[2]刘鹏, 彭艳娜, 邹秀琼, 等. 我国无人机航摄系统现状和前景 [J]. 地理空间信息, 2010, 8(4): 4-6.
LIU Peng, PENG Yanna, ZOU Xiuqiong, et al. Present Situation and Prospect of Unmanned Aerial Photogram-Metric System in China [J]. Geospatial Information, 2010, 8(4): 4-6.
[3]汪沛, 罗锡文, 周志艳, 等. 基于微小型无人机的遥感信息获取关键技术综述 [J]. 农业工程报, 2014, 30(18): 1-12.
WANG Pei, LUO Xiwen, ZHOU Zhiyan, et al. Key Technology for Remote Sensing Information Acquisition Based on Micro UAV [J]. Transactions of the Chinese Society of Agricultural Engineering, 2014, 30(18): 1-12.
[4]鲁恒, 李永树, 何敬, 等. 无人机低空遥感影像数据的获取与处理 [J]. 测绘工程, 2011, 20(1): 52-54.
LU Heng, LI Yongshu, HE Jing, et al. Capture and Processing of Low Altitude Remote Sensing Images by UAV [J]. Engineering of Surveying and Mapping, 2011,20(1): 52-54.
[5]YANG B, LI S T. Pixel-Level Image Fusion with Simultaneous Orthogonal Matching Pursuit [J]. Information Fusion, 2012, 13(1)： 10-19.
[6]周春江, 徐丽华. 遥感影像镶嵌中拼接缝消除方法研究 [J]. 西南大学学报: 自然科学版, 2010, 32(9): 136-140.
ZHOU Chunjiang, XU Lihua. Study on Seam-Line Removal under Mosaicking of Remote Sensing Images [J]. Journal of Southwest University: Natural Science Edition, 2010, 32(9): 136-140.
[7]王茜, 宁纪锋, 曹宇翔, 等. 基于SIFT算法的无人机遥感图像拼接技术 [J]. 吉林大学学报: 信息科学版, 2017, 35(2): 189-197.
WANG Qian, NING Jifeng, CAO Yuxiang, et al. Matching Technologies of UAV Remote Sensing Image Based on SIFT [J]. Journal of Jilin University: Information Science Edition, 2017, 35(2): 189-197.
[8]周立俭, 崔学梅, 李俊伟. 一种改进的多小波遥感图像融合方法 [J]. 计算机仿真, 2011, 28(12): 249-252.
ZHOU Lijian, CUI Xuemei, LI Junwei. Improved Multi-Wavelet Fusion Method for Remote Sensing Image [J]. Computer Simulation, 2011, 28(12): 249-252.
[9]于欢, 孔博. 无人机遥感影像自动无缝拼接技术研究 [J]. 遥感技术与应用, 2012, 27(3): 347-352.
YU Huan, KONG Bo. Automatic Seamless Mosaic of UAV Remote Sensing Image [J]. Remote Sensing Technology and Application, 2012, 27(3): 347-352.
[10]WANG P, DJUROVIC I, YANG J Y. Generalized High-Order Phase Function for Parameter Estimation of Polynomial Phase Signal [J]. IEEE Transactions on Signal Processing, 2008, 56(7): 3023-3028.
[11]TIAN J, CHEN L. Adaptive Multi-Focus Image Fusion Using A Wavelet-Based Statistical Sharpness Measure [J]. Signal Processing, 2012, 92(9): 2137-2146.
[12]陈芸芝, 汪小钦, 吴波, 等. 基于自适应加权平均的水色遥感数据融合 [J]. 遥感技术与应用, 2012, 27(3): 333-338.
CHEN Yunzhi, WANG Xiaoqin, WU Bo, et al. Ocean Color Data Merging Based on Adaptive Weighted Averaging [J]. Remote Sensing Technology and Application, 2012, 27(3): 333-338.
[13]程红, 郑悦, 孙文邦. 基于相邻像素灰度改正比的遥感图像拼接缝消除 [J]. 电光与控制, 2014, 21(5): 74-87.
CHENG Hong, ZHENG Yue, SUN Wenbang. Seamline Removal for Remote Sensing Images Based on Gray Correction-Ratio of Adjoined Pixels [J]. Electronics Optics & Control, 2014, 21(5): 74-87.
[14]付云洁. 遥感影像拼接缝消除算法改进研究 [J]. 测绘与空间地理信息, 2013, 36(9): 152-153.
FU Yunjie. Improving Research on Seamless Mosaicking Algorithm of Remote Sensing Images [J]. Geomatics & Spatial Information Technology, 2013, 36(9): 152-153.
[15]瞿中, 乔高元, 林嗣鹏. 一种消除图像拼接缝和鬼影的快速拼接算法 [J]. 计算机科学, 2015, 42(3): 280-283.
QU Zhong, QIAO Gaoyuan, LIN Sipeng. Fast Image Stitching Algorithm Eliminates Seam Line and Ghosting [J]. Computer Science, 2015, 42(3): 280-283.
[16]张学武, 朱小艳, 石爱业, 等. 基于客观评价系数的迭代图像融合方法 [J]. 仪器仪表学报, 2010, 31(9): 2029-2035.
ZHANG Xuewu, ZHU Xiaoyan, SHI Aiye, et al. Iterative Image Fusion Method Based on Objective Evaluation [J]. Chinese Journal of Scientific Instrument, 2010, 31(9): 2029-2035.
[17]李媛媛, 张立峰. 多传感器自适应加权融合算法及其应用研究 [J]. 自动化与仪器仪表, 2008(2): 10-13.
LI Yuanyuan, ZHANG Lifeng. Adaptive Weighted Fusion Algorithm of Multi-Sensor and Its Applications [J]. Automation & Instrumentation, 2008(2): 10-13.
[18]SZELISKI RICHARD. Video Mosaics for Virtual Environments [J]. IEEE Computer Graphics and Applications, 1996, 16(2): 22-30.
[19]徐银苓. 中低空遥感图像序列快速拼接方法研究 [D]. 长春： 吉林大学计算机科学与技术学院, 2015.
XU Yinling. Research on Fast Stitching Method of Middle-Low Altitude Remote Sensing Images [D]. Changchun: College of Computer Science and Technology, Jilin University, 2015.
[20]谭永生, 沈掌泉, 贾春燕, 等. 中高分辨率遥感影像融合研究 [J]. 遥感技术与应用, 2007, 22(4): 537-542.
TAN Yongsheng, SHNE Zhangquan, JIA Chunyan, et al. The Study on Image Fusion for Medium and High Spatial Resolution Remote Sensing Images [J]. Remote Sensing Technology and Application, 2007, 22(4): 537-542.
