海事监管中无人机航拍图像快速拼接算法*

欧阳帅， 安博文， 周 凡， 曹 芳

(上海海事大学 信息工程学院，上海 201306)

海事监管中无人机航拍图像快速拼接算法*

欧阳帅， 安博文， 周 凡， 曹 芳

(上海海事大学 信息工程学院，上海 201306)

针对海事监管中航拍图像拼接生成大视场图像的时效性较低以及配准准确性不高的问题，提出了一种快速高效的无人机(UAV)航拍图像拼接算法。根据海事监管辖区航拍图像特点缩小了角点搜索范围，通过设定自适应的梯度阈值和角点响应函数阈值筛选角点，通过局部最大角点响应函数值取舍准则实现了角点均匀化分布；采用基于相位相关的模板粗匹配方法和带有特征约束的RANSAC细匹配方法求出最优变换矩阵；利用人眼的视觉特性改进传统加权平均融合算法的加权因子使图像拼接过渡自然。实验结果表明：算法具有较好的自适应性，在拼接效率和准确率上较传统算法有了很大改善。

航拍图像； 角点检测； 自适应阈值； 图像配准； 图像融合

0 引 言

由于无人机(UAV)[1]航拍成像具有“站得高，看得远，跑得快”的优势，在船舶的动态管理、防污染监视、执法取证等方面具有其他方式不可比拟的优势。但无人机航拍的过程中受到飞行条件以及拍摄设备条件的限制，很难用一张图像将航拍目标区域的信息完全涵盖，因此，需要利用图像拼接技术获得完整的场景以解决实际需求。

目前，基于无人机图像拼接的方法主要有直接拼接法[2]和基于特征的方法。目前，航拍图像拼接算法大多基于特征点的方法[3]，主流的方法是尺度不变特征转换(SIFT)特征点匹配法。虽然其具有高精度的特点，且对平移旋转具有较好的鲁棒性，但是非常耗时，无法满足实时要求[5]。而Harris角点匹配法[6]具有光强和旋转不变性，计算速度快，且角点具有显著的结构信息。郑兰等人[7]提出了一种Harris自适应阈值角点提取方法，通过改进的随机抽样一致性(RANSAC)算法剔除误匹配点。杨宇博等人[8]提出了一种分块的Harris角点提取方法，配准采用分块逐步的RANSAC方法。

由于无人机沿河岸码头固定路线巡航航拍，图像中会出现较大一部分水域，该区域不存在角点特征，且水面容易受到光照反射影响，对角点检测和配准带来极大的干扰，现有的算法对其适用性不理想，故本文提出了一种改进的无人机航拍算法，实现高效精确拼接。

1 自适应阈值的Harris角点检测算法

1.1 角点检测区域选定

根据实际航拍图像特点和拼接实时性、准确性的要求，相邻帧图像重叠率达到80 %可以较好满足要求，故首先沿着飞行方向将搜索区域缩小至原有的0.8倍。然后对航拍图像灰度化后做二值化处理，以5×5模板从水面方向进行行扫描，当像素点邻域内的值均为1时，记录该点像素y坐标并继续下一行扫描，最后,取y坐标最大值作为搜索区域y方向的分割线，角点搜索区域如图1。极大地缩小了角点搜索范围，并有效避免了水面反光问题对特征点提取和配准的干扰。

图1 角点搜索区域

1.2 自适应的梯度阈值

采用改进的梯度算子[-2,-1,0,1,2]计算灰度梯度值，使得对灰度变化更敏感。设定自适应梯度阈值条件

(1)

即满足水平和垂直梯度大于行平均梯度和列平均梯度作为待定角点。初步提取的像素点能够反映图像的主要特征，保证了提取绝大部分的角点，间接提高了角点检测效率。

1.3 角点响应函数的自适应阈值

文献[9]中指出平坦区域的条件随机场(CRF)算法值为较小的正数，角点的CRF值为较大的正数，如式(2)

(2)

式中 ξ1,ξ2为波动幅度。基于CRF数值大小特性，本文提出了一种自适应阈值的方法。对于m×n的检测区域，由于按式(1)条件取舍角点，将不符合角点的CRF值置为0，使得搜索区域的CRF矩阵大小也为m×n。现对各行、列的各个点的CRF求均方值，假设第i行或者第j列具有较多角点，则对应的均方值大小要受角点处的CRF值影响而近似于v，即

(3)

由此极大值抑制阈值可表示为

T=

(4)

考虑到图像纹理信息的不同，用一个全局阈值做角点筛选，容易遗漏一些简单内容区域的角点。本文采用加权平均的思想分块搜索区域，先计算局部阈值，然后由局部阈值及其对整体阈值权重的贡献率得到最终的阈值表达式

(5)

式中 Ti为各区域的阈值；n为分块数。

1.4 角点聚簇现象的优化

经过上述步骤的筛选后，容易出现局部角点聚簇现象，将对角点匹配造成干扰，为了减少配准误差，采用15×15大小的模板对匹配区域进行依次扫描，采取取舍准则：只保留扫描区域内最大CRF值的点作为角点。降低角点误匹配率的同时提高匹配效率。

2 改进的特征点配准算法

2.1 基于相位相关的模板粗匹配算法

传统归一化互相关匹配(NCC)算法需要对全部角点进行遍历并进行双向匹配，时间开销大。故采用改进的基于相位相关法的模板粗匹配算法：根据相邻帧图像的平移量和参考图像中角点位置，得到对应匹配角点的大致位置，在待拼接图像中该点40×40的邻域内搜索，然后进行反向匹配，得到相关度最大的点。极大减少了搜索区域，且避免了噪声、重复性纹理特征等因素的干扰，有利于提高配准精度和效率。

2.2 带有特征约束的RANSAC细匹配算法

通过粗匹配后，难免会出现误匹配，有效地消除误匹配点是拼接成功的关键[10]。通过定义两个特征匹配约束条件改进RANSAC算法实现细匹配：

1)视差约束。视差定义为配准图像上匹配点对的坐标之差，正确匹配对的视差大致相同，而对于误匹配点，视差往往存在较大偏差。可以按如下取舍原则操作,剔除误匹配对：计算每一对匹配对其X，Y坐标视差，分别进行快速排序，取剔除视差最大的前5 %和最小的前5 %的点对。

2)唯一性约束:通过对无人机平稳飞行状况的分析,相邻图像时间间隔内无人机在水平和垂直方向上不存在变形量,故在求解变换矩阵时可以从8个自由度减少到6个自由度，则只需3对匹配点即可求解参数模型。对于3对匹配点(A-A′)(B-B′)(C-C′)，由余弦定理知

(6)

以此构建约束条件表达式

(7)

式中sgn为符号函数;φ为约束阈值(本文取0.01)。利用余弦值乘积为0的条件排除了三点共线的情况。由式(7)判断：若F(A)=±2为误匹配，直接从集合中删除上述点；若-2

改进的细匹配算法流程主要步骤如下：

1)定义最大采样次数，并从粗匹配点集中随机抽取3对同名匹配点，判断是否满足约束条件，满足，则继续步骤(2)；不满足，则舍弃，重新抽取。

2)计算变换矩阵H，设定距离阈值逐一判断剩余点对是否为内点。当剩余点判断完毕，循环次数+1。

3)判断此时循环次数是否大于最大采样次数，大于,则直接跳出循环，取内点比重最大的集合所求的变换矩阵模型即为最优变换矩阵;否则，继续步骤(1)，直到循环结束。

3 改进加权因子的加权平均融合算法

传统算法中对图像融合[11]采用式(8)

(8)

当2幅图像光强差异变化大时，采用传统算法融合过渡效果不自然。本文根据人眼的视觉特性对传统加权因子d加以改进。为了在拼接线附近区域有更佳的视觉过渡效果，利用三角函数的数学特性对加权因子加以改造，通过待定系数法求解得到改进的加权因子表达式

(9)

如图2，改进的加权函数在两端区域较传统加权因子曲线递减更为缓慢，在中间区域斜率保持不变，通过这种变化与人眼的视觉敏感度的变化相结合，使融合图像达到更好的视觉效果。

图2 传统加权函数和改进加权函数对比曲线

4 实验结果与比较

无人机采用大疆经纬M100开发者套件，航拍摄像机CCD6.17mm×4.55mm，成像焦距2.12mm，无人机飞行速度15m/s，高度150m,图像分辨率为1 280×720。计算机内存为4GB，系统平台为Win7 64位操作系统。C++编程语言实现，选取2组航拍真实图像实验，如图3。

图3 两组航拍实验

4.1 算法结果比较

1)改进Harris角点检测算法结果比较

表1为对两组航拍图像分别采用传统算法以及文献[7]算法和本文角点检测算法结果比较。结果表明：本文算法较文献[7]算法的自适应阈值具有更强的普适性，较传统算法效率提高了20 %以上，同时有效地减少了误匹配对。

表1 角点检测结果对比实验

2)角点聚簇现象的优化

图4中两图为使用15×15模板进行优化前后的对比。结果表明：经过优化，角点聚簇现象得到了极大改善，角点分布更为均匀合理，有利于后期配准。

图4 角点聚簇优化对比实验

3)改进的图像配准算法结果比较

表2～表4为传统NCC和RANSAC、文献[7]算法和本文改进配准算法实验结果比较。其中，NCC阈值设为0.9，通过10次实验得到统计平均结果。由表2和表3可以看出,传统算法提取粗匹配点对多，内点比例少，效率不高。文献[7]算法配准效果有所提升。本文算法经过特征约束，可以降低迭代次数，能较快达到理想的内点比例，配准效果有了更为明显的提升。表4对比了3种算法的时间开销。实验表明，改进配准算法效果明显。

表2 配准算法实验结果对比

表3 RANSAC实验结果对比

表4 配准算法时间开销结果对比 ms

4)改进的加权平均融合实验结果

如图5(a)取一组220×64分辨率的黑白图像采用传统加权平均融合和本文的改进算法对比实验；图5(b)对第一组2幅待拼接图像人为干涉调整亮度，并分别对比实验。左图为传统算法融合图，右图为本文改进算法融合图。结果表明:改进后算法渐变效果更加缓慢自然，拼接过渡较传统算法有了明显改善。

图5 传统加权平均融合算法和本文改进算法实验对比

4.2 序列图像拼接成果的应用

图6为对序列航拍图像拼接得到的实验结果，可将成果用于海事监管中。通过拼接图像可以很直观看到码头全部船舶靠泊情况，检测其是否超宽靠泊，通过对比图像中停靠码头的船舶和海事平台系统该区域显示的船舶，查看其是否按规定开启船舶自动识别系统，拼接的图像可以保存到数据库作为执法的依据。同时，拼接的图像可以用来生产实时电子地图数据，更新到海事地理信息系统平台。

图6 序列航拍图像拼接结果

5 结束语

根据海事监管辖区的航拍图像特点，提出了一种新的无人机航拍图像快速拼接算法。方法首先改进了Harris算法，有效地减少了检测的角点数量，具有自适应性，且能够有效保证检测的角点数量足够多，同时对角点聚簇现象进行了优化。然后通过改进的配准方法有效地剔除大量误匹配对，减少了RANSAC算法迭代运算量，提高了算法的效率和模型的准确性。最后通过改进的加权平均融合算法使得图像拼接过渡自然。实验证明：本文拼接流程效率较传统算法提高了40 %以上。

[1] 吴成东,张 润,刘宝德,等.基于无人机航拍图像拼接算法的优化[J].沈阳建筑大学学报：自然科学版,2015(1):182-192.

[2] 程争刚,张 利.一种基于无人机位姿信息的航拍图像拼接方法[J].测绘学报,2016(6)：698-705.

[3] 鲁 恒,李永树,何 敬,等.一种基于特征点的无人机影像自动拼接方法[J].地理与地理信息科学,2010,26(5):16-19.

[4] He J,Li Y S,Lu H,et al.Research of UAV aerial image mosaic based on SIFT[J].Guangdian Gongcheng/Opto-Electronic Engineering,2011,38(2):122-126.

[5] 李永佳,周文晖,沈敏一,等.改进Harris特征点的机器人定位算法[J].传感器与微系统,2011,30(8):131-134.

[6] 郑 兰,安博文,曹 芳.一种基于特征点匹配的红外图像拼接算法[J].计算机应用与软件,2015(9):192-196.

[7] 杨宇博,程承旗.基于分块Harris特征的航拍视频拼接方法[J].北京大学学报：自然科学版,2013,49(4):657-661.

[8] 冯宇平.图像快速配准与自动拼接技术研究[D].长春：中国科学院研究生院，长春光学精密机械与物理研究所,2010.

[9] 罗宇平.一种新型遥感图像配准方法[J].传感器与微系统,2009,28(10):12-15.

[10] 朱 炼,孙 枫,夏芳莉,等.图像融合研究综述[J].传感器与微系统,2014,33(2):14-18.

UAV aerial image fast mosaic algorithm in maritime supervision*

OUYANG Shuai, AN Bo-wen, ZHOU Fan, CAO Fang

(College of Information Engineering,Shanghai Maritime University,Shanghai 201306,China)

A fast and efficient image mosaic algorithm for unmanned aerial vehicle(UAV) aerial image is proposed,which is able to cope with the problems of low speed and accuracy of generating large field of view image with aerial image mosaic in maritime supervision.First,scanning range of the angular point detection is narrowed according to the feature of aerial image.The gradient threshold and corner response function threshold are used to extract Harris corner.Keeping the max value of local corner response function value is adopted to uniform the feature point distribution.After that,the improved phase correlation of template matching algorithm and improved RANSAC matching algorithm with constraint features are applied to obtain the optimal transformation matrix.Last,according to human visual characteristics,the improved factor of weighted average image fusion algorithm is applied to obtain a seamless image.Experimental results show that the algorithm has better adaptability.And the method overcomes the shortcoming of traditional mosaic methods,since the efficiency and accuracy of stitching are improved greatly.

aerial image; angular point detection; adaptive threshold; image registration; image fusion

10.13873/J.1000—9787(2017)09—0113—04

2016—09—23

国家自然科学基金资助项目(61171126)； 上海市重点支撑资助项目(12250501500); 广西教育厅科研项目(YB2014207)

TP 317.4

A

1000—9787(2017)09—0113—04

欧阳帅(1993-)，男，硕士研究生，主要研究方向为数字图像处理。