图像拼接技术在茶树病虫害防治研究中的应用

罗辉兰，朱兰艳

(昆明理工大学国土资源工程学院，云南昆明 650000)



图像拼接技术在茶树病虫害防治研究中的应用

罗辉兰，朱兰艳

(昆明理工大学国土资源工程学院，云南昆明 650000)

摘要为较好地实现茶树全景图像的拼接，针对图像拼接过程中存在同名点检测时间长、非同名点基数大的问题，提出一种顾及排列顺序的图像拼接算法。该算法以基准图像为起始，采用相关性原理，以矩形块为计算单位，提取图像间相关区域；后序图像区域提取基于前序图像区域位置计算；最后在目标区域中完成同名点检测，并实现特征匹配、图像配准与融合。试验结果表明，顾及排列顺序的图像拼接算法基于目标区域提取同名点能有效地减少非同名点数量，缩短同名点查找以及特征匹配时间，能够有效提高图像配准速度并实现茶树全景图像的无缝拼接。

关键词图像拼接；图像排列顺序；相关性；矩形块；目标区域

Application of Image Mosaic Technology in the Study of Tea Plant Diseases and Insect Pests Control

LUO Hui-lan, ZHU Lan-yan(Faculty of Land Resources Engineering, Kunming University of Science and Technology, Kunming, Yunnan 650093)

AbstractTo achieve a better panoramic image stitching of tea plant, in view of the fact that the process of image mosaic exists the problem of having long time of corresponging image points detection and little corresponging image points, an image mosaic algorithm considering the sequence was proposed. This algorithm was starting with the reference image and correlation theory was used to extract correlation areas with rectangular-block as unit; the extracting of post sequence image correlation area was based on the location of pre sequence image correlation area; finally, corresponging image point in target region was detected, and then features matching, image registration and fusion were implemented. The experiments illustrated that only detecting corresponging image point in target region can effectively reduce the number of non-corresponging image points, the time of corresponging image points detection and features matching, it also can effectively improve the speed of image registration, and finally complete image mosaic of tea plant.

Key wordsImage mosaic; Image sequence; Correlation; Rectangular-block; Target region

茶在我国有着悠久的历史，现如今茶树的种植广泛分布于我国大部分地区，形成4个主要的产茶区域：西南茶区、华南茶区、江南茶区和江北茶区。在茶树病虫害防治过程中，由于传感器装置不能采集大视角的场景，不能直接将茶树群完整地拍摄下来，而站在远处拍摄虽能得到宽范围的图像，但是得到的单个茶树图像可能会因为太小而不清晰。图像拼接技术是依赖采集的重叠图像集合，利用计算机视觉进行图像间的相互匹配，并将其拼接成无缝高分辨率图像的过程[1]。图像拼接过程主要包括图像配准和图像融合2个主要步骤，但是拼接过程较为耗时[2-3]，大量改进算法主要从特征点检测、图像配准等过程着手。特征点检测方面，周远等[4]在SIFT算法基础上，顾及特征点分布情况，提出离散尺度不变特征提取算法(discrete SIFT，DSIFT)，引入特征点检测滑动窗口，对窗口内极值点进行非极大值抑制，使特征点分布均匀，并在特征点匹配过程中引入K-D树进行配准，但随着图像分辨率增加，拼接速度变慢。陈丽莉等[5]利用相位相关法将序列图像自动排序后计算图像间平移参数，结合该平移参数粗估测出兴趣区域(region of interest，ROI)，在ROI中结合SURF算法提取特征点，最后用SVD(singular value decomposition)求得变换矩阵参数，粗估测出的兴趣区域精度较低，并未能有效的减少特征点检测区域。在图像配准方面，鲍文霞等[6]针对特征点匹配和变换参数问题，利用最小生成树的Laplace矩阵获取特征点匹配关系，估计TPS(thin plate spline)变换参数，利用这些参数完成特征点逼近实现图像拼接，该算法在构造Laplace矩阵时需消耗大量时间。王成儒等[7]提出一种基于三角形几何相似性的图像配准算法，将重叠区域内特征点任意组合为三角形，构成三角形集合，在两组三角形集合内筛选最终获得相似三角形对，即可获得匹配点对，最后计算图像间变换矩阵。该算法有效地提高了配准精度，但在相似三角形提取中耗费大量时间。为了快速获得较高分辨率的宽视场茶树全景图，笔者提出一种快速图像拼接算法，并在此基础上针对茶树群全景图像拼接技术应用进行研究。

1顾及排列顺序的图像拼接算法

在实际应用中，待拼接图像间存在部分重叠区域，传统算法针对整幅图像提取特征点较为耗时。针对图像拼接中特征点提取，该研究以图像间相关性为判断依据，选定基准图像，逐步缩小图像间相关性计算范围，两两判断，最终缩小特征点检测区域，即达到减少特征点数量的目的，从而缩短图像拼接所耗时间。

1.1首次目标区域选取已知待拼接图像排列顺序，通过空间位置关系缩小特征点查找范围。设输入图像序列I(I0，I1，…，In)，且图像排列顺序已知，即I0与I1存在重叠区域，I1与I2存在重叠区域，In-1与In存在重叠区域。选定I0为基准图像，即处于该图像序列中的第一张图像，确定其与I1的重叠区域。

图像分辨率为w×h，将图像从水平方向划分为m个大小相同的矩形块，如图1所示。

图1　图像分块Fig.1　Image block

设矩形块Iti(t=0，1，…，n，i=1，2，…，m)表示对应图像It中第i个矩形块，其中m表示矩形块总数。由基准图像I0与I1计算目标区域，由于图像序列已知，首先判断I0m与I11的相关性，计算公式如下：

(1)

其中：

它们分别表示I0m与I11的协方差(covariance)、I0m与I11各自的方差(variance)。由式(1)计算得C(I0m，I11)后需与阈值ε进行比较，即：

(2)

若C(I0m，I11)小于阈值ε，则表明I0m与I11不相关；反之，若C(I0m，I11)大于等于阈值ε，则表明I0m与I11相关，即I0m与I11存在可匹配区域，可用于提取同名点。当m值较大时，矩形区域较小，同时包含的重叠部分少，为保证准确配准，需扩大相关性匹配区域，即将所选区域顺次后移一个矩形块，即利用式(1)计算C[I0(m，m-1)，I1(1，2)]，将结果与设定阈值ε进行比较确定是否相关。比较多个矩形块相关系数选取最大值对应的区域为最佳匹配区域，即目标区域。面积变化如下式：

(3)

式中，p表示在I1中顺次后移的矩形块个数，且p≤m。将计算得到的Cp与阈值ε比较，若Cp<ε则不再计算后续矩形块。将p个相关系数进行比较，公式为：

(4)

按式(4)选取最大值对应区域为目标区域，最终得目标区域为W0(m，…，m-pos)=(w-pos×|w/m|，0，w，h)，W1(1，…，pos)=(0，0，pos×|w/m|，h)。

1.2后续目标区域选取顾及图像排列顺序，图像It与It+1查找目标区域，查找方法与首次区域查找方法相同，即计算矩形块间相关系数，公式为：

(5)

(6)

式中，t=1，2，…，n。由于在首次目标区域选取中，I1中W1(1，…，pos)窗口与I0中W0(m，…，m-pos)窗口进行特帧点匹配计算，因此后续目标区域选取中，将基于前一图像目标区域外区域进行检测，即：

(7)

式中，p表示在I(t+1)中顺次后移的矩形块个数，且p≤(m-pos)。式(7)代入式(6)后，将式(6)代入式(5)中可得相关系数Cp，将Cp与阈值ε比较，即：

(8)

若Cp<ε则停止计算。将p个相关系数代入式(6)中可得pos值，最终得It与It+1目标区域为Wt=(w-pos×|w/m|，0，w，h)，Wt +1=(0，0，pos×|w/m|，h)。

1.3算法过程上述过程归纳为如下步骤：

输入：已知排列顺序图像序列I(I0，I1，…，In)，∀It∈I，WIt(0，0，w，h)。

输出：拼接图像SI。

③根据式(5)、(6)和式(7)顺次计算Cp。

④根据式(8)判断相关性，若∀Cp<ε，则停止Cp值计算。

⑤根据式(4)比较Cp值，确定pos′。

⑥依据pos′值，更新Wt和Wt+1。

⑦依据pos′值与缩放值，计算图像目标区域：Wt(2×(wt-pos′×|w′/m|)，0，2×w′，2×h′)，Wt+1(0，0，2×pos′×|w′/m|，2×h′ )。

(4)对于任意It，It+1，在Wt与Wt+1中查找同名点，完成特征点匹配。

(5)利用仿射变换模型，计算特征点间变换矩阵。

(6)重复上述步骤，完成图像序列I中图像配准。

(7) 图像融合，消除图像间拼接缝。

(8)返回拼接图像SI。

(9)结束。

利用积分图像可有效地加快式(1)中均值与方差计算速度，将图像插值缩放为原始尺寸的1/2可有效地减少目标区域查找计算时间，最后将其还原到原始尺寸进行特征点匹配可提高匹配精度。其中，当t=0时，pos′=0，即首次目标区域选取，对整幅图像分割计算。目标区域查找过程见图2。

图2　目标区域查找过程Fig.2　Searching process in target area

2全景图像拼接实现与分析

为了提高茶树病虫害防治研究的工作效率，尽可能快地实现全景图像拼接，该研究对拼接过程进行了改进，通过缩短配准过程耗时来提高拼接效率。全景图像拼接试验中通过求取矩形块的相关系数确定图像重叠区域，然后在重叠区域内提取特征点取代全副图像查找特征点，最终实现图像拼接。试验环境如下：CPU为Pentium(R)，Dual-Core CPU T4200 2.10 GHz，2GB运行内存，试验在vs2010和XP系统下实现。

2.1全景图像拼接实验结果 试验数据以及试验结果见图3，其中图3a为目标区域内特征点提取，图3b、c为特征点匹配结果，图3d为拼接结果。分析试验结果，如图3a中矩形区域为相邻图像间的相似区域即目标区域；图3b为所对应目标区域中采用最近邻法得到的同名点配对；图3c中为RANSAC方法剔除误匹配后的配对点匹配；图3d为该研究算法得到的拼接图像，即最终拼接效果。

图3　试验数据及结果Fig.3　Tast data and result

2.2效率分析该研究不仅实现了茶树全景图像拼接，而且拼接过程中有效缩短了耗时，各步骤耗时情况见表1。

表1图像拼接算法和全图检测法效率对比

Table 1Comparison of efficiency between image mosaic and complete detection method

s

由表1可知，图像拼接算法在特征点检测、粗匹配、ransac、图像配准4个方面的耗时都小于全图检测法，总耗时节省了17.899 s，图像拼接算法效率高，能快速得到结果。

3结论

针对茶树病虫害防治研究过程中从宏观上进行监测时遇到的如何获取宽视角高分辨率图像的问题，利用图形图像处理技术，实现将多组单个图像拼接成一幅全景图像。从特征点提取出发，已知图像排列顺序情况下，利用图片间相关性快速定位了目标区域，缩小了特征点提取范围，缩短了特征点提取时间。试验结果表明，将全景拼接技术应用于茶树病虫害防治研究中是可行的。接下来的研究将进一步优化目标区域、改进图像配准算法[9]，并对全景图拼接结果精度进行优化。

参考文献

[1] 杜培明，刑硕.基于鲁棒迭代优化的图像拼接算法[J].计算机工程与科学，2014，36(4)：741-745.

[2] 崔明明，闫镔，曹鸿涛，等.基于全局二值特征描述子的三维CBCT图像快速匹配算法[J].计算机辅助设计与图形图像学报，2015，27(4)：666-673.

[3] 王灿进，孙涛，陈娟.一种新的快速局部不变特征算法[J].红外与激光工程，2014，43(6)：2013-2020.

[4] 周远，周玉生，刘权，等.一种适用于图像拼接的DSIFT算法研究[J].西安交通大学学报，2015，49(9)：84-90.

[5] 陈丽莉，刘贵喜.一种有效的序列图像自动拼接方法[J].光电子·激光，2011，22(7)：1112-1118.

[6] 鲍文霞，梁栋，王年，等.基于最小生成树和 TPS 变换模型的图像拼接[J].仪器仪表学报，2010(5)：1070-1075.

[7] 王成儒，赵娜，张丽丽.基于三角形几何相似性的图像配准与拼接[J].光电工程，2007，34(8)：87-92.

[8] 程相正，曾朝阳，陈航，等.基于双线性插值算法的低分辨率传感器标定方法[J].激光与光电子学进展，2013(7)：68-74.

[9] 梁艳菊，李庆，林蓁蓁，等.一种基于SURF的全景图像配准算法[J].传感器与微系统，2012，31(5)：132-135.

收稿日期2015-12-24

作者简介罗辉兰(1989-)，女，云南昭通人，硕士研究生，研究方向：图形图像处理。

中图分类号S 5-39;TP 399

文献标识码A

文章编号0517-6611(2016)03-288-03