近色背景果实识别的多源图像配准

马正华，吕小俊，徐黎明，王艺洁，吕继东+

(1.常州大学 信息数理学院，江苏 常州 213164；2.江苏城乡建设职业学院 设备工程学院，江苏 常州 213147)

0 引 言

近色背景下果实的识别一直是图像识别的难点和热点。对于果实和茎叶颜色差别较大的果蔬，如红苹果、紫葡萄、杨梅等一般通过色彩空间转换、颜色通道运算等传统方法就可以进行有效的识别[1]。然而，对于近色背景系的果蔬，如绿葡萄、黄瓜、青苹果等，很难通过颜色的差异把果实从背景中分离出来，而由于环境温度、遮挡、光线等因素的影响，应用纹理、形状等物理属性同样也难以有效地分割出果实。

随着光谱技术和传感器的发展，人们根据从可见光到近红外两个波段中果实与茎叶分光反射差异较大[2]的特性，采用近红外相机捕获近色系果实图片，然后通过不同的阈值分割法进行分割和识别，但这样往往只能得到果实部分的轮廓特征信息，分割效果不佳。由于不同成像机理的相机获得的多源图像之间存在信息的冗余性和互补性，对其进行融合能够有效提高图像信息的利用率和完整性，这样就可以有效保留果实丢失的边缘信息。而图像配准是图像融合至关重要的一步，因此本文利用近红外像机和可见光像机捕获的多源图像进行配准研究，以期提高后期果实识别的准确性。

1 图像采集及预处理

1.1 图像采集

近红外相机和可见光相机均采用北京大恒创新技术有限公司的产品，近红外相机的型号为MER-131-75GM-P NIR(网线接口，需单独外接220 V电源供电)，可见光相机为MER-131-210U3C(USB3.0接口，直接由笔记本供电)，滤光设备为中心波长830 nm、带宽70 nm的带通干涉滤光片。图像采集软件为其官网下载的Windows版本的Daheng MER-Series Viewer。实验的图片是从江苏省兴化市戴南镇黄夏果园采集的100组绿葡萄图片，采集时间是早上的9∶00到10∶00。采集的近红外和可见光图像的大小均为280*310。

1.2 图像预处理

在大棚里面采集的多源图像有时会存在信噪比低、对比度差的现象，而且容易受到各种噪声的影响。目前图像的噪声种类很多，与之对应的消噪方法也很多，但是还缺少一种对不同来源图像都适用的消噪方法[3]。因此本文采用基于中值滤波和小波变换相结合的方法对多源图像进行消噪处理。首先对图像使用文献[4]中改进的自适应中值滤波进行去噪，然后通过Daubechies3小波对图像进行三层小波分解。由于低频部分包含了图像大部分信息，基本保持了图像的轮廓部分，因此对低频分量使用领域平均进行处理。高频部分保留了图像的细节部分但是包含了大量噪声，对各高频分量进行中值滤波后进行小波重构完成图像的去噪。

如果直接对多源图像进行特征点的提取会出现特征点分布不均匀、局部过于集中的现象，从而导致局部配准误差较大进而影响图像最终的配准效果。因此本文先使用图像分块技术[5]把经消噪的图像分割成互不重叠的子块后再用改进的SURF进行特征的点的提取。这样就可以在一定程度上让提取的特征点出现在每个字块中特征较显著的位置，从而改善了特征点分布的均匀性。

2 配准算法

常用的图像配准方法有基于变换域、基于特征和基于灰度3种。由于本文使用的近红外相机和可见光相机在成像机制上不同，同时考虑到提高系统的实时性和有效降低使用场景的限定条件，因此采用基于特征的方法进行图像配准。

点特征是常用的配准特征。基于图像灰度的Harris[6]特征点提取法，对旋转、噪声和对比度的变化不敏感，但不具有尺度不变性；Lowe提出的SIFT算法提取的特征能够很好的应对亮度变化、旋转平移和尺度变换，但实时性不高、计算量大、对边缘光滑的目标无法准确提取特征点；SURF[7]算法可以看成是SIFT的一种改进。在保留SIFT特点的同时其速度更快，比较适合在非结构化环境下对实时信息的感知，因此本文使用SURF进行特征点提取并且对特征点主方向的确定进行改进。

2.1 特征点检测和定位

首先计算积分图像用于提高图像卷积的速度，SURF通过快速Hessian矩阵来检测特征点，图像上任意一点x=(x,y)T在尺度为σ上的Hessian矩阵定义为

(1)

为了提高运算速率，Bay等提出一种用盒子滤波器替代高斯滤波的方法，其中盒子滤波器与图像的卷积用Dxx,Dyy和Dxy表示，从而得到Hessian矩阵的行列式近似值

Det(Happrox)=DxxDyy-(0.9Dxy)2

(2)

与SIFT直接构建图像金字塔不同的是，由于采用了盒子滤波器，SURF通过保持原始图像不变，不断扩大滤波器大小的方法建立图像金字塔，构建过程如图1所示。为了定位特征点，在邻域里使用非极大值抑制法在不同尺度下找到图像的特征点，继而在尺度空间和图像空间进行插值。最后使用SIFT提出方法进行特征点的准确定位。

图1 构建图像金字塔

2.2 主方向选取

使用文献[8]中的方法进行主方向的确定虽然简单，但在相邻二次转动中会存在π/3-2θstep的重叠区，如果扇区每次转动后都重新计算区域内的矢量和，这样大大降低了计算的效率。这里我们采用文献[9]中的方法对主方向的确定提出改进，从而提高了SURF算法的整体效率。

2.3 生成特征描述符

2.4 特征点匹配

张瑞娟等采用的最近邻匹配法是常用的特征点匹配算法：在目标图像中找到与原图像中点q欧氏距离最近的点p′和次近的点p″，设q与p′和q与p″两组特征点之间欧氏距离的比值为α，若α小于相应的阈值则q与p′匹配成功，否则失败。但是这样会出现了“一对多”的现象且算法执行速度较慢。

为了快速找到集合中一个特征点在另一个集合中的最近邻和次近邻，对于64维SURF描述子必须找到一种合适的搜索策略。穷举法虽然原理简单，但是效率较低。经典的kd-tree算法在低维空间的搜索效率很高，但是扩展到高维数据上其搜索性能会大大降低。BBF(best bin first)提高了在高维空间的搜索效率，但是其找到的最近邻都是近似的，这样就无形中降低了特征点的匹配精度。Muja等[10]提出的FLANN搜索算法更加适用于高维数据的搜索而且在速度和近精度方面均优于BBF。因此在特征点的粗匹配过程中使用快速近似最近邻搜索算法(FLANN)加快对特征点的搜索速度并且使用Hessian矩阵的迹加快初匹配速率。在计算Hessian矩阵行列式的同时得到了矩阵的迹trace，如果两个特征点的trace同号，说明两个特征点具有相同的对比度可以继续进行描述子的比较；如果异号，说明两者的对比度不同，放弃后续的相似性度量。

SURF算法在特征点提取与匹配过程中只考虑了特征点处的局部信息，而没有把图像的几何信息考虑在内，因此在粗匹配后会存在大量的误匹配。根据在参考图像(可见光图像)和待匹配图像(近红外图像)中正确匹配特征点之间连线的方向和长度大致相同这一特性使用特征点偏移一致性原则[11]在这一方面进行改进。这样既实现了特征点间一一匹配也加快了匹配速率和精度。基本原理如下：

设(u1i,v1i)与(u2i,v2i)分别为可见光图像和近红外图像的一对匹配点，它们间的连线矢量为(ui,vi)，其中ui=u1i-u2i,vi=v1i-v2i，则所有候选特征点对的连接矢量坐标平均值为

(3)

3 参数估计

在本次拍摄图片时平面目标的深度和它与摄像机之间的距离相比较小，投射线近似为平行的，图像间的变换可以近似看成仿射变换，式(4)为仿射变换公式。其中(x,y)与(x′,y′)是匹配点对，矩阵M为仿射变换矩阵

(4)

经上述方法提纯后的特征点中依然会存在伪匹配点对。这里使用Fishler和Bolles提出的RANSAC[12]和最小二乘法相结合来计算图像间的变换关系。以仿射变换为列，具体步骤如下：①把提纯后的k组匹配点对作为候选匹配特征集，再从中任意选取3组匹配点对建立方程组，求变换矩阵的6个未知参数。②计算剩余k-3个特征点经过变换矩阵的坐标并计算与其候选匹配点之间的误差，将误差小于某一阈值的点归为内点，否则视为外点。③统计在该变换矩阵下内点的数目。重复①～③找出使内点数目最多的变换矩阵，将通过该变换矩阵所判断出的外点剔除。④把提纯后的点对通过最小二乘法进行参数估计从而得到变换矩阵的最优解。

4 重采样与图像插值

确定模型参数后，对待配准图像进行重采样得到同一坐标系下的配准结果。然后采用折衷精度和计算量的双线性插值法进行插值。本文算法如图2所示。

图2 本文算法流程

5 实验结果及分析

实验中仿真平台硬件环境为：CPU Intel(R) Core(TM) i5-7200U，2.5 GHz，4 G内存的PC机。软件开发工具为Windows 10 Pro，MATLAB2016a。这里随机抽取3组图片进行实验，如图3所示，第一组(图3(a)、图3(d))，第二组(图3(b)、图3(e))，第三组(图3(c)、图3(f))。其中图3(a)、图3(b)、图3(c)为可见光图像，图3(d)、图3(e)、图3(f)为待配准的近红图像。

图3 3组实验图片

图4、图5、图6第一行图片是3组图片使用文献[13]中SURF算法进行配准的效果图，第二行是使用本文算法的配准效果图。实验分别从特征点匹配率(提纯后匹配点对数/待配准图像特征点数)、匹配时间、抗噪性和抗旋能力等方面对算法进行评价。

图4 第一组配准实验

图5 第二组配准实验

图6 第三组配准实验

表1、表2是对图3中3组图片分别使用SURF算法和本文算法在特征点匹配率和匹配时间方面的统计(表中提纯后的匹配点对均是在使用RANSAC后进行统计的)。可以发现本文算法的匹配速度比原算法快了约15%，匹配率方面比后者提高了约37%。这是因为本文算法是在使用了基于中值滤波和小波变换相结合的消噪方法后进行特征点提取和匹配的，这样降低了噪声的影响，与直接在整幅图像上使用SURF匹配相比，大大降低了匹配运算的规模，从而提高了算法的整体效率，降低了配准的时间。由此节约的时间远大于使用图像分块技术所花费的时间。在使用最近邻/次近邻后会存在大量的误匹配点对，虽然RANSAC算法可以在很大程度上去除误匹配点对，但其仍有明显的缺陷：每次通过一个随机样本集求出变换矩阵M后，都要找到该变换矩阵的支撑点。如果观测数据集中存在较多的外点，那么找到其相应的支撑点将很少，最后被抛弃，而寻找这样的支撑点集往往会浪费大量的时间。本文算法在使用RANSAC前使用基于特征点偏移一致性原则对匹配点对进行提纯，虽然花费了一定的时间，但其耗时却小于直接使用RNASAC的时间。因此本文匹配算法在整体上比原SURF算法节约时间。从特征点匹配率方面来看，由于使用了相应的消噪方法，能够使本文算法在特征点的提取和匹配方面受噪声影响较小，图像分块技术也可以在一定程度上提高特征点分布的均匀性和改善局部易产生误匹配的现象。而且本文对粗匹配后的结果使用了特征点偏移一致性原则进行了优化。综合考虑来看，本文的匹配率远高于原SURF算法。

下面从抗噪声能和抗亮度变化两个方面来比较两种算法。

抗噪声效果分析：在实验中我们分别将方差为0.02、0.03、0.04、0.05的高斯噪声加到图3(d)中并且与图3(a)进行匹配。由表3可知，随着高斯噪声方差的增加，SURF和本文算法在匹配率上都下降了，但是SURF降低的幅度要高于本文算法。因为本文对采集的多源图像使用了基于中值滤波和小波变换相结合的消噪方法，有效地降低了高斯噪声对匹配过程的影响，因此本文算法的抗噪声效果要更好。

表1 用SURF的匹配率和匹配时间统计

表2 用本文算法的匹配率和匹配时间统计

表3 两种算法的抗噪声能力对比

抗亮度变化效果分析：对图3(d)进行亮度处理，其中图3(d)为中亮度图像，把图3(d)的亮度降低一倍得到低亮度图像。把图3(d)的亮度提高一倍得到高亮度图像。最后将图3(a)分别与构成的3种亮度的图像进行匹配。由表4分析可知，两种算法在抗亮度变化方面的效果都不错。在不同亮度条件下，本文算法都保持着较高的匹配率，匹配点对变化数目较小。因此本文算法的抗亮度变化能力要稍好些。

表4 两种算法的抗亮度变化能力对比

6 结束语

本文针对近色背景下果实识别率不高、边缘信息不完整的情况，采用近红外相机和可见光相机组和捕获多源图像。由于多源图像间存在信息的冗余性和互补性，对预处理后的图像进行配准可以得到较完整的果实信息。经比较本文改进的配准算法在实时性、鲁棒性和精度方面均高于原SURF算法，为下面多源果实图像的融合和分割提供了一种配准算法。