基于林区采育机械的视觉和激光融合算法

彭 洋 ，孔建磊， 刘晋浩， 黄青青

(北京林业大学 工学院，北京 100083)

0 引言

我国人工林保持快速发展趋势，现有人工林保存面积继续居世界首位。随着林业生产由劳动力集约型向技术集约型的转变[1-2]，林业与环境特种装备研究所研制成功了国内首台多功能履带式林木联合采育机，该多功能林木联合采育机是集采伐、打枝、去皮、造材、集材及归堆等于一体的作业机械，大大提高了劳动生产率和木材生产的安全性[3]。然而，由于林地环境复杂，在实地作业过程中发现操作员需要对林木状况及作业环境进行观察和测量，造成了连续作业的间断，降低了作业效率，尤其在光线差的条件下会大大增加操作员的作业危险性[4]。因此，智能检测感知作业环境，准确识别采育目标并获取其方位信息，可有效避免上述问题，增强采育机的作业能力。

目前，国外对林业装备智能检测系统的研究及应用已经较为广泛，国内虽然已经开始使用激光扫描系统来进行林区环境测量，但车载多传感器信息融合尚没应用在林区采育目标识别中。因此，本文将多传感器信息融合技术引入到林业联合采育装备中，在优化数据的基础上提取林区目标的视觉和激光特征，通过高维FSVM模型对不同目标的特征向量进行学习和训练，实现对采育目标的有效识别。

1 实验设备及环境

本研究中，应用SICK LMS511-PRO 二维激光测距仪、Microsoft LifeCam Studio可见光像机和ART-640 THERMO 红外热像仪以及XSEN MTI-100惯性传感器搭建多传感器信息采集系统，检测和识别林木联合采育机的作业目标;设计高精度伺服云台作为多源测量仪器的搭载平台，通过人机交互式信息采集系统(上位机)和云台控制系统(下位机)的通讯实现车载云台的双自由度运动及测量系统位置和角度的调整。

本研究选用国内首台多功能履带式林木联合采育机作为实验车辆，并选用广西钦州桉树人工林场作为测量检测和采伐作业的实验环境。根据采育作业需要，通过TCP/IP网口协议对二维激光测距仪工作参数进行设置。设置激光采样频率为100 Hz，最小角度分辨率为0.166 7°，最大测量距离为32 m，扫描范围为+40°～+140°共100个角度，单次扫描结果呈现为由601个激光点构成的扫描平面。为保证可见光相机在远距离清晰成像，设置图像分辨率为1 920像素×1 080像素、图像帧频为20帧/s来提取激光测量对应场景的目标RGB信息和区域形状特征。配置红外热像仪的镜头焦距为标准35 mm、图像分辨率为640像素× 480 像素、帧频为30帧/s获取可见光图片中心附近的红外图像，测得对应采育目标的温度特性。设置惯性传感器的采样频率为200 Hz，获取采育机作业引起的激光测距仪位移变化情况，通过后续补充工作降低设备测量误差。

2 视觉设备和激光测距仪的标定

视觉设备和激光测距仪的标定包含相机内部参数标定和联合外部参数标定两个部分。为了提高激光和视觉图像数据的匹配效率，本研究选用3块特定的标定物体(标定板)，每块标定板上贴有10 cm×10 cm大小的黑白标定棋盘格。将标定板放置在距离激光测距仪、可见光相机和红外热像仪的几何中心构成的平面同一距离的不同位置上，通过获取的激光数据和对应的图像数据组在同一实验中完成可见光相机内部参数标定和可见光相机与激光测距仪外部匹配标定两个标定过程。同时，针对传统标定方法因测量距离差异带来的误差情况，将标定物体放置在不同距离上，并构建内、外部参数标定方程。

2.1 可见光相机内部参数标定

本研究中，将整个测量云台放置在水平平面上，保证激光测距仪、可见光相机和红外热像仪的几何中心构成的平面与地面垂直，将标定板放置在距离该平面di的距离上(即各传感器几何中心位于同一平面且该平面距离标定板所在平面的距离为di)，应用针孔成像模型描述视觉设备成像过程。任意选取标定板内空间点PI，其所在坐标系为世界坐标系，坐标为PIW(XIW,YIW,ZIW)，在可见光相机外部坐标系中对应点为PIC(XIC,YIC,ZIC)，投影到相机成像平面坐标系的对应点为pI，内部成像平面坐标系的横轴为uc、纵轴为vc，则在内部成像平面坐标系中为pI(pIu,pIv)。可见光相机外部坐标系的ZC轴与相机内部成像平面垂直，XC轴与YC轴所在平面与相机内部成像平面平行，所以从可见光相机外部坐标系到内部成像坐标系的转化过程即为相机内部参数标定过程，具体关系如式(1)所示：

(1)

其中：kc为比例系数；KC为相机内部参数。

本研究在MATLAB工作环境中运用张氏线性标定法对可见光相机的内部参数进行标定，将标定物体摆放在距离各传感器几何中心构成的平面6 m～32 m的不同距离上，并在2 m等间隔的距离上任意改变3个标定板的位姿，获取不同状态下的照片。相比传统张氏方法[5]，每张照片可以提取三个标定物体，减少实验重复次数，同时弥补不同距离上因相机自动调焦距和畸变引起的内参标定误差，既满足林区复杂环境实验情况，也为不同传感器间的联合外参精准标定奠定基础。

2.2 可见光相机和激光测距仪匹配标定

在相机内部参数标定实验的同时，在激光测距仪的测距扫描层上使用可见光发射器发射可见绿光来显示激光测距仪的扫描层，方便外部参数匹配过程中特征点的对应和提取，标定实验场景如图1所示。同时在3个标定板所在平面处增加多段原木树干(树种选用桉树、柳树、杨树)作为外部参数标定物体，更符合采育机作业环境需求。摆放标定物体，使得其几何中心位于上文提到的标定板所在平面内，位姿不断变化，提取世界坐标系下任意标定板边缘处的任意点PE，并设其在激光测距仪坐标系下的点为PEL(XEL,YEL,ZEL)，经过坐标系的旋转和平移后该点在可见光相机坐标系下为PEC(XEC,YEC,ZEC)。由于激光测距仪可以直接获取空间坐标信息，因此假设激光扫描数据分布在已知的与地面平行的平面上，该平面与地面距离设为常数值n，本实验中n=375 mm。但考虑到激光原始数据为获取的物体的距离和角度数据，属于极坐标系，需要统一坐标系，即将极坐标转化到笛卡尔坐标中:

PEL=[Dsinα,Dcosα,n]T.

(2)

其中：α为激光投影点在激光极坐标中的角度；D为PE点到激光测距仪的距离。

图1 标定实验场景

从激光测距仪坐标系的PEL到可见光相机坐标系的PEC需要通过旋转和平移的刚性空间变化[6]，可见光相机外部坐标系和激光坐标系的转换关系为：

PEC=kcKC(di，ΦPEL+Δ).

(3)

其中：Φ为3×3的旋转矩阵；Δ为3×1的平移向量矩阵。

式(3)为求解Φ和Δ共12个未知数的齐次表达式，通过选取多个相机-激光匹配数据对，求解得到外部参数超定方程组的最小二乘解，即为可见光相机和激光测距仪的外部参数线性初始解。

为消除特征提取过程和标定过程的非线性误差，任意取激光测距仪坐标系中的多个点投影到可见光相机坐标系中，本文运用外部参数的线性解，通过降低投影点与对应的可见光相机坐标系中该点之间的笛卡尔距离差E，寻找使得距离差函数的值最小的外部参数向量，即：

(4)

本文选用Levenberg-Marquardt方法求解外部参数的非线性最优解，对非线性问题进行优化，提升外部参数匹配精度。

2.3 可见光相机和红外热像仪匹配

林业装备在林区作业时，天气、环境、光线等各种因素会对视觉传感器产生一定的影响，如当光线条件差或有树叶遮挡等情况下，可见光图像无法有效地进行目标信息获取，而红外图像可以反映出可见光下无法捕捉的信息；另一方面，红外图像反映的是目标的热辐射情况，无法准确表现出图像中目标的实际形状特征，所以也需要可见光图像进行信息补充。因此，本文保持可见光相机光轴和红外热像仪的光轴水平，并将二者水平放置以实现匹配。

图2为红外图像与可见光图像匹配原理。要完成红外图像到可见光图像之间的匹配，首先通过测量红外热像仪光轴到可见光相机光轴间的距离Oct，使得两光轴重合用以完成两种图像的重合；同时考虑两个传感器的视场角不同，因此需要根据视场角较小的红外图像尺寸来截取可见光图像中的对应区域，并通过适当的比例放缩调整实现红外图像与可见光图像的融合，其计算公式如下：

PC=f[cM,cN,Pt+Oct].

(5)

其中：Pt为某点在红外热像仪坐标系中的坐标；PC为对应点在可见光相机坐标系中的坐标；M、N分别为红外图像的横向尺寸、纵向尺寸；c为放缩系数。

图2 红外图像与可见光图像匹配原理

所得融合图像可以综合各图像间的信息，使得可见光图像像素点获得对应的温度值特征，得到可见光-红外融合图像。再结合激光数据和可见光相机的标定，使得二维图像中采育目标具备了三维空间信息，如图3所示。融合后的数据丰富了采育目标特征维度和信息量，为提升林木联合采育机对林区作业环境的适应性和识别能力奠定了基础。

图3 激光与图像标定结果

2.4 基于数据融合的目标识别算法

本文的数据采集地点选在广西钦州桉树人工林场，实验中信息采集系统随着采育机移动获取林区采育目标及其他样本的二维激光、可见光图像和红外图像数据。基于上述工作基础，对林区环境下人、树木、岩石这三者目标进行激光和视觉特征提取。每一个目标样本对应一个9维的特征向量，作为目标识别算法的输入，将树木、行人、岩石样本各100个分成10组进行实验，每组选取各10个样本，输入到本课题组提出的高维模糊支持向量机的识别模型中，最终得到的10次实验的识别结果如表1所示。

表1 利用FSVM-HIGH算法对样本的识别结果

从表1中可以看出：3种类别的样本都可以被很好地识别出来，其中树木的识别正确率比行人和岩石要高一些，在随机的10次实验中，样本的识别正确率最低为86.67%，最高可达100%，均值为93%。

3 结语

本文通过采集复杂林业环境中的激光数据、可见光图像信息和红外图像信息，并将其融合，进而提取独立目标点云的特征，融合后共可提取出9种特征，组合成特征向量，注入到所提出的高维模糊支持向量机的识别模型中，实验结果显示识别正确率较高。该融合算法能够为提取更多目标点云的特征奠定数据基础，进而达到更好的识别效果，最终能够为采育机操作员提供林区作业所需的信息，降低人工选择的压力和操作风险，提升采育机的作业效率。