无人机可见光遥感和特征融合的小麦倒伏面积提取

赵 静，潘方江，兰玉彬，鲁力群，曹佃龙，杨东建，温昱婷

（1. 山东理工大学农业工程与食品科学学院，淄博 255000；2. 山东理工大学交通与车辆工程学院，淄博 255000；3. 山东理工大学国际精准农业航空应用技术研究中心，淄博 255000）

0 引 言

小麦是中国主要的粮食来源之一，其产量对中国粮食安全至关重要[1-2]。倒伏是小麦生产中常见的农业灾害，是限制小麦高产的重要因素之一。倒伏往往造成小麦的群体结构发生改变，影响小麦的蛋白质合成和养分的转运，对其品质及产量都会造成极大的影响[3-4]。及时准确地获取小麦的倒伏情况是灾情掌控和灾后应急方案制定的关键所在[5-6]。

传统方法的作物倒伏面积监测是地面人工测量，该方法费时费力，无法及时获取田间作物倒伏数据[7-8]；无人机遥感具有时效性好、空间分辨率高等优点[9-10]，可较好的应用于农业灾害应急监测等领域[11-12]。目前已有学者研究使用无人机进行农作物倒伏面积的遥感监测。董锦绘等[13]通过无人机搭载数码相机获取小麦倒伏图像，使用最大似然等方法对单张影像进行分类获取最优图像，进行整幅影像拼接，利用监督分类进行倒伏面积提取，获得了较好的分类效果；刘良云等[14]基于小麦倒伏后归一化差值植被指数（NDVI）变化，成功预测了小麦倒伏程度，证明了基于光谱数据预测小麦倒伏的可行性。

目前这些方法主要使用单特征进行分类或倒伏面积提取，并未充分利用图像的高程和指数等信息，将不同图像特征进行融合可以保留图像更多的细节信息，并增加其他特征，增强图像特征差异性，提高分类精度。李广等[15]基于无人机RGB影像提取小麦倒伏的两个单特征，构建倒伏信息的综合特征，结合K均值算法构建多时相倒伏面积提取方法，获得了泛化能力较好的倒伏识别模型；张新乐等[16]通过完熟期玉米多光谱数据提取纹理信息、植被指数、光谱信息构建特征组合，并采用最大似然法进行玉米倒伏面积提取，延展了纹理特征在玉米倒伏面积提取中的应用；Chauhan等[17]通过多入射角的卫星数据，结合地面实测作物高度等数据，使用偏最小二乘法实现了对小麦倒伏程度的分类；Ursani等[18]通过高精度卫星数据将光谱和纹理信息进行融合，通过监督分类，更好的提高了土地利用总体分类准确性；李明喜等[19]通过小波变换和分形方法将苹果树多源图像进行融合，提升了图像的异质性，使得图像更便于分析。

本研究通过将DSM图像与RGB可见光图像、DSM图像与EXG指数图像进行融合，并将这2种融合图像与仅基于RGB可见光图像和仅基于DSM图像进行监督分类所提取的倒伏小麦面积相互对比，以期提供一种基于无人机遥感数据获取小麦倒伏信息的方法。

1 材料与方法

1.1 研究区域概述

本试验区位于淄博市临淄区朱台镇（36°57′12″N，118°12′58″E）山东理工大学生态无人农场（图1），海拔高度约27 m，以平原为主要地形，属暖温带半湿润大陆性季风气候，年平均气温13.2 ℃左右，平均降雨量为650～800 mm，全年日照时数在2 100 h左右，适合小麦、玉米等作物的种植。

1.2 数据采集

2020年5月下旬淄博市临淄区出现冰雹、大风等强对流天气，导致农场内出现多处小麦倒伏。2020年5月30号，以小麦倒伏较多的区域作为试验区域，使用无人机获取小麦冠层可见光图像。试验采用大疆精灵4 RTK无人机，最大飞行速度16 m/s，最大飞行时间30 min，搭载相机型号为DJI FC6310R，采用1英寸CMOS传感器，数据格式为.jpg的单通道可见光图像，分辨率为5 472×3 684像素。数据获取于当日10:00，天气晴，航拍时无人机飞行高度30 m，飞行速度2 m/s，航向重叠度80%，旁向重叠度70%，相机曝光方式为定时曝光，共规划6条航线，获得原始图像193张。同时使用手持差分测量仪（Real-time Kinematic，RTK）测得研究区面积为1.186 hm²，其中倒伏面积约为0.139 hm²，参照胡琪等[20]的倒伏分级方法，将植株高度小于50 cm的分作倒伏小麦，并随机测量8个小麦种植小区，其中6个为倒伏小区，2个为非倒伏小区，每个小区为1.3 m×10 m，用来检验分类效果。

Pix4D mapper是一款全自动、快速、专业精度的无人机数据处理软件。应用该软件的图像拼接功能对采集的图像进行正射校正和图像拼接[21]，首先进行航片对齐，并解算图片的空中三角测量数据，然后进行几何校正、关键点匹配、解算数据构建密集点云及纹理信息，最终获取地面分辨率为每像素0.88 cm的数字表面模型[22]和数字正射影像（Digital Orthophoto Map，DOM）。

1.3 研究方法

1.3.1 小麦倒伏信息提取流程

利用无人机遥感图像对倒伏小麦面积的提取过程如下：首先通过无人机航拍获取小麦遥感信息，拼接航拍图像，然后进行特征提取及掩膜处理，掩膜后图像使用镶嵌工具进行特征融合，通过低通滤波进行噪声去除，选取训练样本和验证样本，通过监督分类进行小麦倒伏面积提取，最后利用混淆矩阵和Kappa系数进行模型精度评价。

1.3.2 小麦倒伏图像特征提取及掩膜处理

DSM数据获取的方法主要有2种，一种是通过激光雷达（Light Detection And Ranging，LiDAR）数据生成，该方法获取的DSM图像精度高，但需要额外搭载雷达传感器进行测量；另一种是通过航测数据生成DSM图像，该方法获取的数据精度相对于LiDAR数据较低，但其同时也获取了可见光影像，就目前来说具有更好的投入产出比，故本研究采用从航拍影像中获取DSM图像[23]。

使用Pix4D mapper拼接航拍数据时，选择最低特征点匹配数为3，进行图像自动校正后，进行点云空中三角测量，自动匹配控制点，然后将加密后数据合并为一个瓦片，最终获取DSM栅格数据[24]。

过绿植被指数[25-26]可以较好的区分植被和土壤，常用来进行作物遥感监测，故使用ArcGIS 软件创建栅格图层功能提取图像的单波段数据，并构建EXG指数如式（1）所示：

式中G可见光绿波段；B可见光蓝波段；R可见光红波段。

由于土壤背景的存在，使得研究区域引入土壤像元，出现土壤像元与小麦像元混杂现象，使得划分的感兴趣区域并非小麦纯像元，影响分类精度。因此，通过掩膜处理去除土壤像元。在ArcGIS中使用重分类方法对EXG进行二值化，然后构建矢量掩膜文件，将掩膜文件与各图像进行配准，使用栅格裁剪方式，保持图像裁剪范围，将麦田的土壤去除（图2），以减少土壤对分类精度的影响。

1.3.3 小麦特征融合图像构建

由于可见光图像仅具有R、G、B3个波段，并无植被遥感其他常用波段，如近红外、红边等波段，因此需要对数据进行特征数据组合或融合等操作，增加可用于区分倒伏冬小麦和正常冬小麦的特征数据[27-28]。

单特征参数提取小麦倒伏信息，要求倒伏小麦和正常小麦在该特征上存在明显特征差异[29]，这通常需要对数据进行多次处理和优选，最优参数确定过程复杂，并且最终获得的分类参数往往存在分类效果不理想等缺点；多特征融合可将不同特征进行融合，增强不同数据间的差异性，从而利于倒伏信息的提取，该方法操作简单，不易受个人因素干扰。因此本研究采用图像特征融合的方式进行倒伏小麦的提取。

小麦发生倒伏前后，植株相对高度存在明显差异。DSM可较好的表达不同地物之间高程的差异[30]，适合于区分倒伏小麦与正常小麦，故将DSM用于小麦倒伏识别。本研究通过ArcGIS的校正工具对融合前的图像进行位置校正，使得图像对应位置像素相互匹配，并采用最邻近算法对图像进行重采样，最后使用镶嵌工具，选择镶嵌运算符，将DSM图像分别与EXG指数图像、RGB可见光图像进行融合，探究使用监督分类对特征融合图像进行小麦倒伏面积提取的效果。

由图2可知，将裸地去除后的研究区域仅有倒伏小麦和正常小麦，故只需要将倒伏小麦从未倒伏小麦中分离出即可。使用ArcGIS中的滤波器工具，选择低通滤波器将研究区域RGB可见光图像、DSM图像、DSM+RGB融合图像以及DSM+EXG融合图像进行滤波，降低图像的椒盐现象，将滤波后的图像作为倒伏面积提取的最终图像。

1.3.4 样本与分类器选择

随机森林法（Random Forest，RF）[31]是目前常用的分类方法之一，该方法利用构建多棵决策树对样本进行训练分类，最终预测可能的分类结果，该方法虽然实现简单、数据适应性好，但模型训练时间过长，面对特征较少的数据时可能存在分类效果较差等问题。最大似然分类法（Maximum Like-hood Classification，MLC）[32-33]，假定图像的光谱数据符合正态分布，每一类地物均在其数轴上符合正态分布，根据已知数据构建各类地物的概率分布函数。该分类方法是一种基于贝叶斯法则的非线性分类方法，该方法实施简单、错误率最小，广泛应用于可见光数据的监督分类。因此本研究采用最大似然法进行监督分类获取小麦倒伏面积，并与随机森林法分类进行对比。使用ArcGIS 软件，对滤波后的4种图像数据分别划定感兴趣区域（Region of Interest，ROI）。分别随机选择ROI数量为30、40、50、60、70、80对DSM+RGB融合图像进行训练，并进行分类结果验证（表1），当样本数量达到一定量后，最大似然法分类精度受训练样本数量影响较小，ROI数量为60时，分类精度和Kappa系数最高。因此，本研究在整幅图像的倒伏区域和正常区域各随机选取60个ROI作为训练样本（图3a），每个ROI大小基本相同。完成训练集划定后，在倒伏区域和正常区域各随机选取30个区域作为验证集进行模型分类精度验证（图3b），每个验证区域大小基本相同，其中验证集与训练集的选择不允许出现重叠区域。

表1 不同数量感兴趣区域下数字表面模型图像与可见光图像的融合图像总体分类精度及Kappa系数Table 1 Overall classification accuracy and Kappa coefficient of fusion images of Digital Surface Model (DSM) and Red-Green-Blue (RGB) under different number of Regions of Interest (ROIs)

1.3.5 小麦倒伏面积统计方法

本研究小麦倒伏和非倒伏面积通过计算像素的方法得出，即计算区域像素数量（n）与单个像素的实际长度（Pl，m）与实际宽度（Pw，m）乘积的方法[34]，其计算如式（2）所示：

式中S为实际面积，m2。

1.3.6 小麦倒伏面积提取精度评价方法

进行模型分类精度评价时通常使用总体精度、Kappa系数[35]和混淆矩阵[36]。混淆矩阵通过统计模型分类时，将真实值和预测值中分类错误的个数、分类正确的个数分别列出，表达直观清晰。总体精度指被正确分类的类别像元数与总像元个数的比值，该指标可很好的表达模型分类精度，但其值可能受其他数据较多类别的影响，导致不能很好的表征每类地物，因此考虑添加辅助评价方法。制图精度和用户精度可对像元分类准确性进行评价，用户精度通常指正确分到某类像元总数与分类器将整个影像的像元分为该类像元总数的比值，而制图精度则是指将整个影像的像元正确分类为某一类像元总数与该类像元真实总数的比值。本研究利用验证集对模型分类结果进行验证，同时将最大似然法与随机森林法提取小麦精度进行对比，最后通过制图精度、用户精度、总体精度、混淆矩阵和Kappa系数对4种图像分类结果进行精度评价。

2 结果与分析

2.1 倒伏提取结果分析

本研究使用的图像其地面分辨率为每像素0.88 cm，分别计算倒伏小麦与正常小麦的面积，结果如表2所示。4种图像获取的小麦倒伏和非倒伏面积总像素数均在15×107左右，获取测试区的总面积约1.165 hm²，由于图像剔除了一部分裸地数据，故其像素计算总面积小于实测总面积1.186 hm²。DSM+RGB融合图像提取的小麦倒伏面积约0.126 hm²，与实测数据0.139 hm²最为接近，误差为0.013 hm²；DSM图像提取的小麦倒伏面积约0.125 hm²，与实测数据0.139 hm²较为接近；DSM+EXG融合图像获取的小麦倒伏面积约为0.352 hm²，约为实测面积的2.5倍；RGB可见光图像获取的小麦倒伏面积约0.458 hm²，约为实测倒伏面积的3倍。对比发现基于DSM+RGB融合图像的小麦倒伏面积提取结果与实际值最为接近，仅基于RGB可见光图像的倒伏面积提取误差最大。

表2 不同图像小麦倒伏面积的提取结果Table 2 Extraction results of wheat lodging area from different images

基于最大似然分类方法的4种图像监督分类提取倒伏小麦信息结果如图4所示。对比图4a和图4c可知，图4a仅基于像素值变化提取倒伏信息，但提取时将叶片衰老发黄的正常小麦、麦穗间阴影均识别为倒伏小麦，故仅基于像素提取倒伏小麦的提取精度最低；图4c中虽然加入DSM信息，增加倒伏小麦与非倒伏小麦之间的差异，但在获取EXG指数图像时未将阴影剔除，使得特征融合后的图像仍存在较多阴影，降低了特征融合后图像精度，提取效果仍较差；倒伏小麦的高度特征变化明显，故相对高度适合于倒伏小麦提取，由图4b可知，仅基于DSM图像分类虽没有麦穗间阴影影响，但却将田块边缘相对高度较低的正常小麦错分为倒伏小麦，故其提取精度虽有一定提高，但仍然存在一定的错分现象；由图4d可知，DSM特征融合RGB可见光图像后，通过增加像素差异，提高了特征融合图像中倒伏小麦与非倒伏小麦之间差异，一定程度上克服了仅依靠DSM存在将正常小麦错分的问题，故其提取精度进一步提高，但融合RGB可见光图像的同时将麦穗间阴影也融合到图像中，造成模型提取时将阴影识别为倒伏小麦，影响倒伏面积提取。

2.2 小麦倒伏面积提取精度验证及分析

小麦倒伏面积提取结果的混淆矩阵如表3所示。由表3可知，从制图精度可以看出提取正常小麦面积结果最优的为DSM图像，精度为96.74%，RGB可见光图像提取结果较差，精度为71.23%；倒伏小麦面积提取结果最优的为DSM+RGB融合图像，精度为91.03%，RGB可见光图像提取结果较差，精度为83.58%；DSM图像提取正常小麦面积的结果比DSM+RGB融合图像高0.4%左右，而倒伏面积提取结果比DSM+RGB 融合图像低1%左右。从用户精度看出正常小麦面积提取结果最优的为DSM+RGB融合图像，精度为91.98%，RGB可见光图像提取结果较差，精度为73.14%；DSM图像倒伏提取倒伏小麦面积的结果比DSM+RGB融合图像高0.4%左右，但其对正常小麦面积的提取结果比DSM+RGB融合图像低1%左右。总体分析发现DSM+RGB融合图像提取倒伏小麦的效果优于DSM图像。

表3 基于最大似然法的不同图像小麦倒伏面积提取的精度混淆矩阵Table 3 Precision confusion matrix of wheat lodging area extraction from different images based on maximum likelihood method%

3 讨 论

基于最大似然法提取小麦倒伏面积总体精度和Kappa系数均优于基于随机森林法（表4），分析原因发现，1）本研究使用的样本数据相对较少，较适合于最大似然法分类，而随机森林分类需要大量样本进行模型训练，进而导致随机森林模型可能未达到最佳分类精度；2）由于参与分类的图像特征较少，使得随机森林模型无法较好的识别两者的特征，最终使得随机森林法分类精度较低。分析发现2种方法中仅基于RGB可见光图像和基于EXG指数融合DSM图像的模型提取总体精度低，而且基于RGB可见光图像的Kappa系数均在0.5左右，说明模型不稳定，提取精度低。基于DSM+RGB融合图像倒伏面积提取精度最高，说明将RGB可见光图像融合DSM特征后，增加了倒伏和非倒伏小麦之间的差异性，可较好应用于倒伏小麦面积的提取。

表4 基于不同方法的不同图像小麦倒伏面积提取的验证结果Table 4 Verification results of wheat lodging area extraction from different images based on different methods

总体分析发现，基于最大似然法对DSM+RGB融合图像的小麦倒伏面积提取效果最佳，模型的提取总体精度最高为93.75%，Kappa系数为0.87，这与赵立成等[22]研究结果较为一致，本研究小麦倒伏提取虽达到较高精度，但仍存在以下因素影响小麦倒伏面积的提取精度，1）由于裸地掩膜制作时仅依靠于EXG指数数据，并未较好的将阴影剔除，使得麦穗间阴影、小麦植株之间的阴影均被识别为倒伏小麦，影响小麦倒伏面积的提取；2）由于不同品种的小麦在相同时期内，作物性状表现不同，使得基于RGB可见光图像分类时，将正常状态但颜色表现为暗黄的小麦误分为倒伏小麦，这也是影响小麦倒伏面积提取的重要原因。本研究使用特征融合的方法可较好的提取倒伏小麦，但仅使用RGB可见光图像数据，不能反映更多作物参数信息，无法进行更高精度的倒伏信息提取。因此，可考虑通过添加不同的敏感特征或增加波段信息，如多光谱数据等，进行高精度的小麦倒伏面积提取；另外，获取本研究航拍数据时，天气出现晴转阴现象，光照强度变化也会使得传感器获取的图像数据存在光谱信息差异，影响倒伏信息识别。

4 结 论

1）基于无人机可见光遥感图像特征融合的方法能够较好的实现倒伏小麦面积提取，可为快速提取小麦倒伏面积提供参考。

2）使用最大似然法提取小麦倒伏面积的整体效果优于随机森林法。

3）基于4种图像的小麦倒伏面积提取结果中，仅基于可见光图像的小麦倒伏面积提取效果最差；基于数字表面模型（Digital Surface Model，DSM）与红绿蓝（Red-Green-Blue, RGB）可见光图像进行特征融合的图像提取小麦倒伏信息效果最佳，其总体精度为93.75%，Kappa系数为0.87。