基于无人机三维点云的玉米植株自动计数研究

姜友谊， 张成健，， 韩少宇， 杨小冬， 杨贵军，杨 浩，*

(1.西安科技大学 测绘科学与技术学院，陕西 西安 710054； 2.北京农业信息技术研究中心 农业农村部农业遥感机理与定量遥感重点实验室，北京100097； 3.国家农业信息化工程技术研究中心，北京100097)

植株计数是指调查特定区域内准确植株(或茎秆)数量，是田间育种过程和实际生产中的最常规调查之一，是出苗率(germination rate)和成株率(stand percent)调查的关键。在作物苗期，种植者需要调查出苗率、出苗密度和出苗均匀性，根据出苗质量决定是否重新种植或对后续管理做出及时调整。在作物生长中后期，成株率，即某育种小区收获时最终保持直立的植株数占标准小区计划的植株数的比例，是育种工作者判断育种小区观测数据质量的重要指标。因此，植株计数不仅有助于玉米育种工作者高通量调查，也对玉米种植者评估生长状况和进行田间管理有重要意义。

然而，传统玉米植株的计数主要依赖人工目视调查，该方法劳动密集，耗时耗力，且受不同调查人员主观因素影响，对于高密度种植区，容易漏记错记。随着无人机遥感技术的快速发展，为田间玉米高通量自动计数提供新的手段。目前基于遥感图像的植株自动计数方法，主要可分为以下3类：(1)基于二维RGB图像处理的方法。如Gnädinger等和Chen等利用图像分割技术，分别实现了对3～5叶玉米幼苗和早期棉苗的准确计数和出苗率快速估计；Zou等基于目标检测算法实现了对玉米雄穗计数；Zhao等采用典型的Otsu阈值分割方法，从植被指数图像中分割出油菜籽植物目标，实现了油菜生长早期的苗木计数；通过概率统计理论(网格方差法)，Zhao等实现了对林木幼苗检测，为林木再植提供依据；Matias等开发了一个开源R包用于检测大田作物早期幼苗数。(2)基于深度学习算法的方法。如Jin等基于低空无人机高分辨率影像，根据作物与地面颜色特征差异进行绿色像素分离，实现对小麦株数识别并估算苗期植株密度；Zhang等基于卷积神经网络(CNN)建立了一种基于无人机图像的叶片识别模型，并根据识别出的叶片数量估算油菜幼苗数量，在4～6叶幼苗时期具有最好的模型性能；进一步地，Pang等利用深度神经网络RCNN处理玉米植株的无人机影像，完成玉米苗期自动计数。(3)基于光谱信息和统计回归模型的方法，如郑晓岚等基于多光谱数据建立机器学习模型的方法估算了棉苗株数；赵必权等通过建立颜色植被指数和油菜形态指标的多元回归模型预测了油菜苗株数。基于二维RGB图像处理的方法在冠层覆盖度较高时易受植株间交叉和遮挡的影响，不能分析较高种植密度的地块；基于深度学习的方法则需要大量的样本数据作为支撑；基于光谱建立模型的方法容易受到建模指标的有效性、光谱饱和等因素的影响。以上3种方式多针对作物生长早期，该时期冠层覆盖度低，地面与作物可明显的区分，但具有高冠层高覆盖度的作物生长中后期的计数手段尚待完善。

此外，不少研究表明，通过带有植株高度信息的冠层高度模型CHM对单株进行识别并计数可有效地统计冠幅较大的森林树木数量。如李丹等基于模糊C值分类和分水岭算法的无人机影像中提取林分因子；胡馨月等利用分水岭算法分割无人机影像，自动化提取树木株数；Yin等采用标记控制分水岭分割(MCWS)算法和种子区生长(SRG)算法对杉木树冠进行划分，基于1 m分辨率的CHM单树检测精度达到80%。但玉米冠幅远小于树木，且针对密值的玉米，还具有冠层相互交叉重叠严重、高冠层覆盖度等特点，因而利用CHM进行玉米株数识别有待进一步检验。另外，不同分辨率的CHM对识别结果精度有显著影响。

本文对于冠层高覆盖度的生长季中后期玉米育种小区，获取了田间314个不同基因型的玉米育种小区的数码RGB相机和机载激光雷达(light detection and ranging，LiDAR)两种不同传感器数据，分别建立了不同空间分辨率的CHM，基于结合株高信息的局部最大值算法提取单株玉米种子点，与人工目视解译的结果进行对比，筛选了植株计数的最佳分辨率。实现了对密植玉米育种试验区玉米株数的自动计数，为表型筛选、田间管理和精准估产等提供依据。

1 实验设计与数据获取

1.1 试验区与实验设计

本试验在河北省沧州市河间市(116.10° E，38.45° N)玉米育种试验基地进行，试验区地势平坦，土壤状况均一(图1-a)。本研究中，试验区大小约为80 m×70 m，该试验区种植密度为5 000株·667m，共涉及314个不同基因型玉米，每4行玉米为一个育种小区，大小约5.0 m×2.5 m，行距约60 cm，株距约25 cm。小区与小区之间无明显间隔，从无人机数码正射影像(digital orthophoto map，DOM)上可通过不同品种之间的颜色和纹理差异，区分不同的育种小区。

图1 试验区及地面控制点Fig.1 Experimental area and ground control points

在无人机飞行区均匀稳定地布置9个50 cm×50 cm大小的黑白相间的地面控制点(ground control point，GCP)(图1-b)，使用全球差分定位系统获取具有厘米精度的控制点地理坐标信息，用于构建试验区更加精准的数字表面模型(digital surface model， DSM)。

1.2 数据获取

1.2.1 无人机数据获取

本研究对试验区进行无人机数码RGB影像和无人机LiDAR数据的获取，数据获取时间为2020年8月17日。获取数据时天气状况良好，晴朗无风，外部天气因素对实验数据采集无影响。无人机飞行高度和飞行速度分别为35 m、4 m·s和35 m、3 m·s。飞行前，根据实际地形以及试验区大小规划航线，保证航带之间的航向重叠超过80%，旁向重叠超过75%，试验区所有育种小区为同一播期且玉米生长状况良好。所使用的无人机系统和传感器及技术参数如表1所示。

表1 无人机平台及传感器参数

1.2.2 验证数据获取

基于无人机高分辨率DOM，采用五点取样法，选取试验区5个精度验证样本点，如图1-a中的A、B、C、D和E所示。每一个样本点包含2个育种小区，不同基因型玉米材料在高分辨率DOM上表现出纹理以及颜色的差异，结合每4行为一个育种小区的播种设计，利用ArcMap 10.6软件建立每一个样本点中育种小区边界；同时，采用人工目视解译的方法，在每一个取样点的育种小区中标注每一株玉米最高点位置(即雄穗位置)，5个样本点共标注879株玉米植株的顶点用于精度验证，小区边界及玉米植株的位置解译如图2所示。

图2 育种小区边界及玉米参考位置Fig.2 Breeding plot boundary and maize reference location

2 数据处理及方法

2.1 无人机数据处理

2.1.1 无人机数码

使用运动结构(structure-from-motion，SFM)软件Agisoft PhotoScan 1.3，结合9个地面控制点实测高精度地理坐标信息对拍摄的数码RGB照片进行拼接，构建试验区的DSM和DOM。该过程包括特征点匹配，密集点云生成，DSM以及DOM的重建和输出。0.03、0.05和0.10 m 3种不同空间分辨率的DSM被分别输出。

基于不同分辨率的DSM，通过手动方式提取均匀分布于整个试验区的129个地面点，选点原则为裸土点、明显的地面标志点。通过克里金(Kriging)空间插值生成与DSM相应的地面数字高程模型(digital elevation model，DEM)。

2.1.2 无人机激光雷达

对无人机LiDAR点云数据的处理主要包括LiDAR点云解算及预处理、地面点与植被点分离和DSM与DEM的构建。

(1)LiDAR点云解算及预处理

无人机LiDAR点云数据的解算包括无人机飞行轨迹解算和原始激光数据与轨迹的匹配。基于无人机位置与姿态测量系统数据(POS)和地面基站定位数据(GPS)，对无人机飞行轨迹进行差分解算和GPS Level Arm反算；激光数据与轨迹的匹配利用RiPROCESS软件完成，包括激光的波形解算、激光数据与轨迹的精准匹配和LiDAR点云数据的生成与导出。LiDAR点云获取过程中，由于大气中漂浮有极细小的微粒，可能导致获取的LiDAR点云数据中含有大量的噪点，因此需对解算后的三维可视的点云数据进行去噪处理，去除空中的孤立噪点，使用LiDAR360，CloudCompare等点云处理软件的去噪功能即可实现。

(2)地面点与植被点的分离

传统的滤波算法大多是考虑在坡度、高程变化之间的不同来区分地物点与地面点，而“布料”滤波算法(cloth simulation filter，CSF)相较于传统滤波算法具有设置参数少且便于理解，适用于多种场景且可对原始LiDAR数据进行直接处理，对高程变化小的地形具有极大的优势。本研究试验区地势平坦，坡度变化小，因而利用CSF算法进行地面点与植被点的分离。

(3)DSM与DEM构建

LiDAR点云为空间离散的点，基于CSF算法分离的地面点和作物点，利用LiDAR 360软件对其进行栅格化处理，分别构建0.03、0.05和0.10 m 3个分辨率的DSM与DEM。

2.1.3 冠层高度模型(CHM)构建

DEM仅储存地面高程信息，而DSM则储存包含地表建筑物、植被等在内的地表高程信息，将相同分辨率的DSM与DEM作差后可构建出包含试验区玉米植株高度信息的CHM，即CHM=DSM-DEM。

2.2 玉米单株检测

2.2.1 局部最大值

局部最大值算法常用于森林单木树冠的探测，使用局部最大值滤波器(local maxima filter)，通过设定移动窗口，检测图像中局部像素极大值作为种子点。局部最大值算法的窗口设置通常可分为固定窗口和动态窗口。固定窗口局部最大值算法，较简便快速，移动窗口的大小是一个经验值，适用于单木冠层大小均匀的植被；移动窗口局部最大值算法没有固定的大小，根据冠幅不同的变化情况调整。

本研究中，试验区玉米生长状况良好，冠幅大小均一，采用结合高度信息的固定窗口局部最大值算法，基于CHM像素中包含的玉米株高信息，进行玉米单株检测。以玉米种植株距为固定窗口，滑动进行局部最大值检测。根据玉米实际的生长状况，设定合适的高度阈值，减少玉米下层叶片对检测的影响。理论上，一株玉米仅包含一个最高点。因此，滑动窗口检测到的最大值，即认为是一株玉米的最高点。将检测到的玉米顶点储存为带有高程信息的点，称种子点，一个种子点即认为是一株玉米。

2.2.2 技术流程

本文的技术流程如图3所示。

图3 技术流程图Fig.3 Technique flowchart

2.3 精度评价方法

检测到的种子点与5个样点内目视解译出的玉米顶点位置进行空间一一匹配，评估检测精度。本文选用正检(true positive，TP)、错检(false positive，FP)和漏检(false negative，FN)3个指标衡量玉米检测的结果，其具体含义如表2所示。同时使用查全率(recall，，%)、查准率(precision，，%)和综合考虑和的总体精度(F-score，，%)来作为玉米检测结果精度的评价。

(1)

(2)

表2 玉米检测结果衡量指标

(3)

式(1)、(2)中：、、分别表示正检、错检、漏检的数量。

3 结果与分析

3.1 冠层高度模型(CHM)构建与种子点生成

分别基于LiDAR点云和数码RGB影像生成的DSM构建0.03、0.05和0.10 m 3个分辨率的CHM。生成某一分辨率CHM时，使用相应分辨率的DSM与DEM作差构建，否则无法计算生成CHM，CHM的高度信息是局部最大值滤波提取单株玉米种子点的基础。

利用局部最大值算法，以LiDAR点云构建的0.05 m分辨率CHM为例，将检测到的种子点与目视解译的玉米位置进行空间匹配，匹配结果如图4所示，图中绿色点为目视解译的玉米参考位置，红色点表示提取的种子点位置。通过对比，将检测结果分为3类：一是正检(图4-a)，即种子点与目视解译点重合，或一株玉米所在的空间范围内仅检测出一个种子点(种子点与参考点未重合)；二是过检(错检)(图4-b)，一株玉米的部分被当作整株玉米检测出，即目视解译的参考点的空间范围内检测出多个种子点；三是漏检，即育种小区内未被检测出的玉米或多株玉米值检测到一个种子点，如图4-c，通过目视解译标注出3株玉米，而仅检测出2个种子点，1株被漏检。

图4 种子点与目视解译的玉米位置进行空间匹配结果Fig.4 The result of spatial matching between the seed point and the position of maize interpreted visually

3.2 基于无人机数码影像的株数检测结果

基于无人机数码影像构建的CHM，将每一个种子点与目视解译的879株玉米参考位置进行空间上的一一匹配(图5)，对取样进行精度评价的A、B、C、D和E共5个点，检测结果统计如表3所示。对于不同分辨率的CHM，样点的检测结果具有一致性，即每一个样点的正检玉米株数最多，漏检株数次之，错检株数最少。

图5 玉米种子点和参考位置空间匹配Fig.5 Spatial matching of maize seed point and reference position

表3 基于RGB不同分辨率CHM检测结果

同时，对构建的不同分辨率的CHM的检测结果进行了查全率、查准率以及综合精度分析(表4)。当分辨率为0.05 m时，查全率、查准率和综合精度均为最高，分别为74.85%、93.49%、83.11%；分辨率为0.03 m时，查全率、查准率和综合精度分别为71.92%、93.48%、81.30%；当分辨率为0.1 m时，查全率、查准率和综合精度分别为68.54%、93.02%、78.93%。表明，在本研究中，基于无人机数码影像，当构建的CHM分辨率为0.05 m时，可达到株数检测结果最佳。

表4 基于RGB不同分辨率CHM检测精度

3.3 基于无人机激光雷达的株数检测结果

基于无人机激光雷达数据，5个样点不同分辨率的CHM的检测结果也具有良好的一致性，即正检株数最多，漏检次之，错检最少(表5)。当分辨率为0.05 m时，查全率、查准率和综合精度均为最高，分别为82.94%、95.24%、88.66%；分辨率为0.03 m时，查全率、查准率和综合精度分别为77.46%、87.86%、82.33%；当分辨率为0.10 m时，查全率、查准率和综合精度分别为73.48%、91.38%、81.46%(表6)。表明，在本研究中，基于无人机激光雷达数据，当构建的CHM分辨率为0.05 m时，株数检测结果最佳。

表5 基于LiDAR不同分辨率CHM检测结果

表6 基于LiDAR不同分辨率CHM检测精度

3.4 两种传感器检测结果对比

基于不同传感器构建的相同分辨率相同CHM， LiDAR点云的正确检测到的玉米株数均略高于无人机数码影像；而基于同一传感器构建的不同分辨率的CHM，当分辨率为0.05 m时，正确检测到的玉米株数最多。对于两种传感器分别的检测精度，当CHM分辨率为0.03 m时，>75%>>70%，85%<<90%<，但综合精度>>80%；当CHM分辨率为0.05 m时，>80%>>70%，>95%>>93%，综合精度>85%>>80%；当分辨率为0.1 m时，>70%>>65%，90%<<，综合精度>80%>>75%(表4、表6)。

通过综合精度衡量检测结果，基于LiDAR构建的不同分辨率CHM均能取得较高检测精度，综合精度均大于80%，其中当分辨率为0.05 m时，检测精度可高达88.66%；基于RGB构建的不同分辨率CHM，当分辨率为0.03 m和0.05 m时，检测精度高于80%，而分辨率为0.01 m时仅为78.93%，但它们的检测精度均低于基于LiDAR构建的同一分辨率的CHM。表明，构建的分辨率为0.05 m的CHM更适用于检测冠层高覆盖玉米的株数；相同分辨率时，基于LiDAR点云构建CHM用于玉米检测较RGB精度更高(表3～6)。

基于LiDAR，在本研究所涉及到的3种分辨率的CHM，均能获取较RGB更高的检测精度，但成本昂贵；而RGB相机可以获取高分辨率的正射影像，在进行大面积玉米株数识别中，则表现出价格低廉、更加易于操作等优势，在作物高通量表型研究中，具有极大的潜力。

4 讨论

4.1 玉米生长状况对检测结果的影响

根据RGB拼接生成的高分辨DOM所表现出颜色和纹理差异(即玉米的雄穗和叶片具有颜色纹理差异)，对5个样点的玉米位置目视解译并进行标注。但是，某些基因型玉米会出现叶高于穗的情况，导致目视解译的玉米顶点出现偏差；另一方面，在图像拼接过程中，可能由于拼接算法的缺陷，导致DOM影像未完全正射，造成目视解译的植株顶点位置出现偏差，从而造成目视解译点与种子点不能完全匹配。本研究中试验区玉米均为密值，冠层覆盖度高，育种小区内出现连株情况，以株距为固定窗口进行局部最大值滤波，可能导致连株情况下，较矮的植株被漏检；另外，育种小区内部可能出现发育不良玉米植株，导致高度低于所设置的高度阈值，被当作噪点过滤，从而出现漏检。此外，育种小区内植株过度发育，单株冠幅过大，导致错检b。

4.2 局部最大值窗口参数设置对检测结果的影响

本研究基于固定窗口的局部最大值算法对试验区的玉米进行检测，固定窗口局部最大值法较简便快速，但窗口的大小是一个经验值，需要根据经验或通过反复的试验来确定，通常与CHM的分辨率和单株玉米实际的冠幅大小有关。本研究中，经田间实地测量，单株玉米冠层展幅大约为50 cm，因此窗口大小设置为50 cm×50 cm。若窗口尺寸过大，对于发育不良的玉米，冠幅过小，可能导致漏检；若窗口尺寸过小，一些过度发育，冠幅过大的玉米可能导致过检。因此，固定窗口大小的设置需要结合试验区玉米的长势而定。结合玉米株高信息，设置一定的高度阈值，可有效避免下层叶子造成的影响。本研究结合实地测量的株高信息，设置高度阈值为1.5 m，认为试验区的玉米株高顶点均高于1.5 m。但对于发育不良且株高低于1.5 m的玉米植株，造成漏检。因此，本研究所使用的固定窗口的局部最大值算法对同一播期，长势均一的试验区的检测效果较好。若试验区玉米播期不一致，长势不均一，则需要根据长势矮的播种小区进行高度阈值的调整。

5 结论

本研究基于无人机遥感平台，获取了数码影像数据和LiDAR点云数据，分别基于两种不同数据源，构建了空间分辨率为0.03、0.05和0.10 m的CHM。利用结合玉米株高信息的局部最大值算法，探究了不同数据源以及不同CHM分辨率对进行高密度种植的玉米株数检测的结果和精度的影响。结果表明，通过检测到的种子点与目视解译标注的玉米参考位置对比，基于无人机数码影像，结合GCP构建的3种空间分辨率CHM的综合检测精度分别为81.30%、83.11%和78.93%；基于无人机LiDAR，构建的CHM综合精度分别为82.33%、88.66%和81.46%。基于两种数据源构建的CHM，均在空间分辨率为0.05 m时，获得最佳的检测精度。在高密度种植的玉米育种试验区，当构建的CHM空间分辨率相同时，无人机LiDAR检测精度略优于无人机数码。但在大田玉米高通量表型检测中，无人机数码平台因其价格低廉、易于操作等优势，具有更大的应用前景。植株自动计数不仅有助于玉米育种工作者田间高通量调查，也为评估生长状况和进行田间管理提供技术手段。