基于超分辨率重建和多模态数据融合的玉米表型性状监测

车荧璞，王 庆，李世林，李保国，马韫韬

•农业信息与电气技术•

基于超分辨率重建和多模态数据融合的玉米表型性状监测

车荧璞，王 庆，李世林，李保国，马韫韬※

（中国农业大学土地科学与技术学院，北京 100193）

无人机遥感技术已逐渐成为获取作物表型参数的重要工具，如何在不降低测量精度的同时提高空间分辨率和测量通量受到表型研究人员的重视。该研究以玉米为研究对象，获取5个生育期无人机图像序列，结合小波变换与双三次插值对数码影像进行超分辨率重建，提取原始影像和重建影像的冠层结构、光谱等参数。基于单一参数和多模态数据构建地上生物量估算模型。结果表明：重建影像质量较高、失真较小，其峰值信噪比为21.5，结构相似性为0.81。航高60 m的重建影像地面采样距离与30 m的原始影像相近，但每分钟可多获取0.2 hm²地块的图像。多模态数据融合在一定程度上克服冠层饱和问题，相对于单一参数获得更高的生物量估测精度，拟合的决定系数为0.83，单一参数拟合的决定系数为0.095～0.750。在采用更高飞行高度条件下，结合超分辨率重建和多模态数据融合估算生物量的精度没有降低、反而略有提高，满足更高测量通量的需求，为解码基因型与表型关联的策略提供依据。

无人机；遥感；地上生物量；玉米；超分辨率重建；多模态数据融合

0 引 言

玉米（）是世界上产量最大、种植范围最广的粮食作物。选育具有高产、耐胁迫、抗病的优良玉米品种，可以在有限的农业资源环境中提高粮食产量[1]。在作物育种过程中，表型提取已成为加快育种进程的瓶颈，如何快速、高通量地获取作物表型信息是一大难题。传统的田间试验对表型参数的获取大多还停留在人工操作的阶段，耗时耗力，效率低，准确度差，且空间覆盖不全，不能满足高通量获取田间作物信息的要求，迫切需要高效、快速获取作物表型信息的手段[2-3]。

无人机遥感技术成为一种极具潜力的快速测量农学参数的方式，得到了研究者的关注[4-5]。无人机可以搭载多种传感器，如数码相机、多光谱相机、高光谱相机、热像仪和激光雷达等用于获取大田多模态数据。无人机遥感相较于卫星遥感等传统遥感技术，具有机动、灵活，更高的时间和空间分辨率的特点，然而在通量上却远小于卫星等遥感平台，这限制了无人机遥感技术在大尺度农田上的应用。通常为了提高无人机遥感在调查地物的通量而采取更高的飞行高度，这有效地提高了无人机遥感测量的效率，然而却带来了影像分辨率降低以及图像失真等现象，造成了无人机遥感的测量精度下降。因此探索一种基于软件或算法以提高无人机遥感影像分辨率的技术具有重要意义，超分辨率重建技术是通过图像处理的方式从低分辨率的影像重建出相应的高分辨率影像的技术，提高图像采集通量的同时，不损失表型参数的估算精度，具有相当重要的应用价值[6]。小波变换具有多尺度、多分辨率的性质，能够提供图像频域中高频信息，有效提取图像优异的细节特征，使得超分辨率重建后的图像细节信息更加清晰丰富[7-8]。

已有研究基于无人机遥感影像通过图像处理技术获取作物冠层结构[9-10]、冠层光谱特征[11-13]等表型特征，开发作物生物量预测模型，监控作物长势[14-15]。其中株高和叶面积指数是表征植物生长状况和产量状况的作物冠层结构特征，通过对不同生育期株高等表型属性的测量，可以评估关键的遗传性状、植物的基本生理和环境条件对植物的影响[14]。叶面积指数可用于指示植物冠层的生长和产量表现[16]，定量分析叶面积指数的动态变化，可用于早期营养诊断和育种研究[17]。植被指数是冠层光谱特征的重要组成部分，可准确估算叶片氮含量，含水量以及衰老程度，为科学合理施肥以及监控作物生长具有重要的指导作用[18-19]。

研究表明[19-20]，将无人机图像颜色指数、结构与纹理特征参数结合，可以提高植物性状的估计精度。Bendig等[14]结合基于数码相机提取的植被指数与株高信息，利用多元线性回归或多元非线性回归对特征信息进行分析模型的性能优于单独的植被指数，决定系数大于0.80。陶惠林等[15]基于无人机高清数码影像提取出冬小麦的株高和21种数码影像图像指数，构建多生育期生物量估算模型，仅用数码影像图像指数构建的生物量估算模型决定系数为0.72，图像指数与株高信息结合所得模型精度和稳定性更高，决定系数为0.82。这些研究结果表明多模态数据融合有助于提高生物量估测的精度，可应用于高通量表型分析和精确农业生态应用和管理。然而，在高通量植物表型和精准农业背景下，结合来自数码相机的冠层信息和基因种群结构信息，对作物生物量估测的贡献尚不清晰。基因种群结构分析可对每个样本的来源进行判断，分配基因型，有助于理解生物进化历程，并且可以通过基因型和表型的关联研究确定样本所属的亚群[21]。

综上，本研究提出了结合小波变换与双三次插值技术对无人机影像进行超分辨率重建，评估了重建的影像对作物形态特征的估算精度，分析了该方法的数据采集通量。利用多模态数据融合技术对生物量进行估算，评估了多模态数据融合后进行生物量估测的精度，并与单独使用冠层植被指数、结构、基因种群结构信息进行生物量估测的精度进行比较。探索了一种高通量获取表型方法，为监控植株长势和解码基因型与表型关联的策略提供依据。

1 材料与方法

1.1 田间试验

田间试验于2018年5—9月在吉林省梨树县中国农业大学梨树试验基地（43°16′45″N，124°26′10″E）进行（图 1）。试验田土壤为黑土，质地为黏壤土，土层厚2 m以上。以30份具有广泛遗传多样性的玉米自交系为研究对象，每个小区种植2行同一基因型玉米材料，每行共21株植株，设置3次重复。总共有90个种植小区，小区面积为5 m×1.2 m，行距为0.6 m，株距为0.25 m。在周围均匀布设13个地面控制点（Ground Control Point，GCP），采用华测T8型智能实时动态测量（Real Time Kinematic，RTK）系统（华测导航，上海）测定控制点的三维空间位置。于2018年5月11日进行播种，田间管理与当地田间管理模式相同。

1.2 无人机航拍图像的获取及田间测量

采用DJI inspire 2型无人机（大疆，深圳）搭载禅思X5S型数码相机（大疆，深圳），分别获取出苗后5 d（出苗期）、30 d（6叶期）、46 d（12叶期）、62 d（抽雄期）、78 d（籽粒灌浆中期）5个关键生育期的数码影像。用于超分辨率重建的飞行高度设置为60 m，相机角度为90°。采用倾斜摄影的方式获取用于叶面积指数计算的三维点云数据。飞行高度为10 m，倾斜摄像角度分别为45°、90°和135°。图像间航向重叠度和旁向重叠度均设置为80%，飞行任务在天空晴朗无风的条件进行。

无人机影像采集后，同日进行地面植株的测量和取样。在热带亚群、温带坚杆亚群、温带非坚杆亚群和混合亚群4个亚群种质中均匀选取10种玉米材料，每种材料随机选取3株进行株高（cm）、叶面积（m2）、生物量（kg）的测定，取其平均值作为实测值，其中株高是指其自然状态下最高点到地面的垂直距离。将植株带回试验室将叶片分开，采用LI-3000C便携式叶面积仪（LI-COR，美国）测量植株各叶位的叶面积。将取样植株的地上部烘干至恒质量，然后称干质量。

1.3 无人机影像数据预处理

采用实景三维建模软件Agisoft Metashape v1.6.1将航拍获取的数码影像序列进行三维点云、数字表面模型（Digital Surface Model，DSM）和数字正射影像（Digital Orthophoto Map，DOM）的重建。首先，根据图像的定位定向信息，采用尺度不变特征转换（Scale Invariant Feature Transform，SIFT）算法检测相邻图像对应的特征点，估计相机的参数和位置。使用立体运动恢复结构（Structure From Motion，SFM）算法根据特征点构造稀疏点云，然后利用GCP的三维坐标信息优化稀疏点云的位置。采用多视觉聚簇法（Cluster Multi-View Stereo，CMVS）算法从稀疏的点云生成稠密的点云。最后，生成飞行区域的DOM和DSM。将点云输出保存为.txt文件，将DSM和DOM输出保存为.tiff文件。基于田间试验布置将点云，DSM和DOM进一步分割成单个小区并对每个小区的地理位置标注编号。RGB相机的DSM和DOM的地面采样距离（Ground Sampling Distance，GSD）分别为1.38 cm/像素和2.76 cm/像素。

1.4 图像超分辨率重建

利用双三次插值与小波分析组合和三次样条插值与小波分析组合的2种方式分别对数字高程模型和数字正射影像进行图像超分辨率重建研究（图2），并对两种组合方式的图像重建质量进行比较。超分辨率重建方法具体步骤如下：1）将测试影像进行二维小波分解，获得垂直、水平、对角3个方向的高频子图和低频子图，低频子图不参与图像重建；2）将获得的高频子图依次进行双三次插值或三次样条插值操作，插值后的高频子图的图像长与宽均增加1倍；3）基于文献[7]提出的将原始测试影像的RGB值乘以2后与插值后的高频子图进行二维小波逆运算，获得最终的超分辨图像重建结果。可使重建后图像的亮度与原图一致，重建效果更好。

为验证模型的有效性，选取20张影像进行测试。对原始影像进行隔行隔列降采样模拟影像降采样过程。对降采样影像进行超分辨率重建。为了评估图像重建的质量，对重建结果与原始影像进行定量比较。评价指标采用峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）、结构相似性（Structural Similarity，SSIM）和平均绝对误差比值（Mean Absolute Deviation Ratio，MAER）。PSNR和SSIM值越大，MAER的值越小，表明待测试图像与参考图像之间的失真越小，待测试图像质量较好。PSNR、SSIM和MAER的计算公式分别如式（1）～式（3）所示

1.5 特征信息的获取

本研究分别提取玉米整个生育期的冠层覆盖度、株高和植被指数，基于三维体素指数算法估算叶面积，利用种群分层结构分析计算每个自交系材料基因组含有不同种质亚群的比例，最后基于多模态数据融合估算玉米生物量。由于田间存在滴灌带、灌溉管等干扰场景，导致植被分割的背景较复杂，采用传统的植被指数分割，难以得到较理想的分割结果，故本研究采用支持向量机的方法剔除二维图片和三维点云的非植被像素，对二维图片进行冠层覆盖度的计算，此方法具有鲁棒性，在有限的训练数据集情况下具有很好的泛化能力[22]。将图像数据集按照8∶2的比例分为训练集（32张）和验证集（8张），对植被分类模型内部参数进行训练和调整分类性能最好的超参数，进一步评估测量值与估计值的一致性程度以及评估分类模型的泛化能力。基于冠层覆盖度的位置生成掩膜（图3），去除土壤背景，计算冠层覆盖度。株高信息则是利用不同小区的冠层上边界减去参考地面进行计算。参考地面高程为第一次航拍的小区DSM中位数。基于DSM的第99分位数作为上边界估算的株高与实测株高相关性最好[9-10]，因此利用DSM的第99分位数减去第一次航拍的小区DSM中位数计算株高。

基于拼接图像提取了9个常用的可见光植被指数（表 1），分别为修正绿红植被指数（Modified Green Red Vegetation Index，MGRVI）、归一化绿蓝差值植被指数（Normalized Green Blue Difference Index，NGBDI）、超绿超红差分植被指数（excess green minus excess red index，EXGR）、植被指数（vegetative，VEG）、植被颜色指数（Color Index of Vegetation，CIVE）、红绿蓝植被指数（Red-Green-Blue Vegetation Index，RGBVI）、绿叶植被指数（Green Leaf Index，GLI）、大气阻抗植被指数（Vegetation Atmospherically Resistant Index，VARI）、Woebbecke指数（Woebbecke Index，WI）。统计小区植被指数灰度值的平均值作为该指数的特征值。

表1 可见光植被指数

利用三维体素指数[9,30]进行小区叶面积指数的计算。三维体素指数的计算方法为1）将小区植被点云进行三维体素化，三维体素大小的范围为0.005～0.200 m，间隔为0.005 m；2）计算每个三维体素中包含的点云数量，点云数大于5的三维体素为有效的三维体素；3）计算纵向每一层有效的三维体素的数量，并除以该层全部三维体素的数量，获得有效的三维体素比值；4）计算每层有效的三维体素比值的总和，以此建立估测叶面积指数的方程。叶面积指数（LAI）的计算公式如式（4）所示

根据种群遗传结构计算每个自交系材料基因组含有不同种质亚群的比例，作为基因种群结构数据用于生物量的估算模型中。利用种群分层结构分析将30个玉米材料聚为热带亚群、温带坚杆亚群、温带非坚杆亚群和混合亚群4个种质亚群，处于同一亚群内的不同个体亲缘关系较高，而亚群与亚群之间则亲缘关系稍远[21]，分成了7个热带亚群（TST）、9个温带坚杆亚群（SS）、8个温带非坚杆亚群（NSS）和6个混合亚群（MIXED）。

1.6 建立生物量估算模型与评价指标

采用偏最小二乘回归（Partial Least Squares Regression，PLSR）构建玉米地上部生物量估测模型，该模型构建步骤如下：1）对冠层特征参数进行数据归一化处理，消除不同参数数值上的差异；2）计算参数的相关系数矩阵；3）根据贡献率选取主成分；4）构建回归表达式。本研究利用留一交叉验证法计算出各个主成分的预测误差平方和（Prediction Sum Squares，PRESS）进行主成分的选取。PRESS越小，表示PLSR模型估计精度越高，因此基于PRESS最小来确定主成分个数。采用决定系数（coefficient of determination，2）、均方根误差（Root Mean Square Error，RMSE）和相对均方根误差（relative Root Mean Square Error，rRMSE）检验生物量估测模型的性能，评价生物量实际值与模型计算值的吻合程度。2越大，相应的MSE和rRMSE越小，则模型的估测精度越高。其计算如式（5）所示

2 结果与分析

2.1 超分辨率重建模拟试验的结果评估

通过评价指标对重建结果进行评估（图4）。采用双三次插值重建的数字正射影像的峰值信噪比为21.5，结构相似性为0.81，平均绝对误差比值为6.4%。采用三次样条插值重建的数字正射影像的峰值信噪比为20.6，结构相似性为0.78，平均绝对误差比值为6.9%。这表明双三次插值重建的数字正射影像质量略高、失真略小，评价指标结果与Wang等[31]采用基于稀疏表示的超分辨率图像重建方法对单幅低分辨率遥感影像的空间分辨率进行增强的结果相近，其峰值信噪比为23.8，结构相似性为0.88。表明本研究应用的方法可为其他低分辨率影像的超分辨率图像重建提供有用的高频细节信息。数字正射影像与地面高程模型的地面采样距离分别为1.38 cm和2.76 cm。重建后各个影像的地面采样距离均缩小50%，分别为0.69 cm和1.38 cm。经计算30 m航高数字正射影像的地面采样距离为0.82 cm，因此60 m航高重建的数字正射影像的地面采样距离可达到30 m的标准。无人机在飞行高度60 m比30 m每分钟可以多获取0.2 hm2地块的图像数据。因此采用双三次插值进行超分辨率图像重建在不损失图像质量的同时，有利于节省无人机采样时间，提高图像采样通量。

2.2 株高和叶面积指数（LAI）的精度评估

目前，基于无人机遥感技术的株高的获取，大多是基于冠层高度模型进行的。冠层高度模型去除了地形起伏的影响，直接反映了植株的冠层高度分布信息。本研究将冠层高度模型与超分辨重建结合，计算了原始影像和重建影像6叶期、12叶期、抽雄期、籽粒灌浆中期4个生育期玉米的株高，并与地面实测值进行比较（图5）。结果显示原始影像和重建影像的株高估测值与实测值间相关性较好，且模型误差较小，rRMSE均为2.8%。综合对比重建影像的估算精度略高于原始影像，重建影像的决定系数为0.89，RMSE 为3.9 cm，原始影像的2为0.88，RMSE达4 cm。

图6展示了最佳三维体素大小以及相应的降采样点云。将小区植被点云进行降采样可以为三维体素估算LAI降低运算成本。通过比较0.005～0.200 m范围的三维体素构建的LAI估算方程的决定系数，最佳三维体素大小选为0.07 m。分别利用6叶期、抽雄期和籽粒灌浆中期3个关键生育期的点云数据建立估测叶面积指数的方程，进一步评估LAI的估算精度，并与实测值进行对比分析。结果显示LAI估测值与LAI实测值吻合程度较高，2为0.72，RMSE为0.14，rRMSE为7.9%（图7）。

2.3 基于所有特征的大田作物生物量估算

分别对从原始影像与重建影像提取的所有表型参数的相关关系进行了分析，如图8。结果表明除TST、NSS、SS、MRGRVI、VARI和WI参数外，其余参数间的决定系数的绝对值均在0.6以上，其中VEG与GLI、VARI与MGRVI、GLI与RGBVI、RGBVI与EXGR、RGBVI与EXGR的相关系数达到0.9以上。CIVE与株高、WI指数、温带非坚杆亚群、热带亚群参数呈正相关，其他参数均呈负相关。TST与CIVE和WI指数呈正相关，其他参数均呈负相关。重建影像与原始影像的表型参数相关关系差异不大，差值绝对值稳定在0.05之内。综合结果说明不同参数间存在多重共线性。

基于PRESS最小来确定最佳主成分个数为5，前5个主成分对自变量和因变量的累积贡献率分别为99.9%和84.9%。确定主成分个数后，利用PLSR 算法基于两种影像提取的所有表型特征参数构建生物量估算模型。将PLSR建模得到的生物量估算值与相应的实测值进行了比较（图 9，图10）。比较基于单个表型参数的生物量估算中，植被指数信息优于其他特征，决定系数为0.75。株高也具有相当的估测精度，决定系数大于0.68。单一采用冠层覆盖度、叶面积指数的生物量估算精度较低的原因是玉米生长中后期，冠层覆盖度、叶面积指数将不再增长，反而随着衰老出现下降的趋势。冠层覆盖度、叶面积指数和基因种群结构信息虽然表现相对较差，但在生物量估算方面也有潜力。融合所有的表型参数进行生物量估测时，可以获得更高的估测精度。这是因为多种信息的耦合可以在一定程度上克服冠层饱和问题，这与之前的研究一致[15,32]。重建影像的株高对生物量的估算精度没有降低、反而略高于原始影像，重建影像利用多模态数据估算的生物量与实测值的RMSE为0.19 kg，略优于原始影像的0.20 kg。并且重建影像生物量估算值比原始影像较集中于回归线，如图中圆圈所示（图 9，图 10）。因此运用超分辨率重建和多模态数据融合构建生物量估算模型有助于实现生物量精准估测的目标。

2.4 不同种质亚群的生物量、叶面积和株高差异比较与生物量反演制图

对不同生育期的生物量、叶面积与株高实测值进行数据最值归一化，采用方差分析评估不同种质亚群的差异。对各种质亚群组间在表型参数上的差异显著性（<0.05）进行检验（图11）。在4组种质亚群中温带坚杆亚群生物量显著大于混合亚群，株高显著大于其他种质亚群，生物量、叶面积和株高的中位数均大于其他种质亚群。混合亚群生物量和叶面积均显著小于温带非坚杆亚群，并且混合亚群生物量、叶面积和株高中位数均小于其他种质亚群。因此基因种群结构信息在一定程度上影响了作物的生长。

基于重建影像和多模态数据融合对整个研究区6叶期、12叶期、抽雄期和籽粒灌浆中期的生物量进行估测，估算的生物量空间分布如图12所示。结合生物量反演结果，4个生育期生物量的空间分布情况比较一致。不同种质亚群材料的生物量差别较大。经过计算不同亚群生物量排序由大到小为温带坚杆亚群、温带非坚杆亚群、热带亚群、混合亚群。原因可能是本研究的试验地点为温带半湿润季风气候区，气温降雨条件比较适宜温带亚群材料的生长，不利于混合和热带亚群材料的生长。6叶期玉米地上生物量多处于1～3 kg范围内，12叶期处于2～5 kg范围内，抽雄期处于3～6 kg范围内，籽粒灌浆中期则处于4～7 kg范围内。总体而言，生物量反演模型的估算值与实测值基本相符，且处于较理想的生物量区间内。

3 结 论

1）本研究以30份具有广泛遗传多样性的玉米自交系为研究对象，探索结合小波变换与双三次插值对数字表面模型和数字正射影像进行超分辨率重建的算法，评估了利用超分辨率重建影像的质量。重建的影像质量较高、失真较小，峰值信噪比为21.5，结构相似性为0.81，平均绝对误差比值为6.4%。比较了原始影像和重建影像估算田间作物表型特征参数的精度差异，分析了该方法在提高数据采集通量的优势。重建影像对株高以及生物量估算的决定系数较高，分别为0.89和0.83。并且无人机飞行高度60 m的重建影像地面采样距离与飞行高度为30 m的原始影像相近，但每分钟可多获取0.2 hm2地块的图像。因此，超分辨率重建技术在提高无人机农业测绘的效率同时，还能提高低分辨率图像的质量，利用重建影像对株高以及生物量估测精度均有提高。

2）利用多模态数据融合技术对生物量进行估算，并评估了利用单一参数和多模态数据融合进行生物量估算的精度。单独使用冠层覆盖度、株高、叶面积指数、植被指数以及基因种群结构数据估算生物量的的决定系数为0.095～0.75。株高、叶面积指数、植被指数以及基因种群结构数据融合可以在一定程度上克服冠层饱和问题，相对于单一参数能获得更高的生物量估测精度，决定系数为0.83、RMSE为0.19 kg。因此结合超分辨率和多模态数据融合技术可以实现对航拍影像进行更高效更准确的数据分析，获取作物表型信息，从而量化表型参数，解码基因型与表型关联的策略，为优势基因型选育提供依据。

[1] Malambo L, Popescu S C, Murray S C, et al. Multitemporal field-based plant height estimation using 3D point clouds generated from small unmanned aerial systems high-resolution imagery[J]. International Journal of Applied Earth Observation and Geoinformation, 2018, 64: 31-42.

[2] Yu N, Li L, Schmitz N, et al. Development of methods to improve soybean yield estimation and predict plant maturity with an unmanned aerial vehicle based platform[J]. Remote Sensing of Environment, 2016, 187: 91-101.

[3] 牛庆林，冯海宽，杨贵军，等. 基于无人机数码影像的玉米育种材料株高和LAI监测[J]. 农业工程学报，2018，34(5)：73-82.

Niu Qinglin, Feng Haikuan, Yang Guijun, et al. Monitoring plant height and leaf area index of maize breeding material based on UAV digital images[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(5): 73-82. (in Chinese with English abstract)

[4] 刘建刚，赵春江，杨贵军，等. 无人机遥感解析田间作物表型信息研究进展[J]. 农业工程学报，2016，32(24)：98-106.

Liu Jiangang, Zhao Chunjiang, Yang Guijun, et al. Review of field-based phenotyping by unmanned aerial vehicle remotesensing platform[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(24): 98-106. (in Chinese with English abstract)

[5] Yang W, Feng H, Zhang X, et al. Crop phenomics and high-throughput phenotyping: Past decades, current challenges, and future perspectives[J]. Molecular Plant, 2020, 13(2): 187-214.

[6] 段立娟，武春丽，恩擎，等. 基于小波域的深度残差网络图像超分辨率算法[J]. 软件学报，2019，30(4)：941-953.

Duan Lijuan, Wu Chunli, En Qing, et al. Deep residual network in wavelet domain for image super- resolution[J]. Journal of Software, 2019, 30(4):941-953 (in Chinese with English abstract).

[7] Rahiman V A, George S N. Robust single image super resolution using neighbor embedding and fusion in wavelet domain[J]. Computers & Electrical Engineering, 2018, 70: 674-689.

[8] 吴强，张锐. 基于局部异常因子的近地全天时星图小波去噪[J]. 光学学报，2020，40(8)：46-54.

Wu Qing, Zhang Rui. Wavelet denoising of near-earth all-day star map based on local outlier factor[J]. Acta Optica Sinica, 2020, 40(8): 46-54. (in Chinese with English abstract)

[9] Che Y, Wang Q, Xie Z, et al. Estimation of maize plant height and leaf area index dynamics using an unmanned aerial vehicle with oblique and nadir photography[J]. Annals of Botany, 2020, 126(4): 765-773.

[10] 王庆，车荧璞，柴宏红，等. 基于无人机可见光与激光雷达的甜菜株高定量评估[J]. 农业机械学报，2021，52(3)：178-184.

Wang Qing, Che Yingpu, Chai Honghong, et al. Quantitative evaluation of sugar beet plant height based on UAV-RGB and UAV-LiDAR[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(3):178-184. (in Chinese with English abstract)

[11] Zhou X, Zheng H B, Xu X Q, et al. Predicting grain yield in rice using multi-temporal vegetation indices from UAV-based multispectral and digital imagery[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2017, 130: 246-255.

[12] 杨俊，丁峰，陈晨，等. 小麦生物量及产量与无人机图像特征参数的相关性[J]. 农业工程学报，2019，35(23)：104-110.

Yang Jun, Ding Feng, Chen Chen, et al. Correlation of wheat biomass and yield with UAV image characteristic parameters[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(23): 104-110. (in Chinese with English abstract)

[13] 赵晓庆，杨贵军，刘建刚，等. 基于无人机载高光谱空间尺度优化的大豆育种产量估算[J]. 农业工程学报，2017，33(1)：110-116.

Zhao Xiaoqing, Yang Guijun, Liu Jiangang, et al. Estimation of soybean breeding yield based on optimization of spatial scale of UAV hyperspectral image[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(1): 110-116. (in Chinese with English abstract)

[14] Bendig J, Yu K, Aasen H, et al. Combining UAV-based plant height from crop surface models, visible, and near infrared vegetation indices for biomass monitoring in barley[J]. International Journal of Applied Earth Observation and Geoinformation, 2015, 39: 79-87.

[15] 陶惠林，徐良骥，冯海宽，等. 基于无人机数码影像的冬小麦株高和生物量估算[J]. 农业工程学报，2019，35(19)：107-116.

Tao Huilin, Xu Liangji, Feng Haikuan, et al. Estimation of plant height and biomass of winter wheat based on UAV digital image[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(19): 107-116. (in Chinese with English abstract)

[16] Roth L, Aasen H, Walter A, et al. Extracting leaf area index using viewing geometry effects-a new perspective on high-resolution unmanned aerial system photography[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2018, 141: 161-175.

[17] Lei L, Qiu C, Li Z, et al. Effect of leaf occlusion on leaf area index inversion of maize using UAV-LiDAR data[J]. Remote Sensing, 2019, 11(9): 1067-1081.

[18] Maimaitijiang M, Ghulam A, Sidike P, et al. Unmanned aerial system (UAS)-based phenotyping of soybean using multi-sensor data fusion and extreme learning machine[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2017, 134: 43-58.

[19] Maimaitijiang M, Sagan V, Sidike P, et al. Soybean yield prediction from UAV using multimodal data fusion and deep learning[J]. Remote Sensing of Environment, 2020, 237: 111599.

[20] Zheng H, Cheng T, Zhou M, et al. Improved estimation of rice aboveground biomass combining textural and spectral analysis of UAV imagery[J]. Precision Agriculture, 2019, 20(3): 611-629.

[21] 赵久然，李春辉，宋伟，等. 基于SNP芯片揭示中国玉米育种种质的遗传多样性与群体遗传结构[J]. 中国农业科学，2018，51(4)：626-644.

Zhao Jiuran, Li Chunhui, Song Wei, et al. Genetic diversity and population structure of important chinese maize breeding germplasm revealed by SNP-chips[J]. Scientia Agricultura Sinica, 2018, 51(4): 626-644. (in Chinese with English abstract)

[22] Sheykhmousa M, Mahdianpari M, Ghanbari H, et al. Support vector machine versus random forest for remote sensing image classification: A meta-analysis and systematic review[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2020, 13: 6308-6325.

[23] Jia X, Haibin G, Qingmin M, et al. Spatial pattern analysis of haloxylon ammodendron using UAV imagery: A case study in the gurbantunggut desert[J]. International Journal of Applied Earth Observation and Geoinformation, 2019, 83: 101891.

[24] Upendar K, Agrawal K N, Chandel N S, et al. Greenness identification using visible spectral colour indices for site specific weed management[J]. Plant Physiology Reports, 2021, 26(1): 179-187.

[25] Li J, Shi Y, Veeranampalayam-Sivakumar A N, et al. Elucidating sorghum biomass, nitrogen and chlorophyll contents with spectral and morphological traits derived from unmanned aircraft system[J]. Frontiers in Plant Science, 2018, 9: 1046-1058.

[26] Bareth G, Bolten A, Gnyp M L, et al. Comparison of uncalibrated rgbvi with spectrometer-based ndvi derived from uav sensing systems on field fcale[J]. ISPRS- International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2016, 41: 837-843.

[27] Blancon J, Dutartre D, Tixier M H, et al. A high-throughput model-assisted method for phenotyping maize green leaf area index dynamics using unmanned aerial vehicle imagery[J]. Frontiers in Plant Science, 2019, 10: 685-700.

[28] Hamuda E, Glavin M, Jones E. A survey of image processing techniques for plant extraction and segmentation in the field[J]. Computers and Electronics in Agriculture, 2016, 125: 184-199.

[29] Xue J, Su B. Significant remote sensing vegetation indices: A review of developments and applications[J]. Journal of Sensors, 2017, 17: 1353691-1353708.

[30] Jimenez-Berni J A, Deery D M, Rozas-Larraondo P, et al. High throughput determination of plant height, ground cover, and above-ground biomass in wheat with LiDAR[J]. Frontiers in Plant Science, 2018, 9: 237-254.

[31] Wang S, Wei Y, Long K, et al. Image super-resolution via self-similarity learning and conformal sparse representation[J]. IEEE Access, 2018, 6: 68277-68287.

[32] Li B, Xu X, Zhang L, et al. Above-ground biomass estimation and yield prediction in potato by using UAV-based RGB and hyperspectral imaging[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2020, 162: 161-172.

Monitoring of maize phenotypic traits using super-resolution reconstruction and multimodal data fusion

Che Yingpu, Wang Qing, Li Shilin, Li Baoguo, Ma Yuntao※

(,,100193,)

High-throughput phenotyping has posed an urgent challenge on plant genetics, physiology, and breeding at present. Particularly, traditional manual cannot meet the needs of high-throughput phenotyping for breeding, due mainly to time-consuming and labour-intensive work with a limited sample size. Alternatively, the Unmanned Aerial Vehicle (UAV) Remote Sensing can be widely expected to serve as an important tool for crop phenotypic parameters. The main reason can be the high temporal and spatial resolution, fast image acquisition, easy operation and portability, as well as relatively low cost. However, it is also inevitable to balance the flight height and image resolution or accuracy during image acquisition. Efficient techniques are urgently needed to reconstruct the high-resolution images without lossing the measurement accuracy, while improving the spatial resolution and image acquisition. In this study, the maize phenotypic traits were effectively monitored using super-resolution reconstruction and multimodal data fusion. The UAV image sequences of maize were also captured at seedling, 6th leaf, 12th leaf, tasseling, and milk stage. The super-resolution images were then reconstructed combined with the wavelet transform and bicubic interpolation. The reconstructed images presented higher reconstruction quality, less distortion with peak signal-to-noise ratio of 21.5, structure similarity of 0.81, and mean absolute error ratio of 6.4%. A lower error was also achieved for the plant height and biomass estimation with the root mean square error of 3.9 cm and 0.19 kg, respectively. Ground Sampling Distance (GSD) of the reconstructed image at a flight height of 60 m was similar to that of the original image at a flight height of 30 m. Subsequently, the UAV at a flight height of 60 m was utilized to scan 0.2 hm² larger fields per minute than that at a flight height of 30 m. The plant height, canopy coverage and vegetation index were also extracted from the original and reconstructed images. Leaf area index was calculated by point cloud reconstructed by oblique photography. The original shape of point cloud was remained, while point cloud was compressed for a higher efficiency using 3-D voxel filtering. Specifically, a better correlation was achieved, where the measured LAI was the slope of 0.72 and the root mean square error of 0.14. All canopy structure, spectrum and population structure parameters were then used to construct estimation models of above ground biomass using single characteristic parameter and multimodal data. A higher estimation accuracy of above ground biomass was obtained by multimodal data fusion, compared with a single parameter with the coefficient of determination was 0.83 and root mean square error of 0.19 kg. Therefore, a combination of image super-resolution reconstruction and multimodal data fusion can be widely expected to deal with the canopy saturation for higher spatial resolution and estimation accuracy, indicating fully meeting the demand for higher throughput of data acquisition. Meanwhile, the finding can provide a highly effective and novel solution to the estimation of above ground biomass. More importantly, the correlation between genotype and phenotype can also be extended to cultivate high-quality maize varieties suitable for mechanized production.

UAV; remote sensing; above ground biomass; maize; super-resolution reconstruction; multimodal data fusion

车荧璞，王庆，李世林，等. 基于超分辨率重建和多模态数据融合的玉米表型性状监测[J]. 农业工程学报，2021，37(20)：169-178.doi：10.11975/j.issn.1002-6819.2021.20.019 http://www.tcsae.org

Che Yingpu, Wang Qing, Li Shilin, et al. Monitoring of maize phenotypic traits using super-resolution reconstruction and multimodal data fusion[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(20): 169-178. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.20.019 http://www.tcsae.org

2021-04-05

2021-06-10

内蒙古科技重大专项和成果转化项目（2019ZD024，2019CG093，2020GG0038）

车荧璞，博士生，研究方向为植物表型、农业信息化。Email：cheyingpu@126.com

马韫韬，博士，教授，研究方向为植物功能-结构-环境互作的表型与模型。Email：yuntao.ma@cau.edu.cn

10.11975/j.issn.1002-6819.2021.20.019

S127

A

1002-6819(2021)-20-0169-10