基于作物谱图特征的植株分割与叶绿素分布检测

龙耀威， 李民赞， 高德华， 张智勇， 孙 红*， Qin Zhang

1. 中国农业大学现代精细农业系统集成研究教育部重点实验室， 北京 100083 2. Center for Precision & Automated Agricultural System, Washington State University, Pullman WA 99350, USA

引 言

利用不同的平台搭载可见光-近红外光谱成像设备[1-2]， 分析作物冠层或叶片叶绿素[3]、 水分[4]、 氮素[5]等含量， 已经成为快速无损检测田间作物长势的重要手段和途径[6-7]。 镀膜型光谱成像传感器与棱镜分光和光栅线扫成像传感器不同， 其应用半导体薄膜工艺原理， 是在探测器像元上镀膜实现光信号窄带选择透过的一种新型多光谱成像方式。 它具有面阵直接成像速度快、 体积小、 成本低的优点， 在农作物现场检测中有较好的应用前景而备受关注[8]。

在可见光-近红外区域， 棱镜分光成像空间分辨率通常高于1 024×768像素， 作物数据以R(red), G(green), B(blue)和NIR共4波段图像的处理为基础。 有报道在NIR图像分割的基础上， 开展了基于区域标记的玉米图像精准分割研究， 并基于归一化植被指数(normalized vegetation index， NDVI)建立了大田玉米叶绿素指标诊断模型。 光栅线扫成像方式获取数据光谱分辨率可达1 nm， 因而在可见光-近红外光谱区作物含氢基团(O—H， N—H， C—H)振动合频和各级倍频的吸收特性[9]检测中常利用相关性、 主成分分析和仿生学优化等算法筛选特征波长和植被指数， 达到解析光谱变量、 剔除冗余数据、 压缩计算数据、 提高诊断模型精度与鲁棒性等目的[10-12]。 然而， 镀膜型成像方式、 波段数、 图像空间及光谱分辨率与上述两种传感器不同。 以美国XIMEA公司的IMEC4×4或5×5马赛克式镀膜传感器为代表， 分别在470～630和673～951 nm范围内探测16或25个波段带宽大于10 nm的光学信号， 各波段图像仅为409×217像素， 如何在提取马赛克成像矩阵数据的基础上， 充分利用其有限的空间图像和光谱维数据开展作物营养检测尚待深入研究。

本研究应用镀膜型光谱成像传感器， 在马赛克分布阵列光学数据提取、 光谱与图像标定与校准的基础之上， 进一步深入开展田间玉米作物叶绿素分布检测。 分别对空间图像和光谱维数据进行分析和处理， 进行了玉米植株冠层图像分割和叶绿素含量指标光谱特征变量筛选方法研究， 建立冠层叶绿素含量指标诊断模型， 并绘制作物冠层叶绿素含量分布图， 以期为田间玉米叶绿素分布与生长动态可视化观测提供技术支持。

1 实验部分

1.1 玉米植株光谱图像采集和叶绿素指标测定

试验于2018年12月5日在北京市农林科学院温室大棚内进行。 采集系统如图1所示， 设置相机高度为2 m。 针对GET-B104品种苗期玉米采集了47株植株， 其生长高度为30～70 cm。 光谱图像基于IMEC-5×5-CMOS多光谱成像单元拍摄视场角为50°， 灰度分辨率最高为10位， 可以采集673～951 nm范围内的25个波长图像， 带宽约为10 nm。 从马赛克阵列中提取的各波段图像为409×217像素。 为实现图像的采集控制与处理， 相机与搭载Linux操作系统的Jetson TX2开发板相连接。

图1 采集系统示意图

为避免破坏采样后成分改变导致的测量误差， 利用日本Konica Minolta公司SPAD-502型叶绿素仪， 测量叶片在红色(650 nm)和近红外区(940 nm)的光学信号计算叶绿素含量指标SPAD值。 试验中分别对每株玉米冠层的叶中和叶尖叶片设置2～3个采样点， 每点测量3次取平均值， 共242个数据。

1.2 多光谱图像处理

对玉米冠层多光谱图像处理， 流程如图2所示。 为了避免利用唯一标准白板标定引起的缩小响应范围的影响， 采用多灰度级标准板进行校正； 为了剔除图像中土壤和培养盆背景的影响， 结合植物光谱和图像特征， 提出了基于归一化植被指数(NDVI)的植株冠层初步分割算法和基于区域标记的玉米植株冠层精细分割算法。 算法采用Matlab工具开发实现。

图2 多光谱图像处理算法流程图

1.2.1 多光谱图像校准与反射率提取

图像校准采用美国Labsphere公司的Spectralon标准板， 由四个标准朗伯面灰度级并排排列， 各级标准板尺寸均为6 cm×25 cm， 反射光强与入射光强比值(反射率值)仅与波长相关。 采用最小二乘法拟合图像灰度值和标准反射率之间的线性反演公式。 由于反射率和灰度值是线性描述标准灰度板的光照强度的参数， 对于某一波段反射率与灰度值为线性换算可以表示为式(1)

Ri=kigi+bi

(1)

式(1)中，Ri为第i波段的反射率，gi为第i波段的灰度值，ki是线性关系系数,bi是常数。

1.2.2 基于NDVI的植株冠层初步分割算法

为了实现玉米植株与花盆、 土壤背景的初步分割， 首先对673 nm的光谱图像计算背景与作物目标的类间方差确定分割阈值灰度值， 其次利用绿色植物在近红外区反射率高而在红色波段吸光度高的特征， 提出基于归一化植被指数NDVI的玉米植株冠层图像分割方法， 按照式(2)计算图像各像素点的NDVI值， 通过计算图像中背景噪声与作物目标NDVI值差异进行分割。

(2)

式(2)中，F848 nm为848 nm的光谱反射率，F665 nm为665 nm的光谱反射率。

1.2.3 基于区域标记的玉米植株冠层精细分割算法

对初步分割算法后存在灰度板和相邻不完整的玉米植株叶片等噪声， 进一步采用基于区域标记的玉米植株冠层精细分割算法进行处理。

首先采用边缘保持中值滤波算法剔除噪声点。 其次， 采用区域标记方法标记出图像中的连通区域， 并计算每个连通域的像素统计学参数， 包括各区域面积、 主轴长度和宽度等。 最后， 选取各连通区域面积作为检测判别对象， 筛选保留图像中面积最大的连通域， 得到玉米植株冠层的掩模图像， 即可实现玉米植株叶片图像的精细分割。

1.3 玉米植株冠层叶绿素指标光谱学检测与可视化

1.3.1 叶绿素含量指标检测特征波长与植被指数筛选方法

为了精简模型， 提高模型精度， 通过特征波长与植被指数筛选两步实现叶绿素含量指标检测变量的选取。 首先， 对原始光谱分别利用统计相关分析(correlation analysis， CA)和基于仿生学的随机蛙跳算法(random frog， RF)进行特征波长的筛选。 因为镀膜型成像传感器单个中心波长带宽约为10 nm， 光谱分辨率不高导致无法依赖单一波段准确反映某一波长位置反射率高低与峰谷平移等细微特征， 所以将筛选出的特征波长分为近红外(near infrared, NIR)集合和红色(red， R)集合， 基于NIR和R组合计算植被指数如表1所示， 通过多个波段之间的相对变化来反映叶绿素含量变化。 然后， 再次利用CA和RF算法开展植被指数的筛选。

表1 植被指数的计算公式

1.3.2 叶绿素含量检测建模与分布可视化方法

采用SPXY(sample set partitioning based on joint X-Y distance)算法对采样数据划分建模集和验证集。 筛选后的植被指数与SPAD值建立偏最小二乘回归(partial least squares regression， PLSR)模型， 使用建模集、 验证集模型决定系数、 以及均方根误差RMSEC, RMSEV为评价指标。

利用模型计算各像素点的叶绿素含量， 得到灰度图像， 再使用Matlab软件中伪彩色处理绘制玉米冠层的叶绿素含量的可视化分布图。

2 结果与讨论

2.1 玉米植株冠层光谱图像处理

2.1.1 多光谱图像采集与分析

利用镀膜成像传感器在673～951 nm范围内， 采集盆栽玉米植株25波段冠层图像， 基于4灰度级标准板按照式(1)校准后的图像如图3所示， 分别提取玉米植株、 花盆背景和土壤背景的光谱反射率曲线结果显示， 花盆在整个波段范围内呈现高反射率， 主要与花盆为白色和塑料材质有关； 土壤背景在整个波段范围内呈现低反射率。 玉米植株在红外区域反射率较低， 而在近红外区域反射率较高， 主要与植物内部光合作用， 吸收红光有关。

图3 校准后的25波段多光谱图像

2.1.2 玉米植株冠层多光谱图像初步分割结果

为了实现玉米植株的提取， 首先对673 nm的光谱图像基于最大类间方差自适应分割图像结果如图4(a)所示， 对土壤和地面有一定的剔除， 但是无法区分冠层、 花盆和部分标准板， 这是由于它们反射率较为接近， 体现于图像灰度值差异不大使得分割困难。 分析图3中近红外和红外区间不同对象的光谱反射率特征可知， 作物冠层近红外和红外区间反射率差异显著， 而花盆、 土壤等差异较小， 其中848和665 nm中心波长处组合差异性最为显著。 因而， 提出了基于848和665 nm计算NDVI图像的冠层初步分割方法， 结果如4(b)所示， 与图4(a)相比较， 该方法对花盆和部分标准板的剔除有一定的提升作用。

图4 玉米植株冠层多光谱图像初步分割算法结果

2.1.3 基于区域标记的玉米植株冠层精细分割结果

对初步分割算法后存在的部分灰度板和相邻不完整的玉米植株叶片等噪声， 研究进一步采用基于区域标记的玉米植株冠层精细分割算法。 处理过程与结果依次为， 图5(a)所示采用边缘保持中值滤波算法进行滤波， 图5(b)所示标记出图像中的连通区域， 图5(c)所示保留图像中面积最大的连通域得到掩模图像， 即实现玉米植株叶片的提取。

图5 基于区域标记的玉米植株冠层精细分割算法结果

2.2 玉米植株冠层叶绿素指标光谱学检测与可视化结果

2.2.1 叶绿素含量指标检测特征波长与植被指数筛选

为了探究玉米叶片在镀膜型光谱传感器响应特征并诊断叶片叶绿素含量指标， 首先分别采用CA算法和RF算法选取特征波长。 其中反射率与SPAD值相关性分析结果如图6左侧所示， 二者呈负相关关系， 在[-0.19, -0.45]区间， 按照相关系数绝对值大小排列， 筛选出绝对值高于0.3的8个波长以红色标识。 RF算法计算个波长被选择概率结果如图6右侧所示， 在[0.09, 0.97]区间， 设定0.28为阈值选出13个特征波长， 以右侧红色柱状显示。 比较分析可知， 由CA提取的8个特征波长有7个集中于823～894 nm区间， 对这7个波长进行相关系数分析， 自相关系数均高于0.906 8； 由RF算法提取的13个特征波长分散存在， 既包含如791和804 nm等相关性较低波长， 又包含如866和876 mn等较高相关性波长位置。

综合两种算法结果， 分别在750～951和673～750 nm区间建立NIR(791， 804， 823， 834， 844， 866， 876， 884， 894， 917， 941和951 nm)和R(673， 688和731 nm)备选集合， 然后遍历NIR和R集合组合计算RVI、 NDVI、 DVI和植被指数， 共得到144个植被指数。

图6 特征波长筛选结果

2.2.2 基于SPXY的样本集划分与叶绿素含量检测建模

针对总体243个样本， SPAD值在17.4～40.8区间， 平均值为30.76， 标准差为4.74。 根据SPXY算法划分建模集和验证集， 结果如表2所示， 其中建模集的叶片SPAD值取值范围为17.4～40.8， 覆盖了验证集的叶片SPAD值， 说明建模集和验证集可以用于后续的分析。

表2 建模集与验证集划分统计

表3 植被指数与叶片SPAD值PLSR模型

2.2.3 叶绿素含量检测建模与分布可视化方法

基于CA+RF-PLSR诊断模型结果， 绘制SPAD值伪彩色分布图如图7所示， 在冠层坐标平面上， 各像素点的SPAD值用从蓝色到黄色表示， 越接近蓝色说明该位置SPAD值越低， 越接近黄色说明该位置SPAD值越高。 分析图中玉米植株叶绿素含量分布特征可知， 单个叶片的叶绿素含量分布呈现阶梯形式的分布， 距离植株中心越远的位置叶绿素指标值越小， 且上层叶片高于下部叶片。 分析其原因可能是： 叶绿素是光吸收的物质也是重要的营养指征， 植株养分由茎秆向上， 经株心向叶片边缘输送， 因而株心部分略高于叶边缘； 由于作物植株体上叶片分布的差异， 作物植株叶片上层叶片光吸收水平较高， 其干物质生长和光合作用活跃， 而下部叶片因为受到上层叶片遮荫、 叶龄老化等因素的影响， 其叶绿素指标较低。

图7 玉米冠层叶绿素含量分布图

以上结果说明基于镀膜型成像光谱数据， 开展作物植株叶绿素含量指标检测研究的可行性， 但应用本方法开展作物叶绿素含量动态监测研究时， 还需要进一步提升检测模型精度以满足高精度的要求。

3 结 论

应用镀膜型光谱成像传感器， 深入开展田间玉米作物叶绿素含量检测与分布可视化研究， 主要结论如下：

(1) 应用镀膜型光谱成像传感器获取玉米冠层多光谱图像数据， 经反射率校准后， 结合玉米冠层反射光谱与图像形态特征， 提出基于NDVI的玉米植株冠层初步分割算法剔除土壤背景的影响， 利用边缘保持中值滤波消除异常噪声点， 然后基于区域标记算法有效剔除花盆与灰度标定板的干扰， 实现了植株冠层的分割与提取。