基于无人机RGB光学相机的漂浮绿藻探测研究
2021-09-09杨国英邢前国赵春晖孟苗苗李敬虎
杨国英,邢前国,赵春晖,孟苗苗,李敬虎,3
(1. 哈尔滨工程大学信息与通信工程学院,哈尔滨 150001;2. 中国科学院海岸带环境过程与生态修复重点实验室,中国科学院烟台海岸带研究所,烟台 264003;3. 鲁东大学信息与电气工程学院,烟台 264025)
近年来,每年春夏之际,近岸海水中常会发生名为“绿潮”的海洋灾害。绿潮主要由绿藻暴发造成,且多个国家和地区都有过绿潮灾害的记录[1-5]。全面监测绿潮发生、发展情况,及时发布绿潮预警信息,能为绿藻的处置工作提供科学依据。Xing等[6]利用卫星影像绘制黄海和东海大型藻华图。目前已有很多学者利用中分辨率成像光谱仪(moderate-resolution imaging spectroradiometer,MODIS)、高分一号、环境一号、静止水色卫星(geostationary ocean color imager,GOCI)等卫星数据监测绿潮[7-10],但它们相对低的分辨率可能会错过小规模的绿藻暴发[10-11]。相较于卫星遥感,无人机遥感厘米级的空间分辨率可以监测小斑块绿藻,克服重访周期长带来的限制,是卫星遥感的重要补充[12-13]。
绿藻的光谱特征与植被相似,可利用监测绿藻或者植被的指数来提取。研究人员提出的相关指数有:归一化植被指数(normalized difference vegetation index,NDVI)、漂浮藻类指数(floating algae index,FAI)、GOCI漂浮藻类指数(index of floating green algae for GOCI,IGAG)、虚拟基线漂浮藻类高度指数(virtual-baseline floating macroalgae height,VB-FAH)等[6,14-16]。但搭载多光谱传感器的无人机价格昂贵且笨重,常见的搭载数码相机的无人机缺乏短波红外和近红外波段[12],故这些指数并不适用。而基于RGB波段的植被指数,如过绿指数(excess green,EXG)、绿叶指数(green leaf index,GLI)、可见光波段差异植被指数(visible-band difference vegetation index,VDVI)、绿红植被指数(green red vegetation index,GRVI)等,广泛应用在植被识别上[17-19],适用于绿潮监测的指数相对较少。可见构建一种具有普适性且适用于无人机航拍光学影像监测绿潮的指数是十分重要的。
本文提出了一种新的指数用于增强漂浮绿藻的信号,以绿色和红色波段形成一个虚拟基线,此基线以下蓝波段信号的线高定义为红绿波段虚拟基线漂浮绿藻指数(red-green band virtual baseline floating green algae index,RG-FAH)。以含有绿藻的不同条件的无人机影像为数据源(包括常见的太阳耀光、过曝光、小斑块藻等复杂条件),与现有的几种植被指数进行比较,验证RG-FAH监测绿潮的普适性和稳定性,并讨论各个指数受不同条件的影响,为治理绿潮暴发带来的灾害监测提供技术参考。
1 材料与方法
1.1 数据源
航拍地点位于山东黄海。近年来,每年夏季此地都会暴发大规模的绿藻灾害[2-5],对沿海渔业、旅游业造成巨大的经济损失。本文采用的大疆无人机搭载L1D-20c航拍RGB相机,内置等效焦距28 mm的广角镜头,光圈值可在f/2.8~f/11间自由调整,即使是复杂的环境也能拍出清晰的影像。本文数据源成像时间为2019年6月19日上午10时,航行高度为136.2 m,天气晴朗,能见度高。利用无人机拍摄得到含绿藻的影像,影像分辨率为1.14 cm。分辨率的公式如下:
其中,GSD为影像分辨率,H为航高,f为镜头的焦距,a为像元尺寸。
1.2 提取绿藻的方法
1.2.1 RG-FAH指数的构建
为了精确地绘制绿藻的分布图,减少气溶胶、太阳耀光和薄云的影响,Hu[15]提出了使用基线减法的FAI,Xing等[6]提出了VB-FAH。FAI和VB-FAH的设计理念见图1。FAI和VB-FAH的公式如下:
其中,R是反射率,λ是波长,下标2、3、4、5分别代表绿、红、近红外、短波红外波段。研究表明VB-FAH与FAI相当,在太阳耀光和气溶胶干扰的耐受性方面比NDVI更有利。
近红外和短波红外波段缺乏会导致大部分用于监测绿潮的指数无法适用于无人机拍摄的光学影像。为了解决这个问题,本文基于与VB-FAH相同的原理及绿藻和海水在红绿蓝波段的光谱特征提出了一种新的指数——RG-FAH。
如图1c所示,绿波段以蓝波段对称,得到虚拟绿波段(2'),利用基线减法的原理,以虚拟绿波段和红波段形成一个虚拟基线,此基线以下蓝波段信号的线高即RG-FAH,这类似于VB-FAH的设计方法。绿藻和水体的光谱特征如图1d所示:海水蓝波段反射率高于绿藻,且区别明显;绿藻蓝波段反射率低于红、绿波段;绿藻红、绿波段反射率相近,且高于相应的海水反射率。光谱特征也同样是RG-FAH设计的基础。本文利用反射率相近的红、绿波段构建虚拟基线,利用区别明显的蓝波段信号的线高去测量高度。RG-FAH公式为:
图1 指数设计理念Fig. 1 Index design concept
其中,R是反射率,λ是波长,下标1、2、3分别代表蓝、绿和红波段,对应波长为470、550和700 nm。RG-FAH的取值范围为[-255,255]。为了评估新的RG-FAH指数,本文将其与另外6个植被指数进行对比评估,并利用多张无人机影像验证。
1.2.2 植被指数
从图1d中可以看出,绿藻红、绿波段的反射率相近,因此应该尽量避免使用只有红、绿波段信息的指数。本文选取了6个植被指数作为对比,分别是红绿蓝植被指数(red-green-blue vegetation index,RGBVI)、归一化绿蓝差异指数(normalized green-blue difference index,NGBDI)、GB、EXG、GLI、VDVI[17-18]。相应的植被指数公式如下:
其中,R是反射率,下标1、2、3分别代表蓝、绿和红波段。RGBVI、NGBDI、GLI、VDVI的取值范围为[-1,1],GB、EXG的取值范围为[-255,255]。通过对比不同指数识别绿藻的效果对本文新提出的RG-FAH指数进行评估。
1.2.3 阈值选取
绿藻呈绿色,和海水有较明显的差异。本文通过选取典形地物样本点,根据各个指数不同地物的频率分布与评价指标的精度确定不同指数最终的阈值,以避免出现选取阈值过小、纯水像素识别为绿藻、阈值过大、提取绿藻的像素减少等问题;同时,对分类结果进行目视检查,以保证结果的可靠性。
1.3 评价指标
本文采用的评价指标有准确率(accuracy)、真正率(true positive rate,TPR)、真负率(true negative rate,TNR)和Kappa[17,20]。真正率即绿藻提取精度,真负率即海水的提取精度。以上4个评价指标值越高,意味着结果越好。
2 结果与分析
2.1 RG-FAH与其他植被指数监测绿潮的结果
无人机影像中主要包含绿藻和海水两种地物。识别绿藻主要涉及的方法为计算各指数,根据典型地物样本点生成频率分布图与评价指标确定阈值,最后评估分类的准确性。图2a为无人机拍摄的RGB光学影像中人工选取的绿藻与海水的典型地物样本点。真值点(图2c)由真值图(图2b)生成。本文采用动态阈值法生成真值图,即对一幅影像选取多个阈值生成结果。为了减少由随机性和人为主观性引起的误差,本文选取真实值为样本点,利用真值图随机生成了3 000点的绿藻和4 000点的海水,结合原始图像目视解译确定了7 000个几乎完全覆盖整幅图像的随机验证点作为真实值。
图2 试验数据示例Fig. 2 Experimental data illustration(a)典型地物。红色区域代表绿藻,绿色区域代表海水;(b)真值图。绿色斑块为绿藻(下同);(c)真值点。红色点代表绿藻,蓝色点代表海水。(a) Typical object. Red areas represent green algae, green areas represent seawater; (b) Ground truth. Green patches are green algae (the same below); (c) Ground truth points. Red points represent green algae, blue points represent seawater.
图3中典型地物的频率分布图由图2选取的典形样本点生成,横坐标是各个指数对应的值,纵坐标是值对应的像素点。绿藻与海水这两个地物对应指数的值差别越大,就意味着错分概率越小。利用不同指数生成的分类结果(图4)与真实值比较,获得评价指标(表1),以保证结果的真实性和可靠性。
图3 典型地物的频率分布图Fig. 3 Typical object frequency distribution
图4 不同指数分类结果Fig. 4 Classification results of different indices
表1 不同指数的评价指标Tab. 1 Evaluation metrics of different indices
从表1中可以看出,RG-FAH的结果是指数中监测精度最高的,GB与RG-FAH指数精度结果相当。这两个指数都表现出了较好的提取能力,不仅典形地物频率分布图的值没有重叠,且TNR和kappa系数都在0.98以上,准确率和TPR达到0.99以上,与真实结果接近一致。
2.2 RG-FAH监测绿潮的验证
为了验证RG-FAH的适用性和稳定性,本文讨论了不同条件对无人机影像指数的影响。图5所示的无人机影像是最普通常见的无人机拍摄的绿藻影像,绿藻覆盖度高,且无太阳耀光的影响。
图5 不同指数分类结果Fig. 5 Classification results of different indices
利用同样的方法得到不同指数方法的阈值,其生成的分类结果和评价指标如表2所示。从表2可以看出,在绿藻覆盖度高且无太阳耀光影响的无人机影像中,7个指数的绿藻提取能力都较高。EXG、GB、RG-FAH绿藻提取精度和kappa系数都在0.98以上,与真实结果接近一致,都能满足提取要求。由此可见,RG-FAH指数能够满足监测绿潮的要求。
表2 不同指数的评价指标Tab. 2 Evaluation metrics of different indices
2.3 不同指数对太阳耀光的敏感性
从无人机遥感的尺度上观测,海水表面易出现镜面反射,反射强烈的太阳耀光[21],导致拍摄的影像光照不均匀,太阳耀光区域的地物难以区分,造成提取困难,尤其是对高分辨率图像[6]。为了验证各个指数对太阳耀光的敏感性,本文利用同样的方法进行了定量分析。
从图6中可以看出,无人机影像右侧由于太阳耀光的影响,各指数都出现了提取绿藻能力不足的问题,此时单一阈值的方法分类效果不好。表3结果显示,RG-FAH相对其他指数来说,提取能力依然是最好的,TNR达到了0.91以上。为了探究太阳耀光对不同指数的影响程度,本文在无人机影像中画了横向的切线和纵向的剖线,包含有和无太阳耀光,并将范围归一化到[0,1],对比各指数值的变化,同时单独提取太阳耀光区域,分别选取1 000点绿藻和海水作为真实值。
表3 不同指数的评价指标Tab. 3 Evaluation metrics of different indices
图6 不同指数的分类结果Fig. 6 Classification results of different indices
图7b~7e展示了不同指数沿纵剖线和横切线的值。曲线中尖峰凸起的地方表示绿藻,非绿藻像素即海水值。从图7f~7h中可以看出,在红、绿波段,海水反射率低,绿藻反射率高。但太阳耀光的影响导致红、绿波段绿藻和海水反射率增加,难以区分,且蓝波段也出现了类似的情况。事实证明,太阳耀光会导致各个指数的对应的海水值降低,但整体来看,不管是沿竖线样带还是横线样带,RGFAH、GB均具有较低的变化,且RG-FAH的值更稳定,波动性最小。EXG、VDVI等指数在同一条带上有明显的变化,相比之下,RG-FAH较其他指数对太阳耀光不敏感,稳定性更强。
图7 指数对比Fig. 7 Comparison of index(a)原始图像。红色线分别是纵剖线、横切线;(b)VDVI、GLI、RGBVI、RG-FAH纵剖面的值;(c)GB、NGBDI、EXG、RG-FAH纵剖面的值;(d)GB、RG-FAH纵剖面的值;(e)GB、RG-FAH横切面的值;(f)R波段横切面的值;(g)G波段横切面的值;(h)B波段横切面的值。(a) Original UAV image. The red lines are buttock line and cross cut line; (b) VDVI, GLI, RGBVI, RG-FAH vertical profile values; (c) GB, NGBDI, EXG, RG-FAH vertical profile values; (d) GB, RG-FAH vertical profile values; (e) GB, RG-FAH transect values; (f) R-band transect values; (g) G-band transect values; (h) B-band transect values.
表4显示,RG-FAH比其他指数在减轻太阳耀光造成的影响方面更具有优势。kappa系数达到了0.84以上,准确率达到0.92以上。相比其他指数,在太阳耀光的耐受性方面,其性能显著提高。但不可否认的是,太阳耀光是导致各个指数提取绿藻精度下降的主要原因之一。
表4 不同指数的评价指标Tab. 4 Evaluation metrics of different indices
2.4 过曝光无人机影像对指数的影响
无人机拍摄的时候,由于光线或闪光灯设置以及相机光圈速度的影响,照片会出现曝光过度的情况[22]。在海上阳光比较刺眼的时候,大量的光进入传感器,经常会使得照片过曝光,拍摄结果明显偏亮,颜色失真,细节损失[23-24]。目前已有的研究方法都是针对能见度高条件下,曝光正常的影像进行研究的[17-19],利用曝光过度的影像提取绿藻还未被探讨过。为了减少照片的废弃率,本文进行了研究以测试不同方法在曝光过度条件下的稳定性和有效性。
由图8可知,各个指数图像在过曝光条件下,绿藻和海水仍区别明显。表5显示,RG-FAH、GB即使影像曝光过度,其评价指标也均在0.99以上,绿藻和海水识别结果较为准确。事实证明,图像过曝光并未影响这两个指数的精度。
表5 不同指数的评价指标Tab. 5 Evaluation metrics of different indices
图8 指数图与分类结果Fig. 8 Index map and classification results
2.5 不同指数提取小斑块绿藻的结果对比
黄海中不仅有大面积漂浮的绿藻,还有大量分散的小面积斑块[25-26]。卫星中相对低的分辨率影像容易错过小斑块绿藻的提取[6,9]。本文以绿藻稀疏影像作为条件,着力探讨了小斑块绿藻对不同指数的影响,通过评价指标结果的对比,验证RG-FAH指数及其余方法在识别小斑块绿藻中的应用情况。
图9显示的影像中只有小斑块绿藻,绿藻覆盖度低,许多像素可能是海水和绿藻混合,与海水的光谱更接近,各个指数的精度都有所下降。由表6可知,RG-FAH稳定性最高,kappa系数达到了0.96以上。说明RG-FAH较其他6种植被指数具有更好的小斑块绿藻识别能力。
表6 不同指数的评价指标Tab. 6 Evaluation metrics of different indices
图9 不同指数分类结果Fig. 9 Classification results of different indices
2.6 不同尺寸斑块的绿藻监测的结果对比
为了进一步研究不同指数探测不同尺寸斑块绿藻的能力,本文利用同样尺寸的绿藻斑块作对比,选用非太阳耀光、非过曝光的无人机影像(图2、5、6),以无人机影像对应的真值图作为真实值,计算斑块面积,统计不同斑块面积的频率分布。
从图10可以看出,提取小斑块藻类时,各个指数提取数量差异明显,随着斑块面积的增加,各个指数提取斑块的数量与真实值逐渐逼近。整体来看,GB、RG-FAH的结果相较于其他指数更接近真实值的数量,可以用来监测绿藻。
图10 不同尺寸斑块的频率分布图Fig. 10 The frequency distribution of different patch area
3 讨论
绿藻暴发会造成严重的经济损失和环境问题,被看作是生态灾难[2]。目前已有很多学者利用多种卫星数据监测绿潮[3-7],但相对低的分辨率容易错过小斑块绿藻的提取[6,27]。本文采用的无人机影像具有厘米级的空间分辨率,可以识别小斑块藻。
监测绿藻的指数大都需要用到近红外、短波红外波段[6,14-16],但常见的搭载数码相机的无人机仅具有RGB波段[12],这些指数并不适用,而已有的RGB波段的指数广泛应用于植被识别,用于监测绿藻的指数较少[18-19]。本文基于与VB-FAH相同的原理及绿藻和海水在RGB波段的光谱特征提出了RG-FAH指数,通过与不同指数对比显示,RG-FAH是一个具有普适性且适用于监测绿藻的指数。
已有的研究表明,太阳耀光会影响提取绿藻的精度,尤其是对高分辨率图像[6]。Hu[15]提出的FAI与Xing等[6]提出的VB-FAH能够减少气溶胶、太阳耀光和薄云的影响。本文研究结果表明,在正常与过曝光的条件下,RG-FAH与GB相当,比RGBVI、VDVI、GLI、NGBDI、EXG更有利,但在太阳耀光的耐受性和小斑块提取方面具有明显的优势,比GB及其他植被指数更稳定,可以为无人机影像监测绿藻提供新的方法。
综上所述,本文提出的RG-FAH指数在具有代表性的无人机影像中精度最高,评价指标都在0.91以上,受不同条件影响的波动性较小,可用于识别绿藻。而绿藻与植被的光谱特征相似,为了进一步确定RG-FAH是否适用于植被识别及探测其余藻类,还需通过下一步试验去验证。