海康威视网络数字相机在植被物候监测的应用初探
2021-05-17甄晓杰周海涛周曙东陈世强
甄晓杰,周海涛,周曙东,陈世强
(1.北京天诺基业科技有限公司,北京 100089;2.江苏天诺基业生态科技有限公司,无锡 21400;3.中国科学院西北生态环境资源研究院,兰州 730000)
1 引言
植物物候指植物的各个生长发育节律随着环境因子的周年变化,是陆面过程模型以及植物生产力模型的重要参数[1]。在全球气候变化的背景下,物候提前,物候学的研究越来越受到人们的关注[2]。物候是由气候所决定的,生物物候现象是环境条件季节和年际变化最直接、最敏感的指示器[3-4],其发生时间可以反映陆地生态系统短期变化的特征,被广泛应用于农时预报、病虫害预测、经济作物区域规划、气候变化趋势鉴定与预测等方面[1],对人类生活及农、林生产具有重要的指导意义。
研究单一植被类型,最客观和准确的植物物候观测手段是依据物候观测典籍中记录的各种植物发育时期的特征进行人工观测[5]。但是,人工观测不可避免地会出现观测尺度小、物种少、站点数量有限、时间不连续等问题[6],而且该观测方法很难适用于植被类型复杂下垫面的综合物候观测[7]。
随着遥感技术的发展,NDVI、EVI等遥感产品已成为植被对气候响应研究的重要手段。通过卫星遥感传感器(NOAA、MODIS、SPOT、AVHRR)得到的时间序列数据,具有多时相、覆盖范围广、空间连续等优点,适用于区域及全球尺度上植物动态监测[8],但其空间分辨率较低[9-10],且受传感器自身性能、传输丢包、阳光照射角度、观测视角、云、大气气溶胶等随机干扰因素的影响,数据中存在大量的噪声干扰[11]。目前,NDVI数据集预处理的方法有最大值合成法(MVC)、非对称高斯函数(AG)拟合、双逻辑斯蒂曲线拟合法(Double Logistic Curve Regression,下称D-L拟合法)和Savitzky-Golay(S-G)滤波法等,但是除最大值合成法(MVC)得到基本认可外,其它方法在NDVI数据集预处理的研究应用尚未达成共识[12-13],还需要大量的地面验证才可以获得有效结论。同时,研究也指出AG与D-L拟合法表现相似且在高保真性能方面表现得更稳健,拟合效果更优。
物候相机的数字重复摄影技术,又被称作近地面遥感技术,通过对图像信息的提取,实现基于时间序列的物候节律分析。适用于多空间尺度物候观测[14],已被广泛应用于美国和日本等的相机物候观测网络中[3]开展物候模型验证和发展、卫星遥感数据产品评估、气候对陆地生态系统影响等的研究。
Richardson,et al.(2007)采用Model 211(Axis Communications,Lund,Sweden)商业网络相机监测美国北方落叶阔叶林春季变绿趋势,确认了数字相机可以用于物候监测来量化物候变化[15]。Richardson,et al.(2009b)在NEON(National Ecological Observatory Network)和AmeriFlux台站中同时架设了Model 211和Netcam XL(StarDot Technologies,Buena Park,California)相机,利用从相机中提取的GCC指标分析了在阔叶林和针叶林的春、秋季冠层变化和GPP的相关性,指出数字相机的可视化、量化存档适用于森林物候时空变化研究,并建议在通量网络中推广。周磊等(2012)在禹城农田生态系统利用从数字相机(Model 214;Axis Communications,Lund,Sweden)提取的绿度指数探讨了数字相机在冬小麦冠层物候及碳交换方面的表征作用的应用。周玉科(2019a)利用美国PhenoCam观测网络(https://phenocam.sr.unh.edu/webcam/)的近地面遥感数据分析了GCC与土壤温度、气温、太阳辐射、降雨事件、生长度日等环境因子间的关联程度[16]。宋清洁等(2016)和葛静等(2017)分别以甘南州和黄河源东部地区为研究区,利用高清的Canon数码相机、无人机(Unmanned Aerial Vehicle,UAV)载相机和农业多光谱相机(Agricultural Digital Camera,ADC)拍摄的照片,建立了基于MODIS 归一化差值植被指数(Normalized Difference Vegetation Index,NDVI)、增强型植被指数(Enhanced Vegetation Index,EVI)的植被盖度反演模型[17-18]。
本文列举了适用于物候研究中的相机,并展示了这些相机与Hikvision(即海康威视)相机的性能(表1)。从功能上相机可以简单划分为两类,RGB波段相机和RGB+NIR波段相机。传统的红绿蓝三通道相机仅能分析GCC、RCC、GEX等物候指标,要得到NDVI、EVI等指标,相机必须同时具备RGB和IR波段的观测能力[19]。Anika R.Petach et al.(2014)提出了一种从4波段物候相机中提取类似卫星遥感NDVI指数的Camera NDVI指数技术。S.T.Klosterman,et al.(2014)利用美国PhenoCam物候相机观测网络数据对北美洲东部地区13个温带阔叶林分析得到从高频物候相机照片中提取出的GCC较从MODIS及AVHRR传感器中得到的NDVI、EVI不确定性更小,且两者对春季开始时间的评估与人工对生叶时间的观测结果高度一致。
表1 历史文献中使用的相机与海康威视相机参数及功能的比较
美国PhenoCam物候相机观测网络在世界范围内得到了广泛的应用。而国内受限于从数字相机拍摄照片到形成物候指数信息的照片采集、上传、存储、处理过程繁琐[20],通过景观尺度组网观测物候的方法少见于文献中。周磊等(2012)依托于ChinaFLUX的禹城农田站利用数字相机(Model 214;Axis Communications,Lund,Sweden)对绿度指数(G/R)进行了长期、连续、自动、高频的原位监测,但其采用的数字相机是瑞典进口相机,价格较高、图像分辨率低(384×288像素),仅能够提取出红(R)、绿(G)、蓝(B)3个波段的信息,主要用于植被盖度分析,且未能实现物候相机的组网功能。目前,国产相机与进口相机在物候观测应用中的性能比较研究鲜有报道。
本文通过对比美国物候网推荐使用的StarDot相机与海康威视相机中提取的4种物候指标(NDVI、GCC、EXG、EVI),阐述同样支持4通道成像的海康威视数字网络相机在物候观测中的普适性及优越性,为近地面遥感数字重复成像技术在中国生态系统物候监测领域的发展提供技术支撑。
2 海康威视网络数字相机及试验介绍
绝大多数的数字相机中采用的CCD(Charge-Coupled Device)或者 CMOS(Complementary Metal-Oxide-Semiconductor)成像传感器均具备对NIR光谱部分的探测能力。但因为NIR光谱超出了人眼的感知范围且不属于传统的彩色成像范围,通常数字相机中会嵌入一个NIR滤光片来阻挡NIR光谱进入成像传感器[19]。海康威视网络数字相机可在野外严苛的环境温度(-30℃至+60℃)下正常运行,在世界范围内有广泛应用。虽然当前主要用于安防领域,因其可通过海康威视提供的SDK开发包(https://open.hikvision.com/download/)实现对内部IR-CUT双滤光片切换器的控制,具备网络通讯能力,符合成为物候相机的必要条件。
2.1 海康威视网络数字相机简介
本试验采用海康威视 500万高清网络摄像机DS-2CD3T56(D)WD-I3(Hangzhou Hikvision Digital Technology Co.,Ltd.),其配备1/2.7" 逐行扫描 CMOS传感器,最大分辨率2 560×1 920像素。相机设定为“锁定白平衡”,并固定“曝光时间”为1/25s。与自动白平衡相比,锁定白平衡可以有效降低从照片中提取信息的噪声[21]。采用固定曝光时间,可以避免相机因外界环境的明暗程度不同而自动调节曝光时间长度,导致的IR-CUT切换前后拍摄的两张照片亮度不同引入的数字信息测量误差。
在镜头与CMOS传感器之间存在一个IR-CUT双滤光片切换器(以下简称 IR-CUT),由一个红外截止滤光片和一个全透滤光片以及执行切换动作的机械部分构成。当切换到红外截止滤光片时,CMOS传感器探测从400-650nm的波段范围,即红(R),绿(G),蓝(B)波段。当切换到全透滤光片时,探测从400-1 000nm的波段范围,即成像出单色(Monochrome)的RGB+NIR照片。
利用树莓派3B+(Raspberry Pi Foundation)单片机对海康威视提供的SDK开发包二次开发,可以根据研究者需要的拍摄频率实现对其IR-CUT的自由、自动切换,控制拍摄,并通过FTP将图片上传到指定网络服务器。
2.2 站点信息
观测点位于江苏省无锡市中关村科技创新园园区内(31.460 3°N,120.420 6°E)。两台网络数字相机固定在园区内江苏天诺基业生态科技有限公司4楼的户外阳台的2m三角支架上,约距地12m,上下平行安装,分别为海康威视的DS-2CD3T56(D)WD-I3相机和StarDot的NetCam SC IR 相机(以下分别简称为Hik相机和SD相机),统一朝东南方向,水平向下倾斜5°,面向一块人工种植的油菜田,天空和地面分别约占20%和80%。
两款相机各自通过不同的方式实现RGB彩色照片和RGB+NIR波段单色照片的连续拍摄。NetCam SC IR相机采用美国PhenoCam物候相机观测网提供的开源工具箱(http://phenocam.sr.unh.edu/webcam/tools/),通过更新相机内部运行脚本的方式实现对IR-CUT的切换,切换间隔30s。海康相机则通过其提供的开源SDK开发包,利用单片机对相机发送控制指令来实现对IR-CUT的切换,切换间隔10s。两台相机都通过网口连接到一台用SIM卡上网的4G无线路由器上,从7∶00-19∶00,以30min的周期上传至在中国电信天翼云搭建的云服务器上(http://www.phenocam.cn)。
2.3 数据处理方法
2.3.1 相机信息提取
在RGB彩色照片中选择油菜花田为感兴趣的区域(Range Of Interest,ROI),从中提取出RGB的亮度信息RDN、GDN、BDN。对单色照片(RGB+NIR)应用相同的ROI,从中提取出RGB+NIR的亮度信息MDN,其可拆分为可见光单色亮度(VDN)和近红外光单色亮度(NIRDN)两个部分,见公式(1)。如果彩色照片和单色照片拍摄时采用的曝光度相同,则同一时空尺度的RGB亮度信息可以转化为可见光单色亮度[19,22],见公式(2)。
从此,得到ROI内近红外光的亮度值:
海康威视相机(Hik)间隔极短的时间采用固定曝光度进行彩色和单色照片的拍摄,可以直接利用公式(1)、(2)、(3)进行亮度信息的提取。
图1 站点安装信息和信息提取区域(ROI)(谷歌地图的左上角为两款相机的安装照片和拍摄视角,其中黄色区域对应数码照片中框选的ROI;下方4副照片分别为海康威视和STARDOT拍摄的RGB及RBG+NIR照片,黄色蒙板为所选ROI。)
StarDot相机(SD)内部运行的脚本参考美国PhenoCam物候相机观测网络现行标准,为增强照片拍摄时成像的清晰度,前后两张照片拍摄采用不同的曝光度。彩色照片曝光度用Ecolor表示,单色照片曝光度写作Emono,从照片拍摄时伴随自动生成的.META文件中提取得到。根据SD厂家提供的曝光度修正方案对成像亮度做公式(4)-(9)的修正[19],将前后两张照片的亮度调整到同一曝光度,其中后缀_EC表示曝光度修正(Exposure Correction)。
2.3.2 植被物候指标计算
通过4通道成像相机可以提取的植被物候指标包括:NDVI(Normalized Difference Vegetation Index)为归一化植被指数、EXG(Green Excess Index)为绝对绿度指、GCC(Green Chromatic Coordinate)为相对绿度指数、EVI(Enhanced Vegetation Index)为增强型植被指数,等等[23-25]。
Hik观测的物候指标从公式(10)-(13)计算得到,
SD观测的物候指标计算同公式(10)-(13),但输入参数均为经过曝光修正的值,即:
本研究直接利用云服务器上在线生成的两款相机的NDVI、GCC、EXG、EVI(http://www.phenocam.cn/download/software)作为基础数据集进行采集分析。从相机中提取的数据会受亮度、云量、照明几何等的影响导致30min尺度的时间序列数据存在很大波动。为消除数据噪声,选取每天从10∶00-14∶00的数据为子数据集,并以求90%分位数的方式得到表示日尺度的物候指标[26]。
2.3.3 生长节律提取
利用TIMESAT3.3程序包(http://www.nateko.lu.se/TIMESAT)中的D-L拟合方法拟合各物候指标时间序列,并从中提取出油菜的生长节律关键期。
利用TIMESAT3.3程序包根据拟合曲线判定植被生长关键期时,需要输入生长季开始(SS)与结束(SE)的判定参数,两个参数的可调节范围都在0-0.65之间[27],不同的设定值会对关键期的提取产生较大影响,因此需要根据曲线的变化趋势来人工调节并设定参数。本文SS的选取标准为曲线从平稳到开始上升的拐点,GCC-SD(SD的GCC指数)的SE对应曲线从下降到开始平稳的拐点[14],其他物候指数到收割日为止均为下降趋势,故人为调节参数SE,致EOS接近收割日,即自观测日起的第180d。具体设定值及生成结果见表2。
3 结果分析
3.1 数码照片时序
观测期间两款相机运行稳定,获取了从2019年11月15日-2020年5月15日共计180d的RGB及RGB+NIR照片(图2)。图中可辨识出零星出苗的照片为2019年12月12日,可辨识的开始开花日期为次年的 3月1日,苗期和蕾薹期共持续了约108d。在第129d,即3月22日前后达到开花最旺盛的时期,至5月11日角果完全发育成熟,整个生长季约153d。
3.2 相机物候指标分析
植被物候指标的时间序列数据可以反映作物的生长发育周期,波动代表了生长周期内的成长与衰败,通常波峰对应作物的生长发育旺盛期,如抽穗期,波谷一般对应作物枯黄完熟期。虽然物候相机提取的指标因光谱谱段及带宽与指标定义的光谱谱段及带宽稍有差异,其绝对值需要根据更准确地光谱信息进行标定才可以获得,但根据所提取指标的特征曲线,仍然可从中得到作物生长的关键期,即生长季开始期(SOS),生长季结束期(EOS),生长季最大值(MOE)及生长季长度(LOS)。
图2 两款物候相机拍摄的ROI内的油菜生长周期照片
图3 物候指标时间序列(其中,散点表示测量值,实线代表通过TIMESAT3.3程序包拟合的D-L曲线;红色和绿色分别表示信息提取自海康威视和StarDot相机)
物候指标中NDVI、GCC、EXG均展示出生命周期动态特征(图3),但是EVI却无法展示生命周期动态特征。可以看到,SD的EVI在整个油菜的生长过程中近乎为一条水平线,Hik的EVI仅在油菜的枯黄期存在一个峰值,均不能反映油菜生育节律,该结果与董奎 2015年从银杏、水杉的数码照片中提取的EVI信息结果一致。其中,两相机的NDVI指标测量值和经过TIMESAT3.3拟合的曲线均分别表现出相同的动态趋势(图3,a),但测量值与拟合曲线之间的动态趋势存在明显差异,测量值在3月上旬原始测量值达到最大,随后陡降至谷底,下旬又逐渐上升,4月上旬到达一个次峰,这个时期恰是油菜的花期,即两款相机在油菜的花期提取的NDVI均为倒峰,其中盛花期对应波谷位置,该结果与Shen M(2010)等研究的结果一致,即NDVI随着植被黄花盖度增加线性下降[28]。而通过D-L拟合的曲线直接平滑了黄花对测量值的影响,该平滑虽然不影响对SOS,EOS,LOS的影响,但可能会影响MOE。
对于提取的GCC和EXG测量值,在花期两款相机表现出了不一致的变化趋势。其中Hik表现为GCC在3月上旬达到峰值,EXG于3月下旬达到峰值,两者反映出的生物量最大值时刻差异约15d(图3,b),两指数的D-L曲线为较一致的单峰形态,最大值出现时刻差约7d(表2),第一年12月底开始单调上升,次年3月中旬前后达到最大值,后单调下降,分别对应油菜从出苗、结实直到成熟收获的过程。SD的数据与Hik的数据有所区别,GCC与EXG的变化趋势整体上同NDVI,为双峰形趋势。在花期,两者变化趋势一致,且与NDVI测量拐点的出现日期一致(图3,c)。但在角果成熟期,GCC急速下降,而EXG下降相对缓慢,这导致GCC的D-L曲线峰值出现日期及下降趋势结束日期大大被提前,且整个生长季被缩短。EXG的D-L曲线在角果成熟期也保持了与NDVI指数相似的变化趋势。
3.3 生长关键期提取的分析
通过照片目测的生长季长度(LOS)为153d,这与从两款相机的NDVI中提取的信息一致,见表2。而从EXG-Hik中提取的LOS值存在低估(6d),EXGSD提取值被高估(5d)。从GCC-SD中提取的EOS和MOE明显提前,分别提前了30d和约20d,且生长季长度被严重低估,仅129d。从其他指标提取出的生长季开始日期(SOS)和生长季最大值日期(MOE)有一定差异,其中GCC-Hik与EXG-SD的MOE相等,同时也是计算出的最早MOE,最晚的MOE来自EXG-Hik,而从NDVI提取的MOE介于中间。对SOS而言,分别从两款相机各自的GCC和EXG提取出的SOS更为接近,即GCC-Hik与EXG-Hik的SOS相差3d,GCC-SD与EXG-SD的SOS相差1d。两款相机间通过GCC和EXG提取的SOS差异较大(约10d)。同样,从NDVI中提取的SOS介于两者之间。所有的MOE均小于人工观测的盛花期(第129d),这可能是因为油菜黄花所反馈的光谱信息不能很好地表征最大生物量。
表2 根据双逻辑斯蒂拟合曲线提取的油菜生长关键期(其中,DOY表示一年中的第几天,起始日序为观测开始的日期:2019年11月15日)
4 讨论
两款相机的GCC与EXG差异主要体现在花期。从花期的照片可以发现一些成像上的差异,Hik拍摄的油菜开花照片呈现黄色(图2,i),而SD拍摄的照片呈现白色(图2,j)。可能的原因是为符合美国物候网的观测规范,SD相机的白平衡被人为固定为R 385,G 256,B 330,拍摄黄花时会明显发白。而Hik采用的是在晴朗白天自动白平衡状态下的锁定功能,故虽依然是固定白平衡,但对彩色识别更真实,开黄花时红、绿光的亮度较蓝光有显著增加(图4,Hik)。通过公式(10)、(11)、(14)、(15)不难发现,GCC与EXG的值实际上取决于图像中的R,G,B比例。根据常识,在RGB彩色模式下,纯黄光由红光和绿光等比例合成,而纯白光是由红光、绿光和蓝光等比例合成。故当照片由真实的黄色转为发白时,蓝光的组成比例随着红、绿光一同增大(图4,SD),GCC的分母项和EXG减数项分别被高估,导致指数被低估。
显然SD的成像失真使得通过D-L拟合曲线从GCC中提取生长关键节点严重偏离真实值,但对于EXG而言,SD的成像失真并没有对生长关键节点提取造成显著影响。
同时,GCC-SD的信息提取偏离也只是发生在D-L方法曲线拟合中,从测量值的变化趋势上依然可以清晰地发现各个生长节点。因此,GCC-SD的生长节点偏估与拟合算法的过度平滑有关,根据TIMESAT3.3的说明书4.2节,该拟合算法更加适用于单峰形数据的关键期提取(Eklundh,L.et al.,2017)。
图4 从Hik和SD照片感兴趣区域中提取的红,绿,蓝亮度时间序列,分别对应图中的红,绿,蓝曲线
本文主要探讨的是海康威视相机在物候中应用的可行性,并不是针对物候观测理论的研究,故分析中不涉及对理论的深入探讨,比如照片中选择的ROI为矩形框(图2),对应的实际观测区域为不规则四边形(图1),采用一定的图像投影算法可能会提高观测精度;再比如,出于场地协调、设备安全及日常运维方便等多方考虑,两款相机的安装并未完全依照美国物候网的建议标准安装,而是面朝东偏南架设到了4楼阳台,这也会对分析结果产生一定的影响,等等。此处仅简单认为两款相机在相同的安装、视角、环境情况下,选定相同的ROI区域时,观测的对象应当是相同的,且结果具有可比性和一定的应用指导意义。
本文提取的物候指标为基于相机的物候指标,与卫星遥感定义的物候指标存在光谱段及带宽不同导致的差异,要完成两种物候指标之间的对比,需要将相机物候指标转化为卫星遥感定义的物候指标。幸运的是,Anika R.Petach(2014)等利用一款具有4个窄带通道的光谱传感器并行测量的数据对基于SD相机的物候指标做了修正,并指出通过校正后的SD相机物候指标与光谱观测得到的指标具有良好的相关性(r=0.99)。分析两款相机间的物候指标差异对物候观测应用具有普适的、可广泛比较的指导价值。
5 结论
本文从一款性价比更高的民用相机(海康威视)的数码照片中提取了物候指标及生长节律关键期,并与从美国物候网推荐使用科研用物候相机(StarDot)的数码照片中提取的各指标及节点做了对比分析:
(1)两款相机通过计算处理均可实现对NDVI、GCC、EXG、EVI等物候指数的提取和计算。
(2)两者均可将照片及描述照片信息的.META文件存储到网络云服务器中,实现植被物候指标的实时提取和动态展示,具备了在大尺度上组网观测的功能。
(3)Hik相机(国产)相比SD相机(美国)的分辨率更高,成本更低廉。
(4)通过对比分析,可以看到,首先两者的NDVI测量值最为一致,不仅可以反映出油菜的生长季开始、结束期日,还可以明确地指示出始花、盛花以及花谢的时间节点;其次两者的GCC和EXG测量值,因油菜的黄花覆被及各自白平衡设置不同表现出了不同的变化趋势,尤其对花期的响应不同,SD表现出倒峰,而Hik呈现正峰。最后两者的EVI指数均无法反映出油菜的生长节律。
综上,Hik相机性价比高,具备物候监测的所有必要条件,适合在中国的物候监测应用中推广使用。