DMSP/OLS 与NPP/VIIRS 灯光数据的连续性校正*
2021-10-11肖袁俊李保山宋文丹程勇翔黄敬峰
肖袁俊,李保山,宋文丹,程勇翔*,黄敬峰
(1.石河子大学 生命科学学院,新疆 石河子 832000;2.浙江大学农业遥感与信息技术应用研究所,浙江 杭州 310058)
长时间序列夜间灯光遥感数据的出现使人类活动与大尺度空间城市化的深入研究成为了可能,越来越多的学者开始将夜间灯光数据用于估计人口密度[1]、区域电力消耗[2]、城市面积及其扩张速度[3-4]和国内生产总值[5]等各类社会经济指标。但由于长时间夜间灯光数据是来自两个不同卫星数据的整合,图像间往往会出现数据不连续、像元过饱和、标准不同无法比较的情况,这大大限制了夜间灯光数据的应用。因此,有必要对同一传感器内及不同传感器间的灯光数据进行校正,以消除数据的异常波动,增加数据的可用性。
自21 世纪以来,研究者们主要通过两种方案解决上述问题,第一种是利用辐射定标数据进行的绝对校正,从而获得具有物理意义的各年真实灯光值[6-7];第二种是利用灯光不变目标区域法进行的逐年灯光相对校正,从而获得不具实际物理意义,但具有同一标准相对连续的灯光数据。研究者们普遍选择西西里岛[8-9]、黑龙江省[7,10]、日本[2,5]、洛杉矶[11]等地作为不变目标区,通过构建不变目标区各年间图像数值转换关系,实现校正图像向目标图像的数值转换,从而获得相对连续的灯光校正结果。然而,作者认为不变目标区域法只能是一种理论假设,利用该方法对灯光数据进行校正有一定的风险,其可行性仍有待商榷,这是因为在全球经济迅速发展的背景下,不变目标区域实际上是不存在的[12]。如何找到DMSP/OLS 数据间的一般普遍转换关系才是解决问题的关键。此外,对于DMSP/OLS 与NPP/VIIRS 数据间的相互校正,学者们也从不同的角度探讨了它们彼此间的内在转换关系。Ma 等[13]与Zhao 等[14]将NPP/VIIRS 数据进行对数转化后与DMSP/OLS 数据分别利用BiDoseResp(Biphasic Dose Response)和sigmoid 函数模型建立数据间的相互转换关系,实现两卫星数据间的相互校正。Zhu 等[5]在计算不同行政区两卫星数据间各自总夜间灯光亮度基础上,构建函数转换关系,实现两卫星数据间的相互校正。Li 等[15]在计算DMSP/OLS 图像各级别像元值在对应空间位置NPP/VIIRS 图像上的平均值基础上,构建函数转换关系,实现两卫星数据间的相互校正。作者认为Li 等所提出的两卫星数据间的相互校正方法思路清晰,规律稳定,较为可行。
综上所述,研究选择中国作为研究范围,拟对DMSP/OLS 与NPP/VIIRS 中国夜间灯光数据进行连续校正。校正过程分两步,首先利用DMSP/OLS 2013 年图像为基础实现对DMSP/OLS 1992-2012 各年图像的模拟重构。其次,统计DMSP/OLS 2013 年图像各级别像元值相应空间位置NPP/VIIRS 2013 年图像上的平均值,构建两卫星数据间的转换“桥梁”,实现2014-2018 NPP/VIIRS 灯光数据向DMSP/OLS 灯光数据的转换,最终实现1992-2018 年两卫星间中国夜间灯光的连续校正。研究结果可为遥感灯光数据的有效应用提供一种可行性的解决方案。
1 研究方法
1.1 数据来源
DMSP/OLS 数据全部来自美国国家地球物理数据中心(https://ngdc.noaa.gov/),F10-F18 六个传感器共记录了1992-2013 年间34 幅夜间灯光图像(如表1 所示),每期数据DN 值取值范围均为0~63(最大报告光),其分辨率为30 arcsec,空间范围覆盖了除两极地区以外的所有人类活动区。DMSP/OLS 传感器通常在高增益设置下运行,使检测下限达到1.54×10-9W·cm-2·sr-1·μm-1,但也会导致部分大城市的核心城区出现数据过饱和现象[16-17]。DMSP/OLS 每期数据的DN 值间并不具有可比性,需要进行相对连续校正后才能使用[3]。
表1 DMSP/OLS 不同传感器夜间灯光数据集的时间分布
NPP/VIIRS 数据来自美国国家海洋和大气管理局(NOAA)以及美国国家海洋和大气研究所(NCEI)2011 年底发射的Suomi NPP 卫星(https://ngdc.noaa.gov/eog/viirs/download_dnb_composites.html),内含5 个地球观测传感器,其中带有22 个波段的VIIRS 能在很短的时间间隔内分辨较低的光级,检测下限改良至0.02 W·cm-2·sr-1·μm-1,数据分辨率为15 arcsec[18]。因为NPP/VIIRS 月值数据排除了杂散光等因素的影响,所以某些月份的部分地区数据可能出现缺失,各期数据具体缺失情况如表2 所示。由于NPP/VIIRS 数据并没有过滤以及去除图像中的噪声,所以在使用时需先进行数据的去噪声处理。
表2 NPP/VIIRS 数据缺失程度
研究中对校正后的灯光数据进行准确性和连续性验证时所用到的社会经济数据包括1992-2018《中国统计年鉴》各年中国及各省(区)国内生产总值(GDP)和电力消耗总量(EPC);1999-2018《中国城市年鉴》各年省会城市GDP 数据;1999-2018《中国城市年鉴》和《中国县域统计年鉴》部分数据较为完整的县或县级市各年GDP 数据。上述年鉴均来自于中国经济社会大数据研究平台(https://data.cnki.net/Yearbook/Navi?type=type&code=A)。
1.2 数据预处理
由于DMSP/OLS 数据在某些年份存在两个数据,如F12 和F14 传感器都记录了1994 年夜间灯光数据,为充分利用已获取的数据信息,研究首先将这些年份的两个传感器数据取平均值,即:
式中:L 为某年两个传感器所记录的夜间灯光平均值,La、Lb分别为不同传感器数据,处理后得到1992-2013 年共22 幅夜间灯光数据。
研究所获NPP/VIIRS 数据为月值数据,每一年都记录了逐月夜间灯光,因未排除杂散光、闪电、月球光照等因素对数据准确性的影响,该数据本身存在部分缺失。因此,研究仅对有效数据进行了年灯光平均值计算,即:
式中:Lp是某年某像元夜间灯光平均值,i 表示月份,Li表示该像元i 月的夜间灯光指数,Ti表示该像元第i 月是否为有效灯光值。当i 月该像元数据有效时,Ti=1;反之,Ti=0。经上式处理后,可得到2013-2018 年共6 幅夜间灯光数据。
1.3 DMSP/OLS 图像间校正
研究所获取的DMSP/OLS 数据未经过辐射定标,1992-2013 年所有数据由6 个不同的传感器所记录,不同传感器对相同亮度的灯光会有不同的评价结果,直接使用此数据将使图像由于系统误差出现极大的异常波动,因此需要对DMSP/OLS 图像进行校正处理后才能应用于研究工作中。目前为止,辐射定标是对DMSP/OLS 数据最理想的校正手段,它能最大程度降低像元过饱和,减小误差,使得各年间夜间灯光图像出现稳定的连续性,但辐射定标法由于算法复杂且参数不易获取,实现起来较为困难[19]。本研究首次提出像元数值模拟法,即通过建立DMSP/OLS 2013 年0~63 各级DN 值与DMSP/OLS 1992-2012 各年灯光数据相应空间位置统计平均值间的数值转换关系,分别建立2013 年灯光DN 值向其他各年灯光DN 值的模拟标准(图1 显示部分年份),依据所建标准,实现DMSP/OLS 2013 年灯光数据对1992-2012 各年灯光数据的模拟重构,需要特别说明的是当被重构年原始数据为0 时,重构数据依然保持为0,不进行数据转换。最终完成DMSP/OLS 图像间的灯光校正。
图1 2013 年DMSP/OLS 灯光数据DN 值对部分年份灯光数据转换标准
1.4 DMSP/OLS 与NPP/VIIRS 相互校正
由于DMSP/OLS 与NPP/VIIRS 数据对灯光数据评价标准完全不同,为了长时间序列夜间灯光的相关研究能顺利进行,需要对DMSP/OLS 数据与NPP/VIIRS 数据进行相互校正。为实现两种数据的相关转换,研究首先计算出2013 年DMSP/OLS 数据0~63 各级别像元在2013 年NPP/VIIRS 灯光数据相应空间位置的平均值,将得到的64组对应关系采用指数函数进行拟合,结果如图2 所示,所建立的统计回归模型的拟合优度为0.9905。最后,利用构建的回归转换模型作为“桥梁”,实现2014-2018 各年NPP/VIIRS 年平均灯光数据向DMSP/OLS 数据的转换。
图2 NPP/VIIRS 平均辐射亮度对应DMSP/OLS DN 值的函数转换关系
式中:y 为2014-2018 年NPP/VIIRS 初次校正后数据,x为NPP/VIIRS 校正前数据。
由于所获取的NPP-VIIRS 数据并没有经过过滤,以及去除与火灾、气体耀斑、火山和背景噪音有关的光线探测,所以需对初次校正后的数据进行进一步处理以减少这类不利因素的干扰[20]。研究中假定在DMSP/OLS 数据集中2010-2013 年连续四年DN 值都为0 的像元即为“无灯光像元”,因而在NPP/VIIRS 相对于DMSP/OLS 灯光校正结果中,若校正数据属于“无灯光像元”,则将该校正结果再赋值为0。通过上述步骤研究完成两卫星灯光数据间的相互校正。研究方法的整体流程如图3 所示。
图3 校正方案流程图
2 结果与分析
通过上述方法研究获取了1992-2018 年中国夜间灯光连续校正结果(图4 展示部分年份)。从图中可看出,改革开放以来中国夜间灯光明显变亮,特别是中国华北平原、长三角以及珠三角地区夜间灯光明显变亮,这些区域相应的经济也在高速发展。中国夜间灯光分布的大致规律为“东明西暗”,这与中国的人口分布格局、区域经济发展水平紧密相关。
图4 部分年份夜间灯光校正后图像
研究通过对比各年DMSP/OLS 数据校正前后真实和模拟值散点图的线性拟合优度来检验DMSP/OLS 灯光数据校正的合理性。从图5 和表3 可以看出,各年DMSP/OLS 数据校正前后真实值和模拟值存在着极强的关联性,各年数据线性拟合优度范围介于0.9728~0.9988 之间,平均拟合优度达0.9890。其中,越接近2013 年参考图像年份的数据散点图线性拟合优度值越高。结果分析表明,模拟重构的DMSP/OLS 各年数据结果具有合理性。
表3 1992-2012 年校正前后数据线性拟合优度
图5 部分年份DMSP/OLS 灯光数据校正前后原始值和模拟值散点图
为验证1992-2018 年DMSP/OLS 与NPP/VIIRS 连续灯光的校正结果,研究利用与灯光亮度紧密关联的中国各级行政区社会经济数据对灯光校正的结果进行了准确性和连续性评估。在中国国家级层面,1992-2018 年中国逐年灯光灰度总量(TSOL)与该时期中国逐年GDP、EPC间有着极显著的正相关关系(图6),相关系数分别为0.9809、0.9822。TSOL 与GDP、EPC 间线性拟合优度分别为0.9622、0.9648。分析表明在该层级灯光校正结果与社会经济发展状况相符合。
图6 国家尺度TSOL 与GDP、EPC 关系
在中国省(区)级尺度,1992-2018 年各省(区)逐年TSOL 与相应GDP 和EPC 有着极显著的正相关关系(图7),相关系数平均值和标准差分别为0.9720±0.015 和0.9731±0.01。分析表明在该尺度灯光校正结果与社会经济发展状况相符合。
在中国市、县级尺度,1992-2018 年各省会城市(其中缺失1992-1996、2004-2006 年拉萨市GDP 数据)逐年TSOL 与相应GDP 有着极显著的正相关关系(表4),相关系数平均值和标准差为0.9509 ± 0.028。1999-2018 年中国部分县及县级市(所选中的中国49 个县或县级市为随机挑选,由于早期年份GDP 数据较难获取,参与计算的有效数据为894 个,缺少数据86 个)逐年TSOL 与相应GDP 也有着显著的正相关关系(表5),相关系数平均值和标准差为0.9415±0.038。以上分析表明在较低行政尺度上灯光校正结果与社会经济发展状况也相符合。综上所述,研究所得1992-2018 年中国灯光校正结果具有一定的准确性和连续性,所得数据可用于今后中国不同行政区社会经济指标的估算。
表4 城市尺度TSOL 与GDP 关系
表5 县级尺度TSOL 与GDP 关系
3 讨论
DMSP/OLS 灯光连续性校正常采用不变目标区域法来实现[9],即选定一个灯光恒定区,假定该区域长时间以来灯光指数未发生变化。基于该假设,通过不变目标区建立待校正数据与目标年份数据的函数转换关系,依据所建立的转换关系,完成DMSP/OLS 灯光数据间的连续校正,该方法虽然能在一定程度上增强DMSP/OLS 数据的连续性,但也有诸多弊端。首先,被选作为不变目标区的西西里岛、黑龙江省以及日本、洛杉矶等地虽然在全球经济发展的背景下保持了较为稳定的发展水平,但不排除近年来这些地区灯光发生不同程度的缓慢变化,这将为研究带来一定程度的风险[12]。尤其在中国地区,近年来人口增多、经济发展迅速、基础设施愈加完善,除高原荒漠等无人区外的其他地区夜间灯光指数都有不同程度地增加,这导致对不变目标区的寻找在一定程度上增加了难度。其次,在确定不变目标区的范围时掺杂了较多的主观因素,人为设置阈值将使不变目标区识别自动化程度大为降低,难以处理不同地区的不同情形。此外,该方法中也有研究者再结合植被指数消除DMSP/OLS 数据过饱的扩展性研究[2,21]。这种方法除了主观设置阈值这一缺陷外,还首先假定了城市化与植被的对立关系,即夜间灯光亮度与植被指数NDVI 成反比,植被指数越小的地区,夜间灯光应越强,这种假设在确定的一小范围地区内可能是成立的。然而,并不是所有地区都符合较亮的灯光和较低的NDVI 的模式,在研究国家尺度甚至更大范围时默认此假设可能对研究结果造成不可忽视的误差[22]。本研究摒弃了以往研究广泛应用的不变目标法,提出了一种全新的DMSP/OLS 数据校正方法——像元数值模拟法。该方法步骤简单,容易理解,且在校正过程中使用全部的数值,它们全部参与到待校正图像与参考图像对应关系的计算中,最大程度保证了数据的完整性,同时校正过程也未设定阈值,减少了人为因素对实验造成的干扰。灯光校正结果准确有效,校正精度0.989 高于不变目标区域法所得的0.947[9]。
图7 省级尺度TSOL 与GDP、EPC 关系
DMSP/OLS 与NPP/VIIRS 数据有两个重叠年份——2012 年、2013 年。解决DMSP/OLS 与NPP/VIIRS 数据相互校正问题的关键在于探索重叠年份中两种数据的对应关系。针对此问题,不同的学者给出了不同的解决方案。Zheng 等人[6]利用1996-2013 年8 期有辐射定标的DMSP/OLS 图像估算其余无定标DMSP/OLS 图像的辐射定标值,然后将其与NPP/VIIRS 数据进行线性拟合,利用线性回归方程将NPP/VIIRS 数据转换成DMSP/OLS 数据;Tu 等人[21]解决方案与Zheng 类似,他们首先对DMSP/OLS 数据预处理,去除噪声,并结合植被指数实现对DMSP/OLS 数据的饱和校正,将得到的2012 年、2013 年数据与同年NPP/VIIRS 数据建立拟合曲线,发现两种数据间具指数对应关系,后利用该数据转换关系将2000-2013 年DMSP/OLS 灯光数据转换成NPP/VIIRS 评价标准。Ma 等[13]与Zhao 等[14]都对NPP/VIIRS 数据进行了对数转化,然后与相应DMSP/OLS 数据绘制散点图,分别利用BiDoseResp(Biphasic Dose Response)和sigmoid 函数模型找出两种数据间的转换关系。Zhu 等[5]计算出中国2012-2013 年31 个省级行政区两卫星数据间各自的总夜间灯光亮度,分别通过线性、二项式及指数拟合模型得到两种数据间的转换关系。Li 等[15]利用DMSP/OLS 图像各级别像元在NPP/VIIRS 图像上对应的平均值取值,构建稳定的数据转换关系,实现两种数据间的相互转换。综上所述,作者认为在所有方法中,Li 所构建的两卫星数据转换关系最为稳定,实现过程更为简单有效,能够找出两种数据间一般普遍对应关系。本研究所采用的DMSP/OLS 与NPP/VIIRS 数据相互校正方法与Li 的方法原理相同。
通过本研究的校正方法能够得到连续且较准确的长时间序列夜间灯光图像,但在校正过程中仍存在着尚有可能对研究结果造成不确定影响的因素,主要有光晕效应。光晕效应是指光源像元散发的光在非光源像元处发生反射,使传感器错误将非光源像元也作为光源的现象,这将导致发光区域范围被高估,特别是水面和雪面光晕效应更加明显[18]。而在NPP/VIIRS 数据中,传感器的升级使光晕效应对其造成的影响可忽略不计[23]。因此相比DMSP/OLS 数据图像中的一团光,NPP/VIIRS 数据由于不受光晕效应的影响,能将灯火通明城市显示成一个精细的互联城市网络。若不对光晕效应进行处理,可能会对两种数据的连续性造成一定程度的影响。但处理光晕效应至今为止仍是一个相当棘手的问题。典型解决方案是使用低光阈值,过滤掉部分DN 值低的像元[24]。但对于确定不同地区的低光阈值的方法和利用阈值处理夜间灯光图像的具体方式仍有待进一步研究。
4 结论
研究以DMSP/OLS 与NPP/VIIRS 数据存在交叠的DMSP/OLS 2013 年数据为纽带,利用像元数值模拟法,实现了2013 年DMSP/OLS 数据对1992-2012 各年DMSP/OLS 数据的模拟。结果经验证,各年模拟数据与原始数据间有较强线性关系,各年数据线性拟合优度平均值和标准差为0.989±0.008,证明该方法能够完成DMSP/OLS 数据间的连续校正。研究利用DMSP/OLS 2013 年各级灯光数据与2013 年NPP/VIIRS 灯光数据相应空间位置平均值间的数值转换关系,实现2014-2018 各年NPP/VIIRS 数据向DMSP/OLS 数据的相互转换。研究所得1992-2018 年连续夜间灯光数据,经中国各级行政尺度GDP、EPC 相关性检验,证明灯光连续校正结果与各级社会经济数据高度吻合,所得灯光连续校正结果正确。研究所建立的灯光校正方法为DMSP/OLS 与NPP/VIIRS 灯光连续校正开辟了新的道路,所构建的方法也适用于全球灯光校正。