融合遥感与社会感知数据的城市土地利用分类方法

吴郁文，林杰*

融合遥感与社会感知数据的城市土地利用分类方法

吴郁文1，2，林杰1，2*

（1.浙江大学 地球科学学院，浙江 杭州 310027； 2.浙江大学 地理与空间信息研究所，浙江 杭州 310027）

传统的土地利用分类方法大多基于对资料或影像的人工解译，存在一定的局限性。近年来，结合空间大数据和自然语言处理技术进行低成本快速的土地资源管理已成为研究热点。以美国纽约市曼哈顿区为例，提出了融合遥感影像和社会感知数据的城市土地利用分类方法。从遥感影像中提取光谱特征、从推特数据中提取用户活动时空和主题特征，基于随机森林法和深度神经网络法，构建了细粒度的城市土地利用分类模型。通过对比不同特征组合分类方法的精度，得到结合光谱特征和用户活动时空、主题特征的深度神经网络方法的结果最优，总体精度达82.65%，Kappa系数为70.1%。结果表明，社会感知数据中隐含的用户活动时空模式和活动主题信息均有助于提高城市土地利用分类的精度，而神经网络法可有效融合多源数据，为快速、低成本获取城市土地利用信息提供了新的途径。

土地利用分类；遥感；社会感知；随机森林；深度神经网络

城市土地利用信息一定程度上反映社会的经济功能，细粒度的城市土地利用数据在城市土地规划、自然灾害监测、环境脆弱性评估等领域有重要应用［1］。传统的细粒度土地利用数据大多来自人工解译图像或实地考察，获取较耗时，不适合用于监测土地利用变化。随着遥感技术的快速发展，大量遥感影像精细提取后可作为城市土地利用信息［2］。然而，由于基于像元的遥感影像分类方法得到的结果在空间上不连续，不能很好地表征城市土地利用格局［3］。而且城市中相同类型的土地可能具有不同的物理性质（如顶棚覆盖材料不同的房屋），而不同类型的土地也可能呈现相同或相似的光谱特征（例如沥青道路和停车场），仅采用影像分类易造成误判。由于遥感影像只反映土地的物理信息，无法反映城市社会经济活动与土地利用类型的相互作用［4］。因此，仅使用遥感影像进行土地利用分类的方法难以适应种类多样、结构复杂的城市地块分类问题。

近年来，GPS设备的普及和基于位置的服务快速发展，产生了许多与位置相关的大数据。这些社会感知数据因能有效捕捉社会经济特征，可作为遥感数据的补充［5］。其中，社交媒体数据因包含了丰富的人群社会经济活动信息，常被辅助用于城市土地利用分类［6］。社交媒体推特（Twitter），因用户体量大、活跃度高，且数据开源，可免费实时获取，故用带有地理标记的推特数据进行低成本、高效的城市土地利用分类逐渐成为近年的研究热点。如JIANG等［7］比较了基于推特和基于谷歌社区手机定位2种方式挖掘得到的人群移动模式，发现二者的结果类似，说明可以从推特数据中提取人群活动时空信息进行土地利用分类。KOZLOWSKA等［8］按照预定义的关键词将推特划分为不同主题类别，观察用户在不同土地利用类型地块的活动主题属性差异。IRANMANESH等［9］用核密度估计法描绘推特在时间和语义（关键词标注）上的分布，与真实土地类型做相关分析后发现，结合推特的时空分布和语义特征有助于区分城市土地类型。尽管推特数据越来越多地被用于城市土地利用分类，但是大多研究只利用社交媒体数据的时空分布揭示人群的流动模式［10-12］，或利用关键词标签粗略划分推特语义信息［8-9］。而结合自然语言处理技术的土地利用分类研究大多基于POI语义特征［13-15］，或是对推特的位置预测［16］，得到的结果空间尺度较大，不能满足细粒度的城市土地利用分类的数据要求。

为填补上述相关工作的空缺，本文提出了融合遥感与社会感知数据的城市土地利用分类方法。如图1所示，该方法主要分三部分，分别为数据获取及预处理、特征提取与分析、分类结果与分析。虽然推特具有开源、易获取、体量大、用户活跃度高等优势，但其数据质量良莠不齐，需要设计专门的处理方案。受推特数据所限，研究难点有二：第一，因用户发布带有地理标记推特的喜好和习惯不同，导致数据中隐含的用户人群活动时空记录相对不完整，干扰时空特征的提取。有些用户非常频繁地发布带有地理标记的推特，有些用户发布的频率较低或很少附地理标记，使得经常发布带有地理标记推特的用户其访问过的地块所包含的推特数量较大，而其余地块包含的推特数量较少，即使是相同土地利用类型的地块，所包含的推特数量差异也很大。为排除这一干扰，本文基于用户连续发布的推特推断每个用户的移动轨迹，以此挖掘用户活动的时空特征。第二，推特内容具有主观性，难以提取其隐含的用户活动主题类型信息。推特文本由用户生成，不仅存在很多俚语、网络用语，而且包含的语义信息欠明确。已有研究尝试利用词向量技术对推特文本进行分类，但仍存在大量无法分类的文本，影响分类效果［17］。无法分类的文本，可能是包含了多个主题的交叉类别推特，也可能是不包含与用户活动类型相关信息的无效推特。对此，本文设计了一种从推特文本中提取用户活动主题类型信息的方法。用传统的主题概率模型Labeled-LDA代替复杂的词向量模型，用Foursquare评论文本作为Labeled-LDA模型的训练集，用Foursquare地点类型作为文本标签，这样既避免了人工标注推特文本带来的人为影响，也考虑了同一土地利用类型地块可能存在多主题类别推特的问题，并可根据推特的主题概率分布值方便地过滤无效推特，降低筛选工作量。

图1　城市土地利用分类框架

本文的主要贡献如下：

（1）将自然语言处理技术应用于城市土地利用分类研究，设计了一种从社交媒体文本中挖掘与土地利用类型相关的语义信息方法。以Foursquare评论文本为参照，训练Labeled-LDA监督模型，从推特文本中提取用户活动主题类型，并删除无效推特文本。该方法在数据集研究中取得了较好的效果，可推广至不同城市和社交媒体平台。

（2）提出了融合遥感与社会感知数据的城市土地利用分类方法。将从推特数据中提取的用户活动时空特征和主题特征相结合，用于城市土地利用分类。通过对比不同特征组合模型的精度，发现时空特征和主题特征均有助于提高城市土地利用分类精度。充分挖掘了社交媒体数据在城市土地利用分类中的应用潜力。

（3）方法在纽约市曼哈顿区的土地利用分类应用中，总体精度达82.65%，具有实际意义。对比了不同数据和特征的贡献重要度，量化分析了特征对区分各土地利用类型的作用；对比分析了随机森林模型和深度神经网络模型的分类结果。

1　数据获取及预处理

1.1　地块数据

地块数据来自纽约市开放数据网站，均为当地政府划定的规划功能一致的税收地块。经裁剪后得到曼哈顿区共42 808个地块，根据建筑物类别将所有地块划分为11个土地利用类型，分别为政府机关用地、商业服务用地、文化设施用地、商务办公用地、教育用地、工业仓储用地、医疗卫生用地、住宅用地、公园与绿地、交通运输用地和待建成地。对包含混合功能建筑类别的地块（如低层商铺高层住宅楼），用地块内POI主要类型定义其土地利用类型。

1.2　推特数据

本研究使用的推特数据由基于GESIS网站的纽约市所有带地理标记的推特ID收集得到。共收集了曼哈顿区713 767条带有地理坐标的推特，涉及95 836个用户。每条推特均含时间戳、地理坐标、文本内容及用户ID信息。为确保后续分析的正确性，对推特文本进行了预处理。

1.3Foursquare评论数据

用Foursquare场所API在曼哈顿区收集了65 686个场所信息和335 929条用户对场所的评论反馈，这些评论可体现被评论场所的功能属性。考虑Foursquare的原分类体系存在交叉和重复，根据其可能涉及的活动类型，将所有场所重新划分为20种类型，并对评论文本进行预处理。

2　方法

2.1　特征提取

2.1.1地块光谱特征提取

从美国地质勘探局网站下载了曼哈顿区2014年4月10日的Landsat-8遥感卫星影像，云覆盖率低于5%。对影像进行大气校正后，提取了该地块的4个归一化指数：归一化植被指数NDVI，土壤调节植被指数SAVI，归一化建筑物指数NDBI和归一化裸地指数NDBAI，计算式为：

2.1.2用户活动时空特征提取

城市人群在不同功能地块间的流动具有规律性。本文参考了FALCONE等［18］的研究方法，由同一用户连续发布的推特，挖掘用户访问地块的时空模式，计算了用户活动时空特征的6个指标，见表1。

表1　用户活动时空特征指标

2.1.3用户活动主题类型特征提取

用户发表的推特内容通常与用户当前正在进行的活动关联度很大［19］，而用户的活动类型与用户当前所在地块的功能属性密切相关，因此推特中潜在的用户活动类型信息可用于土地利用分类。推特和Foursquare平台具有相似性，Foursquare评论可作为推特文本的参照［20-21］。研究中使用的主题模型为Labeled-LDA，其是一种改进的LDA模型，通过将主题限定为已分配的训练文档的标签进行有监督的主题挖掘［22］。已有研究表明，Labeled-LDA模型适用于短且主题分布稀疏的文本［23-24］。

首先将所有的Foursquare评论文本按地点划分或合并为多个文档，每个地点对应一个文档，并用该地点类型作为文档标签。然后将文档集作为输入，训练Labeled-LDA模型，预测推特的主题概率分布。研究清理了主题概率分布值小于0.1的推特，以排除不包含用户活动类型信息的无效推特的干扰，计算每个地块所属推特的主题概率均值，将其作为该地块的用户活动主题特征。为避免分类时变量的共线性对模型的影响，删除了其中一个主题变量。

2.2分类模型

随机森林法，由多个学习器结合完成任务，即使其中一个学习器的结果错误，其他学习器也可能将其纠正，具有较高的精确度；此外，对原始数据集进行有放回的随机采样，既增加了基学习器的多样性，也避免了模型过拟合，具有较高的稳定性。同时，方法的计算开销较小，可解释性强，能评估变量的重要性。

图2　BP神经网络模型结构

Fig.2　Architecture of back propagation neural network

2.3　精度评估

通过分层抽样方法将地块数据集划分为两部分，将80%的地块样本作为训练集，另20%作为测试集。由3种特征组合和2种分类方法，共构建了6个模型，用测试集的分类混淆矩阵评价模型分类精度，评价指标包括用户精度、生产者精度、值、总体精度和Kappa系数。

3　结果与分析

3.1　分类方法比较

图3展示了6个模型分类结果中各类型地块的用户精度和生产者精度。其中，特征组合Ⅰ仅使用了光谱特征，特征组合Ⅱ使用了光谱特征和用户活动时空特征，特征组合Ⅲ使用了光谱特征、用户活动时空特征和用户活动主题特征。3个随机森林模型均经过网格搜索进行参数调优，深度神经网络中也加入了L2正则惩罚，为避免过拟合，设定学习率为0.001。从总体精度看，基于BP神经网络的3种特征组合总体精度分别为61.89%，75.56%和82.65%，基于随机森林的3种特征组合总体精度分别为58.59%，75.32%和81.55%，BP神经网络的总体精度相对较高，2种方法的总体精度较接近，均能较好地区分土地利用类型。随机森林方法是比较成熟的集成模型，稳定性好、精度较高、运行速度快。深度神经网络模型相较传统逻辑演算机器学习模型的优势是，对数据分布没有任何限制，可以很好地捕捉特征与城市土地利用类型之间的复杂非线性关系，但随着隐藏层数量的增加，计算时间复杂度增加。由于BP神经网络模型的分类精度更高，所以后续在进行不同特征组合对比和特征重要度计算时均采用BP神经网络模型的分类结果。

图3　不同特征组合和分类方法的分类精度比较

3.2　特征组合比较

基于BP神经网络的特征组合Ⅰ模型分类结果的总体精度为61.89%，Kappa系数为29.30%。表2为该模型的分类结果混淆矩阵。在所有土地利用类型中，住宅的分类精度最高，其次是待建成地和公园绿地。被误分类为住宅的地块数量最多，政府机关用地、文化设施用地、商务办公用地、商业服务用地、教育用地、工业仓储用地、医疗卫生用地和交通运输用地中有一半以上被误分为住宅。被误分为商业服务地块的数量位居第二。这说明由遥感影像提取的归一化植被、建筑物和裸地指数对区分绿地和待建成地效果明显，但对其他功能地块的区分能力较弱。

表2　仅用光谱特征作为输入向量的分类结果混淆矩阵

表3　用光谱特征和用户活动时空特征作为输入向量的分类结果混淆矩阵

注*表示该特征组合的准确度在显著性水平为0.05、自由度为1时的卡方检验较表2有明显提升。

基于BP神经网络的特征组合Ⅱ模型分类结果的总体精度为75.56%，Kappa系数58.06%。表3为该模型的分类结果混淆矩阵。将特征组合Ⅱ结果与特征组合I结果进行配对卡方检验，结果显示，增加了用户活动时空特征后，住宅用地、商务办公用地、商业服务用地的分类精度显著提高。政府机关用地、文化设施用地、公园与绿地的分类精度也有一定提升，说明这些场所的人群流动规律特征比较明显。相对地，工业仓储用地、医疗卫生用地、教育用地、交通运输用地的分类精度改善不大，待建成地的分类精度有所下降。图4（a）显示的为推特用户数在不同类型地块之间的差异，可以看出，公园与绿地、商业服务用地和文化设施用地的用户数较其他地块类型多，教育用地、医疗卫生用地和工业仓储用地3种类型之间的差距不大。图4（b）显示的为推特用户周末停留时长比例在不同类型地块之间的差异，可知，公园与绿地和商业服务用地的用户周末停留比例较其他地块类型高，商务办公用地的用户周末停留比例较其他地块类型低，其他类型地块之间的差距都不大。根据用户活动时空特征，社交媒体数据中体现人群数量的特征（如推特用户总量）可用于区分商业用地、公园与绿地和文化设施用地这些休闲娱乐场所，而社交媒体数据中体现人群流动模式的特征（如推特用户周末时段停留比例）可用于区分商务办公用地。将这两类特征结合可更好地进行城市土地利用分类。但从社交媒体数据中提取的这两类特征均不能很好地区分其他非娱乐或办公性质的功能地块，如教育用地、医疗卫生用地、工业仓储用地。原因是用户经常访问这些日常生活、办公和休闲娱乐场所，如文化设施用地、商业服务用地、商务办公用地、住宅用地、公园与绿地、政府机关用地和教育用地，所以这些地块包含带有地理标记的推特数量更多，研究提取的人群活动时空特征更具代表性。而用户访问工业仓储用地、医疗卫生用地、交通运输用地和待建成地的概率较小，导致所提取的用户活动时空特征噪声较大，影响模型的分类效果。

图4　典型用户活动时空特征在各土地利用类型上的分布

基于BP神经网络的特征组合Ⅲ模型分类结果的总体精度为82.65%，Kappa系数为70.1%。表4为该模型的分类结果混淆矩阵。增加了用户活动主题特征后，所有类型地块的分类精度均有所提高。其中，住宅用地的分类精度最高，1指数达87.1%；其次是公园与绿地和文化设施用地，1指数分别为86.71%和85.71%；商务办公用地和商业服务用地的1指数接近，分别为79.86%和79.01%；政府机关用地、教育用地、工业仓储用地、医疗卫生用地、交通运输用地和待建成地的分类精度均很高，达到90%以上，有许多被误分为住宅和商业服务用地。与特征组合Ⅱ的分类结果做配对卡方检验，发现政府机关用地、文化设施用地、教育用地、交通运输用地和医疗卫生用地的分类精度均有显著提高，说明这些地块包含的推特文本主题类型与地块功能类型匹配度高。观察推特文本数据集后发现，某些政府机构会发布一些政务新闻或实时道路信息，医疗卫生机构和私人诊所也会发布健康宣传专栏，大学的社团或学生组织会发布校园活动信息，博物馆和美术馆会发布展览预告，这些信息均含明显的主题指向，因此推特文本的主题属性可帮助判断地块的功能类型。

表4　用光谱和用户活动时空、主题特征作为输入向量的分类结果混淆矩阵

注*表示该特征组合的准确度在显著性水平为0.05、自由度为1时的卡方检验较表3有明显提升。

3.3　分类结果的局部区域比较

除对分类结果进行整体评估外，本文还比较了局部区域的真实值和预测值，以深入分析分类模型的性能。选取曼哈顿区中城和上东2个典型区域，分类结果如图5所示。总体而言，特征组合的局部分类性能与基于全局指标的分类性能一致。

中城是曼哈顿区的中心，是世界上最大的中央商务区，也是全美最大的商业、娱乐、媒体中心和不断发展的金融中心。中城有一些著名的建筑，如帝国大厦、克莱斯勒大厦、联合国总部、中央车站和洛克菲勒中心以及百老汇和时代广场等旅游景点。从真实的土地利用分布图中可以看出，中城（图5（a）大圈区域）主要是商业服务和商务办公用地，夹杂一些住宅、文化设施用地、交通运输用地和政府机关用地。基于特征组合Ⅰ的模型（图5（b）大圈区域）误将大部分商业服务和商务办公用地划分为住宅用地，而且未能区分文化设施用地、交通运输用地和政府机关用地。基于特征组合Ⅱ的模型（图5（c）大圈区域）因为添加了推特的时空分布特征，并将其作为输入向量，在对上述类型区分上比基于特征组合Ⅰ的模型好。大部分商业服务用地和商务办公用地能被正确分类，但是不能准确区分文化设施用地，交通运输用地和政府机关用地在此特征组合的分类结果中仍然缺失。基于特征组合Ⅲ的模型（图5（d）大圈区域）表现最好，所有土地利用类型有相当比例的地块被正确分类，包括住宅用地、商业服务用地、医疗卫生用地、政府机关用地、工业仓储用地和教育用地。

图5　不同特征组合的分类结果局部分析

上东（图5（a）小圈区域）左靠中央公园，有适合散步的公园大道和豪华的战前建筑物，右毗邻依斯特河，有优美的水景，是著名的富人区，配备了许多学校和医院。中央公园前第五大道周边有许多博物馆。麦迪逊大道是高级商业街，两侧有许多时装店、精品店、豪华酒店。因此，上东的土地利用类型主要为住宅，穿插一些商务办公用地、文化设施用地、教育用地、商业服务用地和交通运输用地。在基于特征组合Ⅰ的模型（图5（b）小圈区域）中，大部分住宅用地都被正确分类，部分住宅用地被误分为商务办公用地，有1个教育用地和1个政府机关用地被正确分类，有近一半的商业服务用地被误分。在基于特征组合Ⅱ的模型（图5（c）小圈区域）中，几乎所有地块都被划分为住宅和商业服务用地，教育用地、医疗卫生用地和政府机关用地类型缺失。基于特征组合Ⅲ的模型（图5（d）小圈区域）得到的土地利用空间分布最接近于真实情况，大部分地块都被正确分类了。

3.4　特征重要性分析

为进一步验证地理标记推特数据在城市土地利用分类研究中的可用性，基于BP神经网络模型计算了各特征对分类模型的贡献度。虽然随机森林法的可解释性很强，可通过计算基尼不纯度得到各变量的重要度，但得到的特征重要度偏向于跨度大的数值特征或基数高的类别特征，因为这些变量可用于分割数据的中间节点较多［30］，只能作为相对参考值。本文采用排列特征重要度方法确定各变量的重要度［31］。通过打乱各输入对象某一特征值的顺序，令计算模型精度下降，精度下降越多，说明该特征对分类的贡献度越大。

图6为每个特征的贡献度，纵轴表示打乱特征顺序后模型的平均精度下降值，不同颜色代表不同的特征类型。图7为各特征对土地利用类型的分类重要度热力图，重要度已按行（即各土地利用类型）进行了数据归一化。从整体上看，重要度最高的是地块的光谱特征，其次是推特数据隐含的用户活动时空特征和主题特征。光谱特征中的NDVI均值和SAVI均值的重要度很高，特别是关于商务办公用地、公园与绿地、工业仓储用地和待建成地的分类。NDBI对住宅用地、商务办公用地和待建成地的分类重要度也较高。NDBAI对公园与绿地和待建成地的分类重要度较高。在社会感知数据提取的特征中，与住宅相关的主题特征在分类中的贡献度最大，其次是与写字楼、餐馆和酒吧相关的主题信息。从图7中可以看出，这些主题特征关于住宅用地、商业服务用地和商务办公用地的重要度较高。其余的主题特征在识别与其相关的土地利用类型时也表现出较高的重要度。但是娱乐场所、运动场馆和旅馆这3个相关主题的重要度较低，说明在这3种类型场所发布的推特主题复杂程度较高。在时空特征方面，用户总数和周末停留时长比例这2个特征起重要作用，它们对区分文化设施用地、商业服务用地、商务办公用地和待建成地有重要作用。访问熵特征对区分住宅用地有重要作用。而用户日均停留时长和夜间周末停留比例这2个变量的贡献较其他变量小，可能原因是部分用户发布推特时未附地理坐标，导致数据不完整，不能很好地体现以日为单位的人群流动规律。但是当以周末或更大时间尺度为单位时，部分数据的缺失对观察人群流动模式的影响将减小。

图6　特征重要度比较

图7　在土地利用分类中特征的重要度比较

4　结论

基于开源数据，提出了融合遥感影像和社会感知数据的低成本高效城市土地利用分类方法。以纽约市曼哈顿区为例，从遥感影像中提取地块的光谱特征，从推特数据分布中提取人群社会经济活动的时空特征，从推特文本内容中提取用户活动的主题类型。分别用随机森林和BP神经网络2种分类方法，构建并比较了6个城市土地利用分类模型。其中，仅考虑光谱特征的分类，混淆程度最高，随机森林法和BP神经网络法的总体精度分别为58.59%和61.89%。加入人群活动的时空分布特征后，总体精度分别提高至75.32%和75.56%。再加入用户活动主题特征后，总体精度分别可达81.55%和82.65%。结果表明，社会感知数据可辅助用于城市土地利用分类。其中，社交媒体数据中隐含的用户活动时空特征可显著提高住宅用地、商务办公用地、商业服务用地和文化设施用地的分类精度，社交媒体文本中隐含的用户活动主题特征对区分政府机关用地、教育用地、交通运输用地和医疗卫生用地有一定帮助。随机森林法和BP神经网络法在本研究区域均能较好地融合不同数据特征进行城市土地利用分类，BP神经网络法的分类精度略高，随机森林法的时间复杂度低且模型的可解释性强。同时，还进一步对比了不同特征组合模型的分类效果变化情况，用于量化特征的重要度，所得结论可为其他类似城市的土地利用分类研究做参考。

本文创新性地将自然语言处理技术中的主题概率模型迁移至城市土地利用分类中，设计了一种从推特文本中提取与城市土地利用类型相关的语义信息方法。将与推特文本相似的Foursquare评论文本作为推文的参照，用监督主题模型Labeled-LDA从发布的推特文本中提取用户正在进行的活动类型信息。实验结果表明，该方法考虑了相同类型地块可能存在多种主题类别的推特，删除了不能体现地块功能类型的无关推特，有效地提取了推特文本中与用户活动类型相关的主题信息。

城市建筑通常具有混合社会经济功能，本研究虽然对研究区域政府提供的税收地块进行了细致分割，但仍存在一些混合功能类型的建筑物。未来可结合其他高精度室内定位数据做进一步研究，或者为建筑物分配多个类型标签，构建分类模型。另外，本文不涉及社交媒体的用户属性信息，如用户网络拓扑结构和用户标签，该类特征对城市土地利用类型分类精度的影响尚待进一步研究。

［1］ 王协，章孝灿，苏程. 基于多尺度学习与深度卷积神经网络的遥感图像土地利用分类［J］. 浙江大学学报（理学版）， 2020， 47（6）： 715-723. DOI：10.3785/j.issn.1008-9497.2020.06.009

WANG X， ZHANG X C， SU C， et al. Land use classification of remote sensing images based on multi-scale learning and deep convolution neural network［J］. Journal of Zhejiang University （Science Edition）， 2020， 47（6）： 715-723. DOI：10.3785/j.issn.1008-9497.2020.06.009

［2］ 周珂，杨永清，张俨娜，等. 光学遥感影像土地利用分类方法综述［J］. 科学技术与工程， 2021， 21（32）： 13603-13613. DOI：10.3969/j.issn.1671-1815.2021. 32.001

ZHOU K， YANG Y Q， ZHANG Y N， et al. Review of land use classification methods based on optical remote sensing images［J］. Science Technology and Engineering， 2021， 21（32）： 13603-13613. DOI：10. 3969/j.issn.1671-1815.2021.32.001

［3］ JOZDANI S E， JOHNSON B A， CHEN D. Comparing deep neural networks， ensemble classifiers， and support vector machine algorithms for object-based urban land use/land cover classification［J］. Remote Sensing， 2019， 11（14）： 1713. DOI：10.3390/rs11141713

［4］ LI X T， HU T Y， GONG P， et al. Mapping essential urban land use categories in Beijing with a fast area of interest （AOI）-based method［J］. Remote Sensing， 2021， 13（3）： 477. DOI：10.3390/rs13030477

［5］ LIU Y， LIU X， GAO S， et al. Social sensing： A new approach to understanding our socioeconomic environments［J］. Annals of the Association of American Geographers， 2015， 105（3）： 512-530. DOI：10.1080/00045608.2015.1018773

［6］ 陈子龙，王芳，李少英，等. 基于多源数据的县域主导功能类型划分及其空间结构模式识别［J］. 地球信息科学学报， 2021， 23（12）： 2215-2231.

CHEN Z L， WANG F， LI S Y， et al. Classification of county leading function types and pattern recognition of its spatial structure based on multi-source data［J］. Journal of Geo-Information Science， 2021， 23（12）： 2215-2231.

［7］ JIANG Y Q， HUANG X， LI Z L. Spatiotemporal patterns of human mobility and its association with land use types during COVID-19 in New York city［J］. ISPRS International Journal of Geo-Information， 2021， 10（5）： 344. DOI：10.3390/ijgi10050344

［8］ KOZLOWSKA A， STEINNOCHER K. Urban activity detection using geo-located Twitter data［J］. GI_Forum， 2020， 2020（8）： 15-31.

［9］ IRANMANESH A， CÖMERT N Z， HOŞKARA Ş Ö. Reading urban land use through spatio-temporal and content analysis of geotagged Twitter data［J］. GeoJournal， 2021： 1-18. DOI：10.1553/giscience2020_01_s15

［10］王润泽，周鹏，潘悦，等. 基于大数据的城市功能区人口时空聚散模式研究［J］. 地理与地理信息科学， 2022， 38（1）： 45-50. DOI：10.3969/j.issn.1672-0504. 2022.01.007

WANG R Z， ZHOU P， PAN Y， et al. Study on spatiotemporal aggregation and dispersion patterns of population in different urban functional areas based on big data［J］. Geography and Geo-Information Science， 2022， 38（1）： 45-50. DOI：10.3969/j.issn. 1672-0504.2022.01.007

［11］YIN J J， CHI G Q. Characterizing people's daily activity patterns in the urban environment： A mobility network approach with geographic context-aware twitter data［J］. Annals of the American Association of Geographers， 2021， 111（7）： 1967-1987. DOI：10.1080/24694452.2020.1867498

［12］CHEN B， XU B， GONG P. Mapping essential urban land use categories （EULUC） using geospatial big data：Progress， challenges， and opportunities［J］. Big Earth Data， 2021， 5（3）： 410-441. DOI：10.1080/24694452.2020.1867498

［13］ZHAI W， BAI X Y， SHI Y， et al. Beyond word2vec： An approach for urban functional region extraction and identification by combining place2vec and POIs［J］. Computers， Environment and Urban Systems， 2019， 74： 1-12. DOI：10.1016/j.compenvurbsys.2018.11.008

［14］ANDRADE R， ALVES A， BENTO C. POI mining for land use classification： A case study［J］. ISPRS International Journal of Geo-Information， 2020， 9（9）： 493.

［15］吴琳琳，李晓燕，毛德华，等. 基于遥感和多源地理数据的城市土地利用分类［J］. 自然资源遥感， 2022， 34（1）： 127-134. DOI：10.6046/zrzyyg.2021061

WU L L， LI X Y， MAO D H， et al. Urban land use classification based on remote sensing and multi-source geographic data［J］. Remote Sensing for Natural Resources， 2022， 34（1）： 127-134. DOI：10. 6046/zrzyyg.2021061

［16］TIAN H C， ZHANG M， LUO X Y， et al. Twitter user location inference based on representation learning and label propagation［C］// Proceedings of the Web Conference 2020. New York： Association for Computing Machinery， 2020： 2648-2654. DOI：10. 1145/3366423.3380019

［17］HÄBERLE M， WERNER M， ZHU X X. Geo-spatial text-mining from Twitter： A feature space analysis with a view toward building classification in urban regions［J］. European Journal of Remote Sensing， 2019， 52（supp2）： 2-11. DOI：10.1080/22797254.2019.1586451

［18］FALCONE D， MASCOLO C， COMITO C， et al. What is this place？ Inferring place categories through user patterns identification in geo-tagged tweets［C］// 6th International Conference on Mobile Computing， Applications and Services. Austin： IEEE， 2014： 10-19. DOI：10.4108/icst.mobicase. 2014.257683

［19］CUI R H， AGRAWAL G， RAMNATH R. Tweets can tell： Activity recognition using hybrid long short-term memory model［C］// Proceedings of the 2019 IEEE/ACM International Conference on Advances in Social Networks Analysis and Mining. Vancouver： Association for Computing Machinery， 2019： 164-167.

［20］LEE K， GANTI R K， SRIVATSA M， et al. When twitter meets foursquare： Tweet location prediction using foursquare［C］// Proceedings of the 11th International Conference on Mobile and Ubiquitous Systems： Computing， Networking and Services. London： ICST， 2014： 198-207.

［21］HALIMI A， AYDAY E. Profile matching across online social networks［C］// International Conference on Information and Communications Security. Copenhagen： Springer， 2020： 54-70.

［22］RAMAGE D， HALL D， NALLAPATI R， et al. Labeled LDA： A supervised topic model for credit attribution in multi-labeled corpora［C］// Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing. Singapore： Association for Computational linguistics， 2009： 248-256. DOI：10.5555/1699510.1699543

［23］王瑞，龙华，邵玉斌，等. 基于Labeled-LDA模型的文本特征提取方法［J］. 电子测量技术， 2020， 43（1）： 141-146. DOI：10.19651/j.cnki.emt.1903246

WANG R， LONG H， SHAO Y B， et al. Text feature extract method based on Labeled-LDA mode［J］. Electronic Measurement Technology， 2020， 43（1）：141-146. DOI：10.19651/j.cnki.emt.1903246

［24］QUERCIA D， ASKHAM H， CROWCROFT J. TweetLDA： Supervised topic classification and link prediction in twitter［C］// Proceedings of the 4th Annual ACM Web Science Conference. 2012： 247-250. DOI：10.1145/2380718.2380750

［25］朱晓霞，宁晓刚，王浩，等. 高精度地表覆盖数据优化分割的土地利用分类［J］. 测绘科学， 2021， 46（6）： 140-149.

ZHU X X， NING X G， WANG G， et al. Land use classification for optimization segmentation based on high-precision land cover data［J］. Science of Surveying and Mapping， 2021， 46（6）： 140-149.

［26］李敏，刘国栋，谭凌. 基于随机森林的土地利用分类与景观格局分析［J］. 地理空间信息， 2022， 20（2）： 51-56. DOI：10.3969/j.issn.1672-4623.2022.02.010

LI M， LIU G D， TAN L. Land use classification and landscape pattern analysis based on random forest method［J］. Geospatial Information， 2022， 20（2）： 51-56. DOI：10.3969/j.issn.1672-4623. 2022.02.010

［27］段宇英，汤军，刘远刚，等. 基于随机森林的山西省柳林县黄土滑坡空间敏感性评价［J］. 地理科学， 2022， 42（2）： 343-351.

DUAN Y Y， TANG J， LIU Y G， et al. Spatial sensitivity evaluation of loess landslide in Liulin county， Shanxi based on random forest［J］. Scientia Geographica Sinica， 2022， 42（2）： 343-351.

［28］靖娟利，刘兵，徐勇，等. 基于多特征融合的反向传播神经网络高分影像分类与变化检测［J］. 科学技术与工程， 2021， 21（36）： 15378-15385.

JING J L， LIU B， XU Y， et al. High-resolution remote sensing image classification and change detection based on back propagation neural network with multi-feature fusion［J］. Science Technology and Engineering， 2021， 21（36）： 15378-15385.

［29］张贝娜，冯震华，张丰，等. 基于时空多视图BP神经网络的城市空气质量数据补全方法研究［J］. 浙江大学学报（理学版）， 2019， 46（6）： 737-744. DOI：10. 3785/j.issn.1008-9497.2019.06.016

ZHANG B N， FENG Z H， ZHANG F， et al. Urban air quality data completion method based on spatio-temporal multi-view BP neural network［J］. Journal of Zhejiang University （Science Edition）， 2019， 46（6）： 737-744. DOI：10.3785/j.issn.1008-9497. 2019.06.016

［30］SANDRI M， ZUCCOLOTTO P. A bias correction algorithm for the Gini variable importance measure in classification trees［J］. Journal of Computational and Graphical Statistics， 2008， 17（3）： 611-628. DOI：10.1198/106186008X344522

［31］ALTMANN A， TOLOŞI L， SANDER O， et al. Permutation importance： A corrected feature importance measure［J］. Bioinformatics， 2010， 26（10）： 1340-1347. DOI：10.1093/bioinformatics/btq134

Integrating remotely sensed and social sensed data for urban land use classification

WU Yuwen1,2, LIN Jie1,2

（1，，310027，；2，310027，）

Traditional land use classification methods are mostly based on labor-intensive interpretation of image, which have certain limitations. In recent years, integrating big data and natural language processing technology to carry out low-cost and rapid land resource management has become a hot issue. Take Manhattan as an example, this paper studies the urban land use classification based on remotely sensed and social sensed data. The spectral features of remotely sensed image, the spatiotemporal pattern of twitter user trajectory and the latent topics of tweet content related to user activity are extracted. Two common classification methods, random forest and deep neural network, are applied to construct urban land use classification models. The highest accuracy is obtained by deep neural network method based on remotely sensed and social sensed data, with overall accuracy at 82.65%, and Kappa at 70.1%. The results show that both spatiotemporal and textual features extracted from social sensed data are of great importance in urban land use classification. And deep neural network can integrate information from multi-source data, which provides a potential way for effectively classifying urban land use with open-source data.

land use classification; remotely sensed; social sensed; random forest; deep neural network

P 237

A

1008⁃9497（2023）01⁃083⁃13

2021⁃12⁃08.

国家自然科学基金资助项目（41501423）.

吴郁文（1996—），ORCID：https：//orcid.org/0000-0002-8726-6287，女，硕士，主要从事时空地理数据分析与建模研究.

通信作者，ORCID：https：//orcid.org/0000-0003-4106-7474，E-mail：jielin@zju.edu.cn.