基于街景图像的城市街道绿视率计量方法比较分析

刘晓天 ，孙 冰，廖 超，金佳莉，施招婉，范黎明，唐艺家，何继红，何卫忠，杨 龙，孙 倩，裴男才*

（1.中国林业科学研究院 热带林业研究所，广东 广州 510520；2.南京林业大学 风景园林学院，江苏 南京 210037；3.中国林业科学研究院林业研究所，北京 100091；4.广东省九连山林场，广东河源 517100；5.广州地理研究所，广东广州 510070；6.澳大利亚墨尔本皇家理工大学科学院地理空间科学系，维多利亚州墨尔本市VIC 3001）

【研究意义】当代的城市居民不仅注重于基本的物质生活条件，对于精神生活的满足也同样关注。经济持续稳定发展，城市化日益加剧，大量外来居民涌入城市，使得城市人口急剧增加，城市环境面临巨大的挑战；城市环境是指影响城市人类活动的各种自然的或人工的外部条件[1]，城市绿色基础设施作为城市生态环境的重要组成部分，一直被认为是净化空气污染，降低污染源的重要手段和途径，对于提高城市环境质量，确保城市生态可持续发展具有重要作用。【前人研究进展】城市林业是自然资源管理和城市景观配置相结合的应用科学，不仅需要跨学科综合研究，还需要进一步对新技术进行应用[2]，并同时建立多种比较评估模型[3]。通过遥感提取的城市二维图像在衡量城市绿化水平方面无法搜集多维度绿化空间分布信息，而街景图像能弥补这种不足，提供细粒度更好的绿量信息图像[4-5]。城市街道作为城市人口最为密集，城市活动最集中的区域，为研究城市自然环境提供了最直接的样本采取点。据统计，世界上长寿地区的“绿视率”均在15%以上，绿色在人的视野中的比例达到25%时，人感觉最为舒适，表明绿视率与人的寿命健康是密切相关的。因此，城市街道绿视率对于城市绿化评价具有一定代表性。绿视率（visible green index）由日本学者青木阳二于1987年首次提出，现已成为日本政府认定的常规绿化评价指标，是基于人眼可视范围内的绿色植物面积所统计出的绿化数据。绿视率[6-7]更加贴近于主观判断。由于人在环境中所接收到的信息90%来源于视觉[8]，“可感知的绿色城市”远远比“指标上的绿色城市”重要[9]，因而利用绿视率计算评价能够让城市居民更直观了解城市绿化建设水平，通过深度学习技术对谷歌街景图像的绿视率进行提取并分析其与城市居民步行行为的相关性，能够更直观感受到城市绿化效果。

【本研究切入点】依托于绿视率的计量评价[10]，结合深度学习技术可以有效的推断出城市绿化建设中的缺陷和不足，并及时向政府机关和社会机构提出建议，整改完善问题区域，更好的为市民出行提供服务[11]。伴随着人们所处理数据量的扩大以及物联网技术的蓬勃发展，数据采集与处理变得更加方便快捷。街景在城市研究中的应用越来越广泛，基于城市街景数据对城市内部绿化环境进行多方面的研究也越来越多[12]。传统的环境评价和绿视率图片的获取与分析采用现场调研和人工处理的方法，调查者以24 mm 人像镜头来模拟人眼，利用定点拍摄的方法来获取绿化照片；该方法往往需要耗费大量的人力、物力，且所费时间过于冗长，难以在大尺度、大范围上进行精确地评估。数字化、物联网技术的发展为大空间尺度上的研究提供了便利。街景图像具有覆盖面广、图像清晰、数据准确等优点，使人能够快速准确的浏览街道级的自然景观；地图开发商提供公共的API开发接口，使开发者能够免费下载和调用街景静态图片，可在短时间内获得大量图片数据。街景静态图直观的反映了城市的立面信息，有效的避免了现场采集的繁琐和安全隐患。在谷歌地图覆盖的区域，一般采用谷歌街景来获取图片，如李小江使用谷歌街景图片用于评估街道级城市绿地的空间分布[13]。而国内城市谷歌街景没有覆盖，更多采用百度地图和腾讯地图[14]来获取，百度地图的街景图像已经覆盖全国九成以上的城市建成区，开发者通过百度地图提供的AK 密钥，可以准确定位观测点坐标，通过筛选季节段、定义俯仰角来满足自己的研究需求，这些优点使街景图像成为城市环境评价中重要的新数据源。与西部地区相比，东南部地区城市经济发展迅速且拥有天然的区位优势，该地区城市建成区面积更大、基础设施更完善、街景信息也更全面。【拟解决的关键问题】由于数据量剧增，研究者处理及分析数据的工作量也显著增加，而自动化和人工智能的发展则能够有效的解决这个问题。对于计算绿视率时街景图像的处理，传统的网格划分、手动覆盖方法对于数以万计的图片信息来说费时甚巨。利用卷积神经网络（convolutional neural networks）的前馈神经网络（feedforward neural networks，是深度学习的代表算法之一）使图像自动依据语块进行语义分割，则更加直接有效；利用算法模型自动区分色素斑块，使得绿视率的计算更加方便快捷。城市森林作为城市生态环境的主体，也是城市绿视率的主要组成部分，在生态安全保障、生态文化传播、生态经济促进等方面均具有重要作用，在生态尺度方面，随着城市连片发展，加强了污染的程度和范围[15]，政府已经把建设森林城市群上升为国家战略，单个森林城市解决不了的问题需要更加宏观的去看，势必会加大数据的处理范围[16]。机器学习[17]具有强大的数据处理能力，通过构造多种模型可大大提高绿视率计算的速度和准确度，在数据量急剧膨胀的今天，个人所具有的数据处理能力微不可及，利用机器学习及神经网络模型自动的处理数据将是未来的发展趋势。

1 研究现状

1.1 研究主题分析

基于国内文献现有研究案例的搜索，本文将研究主题分为3类：街景、绿视率、街景+绿视率；基于国外文献现有研究案例的搜索，将研究主题也分为3 类：街景、图像拼接、绿视率。图1、2 中横坐标代表发表文献主题中所包含的关键词，纵坐标代表这些文献的数量。可以从图1 中得知，知网收录的关于绿视率的文献仅有154 篇，于2010 年之后发表的占大多数，有95 篇；包含街景主题信息的文献有1 268 篇，2010年后发表的有915篇，近年来街景图像的应用逐渐增多，包含街景与绿视率两项主题信息的文献仅有13篇，均为2010年后发表。图2中由谷歌学术搜索得到的文献数据并没有区分文献的类型及语言，并且谷歌学术资源庞大，文献难免有一定的重复性。对比来看，由于国外科技发展水平较高及绿化较完善，对于街景图像的使用亦较为广泛，主要集中于数字信息化和城市规划领域。我国对于街景及绿视率的研究在2010年后得到发展，而欧美、澳洲以及日本在2010年之前已经大规模应用。在城市规划领域，国外应用计算机技术将街景图像进行语义分割，对街景图像分割的使用占据街景使用的一半以上。如何结合街景图像、遥感影像以及人类行为大数据对中国城市绿化设施进行建设和维护具有重要的研究价值。

图1 中文文献关于“街景图像”数量统计（数据来源：中国知网）Fig.1 Statistics of published Chinese literature on street scene image（data source：CNKI）

1.2 研究方法

绿视率信息的获取与计算，分为观测点的选择、数据获取和数据的处理分析3个部分。

1.2.1 观测点选择 对于观测点的选择，可以选用系统抽样法、分层抽样法以及GIS软件坐标定位抽样。系统抽样法将调查区域看作一个整体，按照限定条件进行均衡划分，具有普遍性和客观性；分层抽样法，具有代表性和针对性；但因为具有主观性会造成人为误差[18]。GIS 软件功能强大，利用Python 对ArcGis进行二次开发，实现空间均衡采样，能够有效的减少封闭空间的自相关，提高采样精度和效率[19]，可以通过随机森林算法获得无偏估计的内部生成误差。对于调查时间的选择也十分重要，绿视率是一个动态变化的参数，城市居民活动、绿地建设规划、植物生长周期等，都会对调查结果产生巨大影响[20]，调查时间应选择植物生长状况良好的时间段，北方一般选择在夏季植物生长茂盛的时间，而南方地区，可根据研究需要选取调研时间。

1.2.2 数据获取 街景图像的采集方法主要有两种，一种是通过相机镜头（24 mm）模拟人眼视角，人工的采集观测点样本图片（也可以应用无人机等设备辅助采集），但有时限于人力，采集的观测点数量少，耗费的时间多；随着街景地图的广泛覆盖，三维街景数据由于其高定位精度、纹理可视化强、可测量等特点，易于结合激光扫描技术、倾斜摄影技术[21]，能够呈现街道景观的真实形态（图2），促使人们产生对城市环境的直观感知，结合了众包评级和公众评分过程的街景地图从而得到广泛使用[22-23]。利用地图开发商提供的开发者平台服务，使得数据的获取更方便、快捷，能够处理的数据量更大[24]；根据实验要求可以划定范围，选取范围内的观测点作为样本并且可以筛选出具有时光机功能的街景地图点[25]。

图3 日本京都一角街景4面图（数据来源：谷歌地图）Fig.3 The four-sided view of Kyoto′s corner street view in Japan（data source：Google Maps）

1.2.3 数据处理与分析 在街景地图所提供的时间戳（timestamp）的协助下，可对季节照片做筛选和替换，在处理街景静态图片时，剑桥大学学者提出基于SegNet 分割模型将输入图像进行像素级的分类，并且能保留形状很小的物体信息[26-27]。卷积神经网络工具SegNet（其源代码可在Github 上找到）将像素点识别为绿化、天空、建筑等要素类型，应用基于角度距离的中间性（Angular Betweenness）作为道路网络可达性的度量值，并对比了街景图像人本视角和遥感图像超人视角的相关性[28]；通过将街景全景图片转化为方位角鱼眼图像的数字图像处理技术[29]，应用Hugin 提取城市林地郁闭度，并结合半球图像天顶角和方位角来表示天空方向，从而补充了城市绿视率研究中仰视视角的调查计算方法，增强了绿视率评估的完整性[30]；利用天空开阔度和卷积神经网络模型的林地研究将有利于完善天空绿视率的几何量化分析。利用金字塔解析网络（PSPNet），经过在ADE20K 数据的集中的训练[31]，可实现对街景静态图片和全景视图的分割；动态阈值标记分水岭分割算法进行街景图像分割，对关键特征的量化组合可以有效提升分类精度[32]；利用视觉指数（GVI）对街道绿地进行分析[33]，以不同角度的6 张图片（可以是4 张或者8 张，甚至12 张，可自定义），进行水平方向的街景影像全覆盖[34]。传统的软件（Photoshop 等）对图片像素点的提取无法与算法模型相比拟，通过训练卷积神经网络模型自动识别像素点，能够迅速、精确地对大量图片进行语义分割，图像分割具有高分割效率且计算简单的特点，可以充分挖掘图像的空间信息[35]。

开发者可以结合街景地图的API 服务调用代码行，使街景静态图片的获取与分割形成一个完整的循环（图3），这将有利于提高研究者实验的精准性和操作的简便性。绿量的统计具有多种方法，行道树绿量的可视程度与其面积和分布密度具有相关性[36]，传统的绿视率计算有两种方法，一种是依据Photo⁃shop 和GIMP 软件进行像素分析和网格划分来统计图片中可见的绿色区域，采用系统抽样法，以网格为单位，评估绿视率及其与绿化覆盖率之间的关系[37]，应用软件计算绿化区域占据整体的百分比，从而得出绿视率；另一种是通过对采样点与可见行道树的空间位置关系进行几何运算，实现由“椭球体”冠层至“椭圆面”绿视量的视觉场景转换[38]。人工智能的发展推动产生了更为快速、准确的计量方法。彭锐等[39]，通过研究色彩的色调（Hue）、饱和度（Saturation）、明度（Lightness）三者的关系，以HSL 色彩空间模型作为图片色彩解析的工具，开发了一种自动计算绿视率的算法，只需要将图片输入，即可计算出图像的绿视率，实现了绿视率的自动化计算，有效的避免了额外的资源损耗；亦有研究方法着眼于构建一个可测度城市色彩特征的量化模型，为城市色彩调查提供一种数字化、可比较、易推广的色彩分析工具[40]，最终通过熵权法[41]等多种方法对植被覆盖率以及绿视率进行综合性评价，以了解城市绿地所具有的绿化价值。

图4 绿视率计算流程示意图Fig.4 Schematic summary of green view index calculation

2 传统方法与自动化方法的对比

绿视率的计算可以划分为两个阶段：数据的获取以及数据的处理与分析。在这两个阶段内，传统方法与自动化方法的主要区别在于二者准确性的高低和效率的快慢。传统方法在获取数据时，通常采用人工实地调查的方法，会造成不必要的资源浪费和效率损耗，人为采集的数据可能具有很强的主观性。并且由于天气、交通等外力因素的作用，还会伴随一定的安全隐患；相比于传统方法，基于街景静态图的自动化方法具有工作速度快，效率高的优点，并且因为街景影像是由地图开发商投入大量的金钱，耗费巨大的精力得到的，具有相当价值的准确性和完整性，调查者只需要电脑操作即可获取需要的数据，从而有效的避免了实地考察带来的安全问题。

在数据获取之后，基于人工智能和机器学习的自动化方法对于数据的处理分析更加准确、迅捷[26]。利用深度学习训练的卷积网络模型工具，不仅可以应用于街景静态图片和全景动态图的语义分割上，还可以通过与色彩关系的结合构建能够自动计算绿视率的算法模型[37]。传统的网格计算法对于绿视率的计算与自动化方法相比效率低且精确度小，在处理数量巨大的街景图像时，自动化算法模型具有明显的优势，通过训练得到的卷积神经网络模型将街景静态图的图片信息存储于卷积层中，从而能够自动的对有效信息进行筛选，它具有以下特点：（1）训练的数据量大，模型信息得到充分地存储，模型的准确性相对较高；（2）结构复杂，参数设置全面，经过适当的调整可应用于不同的环境，泛化能力强；（3）自动计算，人力资源耗费低；（4）数据库庞大，街景图片的分割计算结合性强，同步性高。综上所述，自动化方法在绿视率计算评估方面，具有速度快、效率高、精确度高、自动化程度高等优点[31]，符合当前发展研究需要，为今后研究更加庞大的数据问题打下了基础，对传统方法存在的多种不足进行了完善和提高（表1）。

表1 传统方法与自动化方法对比Tab.1 Comparison of traditional methods and automated methods

3 问题讨论

绿视率计算自动化方法相比于传统的计算方法具有明显的优势，但由于理论基础、研究方法等方面还不够完善，对于绿视率的计算评估仍然存在不足之处。本文提出以下几点：

（1）由于卷积神经网络模型结构复杂、参数多，并且在模型训练阶段需要大规模的数据库，导致训练时间长，不利于参数寻优以及程序调试；（2）城市建成区并没有被街景图像完全覆盖，由于选取的研究地点的不同以及计算和评估中人为因素的作用，致使结果会存在一定的误差，影响研究的准确性；（3）对于绿视率计算中数据的获取与处理，运用街景图像与机器学习相结合的方式，并没有得到完整的总结，也没有提出一整套系统的方法，在理论与实践支持上均存在不足；（4）卷积网络结构中存在卷积层和结点冗余的情况，从而导致进行了大量不必要的运算，降低了模型的收敛速度，会造成不必要的资源和时间损耗；（5）街景图像具有时效性，应用于计算的街景图像一般来说是六个月前的，应用算法模型也无法考虑各个时间段绿视率的综合变化情况，这是趋于解决的问题。综上所述，当前的方法依然存在诸多问题，对于复杂冗长的模型结构需要进行更全面的训练调试，使反应时间缩短，加快收敛速度，在图像分割方面，更精准简洁；对于街景图像的全面性与时效性也需要收集更多的数据进行补充与支持。

4 研究展望

对比分析传统方法和自动化方法发现，应用卷积神经网络可使参与调查计算的数据量更多，结果更准，效率更高，避免了额外的人工损耗，提高了绿视率计算评价的自动化程度。但由于缺少系统的方法，加上算法模型本身存在的问题，目前还存在很多需改善的地方。对于如何研究绿视率分时间段综合考虑的问题，可采用机器学习算法进行预测分类比较，增强准确度[42]，而自动化模型的结构和参数仍有待完善。绿视率作为人眼视角的城市环境评价指标，在城市公园以及绿地建设中应用前景较好，在新的绿色公平理论下提供绿地可达性规划意见[43]。随着新技术的持续发展，对城市街道绿视率及其他城市环境变量的研究将更为完善，街景图像的进一步覆盖也会为城市生态环境研究提供更充实的数据支持。

街景图像不仅局限于对于绿视率的研究，在城市环境建设的其他方面亦具有应用价值。城市生态系统研究是涵盖自然科学与社会科学的综合理论研究[44]；城市生态[45]的本质就是研究“自然”与“社会”的关系，实现人与自然和谐共处[46]。鲁东民等[47]在林业资源可视化系统上的设计给城市生态研究者提供了宝贵经验，对结合遥感和街景图像构建城市绿地层次信息可视化具有参考价值[48]；将街景图像与城市人口行为统计大数据结合探究，能够给与城市建设者更好的展示居民需求。通过卫星图像[49]和机器学习的城市扫描和监测服务深入了解城市绿地，如植被覆盖[50-51]、热岛效应[52]、城市绿道规划及效益评估、城市森林多样性和空气质量等，可为合理规划城市植被、监控气候状况等提供及时准确的资料。森林是陆地生态系统的主要组成部分[53-54]；而作为城市绿色基础设施重要组成部分的城市森林则能反映自然与城市的复杂交互关系[55]。城市不同功能区产生的空气污染物种类和比例差异较大，不同绿化树种对于不同空气污染物的吸收也存在明显不同[56]。此外，在城市生态环境优化方面能从大尺度上区分树种，具有巨大的研究价值和经济效益。许多研究者致力于采取科技手段判断树木种类，利用树杈分布构造模型判断树木种类，这需要大量的图像信息，而街景图像能够提供大量的清晰照片。虽然各树种的图像轮廓具有很强的相似性，但类似于指纹识别，人眼无法分辨的细微差别通过训练的计算机模型却可以做到。对于树种的判断，可通过大量的街景图片与机载LiDAR 和高光谱融合[57]实现城市树种精确分类[58]，这也是当前和今后值得关注的研究问题。

综上所述，街景图像与遥感技术、机器学习等有机融合后可较好地构建城市植被信息和分布地图，不仅在应用上可以使城市规划者更加直观地了解城市建设现状，而且在人力和时间消耗方面比传统的人工调查手段更为节省。得益于机器学习的快速发展，城市植被地图也能伴随城市总体建设实现自动化调整，预期可在未来产生有效的科技支撑作用和潜在的社会经济效益。