基于深度学习的公共空间人群行为可视化研究——以天津大学卫津路校区为例

吴韶集 胡一可

公共空间在当代城市中扮演了重要的角色，承载了人的自发性活动和社会性活动[1]。公共空间没有严格而统一的定义，本研究根据王建国、徐宁的研究，将公共空间定义为城市建筑实体空间中具有公共性的开放空间，可通过人的行为评估公共空间的质量[2-3]。行人轨迹信息可用于量化评估人群行为[4-6]。当前，随着中国经济水平的提升，民众对于公共空间质量的要求也越来越高[7]，因此，更为客观的公共空间评估方法将有助于构建出更合理的公共空间设计方法。对于风景园林学科而言，行人轨迹可作为准绳来度量公共空间的实际使用情况，进而作为城市公共空间设计的依据，也为更为理性科学的风景园林设计理论奠定基础。

近年来，随着信息化程度的加深，在风景园林学领域，基于计算机视觉技术对人群行为进行分析和可视化的研究开始出现[8-10]。有研究指出，实时反馈的评估信息可有效提升景观设计的优化整合能力[12]。但是，实时的海量视频数据给数据处理带来了严峻挑战，若不能及时获取其中的有效、关键信息，则会造成数据浪费[11]。而且当前基于视频获取人群行为轨迹的方法运算速度慢，无法实时获取分析结果，这极大地限制了该方法在实际中的应用。本研究提出一种基于深度学习的计算机视觉算法来实时获取公共空间中人群行为路径数据，进而实现人群行为的可视化。

本研究试图解决3个研究问题：1）这种基于深度学习的实时人群行为可视化方法是否有效以及是否存在局限性？2）分析结果能否表征公共空间的何种空间特性？3）该分析方法在风景园林学科的可能应用。

1 既有研究综述

当前，在风景园林学领域中通常基于光流法这一计算机视觉算法获取行人轨迹[13]。如胡一可等使用光流法获得了天津大学校园内街道空间中的行为轨迹[8]；杨柳等以承德避暑山庄入口空间为例，通过计算机视觉技术提取行人轨迹信息，并用以分析人群行为与空间要素的关系[14]；侯韫婧等使用无人机拍摄的视频数据分析了集体晨练运动与城市公园空间之间的关系[15]；胡一可和李晶对城市型景区“共处”空间的人群行为进行研究，使用轨迹数据对行人的速度进行分析[16]。这些既有研究证明了计算机视觉技术在公共空间分析中应用的可行性，但其所依赖的光流法具有计算相对耗时、抗噪性差的缺点[17]。

深度学习（deep learning）是一类特殊的机器学习算法，该类算法借助计算机构建了一种多层感知器结构，从而实现对非线性数据，如视频数据的处理[18]。赛斌、曹自强等基于深度学习的算法研究了行人实时移动数据的挖掘方法[19]；李瀚、刘坤华等使用基于深度学习的计算机视觉算法构建了实时视觉目标跟踪与视频对象分割多任务框架[20]。这些研究证明：利用深度学习算法可突破光流法的限制，实时获取人群行为轨迹数据[21]。

本研究探究了基于深度学习算法获取人群实时轨迹研究的工作流程，以及其在公共空间人群行为可视化方面的潜力。本研究使用了2种基于深度学习的算法：1）由Farhadi和Redmon在2018年 提 出 的Yolo-v3（You Only Look Once）算法[22]；2）由Wojke等于2017年提出的DeepSORT（Simple Online and Realtime Tracking with a Deep Association Metric）算法[23]，该算法是对2016年提出的SORT算法的改进[24]。在本研究中，前者用于视频中行人的目标检测，后者用于获取人群行为轨迹。

2 研究方法

本研究采用的技术路线可分为以下3个步骤：1）视频的采集以及从中获取人群行为轨迹原始数据；2）对获取的原始轨迹数据进行数据清洗；3）将获取的轨迹数据进行可视化表达（图1）。本研究使用Python语言编写代码，以TensorFlow和Keras作为深度学习框架，以OpenCV作为视频处理框架，以pandas和Numpy作为数据分析框架，以Matplotlib和Seaborn作为图像可视化框架。

2.1 从视频中获取原始轨迹数据

本研究拍摄视频采用的无人机设备为Dji mini2，每次飞行时以垂直地面方向进行拍摄。操作过程可细分为迁移学习和计算原始轨迹数据2步。

2.1.1 迁移学习

研究中使用Yolo-v3作为检测行人行为的工具，因为预训练模型无法识别鸟瞰视角的行人，故需要采用迁移学习的方法训练Yolo-v3模型[25]（图2）。这一方法通过神经网络模型参数共享，将预训练好的模型嵌入到其他任务中，这样就能以较低的成本实现精度较高且适用于新场景的模型[26]。

图2 Yolo-v3算法具体流程The process of Yolo-v32-1利用labelImg标注图像中的行人Annotation of pedestrians with labelImg2-2使用Yolo-v3进行对象检测Object detection with Yolo-v3

该方法的步骤为：1）标注数据。本研究采用的数据集包含了589张经过标注的航拍图像。2）训练模型。由于数据集较小，故在训练模型时采用随机多尺度训练的方法，可提高训练模型的准确度[27]。在本研究中，设定模型的训练次数为500次。而后利用精确率和召回率表征模型识别行人的能力，其中精确率为正确分类的样本数与总样本数的比值，即1张训练图片中被正确识别出的行人占总行人数量的比例，用P表示；召回率是分类正确的样本数与真正的样本数的比值，可用于衡量该模型寻找行人的能力，用R表示[28]。训练后获得的模型精确率P为96.2%，召回率R为88.1%，可满足后续研究的需求。

2.1.2 计算原始轨迹数据

获取一段视频中的行人轨迹的方法可分为以下3步（图3）。

图3 使用DeepSORT获取行人轨迹具体流程The process of obtaining pedestrian trajectory with DeepSORT

1）行人检测。使用Yolo-v3算法确定视频每一帧画面中每个行人对应的检测框。该算法使用4个参数，即每个检测框中心点的横坐标u、纵坐标v，检测框的面积r和其长宽比h来描述一个检测框。

2）行人跟踪及轨迹绘制（图4）。使用DeepSORT算法对视频中的行人进行多目标跟踪，从而确定不同帧画面之间同一个行人的轨迹。首先使用八维向量（u, v, r, h, u*, v*, r*,h*）来表征某个行人在该时刻的运动状态，其中u*、v*、r*和h*分别为不同帧之间u、v、r和h的运动速率。而后利用匈牙利算法匹配不同帧画面之间的检测框。最后基于同一个行人的检测框在不同帧画面中的位置绘制出行为轨迹线。

图4 使用深度学习算法对3个研究案例进行行人跟踪及轨迹绘制Pedestrian tracking and trajectory plotting for three study cases using deep learning algorithms

3）数据导出。该步骤将每个行人检测框中心点的坐标分别以CSV格式导出并存储，这样就可实时获得视频中的轨迹数据。这也是后文中数据分析的基础数据。

2.2 数据清洗

由于Yolo-v3算法存在行人误差检测的问题，DeepSORT算法存在ID身份转换（identity switches）的问题，故不能直接对原始轨迹数据进行可视化处理，而应进行数据清洗。数据清洗使用了异常值删除法和箱型图分析法[29]，用于避免Yolo-v3算法可能出现的行人误检测和DeepSORT算法匹配检测框错误的情况。

2.3 数据可视化

本研究采取3种方法对轨迹数据进行可视化，分别为行人轨迹图、人群分布热力图和行人速度热力图。

1）行人轨迹图。将经过数据清洗的行人轨迹叠加在研究区域公共空间的航拍图像上，直观展示了视频拍摄期间的行人轨迹及走向。该图中每一条轨迹的宽度为1个像素，并为不同轨迹赋予随机的颜色以示区分。

2）人群分布热力图。可视化了行人位置的空间分布情况。首先将拍摄范围栅格化，而后统计每个栅格中检测框中心点的数量，以该值代表栅格内的人群数量。在该图中，一个栅格的颜色越浅，则区域中行人经过的次数越多。

3）人群行走速度热力图。可视化了行人速度的空间分布情况，采用了与行人分布热力图相同的表示方法。在该图中，一个栅格的颜色越浅，则经过该区域的行人的平均速度越快。

3 公共空间人群分布特征

本研究以天津大学内的3个公共空间为例，使用深度学习算法分析人群分布特征并进行可视化（图5）。在3个研究场地均拍摄5段时长约为20 min的视频（表1），再对这5段视频综合分析并得出结论。本节围绕以下2方面进行讨论：1）3个案例中行人轨迹的特点并分析其成因；2）分析该研究方法可表征的空间特性。

图5 研究案例选取及其位置Study case selection and their locations

表1 视频数据收集情况Tab. 1 Video data collection

3.1 行人轨迹图像

基于深度学习的方法可有效地从视频中实时得出公共空间的行人轨迹数据，并对其进行量化分析（图6）。本节分别利用行人轨迹图、人群分布热力图和行人速度热力图描述人群分布特征。

图6 实证研究可视化结果Visualized results of the empirical study

案例A，行人轨迹主要为连通了出入口以及周边的建筑入口，其中行人分布最密集的路径连接了西北与东南处入口，即天津大学卫津路校区科学图书馆和第26教学楼入口，后者是天津大学卫津路校区主要的教学楼之一。对行人速度进行分析可发现，案例A具有明显的高速度分布区域，该路径连接了该公共空间的西北部入口与西南部入口。造成这一情况的原因为该公共空间的西南角为第26教学楼的自行车停放点之一，故部分使用该路径的人会骑自行车。

案例B周边建筑为第26教学楼和学三食堂，其行人轨迹方向连通了出入口和周边的建筑入口。高密度行人路径为南部及西部的路径，北部的路径上人流量则较小，这表明该公共空间中26教学楼A座的使用频率显著高于B座。该案例中的行人速度分布相对较为均匀，快速路径主要分布于北侧，其连接了26教学楼的自行车存放点。

案例C以校园东西向中轴线对称布局，有3个出入口和3条路径。分析结果显示，行人轨迹分为2条，一条连接了北部入口和南部入口，该路径沿敬业湖和北洋纪念亭一侧的行人分布密度显著高于另一侧，这与景观要素对行人的吸引有关；另一条连接了东部入口和北部入口，该路径在张太雷雕塑一侧分成了2股人流，其中南侧的人流量显著高于北侧，南部入口与东部入口之间的路径行人数量极少，这说明该路径未发挥有效的作用。与案例A、B相比，案例C中不存在高速路径，这一现象的原因为该公共空间周边设置有围栏，自行车无法进入，行人均为步行，故速度相差不大。

通过对3个研究案例的分析，可发现获取人群行为轨迹时，案例C中的轨迹ID身份转换现象更为严重。这是因为轨迹识别的准确度与无人机采集图像的高度有关，具体来说，当无人机采集视频时的高度越低时，视频中的行人越清晰，且视频边缘的行人畸变程度越低，因此识别算法的准确率也越高，识别出的行人轨迹的完整度也越高。因此在使用本方法时，应当为采集视频的无人机设定适合的飞行高度，过高的飞行高度可能导致研究结果不佳。

3.2 空间特性表征

通过对比上述3个案例人群分布特征的分析，可发现本研究提出的研究方法可以表征以下2类空间特性。

1）可表征公共空间各个出入口之间的连接强度。通过使用人群分布热力图，可发现公共空间中2个出入口之间的路径上行人分布越密集，这二者之间的连接强度越强。例如在案例A中，其连接强度最强的路径连接了西北与东南处的入口。在案例C中尽管南侧入口和东侧入口间也具有连通路径，但是其行人数量很少，因此可判断出这2个入口间的连接强度较弱。通过这一方法，设计师就能够判断出不同路径的使用强度，进而在设计和改造时采用不同的设计策略。

2）可表征公共空间中速度不同行人的选择路径的空间分布差异。在行人速度热力图中，若存在平均速度较快的路径，则骑自行车的人数比例通常较大；反之，则该路径通常以步行为主。典型案例为案例A，其中使用自行车的路径连接了西北部入口与西南部入口。通过这一方法，设计师可对公共空间行人的交通方式进行判断，使用不同的设计策略进行应对，如在公共空间中布置合理的自行车道等。

4 讨论

当前，环境与人的互动关系得到了越来越多的关注[3,30]。利用大数据、深度学习等新技术，研究者可以更高效地通过行人的空间位置信息、速度信息等数据感知人与空间之间的关系[31]。而实时数据的获取可极大地提高大数据的利用效率。在研究方法上，本研究方法突破了传统的基于计算机视觉算法获取人群轨迹数据方法的局限。基于深度学习的算法可实现对公共空间行人轨迹的实时采集和分析，并获得精确的公共空间行人分布情况及速度分布情况图。

在研究方法方面，该方法有其不足之处，主要有以下3点。1）利用无人机拍摄视频时，由于高空风力大，无人机无法保持静止状态，这也导致视频会有轻微的抖动。对此可使用抗风性能更好的无人机进行改进。2）当前方法对无人机飞行高度有限制，当飞行高度过高时其识别结果较差。这限制了该方法在大规模空间的应用，未来可探索采用无人机多机位拍摄的方法加以解决。3）本研究采用2种基于深度学习的算法，其中Yolo-v3算法存在行人误识别问题；DeepSORT算法无法消除行人ID身份转换的问题。在未来的研究中，应采用鲁棒性更强、识别能力更佳的算法来取代文中使用的算法，从而扩大本研究提出方法的适用范围。

在设计实践方面，随着我国国民对城市公共空间要求的提高，如何科学有效地评估既有公共空间质量成为风景园林学面临的重要挑战[7]。利用基于深度学习的方法可实时获取并评估人群在公共空间中的分布特点，从而解答如公共空间出入口利用率、路径人群分布情况、行人步行速度快慢等设计师关注的问题。其结果可辅助设计师更客观地了解公共空间人群行为的空间分布特征，进而评估设计质量，作为改造设计的依据。

在设计理论方面，基于深度学习的计算机视觉算法在风景园林学领域有如下的发展契机：1）通过使用多目标检测算法，获得公共空间中不同类型行为的时空间分布特征[32]，从而发现人们使用公共空间的普适性规律；2）通过更为精细化地区分人群类型，得出可分析行人具体类型的模型，例如可依据年龄、性别等将人群进行划分，进而分析不同人群空间行为分布的差异性；3）扩展检测算法的应用范围，利用图像分割算法自动识别视频中除行人外其他的景观要素[33]，例如树木、水域等，通过与使用者行为数据的共同分析，可得出景观要素与人群行为的关系。在当前的风景园林学领域，基于计算机视觉的人群行为研究方法尚有进一步发展的潜力，这也是未来学科发展的趋势之一。

5 结语

本研究提出了一种基于深度学习的计算机视觉算法实时分析公共空间人群行为的方法，并以天津大学卫津路校区内的3个公共空间为例进行说明。

在方法层面上，本研究发现：1）基于深度学习的计算机视觉算法可有效地实时获得公共空间中人群行为轨迹，经过处理后这一数据可作为评估公共空间的依据；2）通过对获取轨迹数据的可视化处理，可直观获得公共空间出入口连接强度和路径上行人交通方式的信息；3）使用本方法时，采集数据的无人机飞行高度不应过高。

在理论层面上，本研究发现：1）可使用人群分布热力图的方式表征公共空间不同部分的使用强度，使用行人速度热力图表征公共空间速度分布情况，这种基于深度学习的公共空间人群行为实时分析和可视化方法可为未来的公共空间的设计和改造提供数据支持；2）展望未来，随着信息技术的发展，研究者可使用更为精细化的空间数据描摹空间客观使用状态，这种基于数据支持的研究方法会推动风景园林学科走上一条更精细化、科学化和人本化的道路。

图表来源(Sources of Figures and Tables)：

文中图表均由作者绘制。