计算机深度学习在遗迹景观修复中的应用研究

王 磊 | Wang Lei

李鹏波 | Li Pengbo

人工智能研究领域高速发展，根据时间顺序梳理进程可大致概括为：人工智能（Artificial Intelligence）、机器学习（Machine Learning）、深度学习（Deep Learning）三大方面，其发展及包含关系参看图1。其中计算机视觉和自然语言处理作为赋予计算机认识物体和理解语意的两大难点，一直是深度学习中最具挑战性及热度最高的两大问题。随着场景解析[1]、重构[2]已成为未来发展的必然趋势，基于随机决策森林（Random Decision Forests）[3]、参数统计方法（Parametric Statistics）[4-5]、聚类分割法（Cluster Segmentation）[6]、阈值分割法（Threshold Image Segment）[7]等在内的传统机器学习方法，由于其本质是采用统计学原理的无数据训练方式提取特征，难以满足像素级的图像识别任务[8]，因而采用人工神经网络的机器学习方法可有效支持城市科学设计决策制定过程（图1）。

图1 人工智能发展进程示意图

1 深度学习与文化景观修复研究意义

选择对抗生成神经网络（Generative Adversarial Network，GAN）作为我们的研究工具，因为图像是建筑学科领域最主要的数据来源之一，例如数字遥感影像；航拍影像；百度城市地图街景数据；园林、建筑、城市平立剖面图等。深度学习中除无人不知的卷积神经网络（Convolutional Neural Networks，CNN）外，GAN是另一种基于CNN专门设计用来处理图像类型数据的算法。2014年蒙特利尔大学的伊恩·古德菲洛（Lan·Goodfellow）和同事共同发表的一篇论文中介绍了GA N网络之后，它就作为深度学习中的热点研究方向存在。建筑学科领域因其涉及范围广、工作流程复杂的特点，在融合新时代科技所需的时间往往比其他领域要花费更长的时间，但已有学者在尝试将深度学习应用于建筑学科领域方向做出探索。

文化景观（cultural landscape）包含地理文化、遗迹景观、规划设计等多个对象范畴。随着文化景观保护研究的深入，越来越多的遗迹景观保护修复项目获得关注。2019年天津大学何捷教授团队与西北大学联合进行尼泊尔木斯塘（Mustang）地区文化遗产保护调研工作，对该地区包括OSM地形数据、建筑布局及地域文化在内的多项文化景观遗产信息进行建档记录。2017年中国文化遗产研究院在援乌兹别克斯坦花剌子模州历史文化遗迹修复项目中，使用包括三维激光扫描、精密数字电子水准仪等在内的高精细测绘设备技术，因地制宜地进行保护修复工作[9]。随着深度学习技术发展和文化景观保护修复性工作需要，依据文化景观立地数据为对象，讨论通过深度学习技术修复文化景观的可能性，以分析特征向量数据为方法找到文化景观内涵要素的内在关系，成为未来文化景观修复新方向。

2 对抗生成神经网络与建筑学科应用研究进展

建筑学科领域中G A N网络可有效加强城市设计流程中设计者对复杂数据的分析处理能力，国内外已有学者使用GAN网络支持下的城市设计方法产生全新的数字城市设计创作成果，为建筑学科领域人工智能应用研究迈出第一步。包瑞清[10]在地形设计方法上做出多方面探索，基于GAN网络学习给定区域地形特征（全球数字高程模型GDEM，30m高空分辨率高程数据）进而自主创作地形。另外一方面应用为建立遮罩，预测未知区域高程，试图学习已有地形设计样板，生成自然山川空间特征来弥补地形缺失的部分。刘跃中[11]以新加坡城市数据中的建筑密度和绿化率作为GAN网络输入随机向量，学习榜鹅新城区公共数据及卫星影像生成城市设计方案。除城市设计外，城市分析领域何宛余团队做出了探索，对反映区域文化环境特征的城市肌理进行评估，该实验仅构建了GAN中的判别网络部分，对六种特定要素进行判别并计算出各类区域占比。毕业于哈佛大学的Stanislas Chaillou[12]开发的ArchiGAN使我们领略到GAN网络在建筑学平面图生成设计中的无限可能，运用训练良好神经网络可快速生成建筑平面布局。其过程大致分为3个步骤：平面布局（Building Footprint）、空间规划（Program Repartition）、家居布局（furniture layout），该算法程序除可以生成一个单户住宅平面设计外，还使用嵌套方法实现创建整个公寓楼每一楼层客制化改变（图2）。pix2pix是一种基于GAN基础网络来实现图像转换的网络模型，其特点是训练过程需要成对的输入和输出样本，最终pix2pix模型可视化效果参看图3，使用包含400张建筑立面图训练集进行网络训练，根据立面布局标注可生成全新风格建筑立面风格图。

图2 ArchiGAN模型建筑平面生成结果图例

图3 pix2pix模型建筑立面风格迁移生成图例

目前GAN神经网络在建筑学科领域应用还存在一些“通病”问题。首先是数据集的构建，神经网络训练效果上限是由训练数据集的质量所决定，而针对特定问题则需建立对应数据集群，这需要建筑领域学科各专业人员共同、长期的努力。其次是网络训练方法及参数调优问题，对于非计算机和信息科学出身的研究者来说，网络训练过程中诸多细节技巧需要掌握。最后是成果转化问题，训练GAN生成的输出图像不能直接作为设计结果在实际项目中应用，还是需要人的先验经验参与最终决策。

3 对抗生成神经网络原理机制

人工智能（Artificial Intelligence）这一概念自1956年在美国达特茅斯大学研讨会上首次被提出以来，其在城市科学领域的研究发展已有近40年的历史，20世纪大量学者对其研究一直以机器模仿和执行人脑的某些智力功能，在城市设计或某一任务中进行模拟决策为目标。但是自21世纪以来，随着计算和信息处理能力的大幅提高，突破传统规则算法的机器学习和模式识别得以实现。

人工智能中对抗生成神经网络的基本思想源自博弈论中的零和博弈，它有两个在竞争状态中的神经网络构成：即生成网络（被提供一个随机数向量，并输出合成数据）与鉴别网络（被分配一个数据，并输出来自训练集的概率）（图4）。通过生成网络创造“伪造”数据，鉴别网络尝试将“伪造”数据与“真实”数据区分开，以对抗学习方式来训练。随着迭代次数增加，生成网络与鉴别网络会因为学习到的样本数据增多而越能达到生成更加真实的图像效果。为便于理解，本文以MNIST手写数字数据集为例，依次展示经过GA N神经网络0至25000次迭代后生成结果（图5）。作为具有“无上限”生成能力的神经网络模型，其生成能力上限取决于输入数据的数量、质量及网络迭代次数，在经过充分训练后其可生成与真实数据分布一致的数据样本，因而常见应用领域包括图像、视频、语音生成等。

图4 对抗生成神经网络（GAN）算法结构图

图5 对抗生成神经网络训练结果示例

4 基于GAN神经网络的遗迹景观修复生成方法

以目前数字技术和人工智能的发展速度和趋势，我们已经难以否认其会为建筑学科领域带来巨大影响。顺应学科交融趋势应用人工智能GAN神经网络方法，训练网络学习遗迹景观卫星影像空间特征，对遗迹损坏部分进行复原性设计；对遗迹空间特征使用pixplot神经网络进行特征压缩聚类分析，压缩生成结果为二维特征向量，以特征向量建立数据库为空间布局询证提供理论依据。本研究以明长城文化景观遗迹为研究对象，论述基于深度学习的遗迹景观修复过程。正如田澍在对“长城学”的论述，必须突破以简单的军事防御视角来认识明长城的狭隘学风，应从多角度来理解明长城的作用与意义，以多学科交融发展的客观要求，从广义和总体两方面来认识明长城的内涵[13]。

图6为本研究的技术路线，核心算法为基于GAN实现的pix2pix人工神经网络，使用训练完成的神经网络对明长城遗址进行复原研究。研究框架共分为5个步骤完成：数据收集、数据清洗、神经网络训练、长城遗迹复原、数据库建立。

图6 研究框架与技术路线图

步骤1数据收集中，由于神经网络学习图像特征需要大量样本数据，故拟获取使用卫星遥感影像及全球数字高程模型作为数据集中基础数据，依据明长城遗址空间现状基础数据可分为空间形态完整及空间形态破损两种状态（图7）。

图7 GAN神经网络数据集构建示例——以北京八达岭长城国家森林公园段为例

步骤2的重点在于构建数据集的过程中需要对特征学习区域构建遮罩（mask），神经网络训练过程时遮罩外为已知环境，遮罩内为待学习空间特征区域。

步骤3中基于Python-TensorFlow搭建神经网络（pix2pix）训练平台，待神经网络训练完成后的步骤4使用阶段，需将待复原区域建立遮罩，遮罩外侧为空间特征推测区域，运行网络便可推算出遮罩内复原区域的空间布局（图8）。

图8 研究技术路线图示及遗迹景观修复结果展示

步骤5中使用复原完成后的完整长城空间布局进行特征压缩进而构建数据库，使用pixplot神经网络对长城遗迹图像聚类分析可视化结果显示，直观显示明长城空间布局特征聚类结果。

空间布局数据库的构建中使用了另外一种神经网络结构，基于卷积神经网络（CNN）的特征向量压缩方法。在步骤5中使用pixplot神经网络对步骤2中获取的图像数据进行特征压缩并聚类，进而获得压缩后的二维空间特征向量（以[x，y]二维特征向量形式表达）建立数据库，使用聚类（Cluster）方法对该数据进行处理便可获得聚类结果。将数据库每一二维特征向量[x，y]数据与坐标原点[0，0]进行欧式几何距离计算得到该坐标的空间距离权重值，将其权重值及对应遗址原地理空间坐标点使用python-pandas库进行可视化显示，即可获得该点对应数据库聚类类别的权值。

空间布局数据库的建立完善可为未来研究提供数据基础，实现面向不同研究领域学者提供开源数据、数据检索分析及数据可视化等功能，为研究者提供开展规划保护的准确依据等相关模块内容。文化景观遗迹是凝聚中华民族文化的精神图腾，需要以原真性与完整性为原则对景观遗迹进行调查，对基础信息数据库进行完善，为系统性的遗迹景观修复研究提供科学依据。

结语

本研究对以生成对抗神经网络技术为基础的建筑学科领域研究现状进行了梳理，构建从前期大数据爬取；中期人工神经网络构建及训练；后期生成结果记录分析的完整研究流程方法。传统形式的文化景观资源调查中，调查对象主要包括遗迹本体、附属设置在内的相关遗存等，然而通过人工智能方法学习遗迹景观空间布局特征进而复原损坏部分这一方法乃为本研究创新之处，这也得益于灵活运用人工神经网络远高于人类的特定数据特征学习能力。

通过前文研究过程论述表明，与传统遗迹景观复原设计相比，应用对抗生成网络支持下的复原结果损失函数可达到一定迭代训练批次下实现收敛。证明该特征学习生成图像，进而进行复原工作的方法对遗迹景观乃至城市设计方面的可行性、创新性，成为以智能化方法解决相关问题的有效途径，能够成为引领未来城市设计、景观修复方向的主要途径之一。

资料来源：

图2：英伟达《ArchiGAN:a Generative Stack for Apartment Building Design》；

图3：根据pix2pix网络模型自行训练生成结果；

文中其余图片均为作者自绘。