建筑物立面点云语义分割方法研究

张瑞菊，郑少开，尹建英

(1.北京建筑大学，北京 102616； 2.建设综合勘察研究设计院有限公司，北京 100007)

建筑物立面点云语义分割方法研究

张瑞菊1*，郑少开2，尹建英1

(1.北京建筑大学，北京 102616； 2.建设综合勘察研究设计院有限公司，北京 100007)

针对建筑物点云数据重建模型自动化程度较低的问题，提出了一种半自动的建筑物特征元素提取方法。首先采用随机采样一致性算法实现点云分割，将点云分割成不同部分，再依据建筑物立面各种特征元素之间的尺寸、位置、拓扑关系等一系列属性判断每一块点云数据的语义信息，实现了从分割出来的点云数据中自动识别建筑物立面的门、窗户、墙体等特征元素。该方法基本上实现了点云数据的语义分割，为建筑物三维模型的自动重建提供了基础框架。

语义分割；三维重建；建筑物立面点云；点云数据处理

1 引 言

目前，对城市真三维模型的需求越来越旺盛，城市三维模型在实际中有着广泛的应用。比如：城市规划、安全分析、数字城市等方面都有重要的应用[1]。三维激光扫描技术的出现为三维建模提供了准确高效的技术手段，但是通过激光扫描仪获取的原始点云数据如果不做任何处理就没有实际任何实际意义，不能直接从原始点云数据中准确而完整的提取出建筑物立面的细节特征门、窗户、墙体等特征元素，这就为建筑物模型的自动重建带来了困难。因为点云语义分割可以从原始点云数据中提取出理想的目标点云，所以点云语义分割具有重要意义[2]。

国内外学者对点云数据分割做了大量的研究工作并取得了一定的研究成果。T.varadyetal最早给出了点云分割的定义：点云数据分割就是要将整幅点云分割为多个子区域，每个区域对应于一个自然表面，并且要保证每个子区域只包含采集自某一特定自然曲面上的扫描点。李必军等[3]提出了一套基于建筑物几何特征的信息挖掘方案，从而可以直接从激光扫描数据中提取建筑物的平面外轮廓信息，但是对建筑物立面的细节特征窗户、门、墙体等信息没有进行提取和研究。刘亚文等[4]提出了一种基于蚁群算法的地面激光扫描数据建筑物立面提取方法，该方法可以有效地区分沿街LiDAR扫描景观数据中建筑物立面和位于其前方的树木、街灯、行人、停靠车辆等遮挡物，但存在一些问题：窗户框架和窗帘的激光数据点在投影俯视图上与建筑物立面相连，因此这些点也会作为建筑物立面数据点被提取出来。倪欢等[5]利用面向对象的点云分析方法进行车载激光扫描点云数据中建筑物立面的识别，但是存在一定的局限性，建筑立面的提取效果取决于分割效果的好坏，分割效果需要反复尝试才能确定最优的分割参数。彭晨等[6]等提出了一种基于移动激光扫描点云的建筑物立面半自动提取算法。该方法具有较高的精度，对一般建筑物立面提取比较理想，但对于比较特殊的建筑物立面，提取效果欠佳。杨必胜[7]提出一种从车载激光扫描数据中提取复杂建筑物立面的新方法。该方法首先利用“维数特征”方法确定每个扫描点的最佳邻域，进而计算得到每个扫描点精确的局部几何特征(法向量、主方向、维数特征)，然后基于“维数特征”对扫描点进行粗分类，并设置相应的生长准则对不同类别的扫描数据分别进行分割，最后实现了对建筑物立面区域进行精确提取，但是计算量较大。史文中[8]等对车载激光扫描系统获取的距离图像进行分割研究，提出利用投影点密度进行距离图像分割的方法，实现了建筑物轮廓信息的提取。

从目前的研究状况来看，对于建筑物立面轮廓信息进行提取的研究较多，但对提取详细建筑物立面信息的研究较少。对于精细城市建筑物模型的重建，只是简单的对建筑物立面轮廓信息进行提取是远远不够的，不能达到精细化建模的要求。因此，针对无法从原始点云数据中准确获取建筑物立面特征元素的问题，本文采用随机采样一致性算法对点云数据进行分割，然后再结合建筑物特征元素之间各种属性的约束条件对分割出来的点云数据进行语义识别，从而达到点云语义分割的目的，为精细化的建筑物建模提供基础数据。

2 建筑立面点云分割

由于客观场景中物体复杂多样，外形没有统一的规则，所以无法用某一个特征信息来确定物体所属种类，加之点云数据具有散乱、无组织、含有噪声等特点[9]，这就决定点云数据的语义分割是一项具有挑战性的工作。客观物体表面是理想数学曲面的较少，只有少数特定的物体具有良好的几何特性。比如：地面点云和建筑物的墙面点云可以看作是理想的几何平面、路灯杆的表面可以看作是圆柱面等，所以采用理想的几何表面对点云数据进行拟合来达到点云语义分割的目的。因此本文做出如下假设：①建筑物立面点云垂直地面点云；②建筑物立面特征元素的点云也近似看作空间平面。在进行建筑物立面点云数据分割之前对点云数据进行相关处理，因为用站载三维激光扫描仪获取的点云数据一般数据量较大而且存在噪声，所以在对点云数据语义分割之前对点云数据进行预处理，处理流程如图1所示。

图1 点云数据预处理流程

最终获取的点云数据如图2所示。

图2 原始点云数据

本文采用RANSAC算法进行点云数据分割。RANSAC算法最早由Fischler和Bolles于1981年提出，它可以从一组含有噪声的观测数据集中，通过迭代计算的方式估算数学模型参数，从而得到有效的样本数据[10]。RANSAC是一种不确定的算法，只能以一定的概率获得一个合理的结果，为了提高结果的合理程度必须提高迭代次数。要保证在一定的置信度下基本子集最小抽样数N与至少取得一个良好抽样子集的概率P满足如下关系式。

P=1-(1-εK)N

(1)

式中：ε为局内点与数据集点数的比值；k为计算模型参数需要的最小数据量；p一般取值为0.9～0.99。对式(1)两边取对数可得

(2)

RANSAC是一种稳健的算法，对噪声有一定的抑制作用，能够较好的分割出建筑立面特征元素门、窗、墙体等。点云两点之间的距离越近，其属于同一模型的可能性就越大[11]，因此本文采用八叉树数据结构对点云数据进行组织，便于对相邻点云数据进行快速索引。在三维空间中，确定一个平面模型参数需要三个点，对建筑物立面进行点云分割时随机选取一点，通过八叉树索引其他邻近的两个点然后依据式(3)来计算此平面模型的参数。

ax+by+cz=d

(3)

实现建筑物立面分割的效果如图3所示。

图3 点云分割结果

3 建筑物立面特征元素识别

虽然建筑物立面特征元素被分割出来，但机器并不能自动从分割出来的点云块中识别出具体的点云块所属种类。地面虽然不是建筑物立面的语义元素，但是率先把地面识别出来对于识别出建筑物立面的其他特征元素是很有帮助的。分割出来的点云块属性包括：面积、方向和拓扑关系等属性信息，依据这些属性信息可以对分割出来的点云块进行语义识别。采用凸包代替每一个分割出来的点云块，用凸包面积的大小近似代替点云块面积的大小；用凸包的几何中心到墙体的距离近似代替点云块的位置；用凸包之间的拓扑关系近似代替点云块之间的拓扑关系。本文以自动识别建筑物立面特征元素门为例给出了自动识别语义信息的算法流程，其他建筑物立面特征元素的识别与此类似，在此不再累述，门元素识别算法流程如图4所示。

图4 门元素识别算法流程

其中，hull[i](i=0，1，2，3，…n)表示分割出的点云块序列；min表示预估门的最小面积值；max表示预估门的最大面积值；d代表点云块的中心到墙体距离的限值。利用上述算法流程成功地实现了特征元素的识别，分别识别出了地面、墙体、门、窗户等特征元素。

地面：尽管地面不是建筑物立面的语义特征，但是识别出地面能够让识别出其他建筑物立面特征元素变得更加容易。比如窗户和门的尺寸相近，然而门是与地面相交而窗户与地面不相交，地面相对来说面积最大，并且处在最低处，如图5所示地面的识别结果。

图5 地面点云的语义分割图

墙体：墙体是最重要的建筑物立面特征元素，并且其他建筑物立面特征的识别也依赖于墙体的识别。墙体相对来说面积较大，与地面垂直并相交，如图6所示墙体的识别结果。

图6 墙体的语义分割图

门：门的面积有特定的取值范围，它在墙上、垂直于地面并与地面相交，图7所示门的识别结果。

图7 门的语义分割图

窗户：窗户和门一样其面积也有一定的取值范围，它在墙上并且与地面垂直，窗户在所有分割出来的点云块中密度最低，因为窗户透光性较好，激光的反射率较低，图8所示窗户的识别结果。

图8 窗体的语义分割图

通过对建筑物立面点云的语义分割研究，我们就可以对分割出来的点云块赋予语义信息，让机器具有人眼的辨识能力，用不同的颜色代表不同的建筑物立面特征元素，用红色表示墙体，用黄色表示门，用蓝色表示窗户，语义分割结果如图9所示。

图9 建筑物立面语义分割图

4 结 论

本文采用的方法实现了建筑物立面特征元素的半自动语义分割。主要分为两个步骤：第一步采用随机采样一致性算法实现建筑物立面点云数据的分割；第二步运用建筑物立面特征元素的长度、面积、空间拓扑关系等约束条件从分割出的点云数据中去识别墙体、窗户和门等建筑物特征元素，实现了建筑物立面点云的语义分割。但是研究也存在一些不足：①对于分割实验数据要求较为严格，需要选取的点云数据尽量为平面，否则会出现过度分割和分割不足的问题；②识别的准确度有待提高，有时算法会误将门识别为窗户，所以该算法有一定的局限性。未来工作的重点是提高分割算法的适用性和识别的准确度。

[1] 李孟迪，蒋胜平，王红平. 基于随机抽样一致性算法的稳健点云平面拟合方法[J]. 测绘科学，2015(1)：102～106.

[2] Zhang Ruiju，Wang Yanmin，Li Derenet al.. Segmentation of wooden members of ancient architecture from range image. Proceedings of SPIE Vol.6419. Geoinforamtics 2006，pp. 64191K. Wuhan China，2006.

[3] 李必军，方志祥，任娟. 从激光扫描数据中进行建筑物特征提取研究[J]. 武汉大学学报·信息科学版，2003(1)：65～70.

[4] 刘亚文，庞世燕，左志奇. 蚁群算法的建筑立面点云数据提取[J]. 武汉大学学报·信息科学版，2012，11：1307～1310.

[5] 倪欢，张继贤，段敏燕等. 面向对象的车载激光扫描点云建筑物立面提取[J]. 测绘科学，2014(4)：92～96.

[6] 彭晨，余柏蒗，吴宾等. 基于移动激光扫描点云特征图像和SVM的建筑物立面半自动提取方法[J]. 地球信息科学学报，2016(7)：878～885.

[7] 杨必胜，董震，魏征等. 从车载激光扫描数据中提取复杂建筑物立面的方法[J]. 测绘学报，2013(3)：411～417.

[8] 史文中，李必军，李清泉. 基于投影点密度的车载激光扫描距离图像分割方法[J]. 测绘学报，2005(2)：95～100.

[9] 魏征. 车载LiDAR点云中建筑物的自动识别与立面几何重建[D]. 武汉：武汉大学，2012.

[10] 胡伟，卢小平，李珵等. 基于改进RANSAC算法的屋顶激光点云面片分割方法[J]. 测绘通报，2012，11：31～34+46.

BuildingFacadePointCloudSemanticSegmentationMethodResearch

Zhang Ruiju1，Zheng Shaokai2，Yin Jianying1

(1.Beijing University of Civil Engineering and Architecture，Beijing 102616，China；2.China Institute of Geotechnical Investigation and Surveying，Beijing 100007，China)

This paper introduces a semi-automatic method for extract building characteristic elements to solve the low automation for the reconstruction model of building point cloud data. the building features. First，it adopts the RANSAC(random sample consensus algorithm)to divide pointcloud into different sections，and then determines the semantic information of every point cloud data on the basis of various characters including the size，the position and topotaxy among the all kinds of elements of the building facade，thereby automatically recognizing doors，windows，walls and other characteristic elements of the building facade from the split-off point cloud data. Such a method basically achieves the semantic segmentation of point cloud data and provides the basic framework for the automatic reconstruction of three-dimensional building model.

semantic segmentation；three dimensional reconstruction；building facade point cloud；point cloud data processing

1672-8262(2017)05-22-04

P237，P234.4

A

2017—07—14

张瑞菊(1978—)，女，讲师，研究方向：三维精细模型重构及激光雷达数据处理。

郑少开(1988—)，男，助理工程师，研究方向：三维激光扫描及近景摄影测量在文物保护中的应用。

国家自然科学基金项目(41501495，41261086)；精密工程精密工程与工业测量国家测绘地理信息局重点实验室开放基金项目(PF2013-1)

本论文获得2017年“华正杯”城市勘测优秀论文二等奖。