面向对象的倾斜摄影测量点云分类方法

何 雪， 邹峥嵘， 张云生， 杜守基， 郑 特

(中南大学地球科学与信息物理学院，长沙 410083)

0 引言

得益于影像密集匹配技术[1-2]和机载激光扫描技术[3]的发展，可以方便地获取高精度、高密度的三维点云数据，这些点云数据可以应用于三维城市建模、灾害评估、地图更新和城市规划等方面[4]。近年来，倾斜航空摄影技术得到了迅速的发展(如国内的SWDC-5，TopDC和AMC-580等)，可以通过密集匹配方法从多角度航空倾斜影像中获取具有立面信息的高密度点云，也称为倾斜摄影测量点云。然而，这些点云数据并不具备语义信息，点云分类成为点云应用的关键所在，高精度的点云分类具有极大的研究价值和现实意义。

目前，针对激光点云分类的方法较多，Gerke等[5]采用图割算法，综合归一化高度、法向量的Z分量、影像上线段长度、颜色和纹理等特征将LiDAR点云分成建筑物、树木、草地和地面4类； Guan等[6]采用随机森林分类方法，综合基于光谱的特征、基于LiDAR的几何特征以及强度特征将LiDAR点云分成建筑物、树木、地面和草地4类； Xu等[4]通过点、平面和均值漂移3方面的特征对LiDAR点云进行分类，并比较了AdaBoost、随机森林、ANN_MLP(artificial neural networks multiple layer perceptrons)、支持向量机(support vector machine，SVM)和Rule-based这5种分类器的分类效果； 徐宏根等[7]根据三角网坡度信息熵，利用面向对象的方式对LiDAR点云的植被和建筑物进行区分。然而，和倾斜航空摄影技术相比，激光扫描技术获得建筑物立面的点较少，故倾斜摄影测量点云的应用[8-10]具有广泛的需求。目前针对摄影测量点云的分类较少，比较有代表性的包括： Rau等[11]提出基于规则的层次语义面向对象分类方法，综合几何、光谱和拓扑特征将倾斜摄影测量点云分类成树木、草地、立面、屋顶和道路5类，该方法需要较多的阈值； Gerke等[12]比较了监督分类和非监督分类2类方法在倾斜摄影测量点云分类上的应用效果，但主要针对比较简单的场景。

综上，本文提出一种面向对象的倾斜摄影测量点云监督分类方法。由于在监督分类方法中，随机森林算法和SVM分类精度相当[13]，且在计算效率、对异常值和噪声的鲁棒性、内部误差估计和变量重要性等方面具有优越性[6]，因此本文采用随机森林分类器进行分类。根据目标对象的颜色和几何等特征将点云分成屋顶、地面、植被和立面4类。本文方法流程如图1 所示。

图1 本文方法流程

1 分类方法

1.1 点云特征计算

本文分类方法采用的特征如下：

1)法向量nx，ny和nz。每一点的法向量定义为对其k(本文取k=8) 邻域内的点进行最小二乘拟合得到的平面法向量。

2)颜色信息B，G和R。其值分别为影像每个像素蓝光、绿光和红光3通道的DN值，在影像密集匹配时直接获取。

3)归一化高程Nz。本文利用文献[14]方法分离地面点并内插得到数字地形模型(digital terrain model，DTM)，然后每一点减去DTM的对应高度以获取归一化高度。

4)绿信比Gr。由于植被区域绿光波段DN值一般比红光和蓝光波段DN值高，因此本文采用绿信比来区分植被[8]，即

(1)

5)局部拟合平面垂直度fv。假设平面方程为

ax+by+cz+d=0 ,

(2)

式中：x，y和z为点的坐标；a，b，c和d为平面拟合方程的参数。那么，fv定义为

fv(pi)=|c| ,

(3)

式中pi为第i个点。fv的取值范围为(0，1)，当拟合平面接近于铅垂面时，fv的值趋近于1。

6)局部平面拟合度fp。通常情况下，建筑物屋顶比较规则，多由平面组成，而植被区表面不规则，因此平面拟合度可以作为一个分类特征，即

(4)

式中：n为邻域点数；dj为第j个邻域点到平面的距离。计算平面拟合度时，利用一定邻域内的点拟合一个平面，然后计算所有拟合该平面的点到该平面距离的负数指数幂作为fp。fp的取值范围为(0，1)，局部邻域越接近于平面，fp的值越小。

1.2 对象分割与特征计算

本文采用的点云为SURE软件[15]生成的密集点云，每一张影像对应一个点云文件。并采用间接的方法获得点云对象，即首先利用简单线性迭代聚类(simple linear iterative clustering，SLIC)算法将点云对应的影像分割成超像素，该算法仅需要指定超像素的数量m[16]； 然后，利用共线方程将点云投影到影像上； 再根据超像素分割的结果将点云聚类成不同的超体素，作为本文分类的对象。在获取了点云对象之后，根据对象中所包含的单点的特征向量，采用式(5)计算对象的特征向量，即

(5)

式中：fo表示对象的特征向量；fl表示第l个单点的特征向量；N表示一个对象中包含的单点数量。

1.3 随机森林算法

随机森林算法由Breiman 于2001年提出[17]。该算法的基本思想是用随机的方式建立一个森林，森林中含有很多决策树，每一棵树都是二叉树的形式。在生成森林之后，当输入新的样本时，每棵决策树便会对其进行判断，然后根据所有的判断结果选出票数最多的作为最终的分类结果[18]。

针对待处理的点云数据，首先选取了4个类别(建筑物屋顶、地面、植被和建筑物立面)的少量样本数据，然后选取20%的样本作为训练数据，剩余的样本作为测试数据。本文将点云特征构成的10维特征向量直接输入到随机森林分类器中，在训练分类器之后，利用测试数据评价分类正确率。由于对象的数量对分类结果有较大影响，因此本文测试了不同对象数量的分类效果，然后选择效果较好的分类器对所有待处理点云(即总体数据)进行分类。

1.4 后处理优化

初始分类结果中不可避免地存在错误分类，因此本文进一步利用上下文关系对初始分类结果进行优化。首先，对分类结果进行联通分析，将具有邻接关系的同类点云聚成簇； 然后，根据上下文关系对其进行优化处理，具体包括以下3个规则： ①对于屋顶簇,如果屋顶周围没有立面，则认为该屋顶是错分的，根据其邻域中所占比例最高的类别来修正其类别； ②对于地面簇,如果地面的周围只有屋顶，则将该地面修正为屋顶； ③对于立面簇,如果立面周围没有屋顶，则该立面是错分的，根据其邻域中所占比例最高的类别来修正其类别。

2 实验与分析

2.1 数据准备

为了验证本文方法，采用了如图2所示的2组数据进行实验。该点云(如图2(a)和(d)所示)均由SWDC-5影像生成，密度约为20～30 pt/m2。图2(b)和(e)分别为彩色点云对应的原始影像，图2(c)和(f)分别为将点云投影到原始影像上的叠加效果，从图2(c)和(f)可以看出点云并没有完全覆盖原始影像，所以当影像分割成一定的超像素时，实际需要分类的对象数量小于该数值。本文参考数据由人工在原始影像上进行标注，精度评定时，将分类后的点云投影到原始影像上，与参考数据进行对比计算精度。

(a) 第1组彩色点云 (b) 第1组原始影像 (c) 第1组点云投影到影像

(d) 第2组彩色点云 (e) 第2组原始影像 (f) 第2组点云投影到影像

图2数据源

Fig.2Datasources

由于对象的数量对分类结果有较大的影响，分别测试了m取80 000，100 000和150 000时的分类效果。表1为每组数据的训练集、测试集和总体数据的点云对象数量。

表1 实验数据集Tab.1 Experimental datasets (个)

2.2 分类器训练结果

根据不同的m值，利用表1所列的训练数据集和测试数据集分别进行了3次实验，表2为每次分类的Kappa系数和分类精度。

表2 分类器训练结果Tab.2 Learning results of classifier

从表2可以看出，2组数据均在m=100 000时取得最佳分类结果。

图3分别描述了2组数据特征重要性直方图。

从图3可以看出nz，Nz，fv，Gr以及颜色特征对于分类具有重要作用，nx，ny和fp作用相对较小； 当m取值不同时，各个特征的重要性基本一致。

(a) 第1组 (b) 第2组

图3数据特征重要性

Fig.3Importanceofdatasetsfeatures

2.3 总体数据分类实验结果

根据2.2节结果，本文采用m=100 000时训练的随机森林分类器对总体数据进行分类，然后对初始分类结果进行优化。结果可视化效果如图4所示。

(a) 第1组初始分类结果 (b) 第1组优化后分类结果

(c) 第2组初始分类结果 (d) 第2组优化后分类结果

图4分类结果可视化

Fig.4Visualizationforclassificationresults

图4(a)和(c)为直接利用分类器的分类效果，图4(b)和(d)为优化以后的分类效果。从结果可以看出仅使用少量样本数据进行训练也可以取得较好的分类效果，经过优化后，初始分类结果中的一些错误分类进一步得到了改正。

为了实现与基于单点的分类方法进行对比，表3为2组总体数据基于单点、面向对象和面向对象分类并优化后的分类精度。

表3 总体分类精度Tab.3 Overall accuracy (%)

从表3中可以看出，即使没有对面向对象的分类方法进行后处理，其总体分类精度也都高于基于单点的分类方法，2组实验数据的总体分类精度分别比基于单点的分类方法提高1.1%和5.0%，充分说明了面向对象分类方法的优势。经过优化处理后，2组数据分类精度分别为91.2%和88.1%，比优化前分别提高了1.2%和3.2%，说明了优化方法的有效性。

2.4 误差分析

分类误差主要包括以下2种情况： ①参考数据中，地面上的物体被标注为地面(例如汽车)，因此会导致存在一些错分的对象，如图5(a)所示，车顶为绿色的汽车被分类为植被； ②由于阴影的存在和样本选择的不适当会导致一些区域错误地分成植被，如图5(b)所示。

(a)绿色车顶错分为植被 (b)阴影错分为植被

图5错误分类示例

Fig.5Examplesoferrorclassification

3 结论

针对倾斜摄影测量点云分类，提出了一种面向对象的点云分类方法。本文利用影像分割的结果将对应的点云聚类为不同的对象，采用随机森林分类器进行分类，并且针对分类错误，利用上下文关系优化初始分类的结果。采用2组典型实验数据来验证本文方法的有效性，本文方法的总体分类精度分别达到91.2%和88.1%，比基于单点的分类方法分别提高了2.3%和8.2%。

本文方法仍存在一些不足之处。首先，需要挖掘更多更有效的特征来提高分类精度； 其次，摄影测量点云的质量对分类结果有很大的影响，因此，开发更好的立体影像密集匹配算法会进一步提高分类精度； 最后，选取样本时应更加全面，例如不同建筑物的屋顶颜色和高度会差异很大，因此需要尽量多选择不同种类的屋顶。

参考文献(References)：

[1] Hirschmüller H.Accurate and efficient stereo processing by semi-global matching and mutual information[C]//Proceedings of 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.San Diego,USA:IEEE,2005:807-814.

[2] Hirschmüller H.Stereo processing by semiglobal matching and mutual information[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2008,30(2):328-341.

[3] Wehr A,Lohr U.Airborne laser scanning：An introduction and overview[J].ISPRS Journal of Photogrammetry and Remote Sensing,1999,54(2/3):68-82.

[4] Xu S,Vosselman G,Elberink S O.Multiple-entity based classification of airborne laser scanning data in urban areas[J].ISPRS Journal of Photogrammetry and Remote Sensing,2014,88:1-15.

[5] Gerke M,Xiao J.Fusion of airborne laser scanning point clouds and images for supervised and unsupervised scene classification[J].ISPRS Journal of Photogrammetry and Remote Sensing,2014,87:78-92.

[6] Guan H Y,Li J,Chapman M,et al.Integration of orthoimagery and Lidar data for object-based urban thematic mapping using random forests[J].International Journal of Remote Sensing,2013,34(14):5166-5186.

[7] 徐宏根,王建超,郑雄伟,等.面向对象的植被与建筑物重叠区域的点云分类方法[J].国土资源遥感,2012,24(2):23-27.doi:10.6046/gtzyyg.2012.02.05.

Xu H G,Wang J C,Zheng X W,et al.Object-based point clouds classification of the vegetation and building overlapped area[J].Remote Sensing for Land and Resources,2012,24(2):23-27.doi:10.6046/gtzyyg.2012.02.05.

[8] Rothermel M,Haala N.Potential of dense matching for the generation of high quality digital elevation models[C]//International Archives of the Photogrammetry,Remote Sensing and Spatial Information Sciences.Hannover,Germany:ISPRS,2011:331-343.

[9] Debella-Gilo M,Bjørkelo K,Breidenbach J,et al.Object-based analysis of aerial photogrammetric point cloud and spectral data for land cover mapping[C]//Proceedings of 2013 International Archives of the Photogrammetry,Remote Sensing and Spatial Information Sciences,Volume XL-1/W1.Hannover,Germany:ISPRS,2013:63-67.

[10] Xiao J,Gerke M,Vosselman G.Building extraction from oblique airborne imagery based on robust façade detection[J].ISPRS Journal of Photogrammetry and Remote Sensing,2012,68:56-68.

[11] Rau J Y,Jhan J P,Hsu Y C.Analysis of oblique aerial images for land cover and point cloud classification in an urban environment[J].IEEE Transactions on Geoscience and Remote Sensing,2015,53(3):1304-1319.

[12] Gerke M,Xiao J.Supervised and unsupervised MRF based 3D scene classification in multiple view airborne oblique images[C]//Proceedings of 2013 ISPRS Annals of the Photogrammetry,Remote Sensing and Spatial Information Sciences.Antalya,Turkey:ISPRS,2013:25-30.

[13] 孙 杰,赖祖龙.利用随机森林的城区机载LiDAR数据特征选择与分类[J].武汉大学学报(信息科学版),2014,39(11):1310-1313.

Sun J,Lai Z L.Airborne LiDAR feature selection for urban classification using random forests[J].Geomatics and Information Science of Wuhan University,2014,39(11):1310-1313.

[14] Hu H,Ding Y L,Zhu Q,et al.An adaptive surface filter for airborne laser scanning point clouds by means of regularization and bending energy[J].ISPRS Journal of Photogrammetry and Remote Sensing,2014,92:98-111.

[15] Rothermel M,Wenzel K,Fritsch D,et al.SURE:Photogrammetric surface reconstruction from imagery[C]//Proceedings of 2012 LC3D Workshop.Berlin,Germany:[s.n],2012:1-9.

[16] Achanta R,Shaji A,Smith K,et al.SLIC superpixels compared to state-of-the-art superpixel methods[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(11):2274-2282.

[17] Breiman L.Random forests[J].Machine Learning,2001,45(1):5-32.

[18] Guo L,Chehata N,Mallet C,et al.Relevance of airborne Lidar and multispectral image data for urban scene classification using random forests[J].ISPRS Journal of Photogrammetry and remote Sensing,2011,66(1):56-66.