机器学习在车载激光点云分类中的应用研究

李海亭, 肖建华, 李艳红, 庞小平

(1.武汉市测绘研究院， 武汉 430022； 2.精密工程与工业测量国家测绘地理信息局重点实验室， 武汉 430022;3.武汉大学 资源与环境科学学院， 武汉 430079)



李海亭1，2, 肖建华1，2, 李艳红3*, 庞小平3

(1.武汉市测绘研究院， 武汉 430022； 2.精密工程与工业测量国家测绘地理信息局重点实验室， 武汉 430022;3.武汉大学 资源与环境科学学院， 武汉 430079)

点云信息分类提取与利用是车载移动测量系统的关键技术，提高车载激光点云分类的智能化已成为当代信息科学技术发展所面临的重要问题.从分析点云的特征入手，采用机器学习方法对车载激光点云的行道树提取进行了大量实验研究.首先，在点云原始特征的基础上，根据其局部几何特征及空间分布，构造了由三维空间位置、回波强度、颜色值、法向量、单位投影密度、残差及回波强度维度内的残差等17个特征值组成的点云高维特征向量，然后采用支持向量机和人工神经网络两种机器学习方法分别对行道树点云进行提取实验.实验中采用了粒子群优化算法对支持向量机进行参数寻优，采用所构造的由17个特征值构成的特征向量对点云进行机器学习，两种学习方法的行道树点云分类精度分别可以达到99.75%和99.25%.实验结果表明，采用机器学习的方法对于提高车载激光点云分类自动化程度和智能化水平具有重要意义和作用.

车载激光点云； 机器学习； 支持向量机； 人工神经网络； 点云分类

点云信息自动化分类提取与利用是目前车载移动测量系统应用推广的主要瓶颈.国内外专家学者围绕车载激光点云的高程[1]、扫描线信息[2-3]、法向量[4]、投影密度[5-8]等进行了大量的信息分类提取方法研究.这些方法在一定程度上能够实现车载激光点云数据分类，但在分类精度、分类的自动化程度和智能化水平等方面还有待改进.比如高程阈值法相对简单，但分类结果精度较低；扫描线信息分类法可以快速实现不同目标的分类，但不适于复杂的城市地物环境；法向量估计法因其利用的特征单一，在城市复杂场景中可能导致分类效果不佳；投影点密度法适合于单个建筑物立面的提取，对于城市中密集建筑群立面的提取难度较大.针对车载点云数据量大、地理要素空间分布和局部几何特征差异大等特点，目前难以用一种策略或者一个成熟的算法把大范围复杂场景中的各种目标同时进行快速分类识别.因此，很多学者重点对某一类地物进行识别研究，其中研究较多的是针对建筑物[5，8-12]、道路[4，13-15]等的提取，而针对形态特征较为复杂的行道树的研究相对较少.

智能化已成为当代信息科学技术发展的主流趋势之一，而机器学习是实现智能化的关键.在激光点云的处理过程中，由于同类的点云数据除了具备相似的反射强度、颜色等信息，还往往具有相似的宏观特性和局部几何特性.因此可以利用这些特征构成特征向量，对激光点云进行分类提取.目前，国内外学者已使用机器学习方法对机载激光点云进行了分类研究[16-18]，但使用该方法对车载激光点云分类的研究比较少.由于车载激光点云数据与机载激光点云数据的特点不同，它具有采集方式灵活、点云密度高、采集数据更为精细等特点，使得很多针对机载激光扫描数据的具体处理方法不完全适用于车载激光点云的处理，把机器学习理论应用于车载激光点云的分类还有大量工作有待探讨与深入.本文结合车载激光点云的上下文语义环境，根据车载激光点云的局部几何特征及空间分布，构造了新的点云特征向量，采用支持向量机和人工神经网络两种机器学习方法对行道树点云提取进行了实验研究，提高了车载激光点云分类的自动化程度和智能化水平.

1 点云特征向量构建

1.1 点云原始特征及语义

车载移动测量系统多数集成了POS(Position & Orientation System)和全景相机，获取的点云原始特征主要为三维空间坐标(X，Y，Z)、回波强度信息(Intensity)、GPS时间及点云颜色值(RGB).与图像场景相似，点云目标识别还依赖于其上下文语义环境.与某点云对象邻近的点群将会反映该点云对象的隐含特征.邻近点群由点云对象的空间近邻关系计算得出，因此可以采用点云对象与点群在多维空间内的关系作为其特征.例如在三维空间中，点云对象的特征包括点群拟合平面的法向量、单位投影密度、残差等；在回波强度单一维度内有强度和、残差均方根误差等.

1.2 点云特征向量构建

根据车载激光点云的原始特征及上下文语义环境，研究中将点云对象特征归纳为三维空间位置(X，Y，Z)，回波强度(Intensity)，颜色值(RGB)，三维空间维度内的法向量(NormalVector)、单位投影密度(Density)、残差(Residuals)、总残差(ResidualsSum)、残差均方根误差(ResidualsRMSE)以及回波强度维度内的残差(IResiduals)、总残差(IResidualsSum)、残差均方根误差(IResidualsRMSE).实验数据在同一时间段内采集，因此时间特征与点云呈弱相关，故时间特征忽略不计.

点云回波强度理论上与扫描场景的反射率成正比，即地物的反射率越高，激光回波强度值越大.尽管回波强度受大气衰减、设备精度和激光入射角等多方面影响，但同类型的地物往往具有相近的激光反射强度.因此，激光反射强度是原始激光点云判别的一个重要依据.

点云颜色由激光扫描点云与影像配准后获得.颜色使点云在某种程度上具备了影像特征，点云包含的颜色信息在点云分割与分类研究中具有重要作用.

点云法向量由上下文语义环境生成，需要结合特定方法进行计算.不同类型的地物其激光点云的法向量方向不同，因此激光点的法向量信息可以应用于点云的分类识别.在特征值具体计算过程中，通常采用最小二乘法对点云对象特定距离范围内的点群进行表面拟合，使得点群内的点到拟合表面的垂直距离平方和最小[19].多数拟合表面通常为非线性的.在满足精度要求的前提下，为加快运算速度，可采用平面表面进行拟合.车载激光点云可采用公式(1)作为平面拟合的参数方程：

ax+by+cz=1，

(1)

其中，a，b，c为参数，x，y，z为变量，点云的法向量为(a，b，c).

单位投影密度是将点云数据投影到XOY平面后点云数量与投影面积比.由于采用既定距离作为点群的投影半径，因此可直接使用点云数量(用m表示)作为该特征值.

残差是指实际测定值与按回归方程预测值之差，通常用表示.总残差又称残差平方和，用δ表示，代表了随机误差的效应，一组点云数据的总残差越小，其拟合程度越好.残差均方根误差(用σ表示)是绝对拟合指数，反映模型对数据的拟合程度.残差均方根越接近0，表明拟合越好.分别计算在三维空间内和回波强度维度内的残差、总残差和残差均方根误差，其中δi，δ，σ分别表示三维空间内相对“拟合平面”的残差、总残差和残差均方根误差，Iδi，Iδ，Iσ分别表示回波强度维度内的残差、总残差和残差均方根误差.由此，共计算得出包括17个特征值在内的点云高维特征向量，如式(2)所示：

F=[X，Y，Z，Intensity，R，G，B，a，b，c，m，δi，δ，σ，Iδi，Iδ，Iσ]T.

(2)

2 机器学习方法

机器学习主要分两大类：监督学习和非监督学习.其中监督分类可充分利用先验知识，预先确定分类类别，并通过反复检验训练样本，避免分类中的严重错误，提高分类精度.常用的监督分类方法有最小距离法、多级切割法、最大似然法、K-近邻、决策树、支持向量机、人工神经网络等.

多数机器学习方法大都把追求经验风险最小化作为努力的目标，即追求分类器在样本数据上的分类结果与真实结果之间的差值最小化.但有时在样本集上能够达到很高的正确率，而真实分类时效果却不理想.同时，这些方法往往受到模型选择与过学习问题、非线性和维数灾难问题、局部极小点问题等的困扰[20].基于结构风险最小化的支持向量机与其他方法相比，在解决小样本、非线性及高维模式识别问题中有其独特的优势，具有泛化能力强、全局最优和计算速度快等优点[21].人工神经网络是一种模仿人脑神经网络结构及行为特征的一种简化人脑数学模型，其计算模型主要有人工神经元模型、感知器模型、Hopfield网络模型、自组织竞争网络模型等，该方法一般可获得较高精度的分类结果[22].

上述方法中，支持向量机和人工神经网络模型均具有泛化能力强，分类精度高的特点，已在遥感影像要素分类提取中得到广泛应用.本文根据车载激光点云具有高维度、非线性的特点，采用支持向量机和人工神经网络方法对车载激光点云进行行道树识别实验.

3 分类实验

3.1 数据采集与预处理

实验采用的车载激光扫描仪角度分辨率为0.01°，X轴方向(沿道路方向)空间分辨率优于1cm，点云数据具有空间坐标(X，Y，Z)、回波强度信息(Intensity)、颜色值(RGB)等原始特征.实验区域为武汉市某主干道，道路长度150 m，点云数量2 984 872个.为计算方便，首先对原始点云数据进行预处理.预处理主要包括两部分：1)点云裁剪.根据道路中心线提取道路两侧的点云数据；2)坐标转换.通过角度旋转、坐标平移、镜像变换对点云进行处理.预处理过程对点云分类精度不会产生影响.预处理后的部分点云数据如图1所示.

图1 预处理后的点云数据Fig.1 Preprocessed point clouds

3.2 支持向量机分类

实验在Matlab2011a环境下实现，支持向量机函数库采用LibSVM，核函数为RBF(Radial Basis Function，径向基函数).实验采用粒子群优化算法(Particle Swarm Optimization， PSO)对模型进行参数寻优.经多次实验，设置点群半径为0.15 m，种群数量为20，最大迭代次数为100，学习因子c1=1.5，c2=1.7.实验中训练样本数量20 000个，其中行道树扫描点数目10 000个；随机抽取并生成测试样本数量4 000个，其中行道树扫描点数目1 000个.采用17个特征值构成特征向量，经计算，分类精度为99.75%，终止迭代次数为100，耗时12 599.88s.粒子群优化的适应度曲线和行道树点云分类结果分别如图2和图3所示.

图2 粒子群优化算法适应度曲线Fig.2 PSO fitness curve

图3 采用支持向量机的行道树点云提取结果Fig.3 Street trees point cloud classification based on support vector machine

3.3 人工神经网络分类

实验采用BP神经网络算法对实验数据进行分类提取，采用17个特征组成的特征向量，训练样本及测试样本与采用支持向量机方法实验中相同.具体算法在Matlab2012a环境下编程实现.BP神经网络采用三层结构，每层节点分别为10，10，2.激活函数分别采用Sigmoid、Sigmoid和purelin方法，并采用梯度下降函数进行训练.由于训练样本数量不是很大，实验尝试利用较多的迭代次数和尽量小的期望误差来提高分类精度.另外，由于学习速率较大容易引起振荡，过小则导致训练时间过长，收敛速度变慢.实验先选取较小的学习速率以保障系统稳定性，并通过观察误差下降曲线进行调整.经多次实验，设置最大迭代次数为1 000，期望误差为0.001，学习速率为0.002，训练曲线如图4所示.

图4 人工神经网络分类训练曲线Fig.4 Training curve of artificial neural networks

经计算，程序终止迭代次数为1 000，耗时39s，测试样本分类精度达99.25%.采用该神经网络模型对实验点云数据进行分类，结果如图5所示.实验结果表明：分类过程中虽然出现了花坛、灌木错分的情况，但整体分类结果较好.

图5 采用人工神经网络的行道树点云提取结果Fig.5 Street trees point cloud classification based on artificial neural networks

4 结论

本文通过对点云对象及周边点群进行分析，构建了由17个特征构成的点云对象的高维特征向量.在此基础上，采用支持向量机和人工神经网络两种机器学习方法进行了车载激光点云的行道树提取实验，实验中两种方法的测试样本分类精度分别可达99.75%和99.25%.实验表明，基于机器学习的自动分类方法在车载激光点云处理中具有良好的适用性，对提高点云的自动化和智能化处理具有较高的研究价值.

[1] 吴芬芳，李清泉，熊 卿.基于车载激光扫描数据的目标分类方法[J].测绘科学， 2007， 32(4):75-77．

[2]AbuhadrousI，AmmounS，NashashibiF，etal.Digitizingand3Dmodelingofurbanenvironmentsandroadsusingvehicle-bornelaserscannersystem[C]//lEEE/RSJInternationalConferenceonIntelligentRobotsandSystems， 2004: 76-81．

[3]ManandharD，ShibasakiR.Vehicle-borneLaserMappingSystem(VLMS)-anewobservationsystemfor3-Dmappingofurbanareas[C]//ProceedingsofIEEEJointWorkshoponRemoteSensingandDataFusionoverUrbanAreas，Rome，Italy， 2001: 5-9．

[4] 闫 利， 张 毅. 基于法向量模糊聚类的道路面点云数据滤波[J].武汉大学学报：信息科学版， 2007， 32(12):1119-1122．

[5] 李必军， 方志祥， 任 娟. 从激光扫描数据中进行建筑物特征提取研究[J].武汉大学学报：信息科学版， 2003， 28(1):65-69．

[6] 史文中， 李必军， 李清泉. 基于投影点密度的车载激光扫描距离图像分割方法[J].测绘学报， 2005， 34(2):95-100．

[7] 杨必胜， 魏 征， 李清泉， 等. 面向车载激光扫描点云快速分类的点云特征图像生成方法[J].测绘学报， 2010， 39(5):540-545．

[8] 卢秀山， 黄 磊. 基于激光扫描数据的建筑物信息格网化提取方法[J].武汉大学学报：信息科学版， 2007， 32(10):852-855．

[9] 王 健， 靳奉祥， 吕海彦， 等. 基于车载激光测距的建筑物立面信息提取[J].山东科技大学:自然科学版， 2003， 23(4):8-11．

[10] 杨 洋， 马一薇， 杨靖宇. 基于车载激光扫描技术的窗户提取与重建技术[J].海洋测绘， 2010， 30(3):48-51．

[11] 魏 征. 车载LiDAR点云中建筑物的自动识别与立面几何重建[D].武汉:武汉大学， 2012．

[12] 杨必胜， 魏 征， 李清泉. 车载激光扫描点云中建筑物边界的快速提取方法[C]//第一届全国激光雷达对地观测高级学术研讨会， 北京， 2010， 156-162．

[13] 李永强， 盛业华， 刘会云， 等. 基于车载激光扫描的公路三维信息提取[J].测绘科学， 2008， 33(4):23-25．

[14] 王 果， 崔希民， 袁德宝， 等. 车载激光点云领域比较的道路边线提取方法[J].测绘通报， 2012(9):55-57．

[15] 邹晓亮， 缪 剑， 郭锐增， 等. 移动车载激光点云的道路标线自动识别与提取[J].测绘与空间地理信息， 2012， 35(9):5-8．

[16]LalondeJF，VandapelN，HuberDF.etal.Naturalterrainclassificationusingthree-dimensionalladardataforgroundrobotmobility[J].JournalofFieldRobotics， 2006， 23(10): 839-861．

[17] 乔纪纲， 刘小平， 张亦汉. 基于LiDAR高度纹理和神经网络的地物分类[J].遥感学报， 2011， 15(3):546-553．

[18] 董保根. 机载LiDAR点云与遥感影像融合的地物分类技术研究[D].郑州:中国人民解放军信息工程大学，2013．

[19] 李艳红. 车载移动测量系统数据配准与分类识别关键技术研究[D].武汉:武汉大学，2014．

[20] 员永生. 基于支持向量机分类的面向对象土地覆被图像分类方法研究[D].杨凌:西北农林科技大学，2010．

[21] 邓乃杨， 田英杰. 数据挖掘中的新方法——支持向量机[M].北京:科学出版社，2004．

[22] 修丽娜， 刘湘南. 人工神经网络遥感分类方法研究现状及发展趋势探讨[J].遥感技术与应用， 18(5)：339-345．

Application of machine learning in the vehicle-borne laser point cloud extraction

LI Haiting1，2， XIAO Jianhua1，2， LI Yanhong3， PANG Xiaoping3

(1.Wuhan Geometric Institute， Wuhan 430022；2.Key Laboratory of Precise Engineering & Industry Surveying， State Bereau of Surveying and Mapping， Wuhan 430022；3.School of Resource and Environmental Science， Wuhan University， Wuhan 430079)

Point cloud classification， extraction and utilization is the key technology of Vehicle-borne Mobile Measure System. Improving the intelligent level of laser point cloud classification has become an important task for the development of modern information science and technology. Based on the analysis of the point cloud characteristics， the street trees points extraction experiments have been done by using machine learning methods. According to the original features and its geometric context of the point cloud， a high-dimensional feature vector consisting of 17 characteristic values were generated, such as three-dimensional spatial features， echo intensity， colors， the normal vector， projection density， residuals Then， we recognized and extracted the street trees clouds by respectively using SVM (support vector machine， which has unique advantages in solving small sample， nonlinear and high dimensional pattern recognition problems) and ANN (artificial neural network， which can usually obtain high accuracy of classification results by imitating human brain neural network structure and behavior characteristics). Particle swarm optimization algorithm was used to optimize the model’s parameter in the SVM classification process. The classification accuracy of SVM and ANN reached 99.75% and 99.25%, respectively. The results showed that the machine learning is very useful to improve the intelligent level of vehicle-borne laser point cloud classifications．

vehicle-borne laser point cloud; machine learning; support vector machine; artificial neural network; point cloud classification

2015-01-14.

国家自然科学基金青年基金项目(41101449)；精密工程与工业测量国家测绘地理信息局重点实验室开放研究基金项目(PF2011-26).

1000-1190(2015)03-0460-05

P22;TP18

A

*通讯联系人. E-mail: yanhongli1979@163.com.