面向智能化测绘的城市地物三维提取

杨必胜，陈 驰，董 震

武汉大学测绘遥感信息工程国家重点实验室，湖北 武汉 430079

基础测绘是为经济社会发展和国防建设提供基础地理信息的基础性、公益性、先导性事业，是实现经济社会可持续发展的基础条件和重要保障[1]。我国基础测绘经历了从模拟测绘到数字化测绘再到信息化测绘的重大变革，逐步实现了全行业数字化转型，推动了数字化产品生产与服务体系的全面建立。但是，近年来数字化测绘技术带来的“红利”已基本用完[2]，且面临数据完整覆盖难、信息自动化提取难、智能化服务难等困境，已无法有效满足新型基础设施建设、实景三维中国、自然资源管理与监测等国家重大需求[3]。因此，从数字化测绘走向智能化测绘，综合利用空-天-地多平台、多类型对地观测手段和人工智能先进技术，建立以数据为基础、算法为核心、知识为引导、应用为驱动的智能化测绘新范式[2]，为智能交通、智慧城市、全球变化等提供精准决策，已成为国内外测绘学者的普遍共识和热门话题[4-6]。

2020年中国测绘学会学术年会上，陈军、刘经南、郭仁忠、周成虎等多位院士围绕测绘技术如何与新技术、新产品、新业态相融，测绘行业如何转型升级，实现高质量发展，进行了深入研讨，提出了建立智能化测绘观念更新、理论创新、技术研发、体系构建与示范应用的战略构想。2021年《测绘学报》组织出版了专刊，对智能化测绘进行了顶层设计、深入剖析和深刻探讨[2,4-14]。国际测量师联合会(International Federation of Surveyors,FIG)针对城市增长、智能能源、安全交通等对测绘科技的新需求进行了深入分析，并对测绘科技服务多源对地观测数据处理平台、时空地理信息分析与统计、全球变化模拟分析等方面进行了展望[15]。

多平台移动测量系统可以全天候、高速度、高密度地获取道路城市环境的三维点云与图像纹理信息，为面向智能化测绘的城市地物三维提取提供了一种全新技术手段，显著提升了三维空间数据获取效率。然而，在点云质量、三维信息提取等方面仍然面临如下问题：①受全球定位系统定位误差、惯性导航单元定姿误差、扫描仪测角和测距误差、多传感器同步与标定误差等影响，往返、不同时相的重访车载点云之间存在分米甚至米级的非刚性形变；②点云、影像等多模态数据融合存在同名特征检测与精准刻画难、跨模态误匹配率高等缺陷；③城市地物目标提取的自动化程度、语义完整性、结构化表达等尚不能满足城市场景理解的需求。

针对以上技术瓶颈，本文首先提出顾及多重约束的移动测量点云位置精度改善方法，将原始点云位置精度从米级提升至厘米级；其次，把位置改正后的点云作为空间基准，利用点云与全景图像中同名路标、杆状物的自动化匹配，进行全景影像与位置改正点云的高精度融合；然后，利用融合后的点云和影像作为数据源，充分发挥点云高精度几何特征和图像丰富纹理特征的优势，实现城市典型地物要素的高精度三维提取；最后，在上述3项关键技术的基础上，研制融合点云与影像的三维信息智能化提取软件Point2Model，有效支撑全国新型基础测绘项目开展。整体方法流程如图1所示。

图1 整体方法流程

1 车载移动测量点云位置精度改善

城市场景中建筑物、立交桥、玻璃幕墙、路侧植被等造成GNSS信号遮挡、多路径效应严重，导致直接地理定向的激光点云在重访区域出现重影、断层甚至畸变等现象，严重制约了移动测量点云要素提取和模型重建的位置精度[16]。因此，本文提出一种顾及多重约束的车载移动测量点云位置精度改善方法，包括顾及点云误差分布特性的自适应分段、由粗到细的多层级两两配准以及多重约束的全局图优化3个核心模块，整体流程如图2所示。

图2 点云位置精度改善整体流程

1.1 顾及点云误差分布特性的自适应分段

首先，通过对移动测量车的运动状态进行分析，选择其发生剧烈速度变化和较大方向变化的轨迹点构建候选分段点集合；然后，为了最大化点云分段中的同名区域，搜索候选分段点邻域内的轨迹点作为重访分段点，并加入分段点集合中，同时，为避免点云过分割现象，删除轨迹交叉附近的分段点，按照一定长度对轨迹进行分块，保证每个分段内只有一个分段点，得到最终的分段点集合；最后，按照分段点集合将点云划分为长度不同的分段。

1.2 由粗到细的层级化点云两两配准

考虑到城市场景中存在大量对称结构、重复场景，点云分段较短时，直接两两匹配容易出现误匹配，因此提出由粗到细的层级两两配准方法。首先，通过分段包围盒之间的重叠度值获取重访分段，并提取每个重访细分段内的二进制形状上下文描述子[17]；其次，通过双向最优和几何验证进行同名特征匹配，利用同名特征实现粗分段的两两匹配，并将相对位姿传递到所包含的细分段中；然后，基于所属粗分段匹配的同名特征点残差限定细分段匹配时特征搜索的半径，通过由粗到细的位姿传递以及搜索半径不断缩小，排除不相似特征，提升匹配效率；最后，根据特征点匹配数量、自身旋转量、相邻分段间的相对变换关系过滤掉不可靠匹配结果。

1.3 多重约束的全局图优化

层级化两两配准结果中无法保证绝对的准确，而且场景中依旧存在点云重访但是被过滤掉的分段。为保证整个点云数据质量的连续性，本文提出一种估计多重约束的点云分段全局图优化方法。对匹配成功的重访细分段，利用匹配同名特征点对构建重访约束Er；对相邻细分段点云，利用虚拟采样点构建平滑约束Es，如果外业采集了同区域的GNSS控制点，可构建相应同名点和分段点云之间的参考约束Eref，如式(1)所示

Eglb=ωrEr+ωsEs+ωrefEref

(1)

式中，ωr、ωs、ωref为相应权重。

通过将分段点云的局部位姿抽象为优化图中的节点，不同类型分段之间的关系抽象为边，构建完整的图模型，采用全局优化的方式，对所有分段点云进行平差，实现误差重新合理分配到所有分段点云中，并最终实现车载激光点云数据的数据质量改善。

为验证方法的有效性，本文利用上海市张江高科技园区和武汉市江汉区移动测量点云进行了试验，结果如图3所示。图3(a-1)、(b-1)为点云分块结果，不同颜色表示不同分块；图3(a-2)、(a-4)、(b-2)、(b-4)为数据改善前重访区域位置偏差；图3(a-3)、(a-5)、(b-3)、(b-5)为数据改善后的结果，改善后点云位置精度从米级提升至厘米级。

图3 城市场景车载激光点云数据质量改善结果

2 移动测量点云与全景图像高精度融合

由于移动测量系统的定位、定姿误差，以及激光扫描仪和相机外方位参数的标定误差，导致采集的点云与全景图像之间存在较大偏差[18]。自动化、高精度的点云和影像融合，是实现两者优势互补的基础和前提，同时也是提升要素提取和模型重建精度的有效途径。因此，本文提出一种基于路标杆状物的点云与全景图像高精度方法，通过在两种模态数据中分别精准提取对应的杆状物目标，并进行位置匹配获取2D-3D对应点，从而解算出正确的转换参数，详细的技术路线如图4所示。

图4 点云与全景图像自动配准技术路线

2.1 全景图像杆状物提取

首先，利用语义分割网[19]进行全景图像的语义分割，根据分割结果提取出杆状物；然后，对区域生长算法进行改进，将搜索范围锁定在垂直方向且在原算法基础上扩大搜索范围，优化杆状物提取结果，解决由遮挡问题导致的杆状物目标上下分离问题；最后，将优化后的全景分割图像二值化，并采用连通域分析方法对二值图像进行实例化，得到全景图像中所有杆状物目标的单体化结果。

2.2 点云杆状物提取

为精准获取点云杆状物，采用全景图像分割结果作为辅助，根据初始的转换参数，利用式(2)将点云转换到球面坐标系

(2)

然后采用式(3)和式(4)将球面坐标转为全景图像的像素坐标

(3)

(4)

式中，(xw,yw,zw)和(x,y,z)分别表示点云在世界坐标系和相机坐标系下的坐标；Rinitial和Tinitial表示初始的位姿参数；W和H分别表示全景图像的宽和高；θ和φ表示球面坐标系上的点分别与x轴和z轴的夹角；r和c分别表示点云投影在全景图像中的行和列。

根据全景图像中实例化的杆状物目标可以同步获取点云中对应范围内的点(即点云中的杆状物)，由于初始的外方位参数及车辆行驶过程中的环境影响，两者之间的对应关系存在偏差。为保证点云杆状物的完整性，针对全景图像中实例化的杆状物目标构建缓冲区，筛选出位于缓冲区内的点云，即视锥体点云。

由于遮挡及投影偏差的影响，每个视锥体点云既包括前景点(杆状物点云)也包括背景点(非杆状物点云)。本文采用聚类、分割和随机森林分类等方法在视锥体点云中提取杆状物[20]，对于全景图像中的每个杆状物目标分别提取对应的视锥体点云中的杆状物，最后将点云场景中所有的杆状物目标进行融合，实现点云杆状物目标提取。

2.3 同名目标精准匹配

将点云杆状物通过初始参数投影到全景图像上，并转换为对应的二值图Ipc，尺寸大小与全景图像一致，对应的全景图像杆状物二值图为Ipano，以Ipano为模版，构建损失函数

L=‖Ipc+r-Ipano‖0

(5)

式中，‖·‖0表示L0范数，即统计二值图像之间不同像素的个数；r表示点云杆状物投影图像的偏移量，平移后当两者重叠度最高时L达到最优。

完成匹配后即可获得大量的点云与全景图像对应点，将全景图像通过虚拟成像技术投影成框幅式图像，间接获得点云与框幅式图像的2D-3D对应点。最后，采用EPnP[21]模型解算点云与框幅式图像之间的转换参数，结合初始的转换参数，最终得到点云与全景图像之间更精确的转换参数。

为验证方法的有效性，本文利用上海市张江区和武汉市江汉区的移动测量点云和影像进行了试验，结果如图5所示。统计结果表明，数据融合之前点云与影像的最小偏差为15个像素，最大偏差为35个像素；自动融合后所有偏差均在5个像素以内，最低偏差为1个像素，满足点云和图像联合测图的需求。

图5 本文方法车载点云与全景图像配准结果

3 融合点云与影像的城市典型地物要素提取

准确高效地勘测城市典型地物要素，掌握其部件级的类别、位置、尺寸、形状等信息，对城市管理和规划具有重要意义。本文针对城市典型地物要素部件级分割效果不佳、影像和点云联合处理技术不成熟、语义和几何信息兼顾困难等技术瓶颈，提出一种融合影像和点云的城市典型地物要素提取方法。主要包括：基于街景全景影像目标检测的地物要素视锥裁切、综合多任务深度神经网络的单视锥点云实例分割、基于多视角视锥关联融合的实例精化3个关键步骤。详细的技术路线如图6所示。

图6 城市典型地物要素提取技术流程

3.1 基于街景全景影像目标检测的地物要素视锥裁切

首先利用影像目标检测深度学习模型从全景影像检测城市典型地物要素，得到地物的二维包围框和对应的语义标签；然后根据前文介绍的坐标映射关系，将二维包围框投影至点云空间裁切视锥点云，作为三维空间中实例分割的基础[22]。该部分以图像的目标检测结果为指导，不仅提供了细粒度的语义标签，还能大幅缩小点云中的目标搜索空间。具体而言，本文采用基于Objects365[23]和Tsinghua-Tencent 100K[24]训练的Cascade-RCNN目标检测模型[25]，在图像中检测信号灯、路灯、垃圾桶、交通标志牌、消防栓、锥桶、花坛、街边座椅等多类别城市典型地物要素，并对交通标志牌语义信息作了精细分类。基于建立的点云到像素坐标的映射关系，以及城市地物要素检测结果，每一个目标检测框都被投影至点云空间的一个三维视锥，保留三维视锥内的点云，认为其中包含一个地物要素目标实例，然后将点云坐标转至视锥坐标系，作为视锥点云输入后续的视锥点云处理神经网络。

3.2 综合多任务深度神经网络的单视锥点云实例分割

地物要素目标视锥裁切有效缩小了点云空间中的实例搜索范围，为部件级的目标实例分割提供了良好的基础。但是如果直接根据逐点特征预测实例分割掩码，由于缺乏全局信息和实例相关上下文信息，非常容易受到噪声的影响而输出错误的实例点云，对于复杂场景的稳健性较差[26]。因此，本文设计了一个多任务深度学习网络，包括实例包围盒、实例掩码、语义分割等多分支，实现多任务互相促进。该网络将聚合后的全局信息和三维包围盒信息作为实例掩码预测的输入，增强了对全局信息和实例上下文感知能力，能有效提升实例掩码预测的准确性。

(6)

3.3 基于多视角视锥关联融合的实例精化

通过视锥点云处理神经网络，每个视锥都输出了实例三维包围盒和实例掩码，但是相同地物往往会在相邻的全景影像中被同时检测到，因此直接累积多视角的视锥预测结果不仅会造成大量重复，还会造成误差的累积。针对此问题，本文研究了以目标为中心、融合多视角信息的目标实例分割方法，主要包括基于多目标追踪的多视角视锥关联方法和融合关联视锥的点云实例分割网络，最终输出地物目标实例分割结果。首先，利用基于匈牙利算法的多目标追踪方法，根据视锥点云处理网络输出的实例三维包围盒进行同目标多视角视锥关联[28]；然后，利用多尺度聚合PointNet++网络融合多视角视锥预测的实例掩码信息，从而对每个目标分别进行实例分割，输出所有城市典型地物要素的实例点云、位置坐标和语义类别。

为验证方法的有效性，在武汉市洪山区和上海市张江区的移动测量数据集上对方法效果和性能作了测试，部分类别提取效果如图7所示。定量评估结果显示，在上海数据集的实例级平均召回率和精确率分别为86.4%、80.9%，在武汉数据集的分别为83.2%、87.8%，基本满足智能化测绘对城市典型地物要素提取要求。

图7 城市典型地物要素部件级提取结果

4 点云影像智能处理软件研发与实践

在上述关键技术研发基础上，团队研制了融合点云与影像的三维信息智能化提取软件Point2Model(图8)，已应用于上海、武汉、南京、青岛、沈阳、广州、北京等全国新型基础测绘项目。上述工程实践标明，道路三维边界提取及矢量化的精度和完整性优于90.0%，道路交通标志线提取目标检测精度优于95.0%，单木提取和4类树木参数(树高、胸径、冠幅、落地点位置)自动测量的精度及召回率优于88.0%，城市基础设施提取整体精度优于85.0%，支持127类交通标志的点云与全景影像交通标志牌检测与识别，提取精度达97.9%，同时提供方便快捷的半自动矢量采集、编辑、质检功能，提高生产效率30%以上。

图8 融合点云与影像的三维信息智能化提取软件Point2Model

5 总 结

智能化测绘所产生的新型空间数据产品，既是国家基础性、战略性的数据资源，又能在数字时代下发挥大数据的乘数效用，赋能政府管理与社会经济高质量发展。但智能化测绘在采集手段、数据内容、信息提取方法等方面还需要深入完善。具体而言，在数据采集设备方面需进一步向无人化、众包化的方向发展，满足数据采集时效性的要求；在数据种类方面需接入物联网等流式数据，丰富数据的维数，全面反映物理世界的瞬时变化；关注范围也需从地表空间扩展到地表、地下、水上、水下的全空间测绘；在三维信息提取方法方面需要进一步加强大数据和人工智能技术的应用，提升处理处理的自动化水平和质量。相信在可预见的未来，在大数据、人工智能、5G通信、数字孪生、边缘计算等新兴技术的支撑下，三维信息提取的质量和时效性将为地球科学应用研究、实景三维中国等提供更加科学的决策支撑。