基于多视角图像的建筑环境信息建模方法

殷 青，王春兴，韩昀松

(1.哈尔滨工业大学 建筑学院，哈尔滨 150001；2.寒地城乡人居环境科学与技术工业和信息化部重点实验室(哈尔滨工业大学)，哈尔滨 150001)

建筑环境信息建模技术在城市与建筑能耗分析、日照辐射利用潜力评估、历史文化建筑遗产保护、城市风貌控制等方面具有广泛应用.随着生态文明城市建设的不断深入，既有建筑文脉与历史风貌的传承与保护日益受到关注，对建筑环境信息建模技术提出了更高的建模精度和效率要求.

工业用计算机断层成像技术、激光雷达扫描、低空摄影测量等技术逐步引入建筑环境信息建模过程[1]，其中工业用计算机断层成像技术和激光雷达扫描虽然能够获得较高精度的三维信息，但其价格昂贵，操作流程繁琐，设备不易携带，很难进行推广；而低空摄影测量技术凭借其采集成本低、操作简单，不易受环境、地形、天气因素影响的技术优势[2]，可高效地获取建筑与环境信息数据，在城市规划、农业植保、施工监测、工程测算等领域得到了更为广泛的应用.

尽管低空摄影测量技术在近几年取得了迅猛发展，但限于无人机飞行轨迹、高度等因素限制，其对建筑檐下、局部悬挑等建筑细部信息的采集仍存在较大局限，其采集难度高、耗时长、精度差[3]，影响了建筑环境信息建模精度和效率.针对上述问题，本文旨在探索融合多视角图像的建筑环境信息建模方法与技术，突破既有单一数据源建筑环境信息建模精度和效率瓶颈，并结合实践案例对所提出方法进行应用效果验证.

1 国内外研究现状

随着文物保护日益受到关注，越来越多的学者开始投入到文物的三维重建与保护工作中.高超等[4]利用三维激光扫描仪对近地面处和古塔内部信息进行采集，利用无人机对塔身和塔顶信息进行补充采集，实现了对古塔的数字化重建.闫宇等[3]利用激光扫描仪和无人机等工具对古建筑进行了测绘方法的创新，避免了传统手工测绘中人工操作危险、效率低的问题，但是利用激光雷达与航空影像结合，在内业处理方面比较复杂，花费时间长.于丙辰、孙运豪、刘建国等[1,5-7]利用倾斜摄影测量对大型不可移动建筑文物进行了三维重建.屠大维等[8]利用三维扫描仪对花瓶进行扫描，可满足对小型文物的快速数字化重建.石力文等[9]将激光雷达扫描的点云数据与BIM数据结合，提出一种三维激光扫描技术与BIM相结合的古建筑测绘方法.Ragia等[10]利用全站仪对克里特岛一栋历史建筑进行测绘，利用内插法将建筑细部进行细分，得到了较好的真三维模型，但该方法自动化程度低，不能满足大规模建模需要.Alidoost等[11]通过对无人机多视角影像的内外参数修改，提高了对遮挡区域的建模精度.Lingua等[12]分别应用激光雷达与无人机倾斜摄影进行了瓦拉洛修道院的三维重建，比较分析表明激光雷达建模精度略高，但无人机具有快速、操作简单的优点，更利于权衡建模过程中的精度和效率需求.

在上述研究中，国内外学者根据采测对象特征以及建模精度要求，通过倾斜摄影测量、激光雷达扫描以及多种工具的结合等不同的技术和方法完成了采测对象的三维重建.整体来说，通过激光雷达和倾斜摄影测量均可以获得精确的几何模型.其中通过无人机低空摄影测量进行三维重建，自动化程度高，操作简单，但是对部分建筑构件的细节建模精度有限；通过雷达点云进行三维重建，获得的模型精度高，但是其后期需要处理大量的点云数据，操作复杂，不利于进行大规模的三维重建.

基于低空摄影测量的建筑环境信息建模方法虽然具有操作简单快捷的优势，但其在复杂建筑形态建模过程中，例如相对于构件繁琐的中国传统建筑，仅通过单一的无人机低空摄影图像很难满足建模精度要求，亟待探索更为精确的建筑环境信息建模方法.

2 模型建构方法与过程

本文以某历史保护建筑为例，探索融合低空摄影测量与地面拍摄图像的建筑环境信息建模方法.以近景摄影测量为基础，将无人机影像与相机影像相结合，通过数据采集、影像处理、空三处理、空三合并、生成TIN模型、纹理映射、模型修复等步骤，建立实践案例的真三维数字模型.

2.1 实践案例概况

实践案例为寒地城市哈尔滨的2栋历史保护建筑，编号为1号楼和2号楼，其总平面布局见图1，其中1号楼位于基地中央，建筑入口面向基地主入口，2号楼紧邻兆麟街.

1号楼为折衷主义建筑风格，建筑主立面呈对称布局，建筑装饰和建筑结构融为一体，装饰线条更加理性，屋顶为红色，为帐篷式屋顶，檐口为砖砌线脚，凹凸多变，塑造了丰富的光影变化.

2号楼则具有中国传统建筑风格特征，其主体为砖混结构，建筑屋顶为歇山顶形式，建筑立面饰有柱体、栏杆、雕花，并绘有彩画，具有很高的艺术价值，是历史保护建筑[13].

图1 建筑总平面

在本次对建筑采测的要求中，需要对建筑的外观做出精确的测量，包括建筑外观的色彩、构件的尺寸以及位置、各种转角线条的变化.

2.2 建筑环境信息采集流程

实践项目依托的数据源包括低空摄影测量图像和近地面处的相机拍摄图像数据.将无人机采集影像的pos数据与数码相机影像的同名点坐标进行2组数据源的影像匹配，并通过设置连接点和控制点坐标，建立纠偏方程，提高影像匹配精度.建模过程将自动匹配各位置不同角度的最佳影像，对其进行特征点匹配，构建不规则三角网格，创建白模，并自动进行纹理映射.

通过采用SMF算法进行特征点匹配[14]，以F(I)表示图像I周围的特征点，对于各图像对I和J，考虑每一个特征f∈F(I)找到最近邻的特征向量fnn∈F(J)，fnn计算如式(1)

(1)

优化匹配特征点，建立DSM模型，将建筑环境图像数据中的颜色和纹理信息映射到模型中，建立真三维模型.实验流程见图2.

2.3 数据采集与处理

数据采集的方式决定了后期建模的准确性，应用Mavic 2 Pro无人机以及尼康D5300相机进行数据采集.通过采用Altizure软件设计无人机飞行路线，确定图像数据采集范围，最后生成了5次航程路线，包括1条正射影像路线和4条倾斜影像路线，无人机飞行姿态与航线布置见图3、4.

图4 无人机航线布置方案

根据CH/Z 3005—2010《低空数字航空摄影规范》中的规定，需要在飞行前设置无人机飞行的高度以满足拍摄物体的精度要求.地面航高和地面分辨率[14]的关系式为

(2)

式中：H为摄影航高，单位为m；f为镜头焦距，单位为mm；GG-GSD为地面分辨率，单位为m；a为像元尺寸，单位为mm.

在设计中，确定了地面分辨率要高于0.03 m，以此计算出航高约为130 m.通过无人机试飞观察航行地块及周围建筑在130 m高度对飞行高度没有影响，因此确定130 m飞行高度为安全飞行高度.同时设定在低空摄影测量中，航向重叠度在60%～80%之间，旁向重叠度在15%～60%之间.在本项目中，由于项目的精度要求较高，设置旁向重叠度和航向重叠度都为80%.相机的倾斜角为30°，无人机航程设置参数见表1.

表1 无人机飞行参数

同时，利用数码相机对2号楼正立面进行数据采集，在采集前需要设置采集点，采集点与拍摄的建筑立面平行设置.由于采集照片图幅较小，为了同时满足精度和图像精准匹配的需求，设置距离建筑沿街主立面25 m、34 m的2排图像采集点.相邻采集点照片的重叠率约为80%，每个采集点拍摄2～3张照片，相机采集点设置见图5.

图5 相机采集点设置

为了避免相机拍摄的影像与无人机拍摄的影像角度差别过大而导致重建失败，在地面进行图像采集时，拍摄的影像中心法线应与地面保持平行或者向下微倾，影像不宜向上倾斜，不宜与地面有较大的角度.同时，空中拍摄的影像与地面影像颜色均匀度、光照情况应相似，避免在三维重建过程中出现位置点识别错误或者纹理映射混乱的问题[15].

2.4 数据模拟加工

2.4.1 图像数据预处理

在采集图像的过程中，图像色彩的均匀度、亮度、清晰程度对后期的重建效果影响很大，所以在重建之前，要对影像的质量进行处理.处理时利用多尺度Retinex滤波算法(MSR)[16]对采集的图像进行增强处理.该算法在彩色图像增强、去雾、彩色图像恢复方面都有很好的效果，其数学模型为

(3)

2.4.2 模型三维重建

在对采测图像处理完成后，需要对其进行三维重建.本次三维重建使用ContextCapture软件.首先在ContextCapture Master软件中创建2个独立区块，分别为单独导入相机拍摄影像的block1和单独导入无人机拍摄影像的block2.对block1和block2进行空三处理，生成结果为block1-AT、block2-AT.空三处理可以将无序的影像重新排列，还原影像的真实空间位置，恢复其初步的三维点云模型.初步空三完成后，在block1中设置连接点，设置的连接点需要在block2中清晰可见.同时，每个连接点至少有3张以上清晰的影像，连接点的数量要多于3个.当连接点设置完成后，将连接点空间位置信息导入到block2中，匹配连接点，检查连接点匹配是否正确.然后对block2-AT进行空中三角测量，生成block2-AT-AT，合并block1-AT和block2-AT-AT，对合并结果进行三维重建[17].

在进行相机的影像数据与无人机影像数据融合的过程中，如果连接点的位置设置不准确，会导致影像匹配失败.在连接点的设置过程中，匹配该位置的图像不宜过多，要求图像对于该连接点的位置要清晰可见，图片过多可能会导致空三过程中计算位置失败的情况发生.经过实验证明，各位置匹配的图像在10～15张时成功率比较高.

根据计算机的性能和内存的大小，将任务分解成一定数量的瓦片，保证每个瓦片重建的任务所需的内存小于计算机的可用内存.计算机会对每个瓦片单独重建，重建包括密集点云生成、TIN三角网格建立、纹理映射3个步骤[18].通过对进一步空三测量得到的密集点云数据切分处理后，再进行不同层次的TIN三角网格生成，将三角网格模型进行简化.然后经过纹理自动映射，生成该区域的真三维模型.模型的格式设为OBJ格式，以便后期对模型进行修整.

在无人机影像和相机影像融合的过程中，可能会出现融合失败的现象.当出现这种状况时，要检查连接点的设置是否准确，重新设置连接点，重复上述步骤.

2.5 模型后期处理

重建完成的建筑环境信息模型由于部分区域被遮挡、照片数量不足或者特征点匹配错误等原因会出现模型破面现象.为了提高整个模型的质量，需要对模型进行修复.将Smart 3D软件中生成的OBJ格式模型瓦片导入Meshmixer软件中进行检查修复，同时对模型曲面优化，修补模型破面，进行地面平整以及对悬浮物进行删除等.最后将修复好的模型瓦片导入到Smart 3D中，进行纹理的重新映射.映射完成后根据后期设计与保护需要可以将建筑进行单体化处理、构件力学分析、建筑环境性能模拟以及建筑病害检测等[19].为修复、保护等后续工作提供技术支持.

3 信息模型的生成结果

上述模型的生成过程见图6，通过对多视角图像数据融合的三维重建，得到了精度较高的真三维模型，清晰地呈现了历史建筑立面的细小纹理、雕花以及屋檐下的斗拱构件关系.在应用单一无人机拍摄数据进行三维重建时，会发现建筑的檐下空间由于没有充足的数据而导致重建缺失的现象，同时重建的精度低于无人机与相机融合数据进行重建的结果，2种重建模型的对比见图7.为分析三维重建精度，在实践案例上选择了7个实测点，采集其建筑形态数据来计算模型精度，见表2.

图6 数据重建过程

表2 三维模型精度测试

由表2计算可知，经过重建的三维模型误差为0.067 m,较好地满足了后期建筑改造与文物保护要求.对其中5个等级的模型网格数量进行对比，结果见表3和图8.随着模型精度的提高，模型的三角面数量会大大提高，同时经多视角图像重建后的模型三角网格面数量相比单一数据源模型的网格面数量有了很大提高，尤其在模型的转折处(窗户、墙裙线脚)，三角网格面会细致很多，见图9、图10.

表3 模型三角网格面数量对比

图7 重建模型对比

图8 模型网格面数量对比

图9 单一数据L21模型

图10 多视角图像数据L21模型

4 结 论

以哈尔滨某历史保护建筑的三维建模为例，探索了基于多视角图像的建筑环境信息建模方法.该方法能够较为精细地建立建筑真三维模型，能够准确重建檐下等建筑细部.解决了单一无人机影像数据建模方法易导致部分建筑信息缺失、细节不足的问题，实现了建筑环境信息的精确获取和建模，为大规模不可移动文物三维信息模型构建提供技术支撑.同时，为建筑遗产精细化测量成果的纵向应用发展提供了巨大发展潜力.

基于多视角图像数据进行三维重建，仍然存在着一定的不足：重建模型的精度受照片质量影响较大；重建效果受光照影响较大，较长的拍摄时间导致的阴影变化会导致建筑环境信息模型表面不平整、阴影不均匀等现象的出现.在今后的研究中，将会进一步改善不足，从而获得更为精确的真三维模型.