基于消费级无人机影像的古建筑三维建模方法

王广楠 刘健辰 张子浩

(山东科技大学 测绘与空间信息学院 山东 青岛 266590)

0 引言

近些年来全国各地掀起开发房地产的狂潮,众多古老的文化遗产沦为工地和楼盘,各种古建筑和文化古迹都遭到不同程度的破坏。传统的古建筑保护方法流程复杂,需进行大量实地考察作业,效率较低,导致基层文物保护部门任务繁重,条件艰苦。无人机倾斜摄影测量作为获取地表三维模型的重要途径具有便捷和高效的优势,并且其技术和方法是快速发展的,于丽丽研究了基于无人机倾斜摄影测量技术的城市三维实景建模方法;丁波主要分析了基于无人机倾斜摄影三维重建技术中的精度问题;项志勇等人提出了基于倾斜摄影的快速三维重建方法;周杰研究了三维重建模型二级评价的方法并结合图像快速建模系统(DP-Modeler)软件进行模型精修,得到了精细的三维模型;李策将地面三维激光扫描结果与倾斜摄影相结合进行三维重建;何原荣等人研究了基于三维激光扫描与倾斜摄影技术相结合的古建筑三维重建方法,并将构建的模型以不同比例尺进行三维(three-dimensional,3D)打印与室内外展示。本文研究了利用成本低廉的消费级无人机影像建立古建筑三维模型以及模型展示与发布的方法,一定程度上解决了传统古建筑保护方法时间和人力成本高的问题,可为文物保护部门制定古建筑保护方案提供参考。

1 研究过程和方法

1.1 Mesh模型的构建流程

三维重建算法的核心流程，如图1所示。

图1 三维重建的流程

1.2 航空影像匀化处理

受各种因素影响,测区航空影像色调存在差异,直接进行三维重建可能影响模型效果。批量处理航空影像,对航空影像进行匀色处理-对比度增强是尤为必要的。

基于限制对比度自适应直方图均衡化(contrast limited adaptive histogram equalizatio,CLAHE)解决了传统的直方图均衡化(histogram equalization,HE)算法局部失真和噪声过大的问题,在图像增强领域具有广泛应用,其基本步骤如下：

(1)划分图像为连续大小相等且不重叠小块,划分子块的数目与图像增强程度正相关。

(2)对每个小块建立直方图。

(3)直方图裁剪,将设置的超出阈值的像素切掉。

(1)

其中，

T

为设置的初始阈值；

w

和

h

分别是一小块的像素宽度和高度；

N

为小块内像素总值；

T

为最终阈值。

(4)将切掉的像素点重分配。

其中，

h

(

x

)为直方图；

E

表示超出阈值的像素个数；

B

表示每个灰度级增加的像素个数的平均值；

K

为灰度级的个数。

(5)每个小块直方图均衡化。

(6)线性插值运算,一般是双线性插值。

实验发现,将航空影像匀化处理之后,模型色彩更加真实且细节更清晰。

1.3 稀疏重建与稠密重建

稀疏重建使用运动恢复结构(structure from motion,SFM)算法,其流程如图2所示。

图2 SFM算法流程

基于尺度不变特征变换(scale-invariant feature transform,SIFT)提取特征点后进行特征点匹配,那么之后任意两张航空影像上若干点有式(4)的对应关系,表示任意两张影像的点的匹配关系。

(4)

通过上述的数据可求解相机内参

K

,相机外参

R

、

T

,进而求解地物的齐次地理坐标

X

,这便是SFM算法的核心。求解公式如下,这里

N

为影像数

x

为影像的齐次像素坐标。

i

是影像对的编号,是投影矩阵,和

X

的计算公式如下：

为更好地消除特征点匹配错误以及误差的影响,可进行非线性最小二乘优化

(7)

其中,={

P

,

P

,…,

P

};

X

={

X

,

X

,…,

X

},这里

D

是特征点的数目。这里区域网平差方法选择多核光束法平差(multicore bundle adjustment)算法。

多视角聚簇(cluster multi-view stereo,CMVS)算法对SFM算法输出的大量重叠点云进行聚簇分类,为后续操作减小了数据冗余,降低了时间成本，如图3所示。

图3 CMVS算法流程

基于面片模型的密集匹配算法(patch based multi-view stereo,PMVS)处理聚簇分类后的点云,建立面片模型迭代进行扩展和过滤操作,最后输出稠密点云，如图4所示。

图4 PMVS算法流程

1.4 网格优化

网格优化的核心在于建立以最小化匹配为代价的能量函数,其构建的基本过程如下：

α

为参考影像；

β

为邻域影像；影像

αβ

上(

r

,

c

)处的亮度值为

I

(

r

,

c

)；影像

α

上(

r

,

c

)处的亮度值为

I

(

r

,

c

)；影像

β

上(

r

,

c

)处的亮度值为

I

(

r

,

c

)。设

X

为物方点；

x

为像点；

S

为物方表面。参照文献中的公式,可依次计算：像点梯度变化值;像方顶点梯度变化值;物方顶点梯度变化值,以上信息可组成能量函数的数据项

E

(

x

)=

h

(

I

,

I

)(

x

)=1-

N

(8)

这里的

N

是影像间的相关系数,能量函数形式如下：

(9)

另外还有平滑项

E

,具有确保三角形状和表面平滑的功能：

(10)

(11)

1.5 纹理映射

将纹理影像构成的纹理空间与表面参数构成的三维模型空间作一一对应的映射叫做纹理映射,也就是将指定的纹理图像映射到三维模型表面,其基本流程如图5所示。

图5 纹理映射基本流程

纹理映射的核心在于构建映射关系,文献[12]提出了基于深度值的影像可见算法,此算法的核心是求出航空图像中每一个像素点对应的三角面,建立一张三角面标号图记录与本张航空影像最近的面然后确定影像那些像素点不存在遮挡。然后通过构建影像与三角面的图表关系,将每一个三角面作为节点,每一个备选影像作为标签。将问题转化成一个基于置信传播理论的求解数据场稳态问题,构建数据场的能量函数求解。

F

是三角面片；

l

是对应的备选航空影像；数据项

E

(

F

,

l

)衡量二者之间的相似程度,确定单个三角面片的纹理映射质量。

F

是与

F

相邻的三角面片；

l

是

F

对应的备选航空影像；平滑项

E

(

F

,

F

,

l

,

L

)衡量纹理的连续性,使得相邻三角面片纹理尽可能对应同一张备选航空影像。设l为待选纹理影像的编号,能量函数的表达如下：

(12)

求解三角面的能量方程全局最小值,即可得到最佳映射效果。

2 实验

2.1 实验总技术流程

网格模型(Mesh)构建完毕之后,进行各项实验,通过建模软件再建模可以生成3D打印产品,全景图和虚拟现实(virtual reality，VR)产品等,实验的流程如图6所示。

图6 实验的基本流程

2.2 航片拍摄与航线规划

2.2.1

调查测区概况

光岳楼是四重檐十字脊过街式楼阁,由墩台和四层主楼组成,有多处飞檐,栏杆石柱雕刻精美,结构较为复杂,三维重建有一定的难度。

2.2.2

航线规划

使用无人机航测航线规划软件Altizure进行航线规划,为保证相邻航片重叠度,每一层环绕一周拍摄50张左右五层共计250张倾斜影像。顶部按照之字形飞行并拍摄,共计飞行3个之字形航线,拍摄照片100张从而保证建筑物顶部,屋檐等细节的建模质量。选取连续晴朗的三天,前两天使用无人机进行拍摄,最后一天对细节进行补拍尤其是屋檐下等遮挡的部位等。

2.3 Mesh模型的精修

图像快速建模系统(DP-Modeler)是一款可对三维模型精修的单体化软件,与3D建模专业软件3Ds Max可以通过联动插件方便的联动：通过DPModeler采集模型的轮廓实时同步到3Ds Max中进行模型精细化。由于古建筑存在较多细小而复杂的结构,DPModeler自动纹理映射效果较差,需要大量的修改贴图。Mesh模型使用密集的三角网较真实地反映了建筑物实际的几何外观，但占用存储空间较大，不够轻量化，从而不利于后期宣传与发布。在3Ds Max中进行模型单体化,操作较为简单且效率高,将Mesh模型导入3Ds Max中并冻结,参照Mesh模型在新图层进行重建，见图7。

单体模型可在DPModeler软件中进行瓦块压平。将重建的模型还原到原来的场景中,在这里需要进行删除闪面,补洞和纹理修改。

图7 场景中的Mesh模型和单体化模型

2.4 模型的发布和宣传

2.4.1

3D

打印

使用3D模型修补软件Magics软件对单体化模型进行进一步的完善便可生产3D打印产品(图8):①缩放模型至合适的打印尺寸。②修复模型的错误：修复缝隙、孔洞和干扰壳体;修复模型的三角面片错误;修复模型壁厚错误消除打印中断裂的风险。

图8 3D打印结果展示

2.4.2

生成全景图和

VR

展示

单体化模型导入草图大师(Sketchup)软件,基于Sketchup开发的Dsketchup插件可自动生成全景图和VR场景且自动生成分享二维码便于在移动端自由查看。模型全景展示界面有评论界面和文字介绍栏,可对古建筑进行详尽的文字介绍,便于宣传与推广。

3 结束语

本文主要研究了基于消费级无人机航空影像进行古建筑三维重建的方法,探索了一种低成本、高效率的数字化古建筑保护方法;总结了模型重建方面的改进思路,即增强航片对比度,提高空三质量和优化三角网格模型;总结了基于消费级无人机航空影像快速建模,模型修饰和发布与宣传的基本流程。通过较低的成本和较短的时间,可以完成对古建筑的逆向重建,生产3D打印实物、全景图和VR展示等产品。相比地面测绘和三维激光扫描,操作流程更简易时间成本更低;相比直接在3D建模软件手工建模,效率更高且对模型各处比例有很好的把控，更加接近真实。技术通常以一个超乎想象的速度更新迭代,在古建筑三维建模领域,也不断涌现新的技术方案,如通过激光雷达构建三维点云与倾斜影像结合等。真心希望能够不断涌现更多的、更先进的技术方案用于解决古建筑的保护与维护问题。