城市建模中的多视角纹理映射技术

卢学良，巩丹超，曹华振

1. 西安测绘研究所，陕西 西安，710054；2. 地理信息工程国家重点实验室，陕西 西安，710054；3. 第三测绘导航基地，新疆 乌鲁木齐，830002



城市建模中的多视角纹理映射技术

卢学良1，2，巩丹超1，2，曹华振3

1. 西安测绘研究所，陕西 西安，710054；2. 地理信息工程国家重点实验室，陕西 西安，710054；3. 第三测绘导航基地，新疆 乌鲁木齐，830002

倾斜式多视角摄影及其数据处理方法的出现，使得城市建模的手段变得更加丰富，而多视角影像的纹理映射是其关键技术之一，值得深入研究。本文首先对现有城市三维建模中多视角影像纹理映射的方法进行了简要介绍；然后根据倾斜航空摄影测量的技术特点，对传统方法的不适应性进行了深入分析，调整了相关纹理映射的策略，改进了其中最优化纹理选择中的可见性准则和邻接一致性准则，提出了拼接缝约束的优化策略。相关实验表明，调整后的策略在城市建模的多视角纹理映射中具有正确性和有效性。

倾斜摄影；数据处理；城市建模；纹理映射；多视角影像

1　引　言

纹理映射技术是三维建模过程中增强真实感最为关键的技术之一，长期以来，它一直是计算机图形学和计算机视觉等领域研究的热点[1]。城市建模的纹理映射技术主要取决于三维数据的生产方式，现有城市三维数据的生产方式主要以航空航天摄影测量和LiDAR测量为主[2-4]，这两种方式一般通过人机交互或者特征匹配的方式进行纹理贴图，其纹理映射的方法一般为单纹理映射，即是针对一个区域通常只有单张影像可供选择，纹理获取的目的性强，选择单一。

近年来多视角航空摄影被广泛应用[5-7]，该方法与传统方法最大的不同是它获取地物顶面信息的同时，还能获取大量地物的侧面信息。利用丰富的地物信息，能够快速构建具有真实感的城市三维模型。在此过程中，其纹理映射为多纹理映射，即在同一个区域有多个视角的影像覆盖，相较于传统的单纹理映射，如何选择最优化的纹理变得更为复杂。在这一方面，一些优秀的商业软件，如Smart3D[8]，已经基本可以做到自动化的纹理选择，但是其技术细节并没有公开；另外，国内外已经在这一方面进行了一些开拓性的工作。王立峰[9]和Baumberg[10]等人利用加权混合的方式为每帧图像求解合适的权重以获得最佳的混合效果，然而，这样可能会产生明显的走样。Frueh等人[11]进行简单的纹理映射后利用贪心算法进行纹理优化，然而该方法仅适用于规则化的城市模型。Lempisky[12]和Gal[13]等人将纹理映射转化为马尔可夫随机向量场，通过求解能量函数的方式进行解决，然而这些方法仅针对结构简单的三维物体模型。纵观以上现状，针对城市点云的表面重建还存在一些技术上的局限性，对于不同的应用背景和技术要求，还需加以修正并进行改进。

本文结合多视角倾斜航空摄影测量的技术特点，对现有多纹理映射方法的不适应性进行分析，调整相关纹理映射的策略，改进其中最优纹理选择中的可见性准则和邻接一致性准则，提出了拼接缝约束的优化策略，并通过实验，验证了改进方法的可行性和正确性。

2　倾斜摄影多视角纹理映射的难点和策略

2.1方法原理

倾斜摄影测量改变了传统遥感只能从正摄视角拍摄的局限，通过在同一飞行器上搭载多台传感器，同时从一个正摄、多个倾斜等不同的视角采集影像数据。区别于传统航空摄影测量技术以及机载LiDAR测量技术仅能获取地物的顶部信息、基本没有地物的侧面信息，倾斜航空摄影利用多视角的倾斜影像数据，采用空中三角测量、影像匹配等技术方法，获取地物多方位的点云数据，再通过表面建模(构网和纹理映射)技术构建真三维模型数据。倾斜航空摄影采集影像的情况如图1所示。

(a)立体示意图　　　　　　　(b)平面示意图图1　影像获取示意图

相较于常见方法[11]中纹理数据获取的一般性，倾斜航空摄影测量在数据获取上更为简单、规律、全面，在数据处理上也更具规范性，更容易实现自动化。本文研究的多纹理映射方法即针对倾斜航空摄影所获得的规范化倾斜影像数据。相对于原策略优化条件过于复杂，难以较好地处理倾斜影像数据的问题，本文研究的多纹理映射方法主要采用以下策略：

(1)模型精细程度的解决策略

随着低空飞行平台和传感器技术的提高，三维城市建模朝着更加精细化、真实化的方向发展，三维城市的表达也不仅仅再是规则立体的组合，附属地物(比如植被)也应当有所体现。有别于传统方法中利用规则化的模型进行纹理映射，本文所针对的对象是点云数据所构建的初始的网格，并没有进一步进行规则化处理，这无疑增加了纹理映射的难度，特别是对前述最优化纹理选择中法线夹角因素影响巨大，进而影响邻接一致性优化。对于这些问题，在后文中给出了相应的解决策略。

(2)遮挡因素的解决策略

由于摄影是一个从三维到二维的过程，受地物自身结构和多个地物之间空间关系的影响，在摄影区域内地物所有方位的信息很难在一张影像上一次性记录，总会或多或少地存在遮挡。因此，最优化纹理选择的一个重要因素就是必须可见，不能被遮挡。为了确定某个空间三角形Tj在影像Ii上的可见程度，传统方法往往通过Z缓冲区算法来检测影像上每一个像素上的遮挡情况。主要分为两个步骤：第一步，为每一张影像分配一个Z缓冲区，并将所有的空间三角形投影后存储其中；第二步，对每个空间三角形再次投影，计算未被遮挡的像素数与总像素数之间的比例ηij。但本文认为，某个空间三角形Tj在影像Ii上的可见程度只有两个属性，即可见或不可见，可见性小于一定程度就判定为不可见。因此，这里给定一个阈值η0，通过比较η0与未被遮挡的像素数与总像素数之间的比例ηij的大小判断可见性，关系如式(1)，其中0代表不可见，1代表可见。该处理减少了最终的优化目标，降低了目标优化的难度，实验证明效果也很好。

(1)

(3)拼接缝约束的策略

(2)

(4)邻接一致性约束的策略

如果模型和影像配准十分精确，并且所有影像的亮度、色调和分辨率完全保持一致，那么即使相邻的三角形映射不同影像，它们之间也不会有明显的差异。但实际上由于拍摄视角、曝光等原因，同一批影像在亮度、色调上或多或少存在不一致，在视觉上形成纹理间断。因此，必须处理好相邻三角形在纹理选择上的差异性问题，保证同一连续区域内的空间表面最好都能映射于同一影像。

由于文中所针对的点云模型是非规则化的模型，模型局部细节处的凹凸不平会对观测视角的判断产生影响，进而导致模型上大量的相邻三角形映射于不同影像，造成视觉上的纹理间断，现有方法很难有效地对这些情况进行处理。为了解决该问题，本文设计了下面的策略，具体分为三步：

a)检索每个三角形Tj外围N级的邻接三角形(设三角形Tj初选影像为I)。由于三角形没有先验的分类信息，所以这里不存在同类型三角形的问题。

b)统计这些三角形所对应的初选影像，找出其中所占比例最大的影像I0，计算其比例，记为φ，并设置阈值φ0。

c)如果I=I0，则直接进行下一个三角形的检测；否则，计算拼接缝的优化指标Δe。若Δe>0，则对Tj在I0上进行遮挡检测：如果可见，则三角形Tj的最佳纹理影像为I0，如果不可见，则三角形Tj的最佳纹理影像仍为I；若Δe≤0，则将φ与阈值φ0进行比较。若φ>=φ0，则对Tj在I0上进行遮挡检测：如果可见，则三角形Tj的最佳纹理影像为I0，如果不可见，则三角形Tj的最佳纹理影像仍为I；若φ<φ0，则三角形Tj的最佳纹理影像也为I。

2.2实现步骤

多视角纹理映射的基本思路是：首先，通过初选纹理目标函数赋予网格模型初选纹理；然后，在此基础上通过邻接一致性约束进行优化，使模型达到良好的显示效果。初选纹理目标函数为：

(3)

其中，分辨率Rij表示将空间三角形Tj投影到影像Ii上，三角形所包含的像素数；vij表示影像Ii的投影中心与三角形Tj几何中心的连线方向的单位向量；nij为空间三角形的单位法向量。根据上述思路，相关方法的具体流程如图2所示。

图2　纹理映射的流程

3　实验与分析

3.1参数分析

由上述策略可得，多纹理映射效果的好坏主要取决于η0、φ0两个参数的设置。

(1)参数η0：由于遮挡情况仅发生在前景物体与背景物体的透视相交处，涉及到部分遮挡的地方，理论上只是影像上的一些线形区域，其范围较小，并且由于倾斜摄影的数据获取较为规范，基本能获取地物全方位的影像信息，因此，理论上可以将η0值设置为1。但考虑到模型本身存在的偏差以及进行遮挡判断时像素数的统计误差，故设定η0的取值范围为(0.7,0.9)。

(2)参数φ0：由于难以通过分析估计其取值范围，故拟通过实验对其取值范围进行指导。

3.2实验设计与数据

实验一：根据3.1节对参数的分析，设计本实验完成对参数φ0取值的确定。在实验中，η0=0.8，通过分析不同参数设置下的纹理映射效果确定φ0的取值范围。

实验二：通过实验完成若干区域模型的纹理映射，对参数选取的正确性进行验证，并将纹理映射结果与商业软件Smart3D的建模结果进行对比，评估文中方法的纹理映射效果。

实验数据采用河南省某市A、B、C三个区域的倾斜摄影成果，包括三角网模型以及相对应的影像数据。其中A区域和B区域各有影像5幅，均为1张垂直方向摄影，4张倾斜方向摄影。C区域有影像6幅，2张为垂直方向摄影，4张为倾斜方向摄影。这里仅对A区域的数据进行展示，其影像数据如图3所示，影像数据的空间方位示意图如图4所示，模型数据如图5所示。

(a)垂直摄影方向 　　　　　　(b)倾斜摄影方向 　　　　　　(c)倾斜摄影方向

(d)倾斜摄影方向　　　　　　　　　　　　　　　　　 (e)倾斜摄影方向图3　模型区域所对应的影像数据

图4　影像的空间方位示意图 图5　三角网模型

实验一中，为了突出参数φ0的变化对纹理映射产生的影响，影像数据利用纯色图像进行替换。其中，紫色代表图4(a)，蓝色代表图4(b)，绿色代表图4(c)，黄色代表图4(d)，红色代表图4(e)。

模型数据截取图5中三角网模型的左下角部分。实验二中的影像数据和模型数据与实验一相同。

3.3实验结果与分析

实验一的结果如图6所示。

图6　不同参数下的纹理映射

根据实验一的结果，可以得出以下结论：

(a)当φ0=0.5时，纹理映射情况较差，零星的三角形较多，邻接一致性约束未能起到应有的效果；当φ0=0.4时，纹理映射情况有很大的改观，但零星的小面片依然存在；当φ0=0.3以及φ0=0.2时，纹理映射情况总体较好，零星的小面片基本消除，纹理影像的映射呈区域聚集性分布。

(b)对于参数φ0，有以下规律：随着φ0的逐渐减小，纹理映射的区域聚集性效果逐渐增强，当φ0趋于1/n时(n为映射于目标区域的影像数量)，纹理映射效果趋于稳定。但需要指出，φ0的减小也会导致模型若干局部区域纹理并非映射于最优影像。因此，综合权衡下φ0值应在1/n的基础上适当上浮。

根据上述实验情况，设置参数η0=0.8、φ0=0.3，实验二中A区域的结果如图7所示。

(a)本文策略纹理映射效果 　　　　　　(b)Smart3D纹理映射效果图7　本文策略与Smart3D的纹理映射效果

设置参数η0=0.8、φ0=0.3，实验二中B区域的结果如图8所示。

(a)本文策略纹理映射效果　　　　　　(b)Smart3D纹理映射效果图8　本文策略与Smart3D的纹理映射效果

设置参数η0=0.8、φ0=0.25，实验二中C区域的结果如图9所示。

(a)本文策略纹理映射效果 　　　　　　　　(b)Smart3D纹理映射效果图9　本文策略与Smart3D的纹理映射效果

根据实验二的结果，可以得出以下结论：

(a)对于参数η0的理论分析和取值范围的设定基本正确，并且φ0和η0为独立的参数，没有相关关系；

(b)本文策略的纹理映射效果和商业软件Smart3D的建模效果较为接近。

4　结　语

本文对现有城市三维建模中多视角影像的纹理映射方法进行了简要的介绍，并根据倾斜航空摄影测量的技术特点对其策略进行了调整和改进。实验证明该策略是有效的，能够正确完成多视角影像的纹理映射。但必须指出，仍有少量局部区域并非映射于最优影像，需要进一步改进。当然，正确完成纹理映射只是一个阶段性工作，在效率和效果上的进一步提升，特别是针对大区域航摄数据的批量处理将是下一步研究的重点。

[1]王继阳, 文贡坚, 吕金建等. 建筑物三维重建方法综述[J]. 遥感技术与应用, 2009, 24(6):832-840.

[2]冯梅. 基于LiDAR和航空影像的三维建模方法探讨[J]. 测绘通报, 2011, (12):12-14.

[3]Macay Moreia J M, Nex F, Agugiaro G, et al. From DSM to 3d Building Models: a Quantitative Evaluation[J]. ISPRS - International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2013, XL-1/W1(1):213-219.

[4]Pu S, Vosselman G. Knowledge based Reconstruction of Building Models from Terrestrial Laser Scanning Data[J]. International Journal of Photogrammetry and Remote Sensing, 2009, 9(6):575-584.

[5]李镇洲, 张学之. 基于倾斜摄影测量技术快速建立城市3维模型研究[J]. 测绘与空间地理信息, 2012, 35(4):79-82.

[6]Hamruni A M. The Use of Oblique and Vertical Images for 3D Urban Modelling[D]. UK: University of Nottingham, 2010.

[7]Musialski P, Wonka P, G. Aliaga D, et al. A Survey of Urban Reconstruction[J]. Computer Graphics Forum, 2013, 32(6):146-177.

[8]Patrick L. Turn Photos into 3D Models Automatically with Context Capture[OL]. [2015-04-19]. http://www.acute3d.com.

[9]Wang L, Kang S B, Szeliski R, et al. Optimal Texture Map Reconstruction from Multiple Views[C]. 2001 IEEE Conference on Computer Vision and Pattern Recognition， Portland, OR, 2001.

[10]Baumberg A. Blending Images for Texturing 3D Models[C]. Electronic Proceedings of the 13th British Machine Vision Conference. Cardiff, UK: University of Cardiff, 2002.

[11]Frueh C, Sammon R, Zakhor A. Automated Texture Mapping of 3D City Models with Oblique Aerial Imagery[C]. 3D Data Processing, Visualization and Transmission, 2004. Thessaloniki, Greece, 2004.

[12]Lempitsky V, Ivanov D. Seamless Mosaicing of Image-based Texture Maps[C]. Computer Vision and Pattern Recognition, 2007. Minneapolis, MN, 2007.

[13]Gal R, Wexler Y, Ofek E, et al. Seamless Montage for Texturing Models[C]. Computer Graphics Forum. Blackwell Publishing Ltd, 2010.

A Multi-view Texture Mapping Technology in Urban Modeling

Lu Xueliang1, 2, Gong Danchao1, 2, Cao Huazhen3

1. Xi'an Research Institute of Surveying and Mapping, Xi’an 710054, China 2. State Key Laboratory of Geo-information Engineering, Xi’an 710054, China 3. The Third Surveying, Mapping & Navigation Base, Urumqi 830002, China

The emergence of multi-view oblique photography and data processing methods provide more solutions for urban modeling, and the texture mapping of multi-view imagery is one of the key technologies worth further study. The existing multi-view image texture mapping methods in three-dimensional modeling of urban area are briefly introduced and the inadaptability of the original method is further analyzed according to the technical characteristics of oblique aerial photogrammetry. The relevant texture mapping strategy is adjusted to improve the visibility guidelines and adjacent consistency rules of texture selection, and an optimized strategy of seam-line constraint is put forward. Experiment results show that the improved strategy is accurate and effective in multi-view texture mapping in urban modeling.

oblique photography; data processing; urban modeling; texture mapping; multi-view imagery

2015-12-30。

卢学良(1989—)，男，研究实习员，主要从事遥感与空间数据处理方面的研究。

P231

A