倾斜影像三维重建自动纹理映射技术

闫利，程君

（武汉大学测绘学院，武汉430079）

倾斜影像三维重建自动纹理映射技术

闫利，程君

（武汉大学测绘学院，武汉430079）

虽然倾斜摄影测量技术是国际测绘领域近年来倡导使用的一项高新技术，但在三维建模应用和效率方面还存在不足，为此，该文针对传统三维城市建模纹理采集、粘贴耗时耗力的问题，提出了一种基于五镜头倾斜航摄仪获取的倾斜影像数据进行三维重建自动纹理映射的方法。为了验证方案的可行性，该文开发了倾斜影像管理平台，并基于此平台实现了几何建模、纹理获取、纹理优选、纹理遮挡检测及自动纹理映射等功能。最后，利用阳江市的倾斜影像数据进行实验。实验结果表明：该平台纹理映射过程自动化程度高，三维建模效果良好，提高了三维建模的工作效率。

倾斜影像；摄影覆盖范围；几何建模；自动纹理映射；倾斜摄影；三维重建

1 引 言

倾斜摄影测量技术是国际测绘领域近年来倡导使用的一项高新技术，它颠覆了以往航摄仪只能从正射角度拍摄影像的局限，它通过在同一飞行器上搭载多台传感器，同时从1个正射、4个倾斜等5个不同的角度采集数据，将用户引入了符合人眼视觉习惯的真实且直观的世界［1－2］。利用倾斜摄影测量技术，可以快速建立城市三维模型。

原始航空拍摄大多是接近竖直角度，影像上的屋顶信息丰富而墙面不可见，建筑物稠密区域遮挡严重，使航片不能有效提供建筑物立面的纹理信息，而建筑物单纯依靠人工几何建模及纹理采集、粘贴等工作及其耗时耗力。传统建立城市三维模型的方法是先将需要建立模型的区域划分为若干个测区，采用外业人员手工拍照的方法，结合正射影像，得到建筑物的结构和纹理，然后，通过内业人员的处理，结合正射影像、测区平面矢量图、屋顶矢量图等数据，建立白模，通过拍摄的纹理分析模型的细部结构，最后将拍摄的纹理处理后贴在白模上［3］。倾斜摄影技术能够真实反映地物情况，倾斜摄影技术的应用，使目前高昂的三维城市建模成本大幅降低，大大提高了三维城市建模的速度［4］。

作为2008年第21届ISPRS大会的主要议题之一，倾斜摄影测量技术近几年在摄影测量领域受到普遍关注。典型的五镜头倾斜航摄仪中间一台垂直摄影，其余4台进行倾斜摄影，其倾斜角在40°到45°之间，相机上方安置有惯性测量单元（Inertial measurement Unit，IMU）导航系统，同时集成GPS定位系统，可以在曝光瞬间准确获取相机倾角及外方位元素［5］。本文提出了一种由五镜头倾斜航摄仪获取的倾斜影像数据进行三维重建自动纹理映射的方法。

图1 典型的倾斜数字航摄仪

2 基于倾斜影像的自动纹理映射流程

现有的普通航摄仪由于摄影姿态及飞行高度的限制，获取的数据为垂直视角下的影像，仅能获得建筑物屋顶的纹理，侧面纹理不可知。而倾斜摄影技术是对传统航空摄影测量的一种补充，获取的倾斜影像能够为城市三维建模提供丰富的侧面纹理信息［6］。本文针对传统三维城市建模纹理采集、粘贴耗时耗力的问题，提出了一种基于五镜头倾斜航摄仪三维重建自动纹理映射的方法，主要分为几何建模和纹理映射两个步骤，具体的流程如图2所示。

2.1 几何建模

本文通过计算影像覆盖范围，找到包含有目标建筑物的所有影像，然后刺点选择建筑物的房角点，获得其像点量测坐标，并转成像平面坐标。然后通过前方交会计算获得目标建筑物房屋角点物方坐标，再以此为初值，使用多基线前方交会精化房屋角点的物方坐标，并构建建筑物白模。

图2 基于倾斜影像技术的自动纹理映射流程图

本文以物方地理坐标为纽带，通过计算每张影像的摄影覆盖范围（Footprint），建立各视影像间的空间关系，便于检索，利用Footprint对影像进行组织与管理。

首先假设一张影像的4个角的像点量测坐标x′，y′分别为（0，0）、（width，0）、（0，height）、（width，height），如图3所示。然后将像点量测坐标按式（1）转化为像平面坐标x、y，对转化得到的像平面坐标进行畸变差改正和像点改正，畸变差改正模型采用式（2）。

图3 影像角点像点量测坐标

由此，引入畸变差和像点改正之后的共线方程的逆算式为：

这里，将Z设为一个常量，为当地的平均高程。那么，就可以得到每张影像的Footprint。对应于影像上的任何位置，通过获得其像点量测坐标，就可以求出其对应的物方坐标（X，Y），再通过上述已经得到的Footprint就可以得到包含目标点的所有影像。这里采用矢量叉积法来判断包含目标点的影像，即如果一个点在凸多边形内，那么按照逆时针方向，该点一定会在每一条的左边。所以按照逆时针方向遍历凸多边形的每一条边的两个顶点A（x1，y1）和B（x2，y2），然后判断给定点是否在AB矢量左边。对凸多边形的每一条边都如此判断，如果每次都判断出给定点在左边，那么就说明这个点在凸多边形内部。

搜索到包含有目标建筑物的所有影像之后，就可以计算房角点的物方坐标。相比于单基线摄影测量，多基线摄影测量方法有很明显的优势，它不仅有利于影像的自动匹配，而且可以改善交会精度。多基线前方交会一般有光束法前方交会和线性法前方交会两种方法可以应用。本文采用的是光束法前方交会。

光束法前方交会是基于共线方程，根据已知内外方位元素的两幅或两幅以上的影像，把待定点的影像坐标作为观测值，解求其或是值并逐点解求待定点物方空间坐标的过程［7］。

多基线前方交会的误差方程式为：

根据n（n≥3）张像片上的同名点，列出2n个共线方程和2n个误差方程式。用矩阵的形式表示为：

以此求出地面点坐标近似值的改正数ΔX、ΔY、ΔZ，当改正数小于某一特定的阈值即可停止迭代，最后求得地面点坐标的解为：

通过多基线前方交会可得到目标建筑物房角点的物方坐标，通过该坐标即可构建建筑物白模。

2.2 纹理映射

由于是不同视角下的多幅影像，导致建筑物模型上的每个墙面可能对应着其中的两幅或多幅，因此要为每个墙面从多视倾斜影像中选出质量最好的影像作为纹理数据源［8］。本文定义的优选准则如下：

①同一墙面在两幅或两幅以上备选影像中均完全可视时，则选择成像角度最好的影像；

②同一墙面仅有一幅影像可视时，则以该影像进行纹理采集；

③同一墙面在所有备选影像中都存在遮挡时，则以纹理区域遮挡面积最小的影像优先；

④当同一墙面没有备选影像时，可通过相似墙面纹理或者地面近景摄影的方式补漏［9］。

在大量的倾斜影像序列中，同一建筑墙面往往在多幅影像上可见，并且墙面纹理的分辨率、成像角度以及受遮挡的情况都是不一样的，必须选取质量最好，受遮挡最小的原始影像作为纹理数据源。

本文采用的优选方法是视角法，即该墙面的单位法向量与视点方向的夹角最小即视点最优。比较每幅纹理影像所求出的夹角，将夹角最小的纹理影像的下标赋给建筑物侧面［10］。具体算法如下：

①计算该建筑物侧面的法向量n→；

②计算该侧面的视点方向N→；

③计算视点方向与法向量的夹角θ，并比较M幅图像所求出的夹角，选择夹角最小的图像。

图4 视角法

利用视角法优选出成像角度好的影像作为纹理数据源，但在城区遮挡较为严重，需要对其进行遮挡检测，选择遮挡较少的影像。本文遮挡检测采用深度缓存算法，该算法基本思想是基于透视成像时离透视中心最近的地面点遮挡该光线上其他点。

完成上述步骤后，再将优选出的纹理影像进行几何纠正。本文利用反解法数字微分纠正的方法进行处理。传统的反解法是根据像片的内、外方位元素及高程，利用共线方程反求目标点在原始影像上的像点坐标，再经过灰度内插即可得到纠正后像元素的灰度值。与传统反解法不同，进行纹理几何纠正时，空间点信息不再是地面点，而是房屋矩形墙面上的采样点，经过上述变换后即可得到最终的建筑物纹理影像。最后，基于开源图形库OSG开发了建筑模型可视化平台，利用得到的模型数据和与其对应的纹理影像数据，对建筑物进行交互显示。

3 实验结果与分析

本文的实验数据是广东省阳江地区的倾斜影像，由国产倾斜相机SWDC－5拍摄获取。该倾斜相机由5个相机组成，包括1个垂直拍摄的相机和4个不同朝向的相机。测区总共包含5条航带，每条航带77张影像，共1925张，平均飞行高度为830m，垂直影像的GSD为5cm。本文选取该测区内的一处简单建筑物作为实验对象进行建模。下图为开发的倾斜影像管理平台，能够根据POS数据及内方位元素自动计算Footprint，同时搜索出包含有目标建筑物的所有影像。并采用五窗口联动视图的模式，与5个镜头关联，可以概览全局，如图5、图6所示。

图5 五窗口联动视图

图6 倾斜影像管理平台

根据搜索出的影像，通过最小外包矩形截取出目标建筑物的所有纹理影像，图7为部分目标建筑物的墙面纹理。对所获得的所有纹理进行优选，并进行几何纠正，结果如图8所示。对每一墙面的所有纹理进行优选和几何纠正之后，进行纹理映射，结果如图9所示。最后，基于上述方法，本文以广东省阳江地区某小区倾斜影像为示例数据进行了三维建模实验。图10、图11所示分别为该小区若干建筑物的几何建模及纹理映射后的三维模型效果图。实验结果表明：本文提出的方法纹理映射过程自动化程度高，三维建模模型效果良好。

图7 部分目标建筑物的墙面纹理

图8 经过优选和几何纠正之后的墙面纹理

图9 建筑物三维模型

图10 若干建筑物几何建模效果

4 结束语

针对倾斜影像的特点，并针对传统三维城市建模纹理采集、粘贴耗时耗力的问题，本文提出了一种基于五镜头倾斜航摄仪获取的倾斜影像数据进行三维重建自动纹理映射的方法，开发了倾斜影像管理平台，并基于OSG开发了建筑模型可视化平台。通过计算Footprint，进行影像的自动搜索，搜索出包含有目标建筑物的所有影像，再进行多基线前方交会计算房角点物方坐标以进行几何建模。随后对候选纹理数据源进行纹理优选、几何纠正、遮挡检测等，以选出质量最优的纹理，从而进行纹理映射。纹理映射过程自动化程度高，三维建模模型效果良好，提高了三维建模过程的工作效率。

图11 若干建筑物纹理映射效果

［1］ 王伟，黄雯雯，镇姣.Pictometry倾斜摄影技术及其在3维城市建模中的应用［J］.测绘与空间地理信息，2011，34（3）：181－183.

［2］ GRENZDORFFER G J，GURETZKI M，FRIEDLANDER I.Photogrammetric image acquisition and image analysis of oblique imagery［J］.The Photogrammetric Record，2008，23（124）：372－386.

［3］ 李镇洲，张学之.基于倾斜摄影测量技术快速建立城市3维模型研究［J］.测绘与空间地理信息，2012，35（4）：117－119.

［4］ 丁全利.我测绘行业首次引进倾斜摄影技术［N］.中国国土资源报，2010－4－12（001）.

［5］ PRANDI F，ACHILLE C，BRUMANA R，et al.Lidar and pictometry images intergrated use for 3Dmodel generation［J］.The International Archives of the Photogrammetry，Remote Sensing and Spatial Information Sciences，2008，XXXVII（Part B2）：763－769.

［6］ AHMED M.HAMRUNI.The use of oblique and vertical images for 3Durban modeling［D］.Nottingham：The University of Nottingham，2010.

［7］ 张剑清，胡安文.多基线摄影测量前方交会方法及精度分析［J］.武汉大学学报（信息科学版），2007，32（10）：847－851.

［8］ FRUEH C，SAMMON R，ZAKHOR A.Automated texture mapping of 3Dcity models with oblique aerial imagery［C］.Second International Symposium on 3DPVT，Thessaloniki，Greece，2004.

［9］ 桂德竹.基于组合宽角相机低空影像的城市建筑物三维模型构建研究［D］.北京：中国矿业大学，2010.

［10］ 吴军.三维城市建模中的建筑墙面纹理快速重建研究［D］.武汉：武汉大学，2003.

Automatic Texture Mapping of 3DReconstruction Based on Oblique Imagery

YAN Li，CHENG Jun

（School of Geodesy and Geomatics，Wuhan University，Wuhan 430079）

This paper briefly introduced the oblique photogrammetry technology.For traditional texture collection and pasting of 3Dcity modeling，they were time－consuming.A method using oblique images obtained by five lens digital aerial oblique camera to complete texture mapping of 3Dreconstruction automatically was proposed.In order to validate the feasibility of this solution，an oblique image management platform was developed.Based on this platform，functions including geometry modeling，texture capturing，texture optimization，texture occlusion detection and automatic texture mapping were achieved.The experiment was conducted using the data of Yangjiang.Experiments prove that the process of texture mapping has a high degree of automation，the effect of 3Dbuilding model is good and it can improve the efficiency of 3Dreconstruction.

oblique photogrammetry；foot print；geometry modeling；automatic texture mapping；oblique photography；3Dreconstruction

10.3969／j.issn.1000－3177.2015.02.005

TP751

A

1000－3177（2015）138－0031－05

2014－04－28

2014－06－10

国家科技支撑计划（2012BAJ23B03）。

闫利（1966～），男，博士，教授，主要研究方向为摄影测量与遥感及地面三维激光扫描。

E－mail：lyan＠sgg.whu.edu.cn