基于Pictometry倾斜影像的三维城市模型纹理映射

娄 博，耿则勋，魏小峰，王洛飞，李伊杰

（1.信息工程大学 测绘学院，河南 郑州 450052；2.69028部队，新疆 乌鲁木齐 830002；3.66267部队75分队，河北 石家庄 050081）

如今，在GIS中使用正射影像作为地形背景是很普遍的。决策人员、行政人员以及普通大众都可以在谷歌地球等其他类似的服务上获得正射影像来进行定向和地物观察。然而，对垂直影像的判读需要训练和技能，并不是每个人都能容易地判读正射影像。与垂直影像相比，倾斜影像最大的优点是更好、更直观地判读。对倾斜影像的判读和量测只需要稍微训练就能做到，且其直观性与人们的视觉感受是一致的，因此，倾斜影像对于决策者和普通大众来说是非常具有吸引力的。为了能够从倾斜的视角获得尽可能多的信息，一般至少要获得东南西北4个方向上的影像。倾斜航空摄影测量可以应用在国民经济中的很多方面（建筑物偏离的检测、城市和基础设施的规划、军事侦察和安保、重要设施的保护以及地籍的管理等等），特别是在三维城市建模中的应用。

近十多年来，三维城市建模在数字摄影测量领域里是一个有活力的研究领域。在生成三维城市模型过程中，两个主要步骤分别是构建建筑物模型和将纹理添加到模型表面。人们已经发展了各种通过数字影像或是激光雷达自动或半自动构建三维城市模型的方法［1－2］。由于数字航空影像和激光雷达数据之间的补充性，通过融合数字影像和激光雷达数据能精确可靠地提取出建筑物模型［3］。在三维城市模型纹理映射方面，通常利用垂直影像进行房顶和地面的纹理映射，然而，建筑物的侧面在垂直影像上并不可见，因此，不能对侧面进行纹理映射。为了确保能覆盖建筑物的所有表面，很有必要使用获取于不同方向角度的倾斜影像来进行三维城市模型的纹理映射。美国Pictometry公司的倾斜摄影相机（Pictometry Penta）是一种用于获取垂直和倾斜影像的中幅面数字影像系统，目前在世界范围内被广泛使用。本文将简要介绍Pictometry数字影像系统，并提出一种基于Pictometry倾斜影像进行三维城市模型纹理映射的方法。

1 倾斜航空摄影测量的特点

倾斜航空摄影系统不同于传统的垂直航空摄影系统，其采用多个镜头以倾斜的方式在几个方向上获取地面影像。倾斜航空摄影系统中的重叠度在数值上和普通航空摄影基本相似，倾斜影像则没有重叠度的概念，但其仍然有重叠，目的是为了满足景观覆盖，而不是测图［4］。倾斜影像的比例尺并不是恒定的。影像前景的比例尺比后景的大，如图1所示。α是相机的倾斜角，β是镜头的视场角度，它决定了影像到飞机的最大距离和最小距离以及影像的比例尺。最小、平均和最大地面分辨率为

图1 倾斜影像的几何特性

影像的前景和后景到飞机的距离为

2 Pictometry数字影像系统

Pictometry数字影像系统由5个数字照相机、POS系统及飞行控制系统组成。每个相机的分辨率大小为4 900×3 200，像素大小为0.009mm。其中的4个相机分别以特定的角度（40°～60°）朝向前、向后、向左、向右，剩下的一个垂直向下。垂直向下的相机捕捉高分辨率的垂直影像，其它4个用来获取在同一时刻不同方向视角上的倾斜影像。POS系统能提供精确的位置和曝光时刻每个相机的姿态，因此，Pictometry影像系统生成的影像直接就是地理参考影像。如同传统的航空影像一样，垂直影像提供了地表的俯视图，倾斜影像则显示了地物的侧面，如建筑物的侧面。垂直影像可以用来制作精确的大比例尺正射影像［5］，倾斜影像则可以用作可视化、量测和三维建模。Pictometry倾斜影像已经被广泛使用于各种应用当中，比如公共安全、税额估算、城市规划、三维城市建模等等。飞行控制系统是一个飞行计划软件，它可以在飞行前或是飞行过程中为垂直影像和倾斜影像的拍摄决定飞行路线、控制影像重叠度等等。一般采取30%的旁向重叠度，66%的航向重叠度。获取的倾斜和垂直影像可以在EFS（Electronic Field Study）这个软件中进行浏览和量测诸如地面物体的距离和高度等信息。将量测结果能导入ArcGIS能更新数据库中已存在的空间地理信息。

3 基于Pictometry数字倾斜影像的三维模型纹理映射

与垂直影像相比，由于倾斜影像可以更好地显示建筑物的各个面，因此，其在构造建筑物纹理方面具有优势。Pictometry影像系统能够获得来自不同方向上的倾斜影像，这些倾斜影像对于构造建筑物纹理是很理想的［6］。本文提出一种基于Pictometry倾斜影像的三维模型纹理映射的方法。大体分为2个步骤：首先，通过对二维影像上的线特征与三维模型上的线特征之间的匹配来实现影像与模型的配准。其次，对三维模型三角网上的每个三角形选择1个最合适的影像进行纹理映射。

3.1 影像与模型之间的配准

进行纹理映射的第1步是二维倾斜影像与三维模型之间的配准。Pictometry倾斜影像带有初始的外方位元素，由影像初始粗略的外方位元素可以最终求解出精细的外方位元素，因此，配准的过程是一个由粗到精的过程。

3.1.1 倾斜影像上的线特征提取

图像的边缘检测有着很长的研究历史，国内外研究人员也提出了各种各样的线特征提取方法，其中Canny边缘检测算子由于具有良好的信噪比和定位功能很快得到了普及［7］。Canny给出了评价边缘检测性能好坏的3个标准：①信噪比标准。即将边缘点判断为非边缘点，将非边缘点判断为边缘点的概率要低。②定位精度标准。即检测出的边缘点尽可能在实际边缘的中心。③单边缘响应标准。即对单边缘仅有唯一的响应，对虚假边缘有最大的限制。

Canny算子用高斯函数的一阶微分来计算梯度，并寻找图像梯度的局部极大值。通过设定2个阈值来分别检测强边缘和弱边缘，当且仅当强边缘与弱边缘连接时，弱边缘才被输出。因此，Canny算子不易受噪声的干扰，能在边缘和噪声之间取得平衡，检测出真正的弱边缘［7］。本文采用Canny算子对倾斜影像进行线特征的提取。

3.1.2 线匹配过程

求解倾斜影像的外方位元素需要进行二维影像上的线特征与三维模型上线特征的匹配。将三维模型线投影在倾斜影像上，通过比较与影像上的二维线的斜率和接近程度，来评价投影位置的好坏［8］。位置好坏程度为

式中：li为倾斜影像上的第i个线段，M为影像上线段的个数，Lj为三维线段投影在影像上的第j个线段，N为三维线段的个数，‖li‖为影像上第i个线段的长度，S（li，Lj）是关于li和Lj斜率的函数，D（li，Lj）是线段li和Lj端点的接近程度的函数。函数S（li，Lj）和D（li，Lj）定义如下：

式中：〈li，Lj〉为线段li和Lj的法线的点积，d（li，Lj）为li上的端点到Lj的最小距离之和，Smax和Dmax是设定的阈值。当投影到影像上的三维线段能够很好地与影像上的线段匹配时，得出的Q值最大。

3.2 纹理的选取

对于每一个特定的三维三角形，都有多张影像可以使用，因此，这个过程中的主要任务便是选择一个最合适的影像。由于所有的影像都是在短短几分钟内获取的，因此，可以忽略光照条件的差异。为了判明影像的某个区域对应某个特定的三角形，可以利用获得的姿态，通过计算投影在影像上的三维三角形的3个角点的纹理坐标，得到二维影像上的三角形。

一般情况下，如果从一个接近获取原始影像的位置去观察，纹理映射模型看起来是最好的。相比只使用单一影像参加纹理映射，使用多个影像能提供更好的视觉感受。然而，这种方法的缺点是其数据冗余以及更复杂的视图渲染。对于每一个三维三角形，需要存储多个纹理贴图，对大比例尺的模型来说会造成大量的数据。但是其视觉感受仅是略微胜于一个好的单一的纹理贴图［9］。因此，综合考虑，对于每一个三维三角形只使用一个影像来进行纹理映射。选择合适的影像应从以下几个方面考虑：

1）分辨率。一张倾斜影像不同位置上的分辨率各不相同，前景的分辨率要高于后景的分辨率。为了确定每个影像Ii上的每个三角形Tj的分辨率Rij，按照与三维三角形相对应的二维三角形来归划像素。

2）遮盖。为了确定某个三维三角形Tj在二维影像Ii上的可见程度，可以通过Z缓冲区算法来检测影像上每一个像素的遮盖情况。这种算法分2个步骤：第1步，为每一个影像分配一个Z缓冲区，并将所有的三维三角形投影后储存其中。第2步，对每个三维三角形再次投影，计算没被遮盖的像素数与总像素数之间的比例ηij。由于城市环境的杂乱，一味追求影像100%的可见性往往会舍弃一些“较好”的候选影像。比如，相对有些许像素被遮挡的影像，低分辨率的影像或是倾斜角度过大的影像更能给人眼的视觉感受带来不适。

3）观测角度。对每一个三维三角形，最好以垂直的角度获取用来纹理映射的航空影像。这是因为用倾斜角度过大的影像进行纹理映射会造成很大的变形。对于影像Ii和三角形Tj，定义向量vij为影像获取位置与三角形几何中心的连线。

4）相邻三角形之间的一致性。如果三维模型本身比较好，影像与三维模型之间的配准比较理想并且所有影像的亮度、色调和分辨率相同，那么人的肉眼是看不见来源于不同纹理影像的三角形之间的拼接缝的。然而在实际中，如果影像是从相反的方向获取的，那就会有明显的拼接缝。实际上由于激光量测精度有限和分辨率有限，由激光数据得到的三维模型存在着缺陷，比如建筑物表面有几何裂纹［10］。这些裂纹使得表面的法线方向发生意想不到的变化，影响到光滑表面上一些三角形的观测角度准则，使得用来纹理映射裂缝处相邻三角形的影像是2个不同的影像，从而在整个表面上造成视觉上的纹理间断。此外，由于测量噪声，三维模型的表面并不是完全光滑的，这也使得不同纹理三角形之间的边界并不平滑，而是像锯齿一样参差不齐。

本文通过如下的方法来减少建筑物表面或是房顶上连续三角形之间的纹理裂纹：①根据每个三角形表面的方向，可以将每个三角形归类到“表面”、“房顶”、“地面”这3个类中的任何一个。如果Z分量比X，Y分量小，就认为此三角形是“表面”三角形，否则，根据其角点的高程，将它归为“地面”三角形或者是“屋顶”三角形。②对于每个三角形，都可以在三角网中找到与其是同一类型，并有共同的边缘（相邻）的所有三角形。因此，对于每个三角形，能获得其相邻且同类型的三角形列表，这个列表使得在影像选取过程中相邻三角形保持类型上的一致。通过下面的方程可以确定用来纹理映射三维模型的最佳影像：

通过计算λij的值，将求解出的最高λij对应的影像作为纹理映射三角形的初选影像，然后用相邻一致原则，确认或拒绝这个初选：首先，对于每个三角形Tj，利用相邻三角形列表进行树形检索，来确定与某个三角形是相同类型的相邻三角形，一直检索到相同类型的N级相邻三角形。为了最终确定使用某个影像来进行纹理映射，在初步选取的纹理影像中可以使用一个类似于中值滤波的方法来消除“噪声”纹理。选定了影像后还要重新计算每个三角形角点的纹理坐标，明确指定三角网格的纹理。

4 实验结果与分析

本实验使用的三维模型是从激光雷达数据生成构网而来的DSM，纹理数据则是Pictometry的17张倾斜航空影像。这些影像的航向重叠度为66%，旁向重叠度为30%，倾斜角度在40o～60o之间。Pictometry数字影像系统为每张倾斜影像提供了初始的外方位元素，结合共线条件来解答影像的外方位元素，实现二维影像与三维模型的配准。图2是三维特征线与二维特征线的配准情况，图2（a）为配准前的情形，图2（b）为配准后的情形。总的来说，二维特征线与三维特征线能较好地套合在一起，但由于三维模型本身存在的误差，并不是每条三维特征线都能很好地和二维特征线相匹配。

图2 三维模型线在影像上的投影

为了进一步定量分析外方位元素的精度，从航空影像上选取6个点作为检查点进行分析。利用6个检查点的三维坐标和计算出的外方位元素，通过共线条件方程解算出其像坐标，以计算出的像坐标与实际像坐标之间的误差来衡量配准结果的好坏，结果见表1。

表1 通过线特征得出的外方位元素计算出的检查点像坐标与实际坐标的对比

通过对17张倾斜影像使用本文提到的纹理选取方法，可以挑选出最适合三维三角网上每个三角形的影像并计算出其纹理坐标。图3显示了用来纹理映射的影像空间分布，不同的颜色代表不同来源的影像。图3（a）显示了基于分辨率、遮挡和观察角而初步选取的影像空间分布。图3（b）显示了考虑相邻一致原则后选取的影像分布。从图中圆圈显示的可以看出，考虑相邻一致原则得出的影像选取更柔和平滑一些。

图3 用来纹理映射的影像空间分布

5 结 论

倾斜影像相比垂直影像在构造三维模型纹理方面具有优势。本文提出基于Pictometry倾斜影像进行三维城市模型纹理映射的方法，其主要分为2个步骤：影像与模型的配准和倾斜影像的选取。通过实验可以看出纹理映射的效果能够让人接受，但仍有一些问题需要在以后的研究过程中解决：首先，对应每个三维三角形应使用多张倾斜影像进行纹理映射，这样可以避免因不同光照条件和对比度的影像进行映射而造成的纹理裂缝，但使用多张影像纹理映射又会增加数据量，需在这2个矛盾方面找到一个平衡点；其次，需考虑如何简化纹理，降低非重要物体的细节度，从而获取高效率的渲染运算。

［1］Haala N，Hahn M，Data Fusion for the Detection and Reconstruction of Buildings［J］.In：A.Grün，O.Kübler＆P.Agouris，eds.Automatic Extraction of Man－Made Objects from Aerial and Space Images.Birkh？user Verlag：Basel，Switzerland，1995：211－220.

［2］Haala N，Brenner C.Generation of 3D City Models from Airborne Laser Scanning Data［C］.Proceeding of EARSEL Workshop on LIDAR remote sensing of land and sea，Tallinn，Estonia，1997.

［3］Vosselman G.Fusion of Laser Scanning Data，Maps，and Aerial Photographs for Building Reconstruction［C］.IEEE International Geoscience and Remote Sensing Symposium and the 24th Canadian Symposium on Remote Sensing，IGARSS＇02，Toronto，Canada，2002.

［4］杨久勇，高峰，向宇.倾斜航空摄影的原理及特点［C］.中国测绘学会2010年学术年会论文集.北京，2010：341－344.

［5］Wang Y，Schultz S，Giuffrida F.Generation of Orthophotos Using Pictometry＇s Digital Images［C］.Proceedings of ASPRS Annual Conference，Portland，Oregon，2008.

［6］Wang Y，Schultz S，Giuffrida F.Pictometry’s Proprietary Airborne Digital Imaging System and its Application in 3D City Modelling［J］.International Archives of the Photogrammetry，Remote Sensing and Spatial Information Sciences，2008，37：1065－1070.

［7］曾欢，王浩.图像边缘检测算法的性能比较与分析［J］.现代电子技术，2006（14）：53－55.

［8］Lee S C，Jung S K，Nevatia R.Automatic pose estimation of complex 3D building models［C］.Workshop on Application of Computer Vision，Orlando，Florida，USA，2002.

［9］Debevec P E，Taylor C J，Malik J.Modeling and Rendering Architecture from Photographs：a hybrid geometry－and image－based approach［C］.International Conference on Computer Graphics and Interactive Techniques：Proceedings of the 23rd annual conference on Computer graphics and interactive techniques，ACM SIGGRAPH，1996.

［10］Frueh C，Zakhor A.Constructing 3D City Models by Merging Ground－Based and Airborne Views：IEEE Conference on Computer Vision and Pattern Recognition［C］.Madison：WI，June，2003：562－569.