一种行星探测应用的可量测虚拟现实环境构建方法

梁健 刘召芹 邸凯昌

（1 中国科学院遥感应用研究所，北京 100101）

（2 航天飞行动力学技术重点实验室，北京 100094）

1 引言

卫星图像和巡视器地面图像被广泛用于行星着陆探测任务中。高分辨率的卫星图像用于全球范围的制图以及着陆区选取。巡视器地面图像提供更精细的着陆区域地形地貌和光谱信息，为科学目标选取及路径规划提供技术支撑。卫星图像和地面图像及其生成的数字产品的可视化与量测是实施行星着陆探测任务不可缺少的工具，同时也可以用于行星科学研究以及教育和科普方面。

在对地观测和地理信息领域，虚拟现实（Virtual Reality，VR）和虚拟地理环境（Virtual Geographic Environments，VGE）技术已广泛应用于空间影像和数据的可视化［1］，李德仁院士等提出了可量测虚拟现实（Measurable Virtual Reality，MVR）的概念，并用正射影像及其立体匹配片实现MVR用于可视化和三维量测［2］，而后又提出数字可量测影像的概念并用于地球空间信息服务中［3-4］。地理信息系统（GIS）技术已被应用于行星探测研究和任务实施中，例如由美国地质调查局研发的交互式网络地理信息系统行星分析数据库（Planetary Interactive GIS on-the-Web Analyzable Database，PIGWAD）［5］和美国俄亥俄州立大学开发的火星网络地理信息系统［6］。但总的来说，GIS和虚拟现实技术在行星探测领域的研究和应用还比较少，其关键技术和应用潜力远没有被开发。

Google Earth是目前比较流行的星球浏览软件，其中包含了月球和火星及其它行星的卫星图像数据，用户可以以不同分辨率、多视角进行浏览，同时在对应的地理位置上通过热点提供了浏览着陆器和巡视器（如勇气号和机遇号火星车）全景图像功能。NASA 开发的开源软件World Wind 具备与Google Earth类似的便捷强大的可视化功能，同时也提供了更多的行星数据。但是，对于图像的量测，以上两款软件仅提供了简单的基于卫星图像的距离量测功能，均没有提供巡视器全景图像量测功能。

2 面向行星探测的可量测虚拟现实环境的提出

2．1 可量测虚拟现实环境的概念

图1显示了可量测虚拟现实环境的结构图，其核心部件包含了三维可量测全景浏览器以及基于World Wind的星球浏览器。其中三维可量测全景浏览器，用于浏览及量测由地面立体像对经过圆柱投影、自动匹配、无缝拼接、图像匀光后生成的360°全景图像。量测功能的实现可以分为以下几个步骤：（1）在全景浏览器上选取需要量测的目标点；（2）由柱面全景图像坐标反算回原始立体像对，找到该点在原始立体像对上的对应像素坐标；（3）由立体像对进行最小二乘匹配，获取图像内外方位元素后，进行前方交会解算出点的三维坐标。World Wind全球浏览器为数字高程模型（DEM）和数字正射影像（DOM）的可视化提供了平台，同时，巡视器的路径也可以在上面进行叠加。这两个浏览器无缝连接在一起，实现从垂直视角到水平视角的一体化量测。

图1 可量测虚拟现实环境（MVE）概念图Fig．1 Conceptual diagram of MVE

2．2 数据

文中所用地面图像实验数据，来自于美国勇气号火星探测车（Mars Exploration Rover，MER）上搭载的全景相机（Pancam）拍摄的火星地面图像。立体全景相机基线30cm，每台相机的像幅大小为1 024×1 024像元，相机主距为43mm，像元大小为12μm，视场角为16．8°×16．8°，具备多个光谱波段［7］。全景相机和导航相机一同挂载在高精度云台上，可以实现360°方位角和±90°俯仰角的旋转。实验中使用的数据为经核线重采样的Pancam 立体像对及派生的三维点云数据。经过核线重采样后，立体像对消除了上下视差，使得立体影像匹配时同名点的搜索范围由二维降到了一维，提高匹配的可靠性和速度。三维点云数据通过立体像对间匹配得到同名点后，根据相机外方位元素（位置和姿态），进行前方交会计算得到。图像和三维点云数据直接从MER Analyst’s Notebook 网站中下载（http：／／an．rsl．wustl．edu／mer／mera／mera．htm）。这 些 数据由美国喷气推进实验室（Jet Propulsion Labora-tory，JPL）的多任务图像处理实验室（Multimission Image Processing Laboratory，MIPL）通过其软件流水线自动生成，核线重采样的图像称为FFL 文件；三维点云数据文件称为XYL 文件，按立体像对核线重采样后的左图像为索引存储每个像素点在工作区局部坐标系中地面坐标X、Y、Z值。图2所示为Pancam 获取的一对立体图像，图2（a）是左相机获取图像（图像编号：2p186290744fflajqvp2263l2m1），图2（b）是右相机获取图像（图像编号：2p186290744fflajqvp2263r2m1）。

图2 勇气号火星车全景相机获取的一对核线立体图像Fig．2 A stereo pair of Pancam images acquired by Spirit rover

文中采用的卫星图像来源于美国“火星勘测轨道器”（Mars Reconnaissance Orbiter，MRO）携带的高分辨率科学成像仪（High Resolution Imaging Science Experiment，HiRISE）。HiRISE 相机具有14个CCD 探测元件，其中10个为红光波段，2个为蓝光波段，以及2个近红外波段，以推扫式扫描的方式获取火星表面图像［8］；每个CCD 在垂直于行进的方向有2 048 个像元，沿行进方向有128 个像元。HiRISE相机采用时间延时积分电荷耦合元件（TDI-CCD）进行成像，通过对一个物体进行多次曝光，使积分时长增加M倍（M有8、32、64和128四种选择），在第一个积分时间周期内，目标在某列的第一个像元进行曝光积分，将得到的光生电荷向下移一个像元；在第二个积分周期，目标恰好移动到该列的第二个像元进行曝光积分，得到的光生电荷与上一个像元移来的电荷相加再移到下一个像元……第M个积分周期结束时，该列上第M个像元的光生电荷与前M-1个像元的电荷相加后从寄存器读出。本文采用的HiRISE 图像为红光波段，像元分辨率0．25m，图像大小为44 363×26 521像元，位于勇气号火星车着陆区域，火星经纬度范围为（175．44°，-14．49°）至（175．56°，-14．68°）。Hi-RISE卫星数据可以在“行星数据系统”（PDS）数据库中（http：／／pds．jpl．nasa．gov／）下载得到。

3 可量测全景图像构建

自动构建大场景、高分辨率的全景图像是近年来计算机视觉领域的研究热点［9］，全景图像提供了单一图像所不具备的大视场角，用户可以得到较好的沉浸感。可量测全景图像构建流程如图3所示。

图3 可量测全景图像构建流程图Fig．3 Panorama stitching flowchart

3．1 全景图像拼接

3．1．1 图像预处理

通常情况下，火星车所停留的平面会存在一定的坡度，导致获取图像上地平线的倾斜（图4），从而拼接完成的全景图像出现波浪状的扭曲。所以需要通过图像的外方位元素进行校正。

式中：x，y是原始图像的像素坐标；x′，y′是校正后图像的像素坐标；k是沿着光轴的旋转角。

图4 地平线校正Fig．4 Horizon correction

3．1．2 圆柱投影

在全景图像拼接中，圆柱投影、球面投影、立方体投影是三种常见的投影方式。由于圆柱投影是可展曲面，具有较好的几何特性，是被普遍采用的一种全景图像构建方式，当已知焦距或水平视场角后，就可以将其投影到圆柱坐标系统［10］。

图5显示了圆柱坐标系统的构建方式，采用右手坐标系XcYcZc，W为原始图像的宽度，H为原始图像的高度。坐标原点设在圆柱中心。圆柱投影可以提供水平方向360°的视角，但在竖直方向，视场角被限制在±90°内。由于火星车相机获取图像时的俯仰角无法达到天顶与天底，故圆柱投影的竖直视场角可以满足要求。

图5 圆柱投影Fig．5 Cylindrical projection

3．1．3 全景拼接

全景拼接在Hugin开源软件［11］基础上增加了对图像外方位元素的处理。首先对输入图像进行圆柱投影，然后利用SIFT 算法［12］进行关注点的提取与匹配，经过RANSAC 方法剔除粗差。为了获得高精度的拼接图像，获得相邻图像的同名点后，利用同名点进行光束法平差，对各图像的外方位进行调整，利用平差后的影像外方位，计算两两图像间的旋转矩阵，最后对图像进行匀光处理完成全景图像拼接。图6为勇气号火星车在672火星日至677火星日获取的3个不同俯仰角的81幅单波段原始核线图像拼接完成的全景图像。

图6 拼接完成的全景图像Fig．6 Mosaicked panorama

生成全景图像后，需要对拼接过程中的参数进行记录，以便进行后续的坐标反算，记录的内容包括：（1）原始图像的文件名、格式、图像大小、焦距和水平视场角；（2）全景图像的文件名、格式、图像大小、投影类型；（3）同名点的像素坐标。

3．2 全景图像量测

拼接生成的全景图像只是一个二维的圆柱投影图像，其三维量测功能的实现是通过全景图像坐标反算得到在原始立体图像的位置，利用原始立体图像实现量测功能。由全景图像坐标反算回原始立体图像坐标，分为以下几个步骤。

3．2．1 全景图像坐标反算回经过圆柱投影后的图像

首先，通过读取工程文件信息，计算全景图像每个像素所占的水平视场角ρ。

式中：W是全景图像的宽度；Hfov是全景图像的水平视场角；Ⅰ（xp，yp）是全景图像上的某一点；Ⅰ′（xc，yc）是其圆柱投影后图像上的对应点。

3．2．2 反圆柱投影对点Ⅰ′（xc，yc）进行反圆柱投影，得到原始图像上的点Ⅰ″（xo，yo）

3．2．3 三维量测

除了原始立体图像外，PDS提供了MER 任务中大部分站点局部坐标系中的地面坐标X、Y、Z值、距离、坡度等数据。这些信息与立体像对中左影像的核线影像相关联，并与图像像素坐标一一对应。在全景浏览器中，不仅可以进行单点量测，还可以进行线量测（图7），在全景图像上选取任意两点画线，计算在线段上的所有点的三维信息，可以绘制出该线段的高程和坡度分布曲线（图8）。

图7 对全景图像进行线量测Fig．7 Measuring aprofile in the panorama

图8 高程和坡度分布曲线Fig．8 Elevation and slope profiles measured from the panorama

对于没有提供三维信息的站点，需要在全景浏览器中进行实时的解算。在反算得到原始图像的坐标值后，调出该点所在的立体像对，通过影像匹配和前方交会解算出该点的坐标。图9显示了实时反算后，调出该点所在的立体像对，然后进行最小二乘匹配和前方交会计算该点的三维坐标。

图9 立体像对量测窗口Fig．9 Stereo measurement window associated with the panorama viewer

3．3 全景图像的可视化

拼接完成的全景图像（图6）是将圆柱投影的图像以矩形格式存储的，直接浏览会有变形，故需要使用全景浏览器浏览。本文利用DirectX 技术构建一个圆柱体，将全景图像作为贴图置于圆柱内表面，设置视点于圆柱中心，用鼠标和键盘控制视点的旋转和移动，同时，对所在显示窗口内的部分采用双缓存技术进行实时的反投影计算，使得浏览器所显示透视投影图像与相机拍摄的原始图像一致（图7）。全景浏览器提供了基础的浏览功能，如缩放、旋转、平移，以及上面所述的各种量测功能。不同站点之间的全景图像通过热点进行连接。

4 全景浏览器与World Wind的无缝集成

World Wind是NASA 开发的开源虚拟星球浏览器，除了地球数据外，World Wind还提供了月球、火星、金星、木星的数据［13］。用户可以对所关注的星球进行浏览、平移、缩放。World Wind中的数据以XML格式进行管理，可以通过编写XML文件自由叠加自己的图像、DEM、DOM、探测车路径以及其它数据。

基于火星车着陆区的HiRISE 立体卫星图像，生成高分辨率的DEM 和DOM，并将其按经纬度叠加到火星表面。为了增加World Wind 的渲染速度，图像通过建立金字塔进行分层管理，在每一层中，图像被分割为512×512像素的瓦片，并通过文件名建立索引。其它数据如火星车的路径图，可以以KML格式加入World Wind中。

全景浏览器与星球浏览器的无缝集成通过影像数据和坐标实现，其中卫星图像所用的星固全球坐标和地面图像所用的着陆区局部坐标实时转换。只要在全景图像站点一定距离范围内点击星球浏览器，则会激活全景浏览器并显示该全景图像。

图10（a）显示了World Wind火星的全貌，图10（b）为World Wind叠加HiRISE 卫星图像、勇气号火星车路径、以及由火星车地面影像生成的数字正射图像后的效果图。点击星球浏览器上的数字正射影像，则可激活对应的全景图像进行浏览和量测。

图10 World Wind用户界面Fig．10 World Wind interface

5 结束语

本文针对行星着陆巡视探测的特点，提出了一种基于地面全景图像和卫星图像的可量测虚拟现实环境构建方法，将地面图像自动拼接成可量测全景图像，利用全景浏览器直接在全景图像上进行三维量测，三维可量测全景图像与基于星球浏览器进行无缝集成，实现了从垂直视角卫星图像到地面水平视角巡视器图像的一体化量测。在后续的工作中，我们将加入更多的数据，如我国嫦娥二号绕月卫星图像及DEM、DOM 数据、未来的月球车地面图像、火星探测数据等，构建月球和火星可量测全景虚拟现实环境，为探测任务和科研应用服务。

（References）

［1］Lin Hui，Gong Jianhua．Exploring virtual geographic environments［J］．Annals of GIS，2001，7（1）：1-7

［2］Li Deren，Wang Mi，Gong Jianya．Principle and implement of measurable virtual reality （MVR）based on seamless stereo-orthoimage database［C］／／The International Archives of the Photogrammetry．Beijing：Remote Sensing and Spatial Information Sciences，2008

［3］Li Deren，Huang Junhua Shao Zhenfeng．Digital earth with digital measurable images［C］／／The International Archives of the Photogrammetry．Beijing：Remote Sensing and Spatial Information Sciences，2008：533-538

［4］Li Deren，Xin Shen．Geospatial information service based on digital measurable image-take image city Wuhan as an example［J］．Geo-Spatial Information Science，2010，13（2）：79-84

［5］Hare T M，Tanaka K L．PIGWAD–new functionality for planetary GIS on the web［C］／／31st Lunar and Planetary Science Conference．Houston：Lunar and Planetary Institute，2000：1889

［6］Li Rongxing，Di Kaichang，Wang Jue，et al．A Web-GIS for spatial data processing，analysis，and distribution for the MER 2003 mission［J］．Photogrammetric Engineering and Remote Sensing，Special Issue on Web and Wireless GIS，2007，73（6）：671-680

［7］Alexander D A，Deen R G，Andres P M，et al．Processing of Mars Exploration Rover imagery for science and operations planning，E02S02［J］．Journal of Geophysical Research -Planets，2006，111（E2）

［8］McEwen A S，Eliason E M，Bergstrom J W，et al．Mars reconnaissance orbiter’s high-resolution imaging science experiment（HiRISE），E05S02［J］．Journal of Geophysical Research，2007，112

［9］Szeliski R，Shum H．Creating full view panoramic image mosaics and texture-mapped models［C］／／SIG-GRAPH’97Proceedings of the 24th Annual Conference on Computer Graphics and Interactive Techniques．Los Angeles：ACM SIGGRAPH，1997：251-258

［10］Chen Shenchang．QuickTime VR-an image-based approach to virtual environment navigation［C］／／SIGGRAPH’95Computer Graphics．Los Angeles：ACM SIGGRAPH，1995：29-38

［11］Wikipedia．Hugin（software），2011a［EB／OL］．［2011-07-10］．http：／／en．wikipedia．org／wiki／Hugin ＿%28software%29

［12］Lowe D G．Distinctive image features from scale-invariant keypoints［J］．International Journal of Computer Vision，2004，60（2）：91-110

［13］Wikipedia．NASA World Wind，2011b［EB／OL］．［2011-07-10］．http：／／en．wikipedia．org／wiki／World＿Wind