物方反投影下的星载多光谱相机内视场虚拟线阵拼接

王怀 莫凡 李奇峻 王鄂

物方反投影下的星载多光谱相机内视场虚拟线阵拼接

王怀1莫凡1李奇峻2王鄂3

（1 自然资源部国土卫星遥感应用中心，北京 100048）（2 新疆和田94019部队，和田 848099）（3 辽宁沈阳 31441部队，沈阳 110001）

针对遥感卫星多光谱相机非共线TDICCD成像方式，文章提出了一种基于虚拟线阵CCD的相机内视场拼接方法。参考严格几何模型建立虚拟影像像点与地面点间的对应关系，校正相机内方位畸变，根据物方几何约束的地面点反投影算法，建立虚拟影像像点与原始影像像点的坐标关系模型，实现逐像素灰度赋值。最后，以两景“资源三号”卫星多光谱原始影像作为试验数据，验证所提算法的可靠性，试验结果表明：该拼接方法效果好、精度高，具有较好的应用前景。

非共线时间延时积分电荷耦合器件 虚拟线阵 内视场拼接 严格几何模型 地面点反投影 遥感卫星

0 引言

在一些高分辨率卫星线阵相机焦平面内通常通过交错安装多个CCD来克服幅宽较小的问题，在分光等模式的支持下使多个CCD形成近似直线的连续CCD阵列，如IKONOS[1]、QuickBird[2]、WorldView-2[3]等。但形成的线阵CCD并不严格，还存在畸变，如图1所示。CCD之间的畸变会使多光谱各谱段影像不能精确配准[4]，同时影响影像的后续处理，因此需要对分片CCD进行重新拼接。

目前，在TDICCD内视场拼接的研究中，印度IRS-1C卫星地面处理系统针对3个交错排列CCD成像的全色相机，分别采用基于像面简单平移和基于像面仿射变换的拼接模型，两者精度均可达到0.2~0.5像元[5-6]。虚拟重成像技术在Z/I Imaging公司的DMC（Digital Modular Camera）相机中得到了应用，4个小的面阵影像经过虚拟重成像技术生成了一个大的面阵影像，以获得较大的视场角[7]。对于星载线推扫式传感器而言，DigitalGlobal公司在其QuickBird卫星中率先应用了虚拟重成像技术以实现影像的拼接[2]，此后ASTRIUM公司在Pleiades卫星上也采用了类似的方案[8]。不少国内学者也对虚拟CCD重成像技术进行了研究：文献[9]用仿真数据对基于物方方案的拼接算法进行实验；文献[10]、[11]分别用ALOS/PRISM扫描仪影像和“资源三号”（ZY-3）卫星影像对基于虚拟线阵的内视场拼接方法进行了验证；文献[12]基于虚拟CCD重成像的拼接方式生成了ZY-3卫星影像的传感器校正产品；文献[13]针对ZY-1 02C卫星HR相机，充分考虑各种潜在误差来源，提出了一种基于虚拟线阵的非共线TDICCD内视场拼接方法。

在现有算法的基础上，本文提出一种可靠性更好的物方反投影下的多光谱相机内视场虚拟线阵拼接方法；虚拟CCD充分考虑了原始影像CCD阵列的误差，以严格几何模型建立虚拟影像像点与地面点的关系；建立地面点与原始影像像点的坐标映射关系，在严格几何模型下利用扫描行投影面进行物方几何约束的地面点反投影快速计算；构建虚拟影像像点与原始影像像点的坐标关系模型，实现虚拟影像灰度重采样。

1 物方反投影下的多光谱相机内视场虚拟线阵拼接原理

1.1 严格几何模型构建

遥感卫星多光谱相机是线阵传感器，其几何定位模型主要有严格几何模型、仿射变换几何模型以及有理多项式模型，其中基于共线条件方程的严格几何模型是理论最为严密、精度最高的[14-15]。构建多光谱相机分片CCD的严格几何模型：

1.2 谱段内方位综合模型

综合考虑单线阵CCD与光学系统有关的误差和与线阵列有关的误差对像点坐标的影响[16]，得到受内方位误差影响的像点坐标误差模型

1.3 地面点反投影

由物方地面点反投影到原始影像进行灰度重采样是虚拟线阵拼接中重要的一步[17]，基于严格几何模型的线阵影像地面点反投影算法的核心问题是确定地面点对应的最佳扫描行[18-19]。本文在线阵影像各扫描行投影面的几何约束关系下，利用地面点到线阵影像首末两行的行投影面的距离关系构建了一种最佳扫描行快速确定的方法（图2所示）：在物方空间里，线阵影像的每条扫描行与其投影中心构成一个投影面，线阵列CCD在第一条扫描行上的首末像元记为、，第一条扫描行的投影中心记为1，此时，第一条扫描行的投影面就由投影中心1、地面点、和像元、构成；同样地，每条扫描行的投影面都类同。对地面点，首先计算该点到第一条扫描行1投影面的距离1和到最后一条扫描行l投影面的距离2，利用1与1+2的比值乘以总的扫描行数，得到扫描行的初始值0；然后判断地面点是处于扫描行1的投影面与扫描行0的投影面之间，还是处于扫描行0的投影面与扫描行l的投影面之间；再在这两个投影面之间继续迭代求解最佳扫描行，直到两次所得扫描行的差值小于阈值。这样利用地面点到物方首末扫描行投影面间的距离约束关系，可快速地计算出地面点对应的最佳扫描行。

图2 基于投影面几何约束的最佳扫描行快速搜索

利用地面点到物方首末扫描行投影面间的距离约束关系确定最佳扫描行也需要迭代计算。由于迭代计算比较简单，只需要计算几次面的方程和点到面的距离，与基于共线条件方程的像方搜索相比，计算量大大减少。利用地面点到物方首末扫描行投影面间的距离约束关系确定最佳扫描行的步骤如下：

1）根据卫星的附属文件得到构建线阵影像严格几何定位模型所需的内外方位元素和各扫描行时间等参数。

2）获取首末两行投影面的平面方程系数。如图2所示，由第一行首末两个像元、计算出对应的地面点、的地面坐标，联合对应的摄站点1，设1、、三点的地面点坐标分别表示为(1,1,1)、(2,2,2)与(3,3,3)，则由空间三点可确定一个空间平面，计算公式为

将式（3）转换为空间平面的一般形式，即

式中、、、为已知常数，其中、、为空间平面的法线的方向数，且不同时等于零。

同理可以获得最后一行所在投影面的平面方程系数。

如果1≥0，则地面点处于第一条扫描行投影面与0所在的投影面之间，此时最佳扫描行′为

如果2≥0，则地面点处于0所在的投影面与最后一条扫描行投影面之间，此时

5）进入步骤4），使0=′，迭代计算0、′直到│′−0│<0.000 1，此时计算出的′即为地面点的最佳扫描行。

1.4 虚拟线阵拼接

基于虚拟线阵的内视场拼接原理为：在焦平面上虚构一条覆盖相机全视场、无畸变的CCD线阵，利用虚拟影像和原始影像对地覆盖区域的连续性和各自的严格几何模型，建立虚拟影像的像点与原始影像的像点之间的对应关系，从而获取原始影像的灰度生成虚拟影像以实现内视场的拼接。

虚拟线阵拼接方法的具体步骤如下：

1）确定虚拟影像的高度CCD和宽度CCD，其中CCD和CCD分片影像高度image一样，宽度CCD的计算公式为

CCD=Num×image–(Num–1)×overlap （10）

式中 Num为CCD分片数量；image为CCD分片宽度；overlap为CCD分片间的像元重叠数目。

3）确定虚拟影像每条扫描行对应的成像时刻。多光谱相机的CCD是TDICCD，TDICCD行积分时间会受地球自转、卫星轨道高度和侧摆角的影响而产生变化，使原始影像行积分时间不是固定值，从而一定程度上影响影像高精度几何建模及其有理函数模型（RFM）的精度。因此，在虚拟线阵中使用固定行积分时间成像。原始影像成像时长和成像起始时间0均为已知，此时虚拟影像上第条扫描行的成像时刻t为：

4）建立虚拟影像的成像严格几何模型。用虚拟影像每条扫描行的成像时刻，在原始影像的姿态轨道数据中进行内插，得到虚拟影像对应的外方位元素，综合指向角可以构造虚拟影像的成像严格几何模型，如式（1）所示。

5）确定虚拟影像上每个点的灰度值，最终生成拼接影像。对于虚拟影像上任意一点，利用成像严格几何模型和SRTM可以得到对应地面点的地面坐标，根据地面点的地面坐标和线阵影像物方坐标反投影算法将地面点反投影到原始影像上，得到原始影像上的对应像点′，将′的灰度值赋给，重复此操作可以获取整个成像范围的拼接影像。对于重叠区域，往往会因为分片影像的灰度存在差异而出现拼接线，需要进行羽化，在重叠区域采样时应用加权平均的方式进行处理。

2 试验验证与分析

2.1 试验数据

为了验证本文方法的可靠性，采用登封地区2014-06-07的两景ZY-3卫星多光谱影像0级影像进行试验，包括星上下传的辅助数据：姿态、轨道、成像时间等成像参数数据的记录文件，高程数据采用STRM。

2.2 虚拟线阵拼接目视效果

对登封地区Ⅰ影像进行虚拟CCD拼接算法拼接，拼接前影像（各分图图左）和拼接后影像（各分图图右）4个波段对比如图3。

对登封地区Ⅱ影像进行虚拟CCD拼接算法拼接，拼接前影像和拼接后影像4个波段的对比，如图4所示。

通过目视对比拼接前后的影像，发现本文算法能够有效地消除影像的重叠部分和畸变，获得拼接好的影像数据。

图3 登封地区Ⅰ影像虚拟CCD拼接结果对比

图4 登封地区Ⅱ影像虚拟CCD拼接结果对比

2.3 虚拟线阵影像定位精度评价

通过评价虚拟线阵影像的定位精度，可以知道拼接影像的几何品质，在拼接前后的多光谱影像上选取一定数量的同名像点，利用严格几何模型验证拼接影像的定位精度。首先利用未拼接影像上的点进行单片定位，高程数据使用SRTM求得的平均高程，得到标准的定位结果，然后利用拼接影像上的同名像点进行单片定位，高程数据使用SRTM求得的平均高程，得到一组定位结果，这组定位结果和标准定位结果相比较，其差值可以显示影像的几何品质，差值越小，几何品质越高。

分析表1中数据，登封地区各谱段影像拼接前后的定位误差在0.4m以内，考虑到选取同名像点时的误差，两景影像在拼接前后具有定位一致性。

表1 虚拟线阵影像定位精度评价表

Tab.1 Evaluation table for positioning accuracy of virtual linear array images

3 结束语

本文针对ZY-3卫星多光谱相机的非共线TDICCD及其存在的误差，构建了虚拟线阵CCD阵列以实现相机内视场拼接。该方法通过严格几何模型建立虚拟影像像点与地面点的关系，利用地面点与原始影像像点的坐标映射关系，提出一种在严格几何模型下利用扫描行投影面进行物方几何约束的地面点反投影算法，建立虚拟影像像点与原始影像像点间的坐标关系模型，实现了虚拟影像灰度重采样。利用登封地区的两景影像进行了试验验证，试验结果表明：该方法具有较好的效果，可以将其应用到其他非共线TDICCD相机的内视场拼接中。

[1] DIAL G F, BOWEN H, GERLACH B, et al. IKONOS Satellite, Sensor, Imagery, and Products[J]. Remote Sensing of Environment, 2004, 88(1-2): 23-36.

[2] EISENBEISS H, BALTSAVIAS E P, PATERAKI M, et al. Potential of IKONOS and QUICKBIRD Imagery for Accurate 3D-Point Positioning, Orthoimage and DSM Generation[J]. International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, 2004, 35(Part B3): 522-528.

[3] DE VENECIA K, FIDEL P Jr, WALKER A S. Rigorous Sensor Modeling and Trangulation for Orbview-3[EB/OL]. [2019-06-24]http://www.asprs.org/a/publications/proceedings/reno2006/0030.pdf. 2006.

[4] 王密, 杨博, 金淑英. 一种利用物方定位一致性的多光谱卫星影像自动精确配准方法[J]. 武汉大学学报·信息科学版, 2013, 38(7): 765-769. WANG Mi, YANG Bo, JIN Shuying. A Registration Method Based on Objec-space Positioning Consistency for Satellite Multi-spectral Image[J]. Geomatics and Information Science of Wuhan University, 2013, 38(7): 765-769. (in Chinese)

[5] JACOBSEN K. Geometric and Information Potentialof IRS-1C PAN-images[C]// IEEE 1999 International Geoscience and Remote Sensing Symposium. Hamburg, Germany, Germany: IEEE, 1999.

[6] JACOBSEN K. Calibration of IRS-1C PAN-camera[C]// ISPRSWorkshop on Sensors and Mapping from Space. Hannover, Germany, 29 September-2 October, 1997: 163-170.

[7] HINZ A, DӦRSTEL C, HEIER H. Digital Modular Camera--System Concept and Data Processing Workflow[C]. International Archives of Photogrammetry and Remote Sensing, 13-16 July, 2000: 164-172.

[8] DELEVIT J M, GRESLOU D, AMBERG V, et al. Attitude Assessment Using Pleiades-HR Capabilities[C]//International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume XXXIX-B1, 2012 XXII ISPRS Congress. Melbourne, Australia, 2012.

[9] 胡芬. 三片非共线TDI CCD成像数据内视场拼接理论与算法研究[D]. 武汉: 武汉大学, 2010. HU Fen. Research on Inner FOV Stitching Theories and Algorithms for Sub-images of Three Non-collinear TDI CCD Chips[D]. Wuhan: Wuhan University, 2010. (in Chinese)

[10] 张过, 刘斌, 江万寿. 虚拟CCD线阵星载光学传感器内视场拼接[J]. 中国图象图形学报, 2012, 17(6): 696-701. ZHANG Guo, LIU Bin, JIANG Wanshou. Inner FOV Stitching Algorithm of Spaceborne Optical Sensor Based on the Virtual CCD Line[J]. Journal of Image and Graphics, 2012,17(6): 696-701. (in Chinese)

[11] 唐新明, 张过, 祝小勇, 等. 资源三号测绘卫星三线阵成像几何模型构建与精度初步验证[J]. 测绘学报, 2012, 41(2): 191-198. TANG Xinming, ZHANG Guo, ZHU Xiaoyong, et al. Triple Linner-array Imaging Geometry Model of Ziyuan-3 Surveying Satellite and Its Validation[J]. Acta Geodaetica et Cartographica Sinica, 2012, 41(2): 191-198. (in Chinese)

[12] 潘红播, 张过, 唐新明, 等. 资源三号测绘卫星传感器校正产品几何模型[J]. 测绘学报, 2013, 42(4): 516-522. PAN Hongbo, ZHANG Guo, TANG Xinming, et al. The Geometrical Model of Sensor Corrected Products for ZY-3 Satellite[J]. Acta Geodaetica et Cartographica Sinica, 2013, 42(4): 516-522. (in Chinese)

[13] 潘俊, 胡芬, 王密, 等. 一种非共线TDI CCD成像数据内视场拼接方法[J]. 测绘学报, 2014, 43(11): 1165-1173. PAN Jun, HU Fen, WANG Mi, et al. An Inner FOV Stitching Method for Non-collinear TDI CCD Images[J]. Acta Geodaetica et Cartographica Sinica, 2014, 43(11): 1165-1173. (in Chinese)

[14] 范大昭, 刘楚斌, 王涛, 等. ALOS PRISM影像严格几何模型的构建与验证[J]. 测绘学报, 2011, 40(5): 568-574. FAN Dazhao, LIU Chubin, WANG Tao, et al. Buiding & Validation of Rigorous Geometric Model of ALOS PRISM Imagery[J]. Acta Geodaetica et Cartographica Sinica, 2011, 40(5): 568-574. (in Chinese)

[15] 张过. 缺少控制点的高分辨率卫星遥感影像几何纠正[D]. 武汉: 武汉大学, 2005. ZHANG Guo. Rectification for High Resolution Remote Sensing Image Under Lack of Ground Control Points[D]. Wuhan: Wuhan University, 2005. (in Chinese)

[16] 胡振龙, 郑柯, 张勇, 等. 基于数字检校场的“天绘一号”卫星在轨几何定标[J]. 航天返回与遥感, 2017, 38(5): 86-95. HU Zhenlong, ZHENG Ke, ZHANG Yong, et al. On-orbit Geometric Calibration Based on Digital Calibration Field for TH-1 Satellite[J]. Spacecraft Recovery & Remote Sensing, 2017, 38(5): 86-95. (in Chinese)

[17] 潘俊, 胡芬, 王密, 等. 基于虚拟线阵的ZY-1 02C卫星HR相机内视场拼接方法[J]. 武汉大学学报·信息科学版, 2015, 40(4): 436-443. PAN Jun, HU Fen, WANG Mi, et al. Inner FOV Stitching of ZY-1 02C HR Camera Based on Virtual CCD[J]. Geomatics and Information Science of Wuhan University, 2013, 42(6): 861-868. (in Chinese)

[18] 耿迅, 徐青, 邢帅, 等. 基于最佳扫描行快速搜索策略的线阵推扫式影像微分纠正算法[J]. 测绘学报, 2013, 42(6): 861-868. GENG Xun, XU Qing, XING Shuai, et al. Different Rectification of Linear Pushbroom Imagery Based on the Fast Algorithm for Best Scan Line Searching[J]. Acta Geodaetica et Cartographica Sinica, 2013, 42(5): 861-868. (in Chinese)

[19] 耿迅, 蓝朝桢, 徐青, 等. 火星快车HRSC线阵推扫式影像地面点反投影快速融合[J]. 测绘科学技术学报, 2013, 30(6): 601-605. GENG Xun, LAN Chaozhen, XU Qing, et al. Data Fusion of Mars Express HRSC Linear Pushbroom Imagery Based on Fast Algorithm for Back Projection[J]. Journal of Geomatics Science and Technology, 2013, 30(6): 601-605. (in Chinese)

Inner FOV Stitching of Spaceborne Multispectral Camera Based on Virtual CCD Line under Back Projection in Object-space

WANG Huai1MO Fan1LI Qijun2WANG E3

（1 Land Satellite Remote Sensing Application Center, MNR, Beijing 100048, China）（2 Xinjiang Hetian 94019 Army, Hetian 848099, China）（3 Liaoning Shenyang 31441 Army, Shenyang 110001, China）

Aiming at the non-collinear TDICCD image of multispectral camera, this paper created a virtual CCD line to achieve camera inner FOV stitching. The method established the relationship of ground points and virtual image points based on rigorous geometric model. According to the geometric constraints of the central perspective plane of scan line, an algorithm for back projection of ground point was proposed to found the coordinate relationship model of virtual image points, realizing gray value assignment for the original image points. The experimental results show that this method is effective, high accuracy, and has good application value for ZY3 remote sensing image.

non-collinear TDICCD; virtual CCD line; inner FOV stitching; rigorous geometric model; back projection of ground point; remote sensing satellite

P236

A

1009-8518(2019)05-0118-09

王怀, 莫凡, 李奇峻,等. 物方反投影下的星载多光谱相机内视场虚拟线阵拼接[J]. 航天返回与遥感, 2019, 40(5): 118-125.

WANG Huai, MO Fan, LI Qijun, et al. Inner FOV Stitching of Spaceborne Multispectral Camera Based on Virtual CCD Line under Back Projection in Object-space[J]. Spacecraft Recovery & Remote Sensing, 2019, 40(5): 118-125. [DOI: 10.3969/j.issn.1009- 8518.2019.05.012]

王怀，男，1975年生，2002年6月获西安科技学院大地测量与测量工程专业硕士学位，副研究员。主要研究方向为地理信息系统数据处理、卫星仿真应用研究工作。E-mail：wangh@lasac.cn。

2019-06-24

国家基础测绘项目（2018KJ0302）；国家自然科学基金（41571440）

（编辑：夏淑密）