资源三号多光谱影像谱段间相对内参关系标定及高精度配准

李奇峻，范大昭，雷　蓉，纪　松，张文朝

1. 信息工程大学地理空间信息学院，河南 郑州 450052； 2. 61287部队，四川 成都 610000



资源三号多光谱影像谱段间相对内参关系标定及高精度配准

李奇峻1，范大昭1，雷蓉1，纪松1，张文朝2

1. 信息工程大学地理空间信息学院，河南 郑州 450052； 2. 61287部队，四川 成都 610000

registration

Foundationsupport：TheNationalNaturalScienceFoundationofChina(No.41401534)；TheOpenFundofStateKeyLaboratoryofGeographicInformationEngineering(No.SKLGIE2013-M-3-1)；TheScientificResearchFoundationforPublicWelfareIndustryofSurveyingandMappingandGeographicInformation(No.201412007)；MasterDissertationInnovationFoundationofInstituteofSurveyingandMappingofInformationEngineeringUniversity(No.XS201510)

摘要：针对资源三号多光谱相机，提出利用同时获取的各谱段影像间高精度提取的同名像点建立多光谱相机各谱段对应分片CCD之间的位置模型，求解它们的相对内参关系参数，并应用此模型实现了谱段间影像的高精度谱段配准。试验结果表明该方法能够实现资源三号卫星多光谱影像优于0.3像素精度的谱段间自动配准。

关键词：多光谱相机；同名像点；相对内参关系；高精度；配准

资源三号卫星(ZY-3)是我国第一颗民用高精度立体测绘卫星，发射于2012年1月9日。在卫星上安装了一台能获取5.8m分辨率影像的多光谱相机，相机焦平面内排列着共视场成像的红(B3)、绿(B2)、蓝(B1)和近红外(B4)4个谱段[1-2]。每个谱段的CCD由3片小CCD拼成，每片有3072个探元，谱段间CCD沿轨道方向有一定的间隔[3]。虽然相机制造方在安置CCD阵列时考虑了谱段间配准需求的严密几何关系[4]，实际上影像的谱段配准精度不能满足应用要求，这是因为存在镜头光学畸变、卫星颤振和安装误差。在多光谱影像处理上，国外学者在在轨检校时先补偿了多光谱相机的镜头畸变，然后应用检校后的内方位元素进行影像配准，使RapidEye、ALOS和SPOT等卫星的影像配准精度得到了提高，达到0.2像素[5-10]；文献[11]利用虚拟CCD成像的方法实现了多光谱影像的高精度谱段配准，但需要先对相机进行在轨检校；文献[12]在资源三号多光谱影像自动配准时采用类似于相对定向的方式来恢复各波段影像间精确的相对几何成像关系，该方法在理论上具有严密性，且配准结果与影像质量无关；文献[13]对SPOT全色影像和TM多光谱影像配准时采用了多级影像概率松弛整体匹配技术；文献[14]使用基于梯度幅度最大值的方法进行多传感器影像配准；文献[15]在对于角度和尺度偏差较大的SPOT5和TM影像进行配准时采用了一种基于虚拟匹配窗口的SIFT算法；文献[16]提出了基于特征约束与光流场方法的遥感图像配准。

本文从多光谱相机谱段间相对内参关系出发，利用同时获取的各谱段影像间高精度提取的同名像点建立了多光谱相机各谱段对应分片CCD之间的位置模型，求解出它们的相对内参关系参数，并应用此模型实现了谱段间影像的高精度谱段配准。利用资源三号多光谱影像进行试验，试验结果表明该方法能使资源三号多光谱谱段间影像的配准精度达到亚像素级。

1原理简介

1.1同名像点间空间几何模型

文献[17]提出了SIFT特征，SIFT特征能够抗影像尺度变换、抗影像亮度变换和抗影像旋转变换，它在遥感影像匹配中的应用前景十分广阔[18]，本文利用SIFT算法提取特征点并进行匹配获取同名像点。构建同名像点间的几何关系是实现本文多光谱影像后续匹配的基础。对于谱段B1影像和谱段B2影像，假设P是谱段B1影像和谱段B2影像所覆盖的地面重叠区域内的一点，对应像点分别为p1和p2，S1和S2为对应的投影中心，由于同名点物方定位一致，则光线S1p1、S2p2必然相交于物方点P，根据两影像的严格几何成像模型有

(1)

(2)

利用严格几何成像模型和地面物方高程信息可以得到同名像点之间的几何关系，获得粗匹配的约束条件。实际情况中谱段影像的成像几何参数以及物方高程信息总存在一定的误差，在卫星飞行过程中，各谱段CCD同时排列在多光谱相机焦平面内，因此可以认为各CCD的外方位元素一致，而高程信息对像方的影响很小，可以忽略[12]，总的误差由CCD的畸变带来，且误差不大。因此可以以计算值为中心开辟窗口，以最小二乘匹配进行精确配准。

1.2单点最小二乘匹配

最小二乘匹配算法考虑了影像之间的灰度畸变和几何畸变，能够同时改正匹配影像之间的辐射误差和几何变形误差，同时可以在平差过程中灵活地加入一些约束条件，使配准精度达到1/10～1/100像素。同时考虑辐射和几何畸变有

v=h0+h1g2(a0+a1x+a2y,b0+b1x+b2y)-g1(x,y)

(3)

将式(3)线性化，得到匹配的误差方程式

v=c1dh0+c2dh1+c3da0+c4da1+c5da2+c6db0+c7db1+c8db2-Δg

(4)

式中，v是相应像素的灰度差；ci(i=1,…,8)是误差方程式的系数，由此构建法方程，设置迭代阈值，当满足精度时，迭代终止，就可以计算出同名点坐标。

在本文方法中，先将在基准谱段影像中提取的特征点经过同名像点空间几何模型解算到目标谱段影像，再将解算坐标作为最小二乘匹配的初始值，就可以经过最小二乘匹配获得精确的同名像点坐标。

1.3谱段间相对内参关系模型

资源三号多光谱相机焦平面内依次排列着红、绿、蓝和近红外4个CCD阵列，每个阵列由3个分片CCD组成，在各波段CCD成像时CCD可能存在位置错移和物理畸变。对于焦平面内的两个分片CCD阵列而言，若以其中一个CCD阵列为基准，则另一CCD阵列可以看作是基准CCD阵列经过一系列的旋转、弯曲、缩放等变形后平移至目标CCD阵列位置，因此可以仿照线阵CCD内方位误差模型[19-21]来建立两个分片CCD阵列之间的相对内参关系模型，通过最小二乘匹配获取足够多的同名像点坐标，将分片同名像点坐标转换为整幅影像同名像点坐标，将转换后的同名像点坐标作为分片CCD阵列中相应探元在焦平面内的位置，重建CCD之间的位置关系模型，从而解算出不同谱段间对应分片CCD之间的相对内参关系。

1.3.1主点偏移

线阵CCD在轨成像时由于环境变化导致相机主点产生微小的偏移(图1)，微小偏移会使像点发生偏差记为(Δxp,Δyp)。

1.3.2像元尺寸变化

在x和y轴上，假如像元尺寸变化率为dpx和dpy，像元一般在x轴方向较多，在y轴方向只有1个(图2)，因此可忽略在y轴方向上的变形，重点考虑在x轴方向上像元变形的影响，此时像元在x和y轴上的变化大小为

(5)

图1　主点偏移　Fig.1　Principal point ofphotograph error

图2　瞬时影像坐标系　Fig.2　Instantaneous imagecoordinate

1.3.3焦平面内CCD旋转

(6)

图3　线阵CCD旋转误差Fig.3　The rotation angle of CCD line error

1.3.4CCD弯曲误差

CCD弯曲使像点在飞行方向(y方向)上产生误差，如图4所示。如果CCD的弯曲度是b，则由CCD弯曲引起像点i的误差为

(7)

图4　线阵CCD的弯曲Fig.4　The bend error of CCD line

1.3.5谱段间相对内参关系模型

由此可以建立基准分片CCD位置和目标分片CCD位置的相对内参关系模型

(8)

进行多光谱影像谱段间相对内参关系的解算可分为4步：①利用SIFT算法对基准谱段分片影像进行特征点提取；②利用资源三号卫星中的辅助数据和高程信息由严格几何模型构建同名像点空间几何模型，求出目标谱段分片影像上同名像点坐标的概略值，将其作为单点最小二乘匹配的初值；③以求出的同名像点坐标为中心开取窗口，进行单点最小二乘匹配；④由多对精确的同名像点坐标构建谱段间相对内参关系模型，解算精确的相对内参关系参数。

2试验分析

为了验证本文方法的可行性，采用2012-01-11大连地区和2012-02-18安平地区的资源三号多光谱影像0级影像进行试验，以及星上下传的辅助数据：姿态、轨道、成像时间和成像参数等数据的记录文件。本文使用的高程数据为Aster G-DEM。

2.1相对内参关系参数求解试验

利用安平地区的多光谱影像中谱段B1的分片影像和谱段B2的分片影像进行对应分片CCD之间的相对内参关系参数求解，以谱段B1影像为基准影像。相对内参关系模型有5个未知数，至少需要3对同名像点才能解算出相对内参关系参数，为了满足多余观测和提高可靠性，设定SIFT特征点算子的阈值，利用SIFT算子在谱段B1的分片影像上提取5000～10 000个高精度特征点，先运用同名像点空间几何模型计算出特征点在谱段B2的分片影像上的同名像点的概略坐标，然后以单点最小二乘匹配获得精确的同名像点，得到同名像点精确坐标，获得同名像点对。选取同名像点对中分布均匀的1000对同名像点，利用最小二乘法则进行相对内参关系参数解算，得到对应分片CCD的相对内参关系参数，如表1所示。

表1　谱段对应分片CCD间相对内参关系参数

由表1可知，根据相对内参关系模型解算出的谱段间CCD沿轨向移位Δyp与资源三号官方公布的数据基本一致，误差在0.3个像素以内。

2.2相对内参关系模型精度检验及影像配准

利用安平地区各谱段影像上1000对同名像点以外的同名像点对求解出的对应分片CCD间的相对内参关系参数进行精度验证，检查相对内参关系模型的正确性。谱段间分片CCD的相对内参关系得到恢复，则可以建立谱段间分片影像的同名像点对的约束关系，运用相对内参关系模型进行谱段间影像的高精度自动配准，认为由相对内参关系模型求出的目标谱段影像像点是对应的基准谱段影像像点的配准点，具有一定的误差，而由最小二乘匹配获取的同名像点为精确像点，两者之差即为相对内参关系模型及影像配准的精度，统计精度如表2所示。

表2安平地区相对内参关系模型精度及谱段间配准精度

Tab.2Accuracy of relative interior orientation relationship model and registration in Anping

对应分片CCD点数x/像素y/像素xy/像素B1_CCD1—B2_CCD153560.1310.0460.139B1_CCD2—B2_CCD272450.1770.0590.187B1_CCD3—B2_CCD358930.1810.1060.209B1_CCD1—B3_CCD164200.1550.0600.166B1_CCD2—B3_CCD251450.1850.0730.199B1_CCD3—B3_CCD372760.1740.1440.226B1_CCD1—B4_CCD173670.1830.0830.201B1_CCD2—B4_CCD257420.1730.1040.202B1_CCD3—B4_CCD361380.1610.1090.194

对大连地区，利用SIFT算子提取5000～10 000个高精度特征点，利用最小二乘匹配获取高精度的同名像点对，用这些同名像点对对由安平地区计算出的相对内参关系模型进行检查，同时进行影像配准，统计配准精度如表3所示。表3大连地区相对内参关系参数检查精度及谱段间配准精度

Tab.3Accuracy of relative interior orientation relationship parameters and registration in Dalian

对应分片CCD点数x/像素y/像素xy/像素B1_CCD1—B2_CCD178460.1740.0300.177B1_CCD2—B2_CCD286720.1480.0560.158B1_CCD3—B2_CCD393650.1920.1470.242B1_CCD1—B3_CCD191240.1670.0560.176B1_CCD2—B3_CCD283680.1680.0760.184B1_CCD3—B3_CCD373610.1910.1470.241B1_CCD1—B4_CCD182350.1890.0780.204B1_CCD2—B4_CCD294370.1760.1050.205B1_CCD3—B4_CCD378230.1780.1420.228

由表2和表3，安平地区和大连地区相对内参关系模型的检查精度和影像配准精度具有一致性，误差在0.3像素以内，说明相对内参关系模型是正确的，对消除谱段间对应CCD之间的畸变具有较好的效果，可以运用相对内参关系模型进行谱段间影像的配准。

3结束语

本文从多光谱相机谱段间相对内参关系出发，利用同时获取的各谱段影像间的高精度提取的同名像点对建立了多光谱相机各谱段对应分片CCD之间的位置模型，求解出对应分片CCD间的相对内参关系参数，恢复了谱段间的相对内参关系即建立了谱段间同名像点对的约束关系，可以运用该模型进行谱段间影像的高精度自动配准，在理论上具有严密性，可操作性强。最后求解出精确的谱段间相对内参关系参数并进行影像配准，统计了相对内参关系模型和影像配准的精度。试验结果表明，该方法能够实现资源三号卫星多光谱影像谱段间高精度自动配准(优于0.3像素)，同时该方法对与资源三号卫星多光谱影像相似的卫星多光谱影像具有通用性，下一步将研究该方法在这类卫星多光谱影像间自动配准中的应用。

参考文献：

[1]曹海翔, 刘希刚, 李少辉, 等. “资源三号”卫星遥感技术[J]. 航天返回与遥感, 2012, 33(3): 7-16. CAO Haixiang, LIU Xigang, LI Shaohui, et al. ZY-3 Satellite Remote Sensing Technology[J]. Spacecraft Recovery & Remote Sensing, 2012, 33(3): 7-16.

[2]李德仁. 我国第一颗民用三线阵立体测图卫星——资源三号测绘卫星[J]. 测绘学报, 2012, 41(3): 317-322.

LI Deren. China’s First Civilian Three-line-array Stereo Mapping Satellite: ZY-3[J]. Acta Geodaetica et Cartographica Sinica, 2012, 41(3): 317-322.

[3]范斌, 蔡伟军, 张孝弘, 等. “资源三号”卫星多光谱相机技术[J]. 航天返回与遥感, 2012, 33(3): 75-84. FAN Bin, CAI Weijun, ZHANG Xiaohong, et al. Technology of the Multi-spectral Camera of ZY-3 Satellite[J]. Spacecraft Recovery & Remote Sensing, 2012, 33(3): 75-84.

[4]郭悦, 杨桦. 多光谱CCD相机的光学配准[J]. 航天返回与遥感, 2003, 24(1): 29-32.

GUO Yue, YANG Hua. Optical Registration of the Multi-spectral CCD Camera[J]. Spacecraft Recovery & Remote Sensing, 2003, 24(1): 29-32.

[5]BECKTT K,RAMPERSAD C,PUTIH R, et al. RapidEye Product Quality Assessment[C]∥Proceedings of SPIE 7474, Sensors, Systems, and Next-generation Satellites ⅩⅢ. Berlin: SPIE, 2009: 1-10.

[6]BOUILLON A,BRETON E,DE LUSSY F,et al. SPOT5 Geometric Image Quality[C]∥Proceedings of 2003 IEEE International Geoscience and Remote Sensing Symposium. Toulouse: IEEE, 2003: 303-305.

[7]TADONO T, SHIMADA M, HASHIMOTO T, et al. Results of Calibration and Validation of ALOS Optical Sensors, and Their Accuracy Assessments[C]∥Proceedings of 2007 IEEE International Geoscience and Remote Sensing Symposium. Barcelona: IEEE, 2007: 3602-3605.

[8]TADONO T, SHIMADA M, WATANABE M, et al. Initial Results of Calibration and Validation for ALOS Optical Sensors[C]∥Proceedings of 2006 IEEE International Symposium on Geoscience and Remote Sensing. Denver: IEEE, 2006: 1643-1646.

[9]GRODECKIJ, DIAL G. IKONOS Geometric Accuracy[C]∥Proceedings of Joint Workshop of ISPRS Working Groups I/2, I/5 and IV/7 on High Resolution Mapping from Space 2001. Hannover: University of Hannover, 2001: 19-21.

[10]詹总谦. 基于纯平液晶显示器的相机标定方法与应用研究[D]. 武汉: 武汉大学, 2006: 20-28.

ZHAN Zongqian. Research on Camera Calibration Based on Completely Flat Liquid Crystal Display[D]. Wuhan: Wuhan University, 2006: 20-28.

[11]蒋永华, 张过, 唐新明, 等. 资源三号测绘卫星多光谱影像高精度谱段配准[J]. 测绘学报, 2013, 42(6): 884-890, 897.

JIANG Yonghua, ZHANG Guo, TANG Xinming, et al. Research on the High Accuracy Band-to-band Registration Method of ZY-3 Multispectral Image[J]. Acta Geodaetica et Cartographica Sinica, 2013, 42(6): 884-890, 897.

[12]王密, 杨博, 金淑英. 一种利用物方定位一致性的多光谱卫星影像自动精确配准方法[J]. 武汉大学学报(信息科学版), 2013, 38(7): 765-769.

WANG Mi, YANG Bo, JIN Shuying. A Registration Method Based on Object-space Positioning Consistency for Satellite Multi-spectral Image[J]. Geomatics and Information Science of Wuhan University, 2013, 38(7): 765-769.

[13]张祖勋, 张剑清, 廖明生, 等. 遥感影像的高精度自动配准[J]. 武汉测绘科技大学学报, 1998, 23(4): 320-323.

ZHANG Zuxun, ZHANG Jianqing, LIAO Mingsheng, et al. Automatic Precision Registration of Multi-resolution Remote Sensing Imagery[J]. Journal of Wuhan Technical University of Surveying and Mapping, 1998, 23(4): 320-323.

[14]KELLER Y, AVERBUCH A. Multisensor Image Registration via Implicit Similarity[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006, 28(5): 794-801.

[15]王瑞瑞, 马建文, 陈雪. 多传感器影像配准中基于虚拟匹配窗口的SIFT算法[J]. 武汉大学学报(信息科学版), 2011, 36(2): 163-166. WANG Ruirui, MA Jianwen, CHEN Xue. SIFT Algorithm Based on Visual Matching Window for Registration between Multi-sensor Imagery[J]. Geomatics and Information Science of Wuhan University, 2011, 36(2): 163-166.

[16]刘璐, 陈甫, 刘建波. 基于特征约束与光流场方法的遥感图像配准[J]. 计算机工程与设计, 2014, 35(9): 3127-3131.

LIU Lu, CHEN Fu, LIU Jianbo. Optical Flow and Feature Constrains Algorithm for Remote Sensing Image Registration[J]. Computer Engineering and Design, 2014, 35(9): 3127-3131.

[17]Lowe D G. Distinctive Image Features from Scale-invariant Keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[18]李然, 张云生. 基于SIFT特征的多源遥感影像自动匹配方法[J]. 测绘科学, 2011, 36(3): 8-10, 18.

LI Ran, ZHANG Yunsheng. Auto-matching between Multi-source Remote Sensing Images Based on SIFT Features[J]. Science of Surveying and Mapping, 2011, 36(3): 8-10, 18.

[19]雷蓉. 星载线阵传感器在轨几何定标的理论与算法研究[D]. 郑州: 信息工程大学, 2011. LEI Rong. Study on the Theory and Algorithm of the In-flight Geometric Calibration of Spaceborne Linear Array Sensor[D]. Zhengzhou: Information Engineering University, 2011.

[20]刘楚斌. 高分辨率遥感卫星在轨几何定标关键技术研究[D]. 郑州: 信息工程大学, 2012.

LIU Chubin. Study on Crucial Technique of the On-orbit Geometric Calibration of High Resolution Satellite[D]. Zhengzhou: Information Engineering University, 2012.

[21]朱敏, 金伟其, 徐彭梅. 遥感卫星多镜头多光谱相机的配准技术[J]. 北京理工大学学报, 2003, 23(5): 633-637.

ZHU Min, JIN Weiqi, XU Pengmei. Registration of Multi-lens Multi-spectrum Cameras for Use in Remote Sensing Satellites[J]. Transactions of Beijing Institute of Technology, 2003, 23(5): 633-637.

(责任编辑：宋启凡)

修回日期： 2016-04-12

E-mail： hangben61ban@163.com

E-mail： fdzcehui@163.com

Calibration for Relative Interior Orientation Relationship and Band-to-band Registration with High Accuracy of ZY-3 Multi-spectral Image

LIQijun1，FANDazhao1，LEIRong1，JISong1，ZHANGWenzhao2

1.InstituteofSurveyingandMapping，InformingEngineeringUniversity，Zhengzhou450052，China； 2. 61287Troops，Chengdu610000，China

Abstract：Usinghighaccuracymatchpointsextractedbetweenthemulti-spectralimagesthatobtainedatthesametime，apositionmodeloftheCCDchipsoftheZY-3multi-spectralcamerawasproposed.Relativeinteriororientationrelationshipparameterswerecalculatedandaccurateband-to-bandautomaticregistrationofZY-3multi-spectralimagewasachievedbasedonthepositionmodel.Theexperimentalresultindicatesthattheband-to-bandautomaticregistrationaccuracyofZY-3multi-spectralimageisbetterthan0.3pixelswiththeproposedmethod.

Keywords：multi-spectralcamera；matchpoint；relativeinteriororientationrelationship；highaccuracy；

中图分类号：P237

文献标识码：A

文章编号：1001-1595(2016)06-0685-06

基金项目：国家自然科学基金(41401534)；地理信息工程国家重点实验室开放基金(SKLGIE2013-M-3-1)；测绘地理信息公益性行业科研专项经费(201412007)；信息工程大学地理空间信息学院硕士学位论文创新与创优基金(XS201510)

收稿日期：2015-07-08

第一作者简介：李奇峻(1991—)，男，硕士生，研究方向为数字摄影测量。First author： LI Qijun(1991—), male, postgraduate, majors in digital photogrammetry.

通信作者：范大昭

Corresponding author：FAN Dazhao

引文格式：李奇峻，范大昭，雷蓉,等.资源三号多光谱影像谱段间相对内参关系标定及高精度配准[J].测绘学报，2016,45(6)：685-690.DOI:10.11947/j.AGCS.2016.20150363.

LIQijun，FANDazhao，LEIRong，etal.CalibrationforRelativeInteriorOrientationRelationshipandBand-to-bandRegistrationwithHighAccuracyofZY-3Multi-spectralImage[J].ActaGeodaeticaetCartographicaSinica,2016,45(6):685-690.DOI:10.11947/j.AGCS.2016.20150363.