晨昏轨道微光相机成像策略研究及仿真验证
2017-11-25李立金李浩洋徐彭梅王宇
李立金 李浩洋 徐彭梅 王宇
晨昏轨道微光相机成像策略研究及仿真验证
李立金 李浩洋 徐彭梅 王宇
(北京空间机电研究所,北京100094)
为满足晨昏轨道微光相机大动态范围成像要求,针对EMCCD器件,提出一种微光相机成像策略。该策略通过对积分时间及电子倍增数的设计及选取,制定若干成像档位,相机成像过程中,利用文章中提出的图像灰度最大值法实时计算结果决定档位动作,实现微光相机成像参数实时调整。通过地面仿真及在轨验证,该策略能够保证微光相机在大动态范围内获取高信噪比、高品质图像,具有良好的实时性、鲁棒性和有效性。
晨昏轨道 微光相机 成像策略 航天遥感
0 引言
晨昏轨道微光相机是指工作于太阳同步近极地轨道中,轨道降交点地方时间在6:00左右,在夜间和晨昏等低照度条件下获得可见光图像的相机,以其重访周期短、覆盖范围宽、长时段工作等诸多优点成为航天领域一个重要的研究方向[1]。由于微光相机的成像特点,能够实现多种光照条件下低云、大雾的监测,同时在微光技术基础上形成的微光立体相机还可以构造出云的三维模型,对天气系统的分析和准确预报具有重要意义[2]。目前可以在轨开展微光云图探测的载荷包括“美国国防气象卫星”(DMSP)Block上的业务线扫描系统(OLS)[3-4]及“国家极轨业务环境卫星系统准备项目”(NPP)上搭载的可见光红外成像仪/辐射计组(VIIRS)[5],可以获得夜间1/4月光条件下微光可见光云图,弥补了传统夜间可见光通道无法探测的缺点,获取昼夜不间断的气象信息。
晨昏轨道微光相机的特点是观测时间总是在凌晨和傍晚,由于光照条件较差,成像能力受到限制。随着EMCCD等微光探测器件的发展,微光成像技术日趋成熟,除了能够在白天成像外,在夜间和黄昏也能够利用微弱的太阳光或者月光获得可见光图像,从而大大地延长了可见光成像时间[6]。但要想在无月晴朗夜晚、1/4月晴朗、黎明、黄昏等多种不同入瞳辐亮度条件下均能保证信噪比,获得高品质图像,就需要制定相应的成像策略,使相机能够根据在轨运行过程中入瞳辐亮度的变化自动调整成像参数[7-11],从而实现大动态范围成像的目的[12]。本文针对工作于晨昏轨道的微光相机成像策略进行研究,利用MATLAB软件进行仿真验证,为在研型号提供理论依据,并通过对在轨图像的分析验证算法的有效性。
1 成像策略设计
月光、星光和大气辉光等微弱的夜间可见光,统称微光。晨昏轨道微光相机工作于太阳同步近极地轨道,采用线阵推扫方式成像,如图1所示,成像原理与可见光成像基本相同,只是在获取无月晴朗夜晚、1/4月晴朗、黎明、黄昏等多个时段典型光照条件下的图像时,光源复杂,入瞳辐亮度变化非常大。根据以上成像特点,本文结合微光探测器EMCCD的特点[13-14],对电子倍增倍数及积分时间进行合理的选取,制定成像策略,实现成像参数自动调整。
图1 工作原理
微光相机实现自动参数调整需解决三个问题:①划分档位,设置每档成像参数;②制定成像档位切换策略,确定档位阈值;③确定根据在轨图像实时进行档位调整的方法。
1.1 成像档位参数设置
由于微光探测器件成像参数中的积分时间及电子倍增数可调整,因此可以为微光相机划分成像档位,不同档位设置不同的成像参数,从而实现长时段、大动态范围成像。成像参数的确定过程如下:
1)根据卫星速高比计算最大积分时间max,参数设置不得超过该值;
2)根据微光器件工作温度确定最大电子倍增数max,参数设置不得超过该值;
3)根据已知轨道仿真相机入瞳辐亮度s范围[15],约为4×10–9~1.6×10–4W/(cm2·sr);
4)将选定的积分时间in初始值、电子倍增数初始值及入瞳辐亮度s代入下式,计算探测器的光生电荷数,得到相应的能量[16]
式中s为信号电子数;DN为像元灰度值;为像元大小;为光圈F数;0为相机光学系统透过率;为中心波长;为普朗克常量;为光速;为探测器量子效率;为遮拦比;为半视场角;为电子倍增数;为探测器电荷电压转换系数;为量化系数;为电路AD增益;为运放倍数;为量化位数;为信号输出最大幅度。
5)计算相机信噪比(SNR)[17-18],调整积分时间in及电子倍增数,使SNR满足指标要求,且在微光探测器件能量不发生饱和的前提下,SNR尽可能大。
6)在器件能力允许的情况下设置尽可能多的成像档位来适应大动态范围成像需求。
根据以上原则,将微光相机成像档位划分为4档,每一档入瞳辐亮度覆盖范围(红色部分)及各档位辐亮度重合情况如图2所示,动态范围覆盖4×10–9~1.6×10–4W/(cm2·sr)。
图2 档位划分
1.2 成像档位调整原则
微光相机采用“就高”的原则进行相应档位的调整。“就高”是指成像时保证地面高辐亮度景物正常成像,不能保证或不完全保证低辐亮度景物。这种原则的优点在于可避免CCD出现过饱和区域,延长器件使用寿命。
根据上述原则,可以得到对应的成像参数档位调整表,如表1所示。
表1 “就高”档位调整表
Tab.1 “High level” switch threshold adjustment
注:1)灰度阈值1~灰度阈值6为1.1节划分4个档位后利用式(1)~式(3)计算的DN值大小,DNavg计算方法详见1.3。
1.3 灰度最大值计算方法
成像参数自动调整过程中,需要计算实时图像灰度最大值来确定成像参数档位动作[19-20],因此灰度最大值的计算结果关系到是否能够及时、合理的调整成像参数。为了保证成像策略的实时性和鲁棒性,灰度最大值计算方法需要考虑以下几点:
1)计算取样个数。计算取样个数关系到计算结果是否具有代表性。若只取一行进行计算,算法对辐亮度突变的景物过于敏感,档位调整频率过快,显然不能满足要求。若取多行处理,可避免亮度突变情况的影响,但是算法的实时性会受到影响。
2)均值计算权重分配。根据上述分析,灰度最大值计算时要取多行进行计算得到均值。在计算时,每行的权重分配也关系到成像策略的有效性。若权重分配不合理会导致计算出的均值没有代表性,影响算法的实现。
灰度最大值计算方法采用如下流程:
式中为权值,根据微光相机空间分辨率及云图成像特点,经仿真可认为迭代8行以上可进行档位调整,因此选为0.8。
③下一行采取同样处理方法。
④当发生档位变化后,算法初始化,以当前行为第一行重新进行计算。
2 成像策略仿真验证
对相机成像策略进行仿真验证,步骤如下:
1)首先进行初始化,设置初始档位、成像参数调整原则等相关参数;
3)将DNavg与档位调整表中的阈值进行比较,判断当前档位,并执行相应动作;
4)若不需要档位变化,则继续执行迭代计算,若档位发生变化,则以档位变化后的第一行影像数据作为迭代计算的初始值,继续迭代计算;
根据入瞳辐亮度变化规律,利用MATLAB软件生成大小为1 024×2 000的jpg格式的无云的原始图像,按照上述步骤对成像策略进行仿真验证。图3(a)为假设地球为朗伯体且在无云情况下获得的遥感影像,其理论成像档位变化情况已知。图3(b)为经过成像参数调整后的遥感影像;理论档位变化及实际档位变化情况如图4所示,可以看出:档位变化最大延迟时间为微光成像仪推扫3行所需的时间。本文提出的成像策略具有良好的实时性,能够满足系统需求。
(a)原始影像 (b)经成像参数调整后影像
图4 档位变化延迟情况(假设地球为朗伯体,无云)
根据入瞳辐亮度变化规律,利用MATLAB软件生成大小为1 024×2 000的jpg格式的有云的原始图像,按照上述步骤对成像策略进行仿真验证。图5(a)为未经成像参数调整的原始影像,可以看出该影像亮度很低,尤其在低辐亮度范围视场内景物几乎不可见;图5(b)为经成像参数调整后获得的影像,尽管曝光后存在亮度不均匀的问题,但是能够获取整个视场内的景物信息;图6为实际场景中档位变化情况,可以看出并未发生频繁的跳变现象,说明该策略具有很强的鲁棒性。
(a)原始影像 (b)经成像参数调整后影像
图6 档位变化情况
3 成像策略在轨验证
相机经过在轨测试与评价,设计的成像策略能够实现在轨实时调整合适档位,保证在不同入瞳辐亮度情况下信噪比满足要求,获得大动态范围的清晰影像。图7为在轨获取的云层图像,成像过程中档位由第一档调整为第三档,可以看出图像视觉质量有显著提高,通过计算图像灰度均值,可以获得档位调整前后图像亮度整体提升水平。一幅×的灰度图像DN(,)的灰度均值计算公式如下
为保证入瞳辐亮度及成像目标接近一致,选择档位调整前后各1列像素进行灰度均值计算,计算结果表明:档位调整后图像灰度均值约为档位调整前的6倍,图像亮度整体提升效果明显,并且景物未出现饱和现象。由此可以得出成像策略能够有效解决微光相机大动态范围成像的问题。同时在轨测试过程中并未出现档位频繁跳变问题,证明了成像策略具有较好的鲁棒性。
4 结束语
文中主要进行了档位成像参数设置、档位调整策略制定、在轨图像实时调整方案设计三个方面的研究,提出了工作于晨昏轨道的微光相机大动态范围成像策略。经地面仿真研究及在轨验证,该成像策略具有较好的实时性、鲁棒性和有效性,可以应用于微光相机在轨实时成像参数调整,保证高品质、大动态范围成像。
[1] 张鹏, 杨磊, 谷松岩, 等. 晨昏轨道卫星的气象应用需求分析[J]. 气象科技进展, 2015, 5(2): 6-7.ZHANG Peng, YANG Lei, GU Songyan, et al. Meteorological Requirements for the Early-morning-orbit Satellite[J]. Advances in Meteorological Science and Technology, 2015, 5 (2): 6-7. (in Chinese)
[2] 申闫春, 肖鹏, 孙兴义. 基于卫星云图的三维立体云仿真[J]. 计算机仿真, 2010, 27(12): 289-292. SHEN Yanmei, XIAO Peng, SUN Xingyi. Simulation of 3D Clouds Based on Satellite Cloud Imagery[J]. Computer Simulation, 2010, 27(12): 289-292.(in Chinese)
[3] 周小珂, 严卫, 白衡. 基于DMSPZ/OLS数据的夜间低云大雾监测技术研究[J]. 遥感信息, 2012, 27(6): 86-90.ZHOU Xiaoke, YAN Wei, BAI Heng. Detection of Heavy Fogs and Low Clouds During Nighttime Using DMSP-OLS Data[J]. Remote Sensing Information, 2012, 27(6): 86-90.(in Chinese)
[4] 陈晋, 卓莉, 史培军. 基于DMSP/OLS数据的中国城市化过程研究—反映区域城市化水平的灯光指数的构建[J]. 遥感学报, 2003, 7(3): 168-175.CHEN Jin, ZHUO Li, SHI Peijun. The Study on Urbanization Process in China Based on DMSP/OLS Data: Development of Light Index for Urbanization Level Estimation[J]. Journal of Remote Sensing, 2003, 7(3): 168-175.(in Chinese)
[5] 周润松, 葛榜军. 美国新一代气象卫星系统发展综述[J]. 航天器工程, 2008, 17(4): 91-98.ZHOU Runsong, GE Bangjun. Overview of the U.S. Next-Generation Meteorological Satellites Development[J]. Spacecraft Engineering, 2008, 17(4): 91-98.(in Chinese)
[6] 武星星, 刘金国, 周怀得, 等. 基于EMCCD和CMOS的天基微光成像[J]. 红外与激光工程, 2016, 45(5): 0514002-1~0514002-6.WU Xingxing, LIU Jinguo, ZHOU Huaide, et al. Spaceborne Low Light Imaging Based on EMCCD and CMOS[J].Infrared and Laser Engineering, 2016, 45(5): 0514002-1~0514002-6.(in Chinese)
[7] LIOU Y C, CHIANG W T, CHEN Y Q, et al. Automatic Exposure System by Fuzzy Control for Digital Still Camera[J]. Proc. SPIE, Image Acquisition and Scientific Imaging Systems, 1994, 2173: 195-206.
[8] CHO M, LEE S, NAM B D. The Fast Auto Exposure Algorithm Based on the Numerical Analysis[J]. Proc. SPIE, Sensors, Cameras, and Applications for Digital Photography, 1999, 3650: 93-97.
[9] KUNO T, SUGIURA H. A New Automatic Exposure System for Digital Still Cameras[J]. IEEE Transactions on Consumer Electronics, 1998, 44(1): 192-199.
[10] ZHANG C, YOU Z, YU S J. An Automatic Exposure Algorithm Based on Information Entropy[J]. Proc. SPIE, Sixth International Symposium on Instrumentation and Control Technology: Signal Analysis, Measurement Theory, Photo-Electronic Technology, and Artificial Intelligence, 2006, 6357: 63570Q1-3570Q5.
[11] KAO W C, HSU C C, KAO C C, et al. Adaptive Exposure Control and Real-Time Image Fusion for Surveillance System[C]. International Symposium on Circuits and Systems (ISCAS 2006). Island of Kos, Greece, IEEE Trans. on Consumer Electronics, 2006: 935-938.
[12] 何红艳, 王小勇, 付兴科. 遥感卫星CCD相机的动态范围设计考虑[J]. 航天返回与遥感, 2008, 29(1): 39-49.HE Hongyan, WANG Xiaoyong, FU Xingke. Study on the Designing of the Dynamic Range of Remote Satellite's CCD Camera[J].2008, 29(1): 39-49.(in Chinese)
[13] 何家维, 何昕, 魏仲慧, 等. 电子倍增CCD星相机的设计[J]. 光学精密工程, 2010, 18(6): 1396-1403. HE Jiawei, HE Xin, WEI Zhonghui, et al.Design of EMCCD Cameras for Star Detection[J]. Optics and Precision Engineering, 2010, 18(6): 396-1403.(in Chinese)
[14] 张灿林. 电子倍增CCD的倍增机理研究[D]. 南京: 南京理工大学, 2014.ZHANG Canlin. Research on the MultiplicationMechanism ofEMCCD[D]. Nanjing: Nanjing University of Science and Technology.2014.(in Chinese)
[15] LI Haoyang, XU Pengmei, WANG Yu.Analysis and Simulation of Remote Sensor Radiance under Dawn-Dusk Illumination Conditions[C]. Proc. SPIE Vol.8912, International Symposium on Photoelectronic Detection and Imaging 2013: Low-light-level Technology and Applications, Beijing, 2013.
[16] 陈世平. 空间相机设计与试验[M]. 北京: 宇航出版社, 2003.CHEN Shiping. Design and Test for Space Camera[M]. Beijing: The Astronautics Press, 2003. (in Chinese)
[17] 傅鹏, 孙权森, 纪则轩, 等. 一种遥感图像信噪比评估和度量准则[J]. 测绘学报, 2013, 42(4): 560-567.FU Peng, SUN Quansen, JI Zexuan, et al. A Method of SNR Estimation and Comparison for Remote Sensing Images[J].Acta Geodaetica et Cartographica Sinica, 2013, 42(4): 560-567.(in Chinese)
[18] FIETE R D, TANTALO T. Comparison of SNR Image Quality Metrics for Remote Sensing Systems[J]. Optical Engineering, 2001, 40(4): 574-585.
[19] 杨海涛, 常义林, 王静, 等. 一种基于亮度直方图的自动曝光控制方法[J]. 光学学报, 2007, 27(5): 841-847.YANG Haitao, CHANG Yilin, WANG Jin, et al. A New Automatic Exposure Algorithm for Video Cameras Using Luminance Histogram[J].Acta Optica Sinica, 2007, 27(5): 841-847.(in Chinese)
[20] 徐培风, 李正明, 孙俊. 基于图像的自动曝光算法研究[J]. 光学仪器, 2005, 27(2): 59-6l.XU Peifeng, LI Zhengming, SUN Jun. Study on Auto-ExposureAlgorithm Based on Image Analysis[J]. Optical Instruments, 2005, 27(2): 59-61. (in Chinese)
(编辑:王丽霞)
Simulation and Verification of Imaging Strategy for Low-light-level Camera on Dawn-dusk Orbit
LI Lijin LI Haoyang XU Pengmei WANG Yu
(Beijing Institute of Space Mechanics & Electricity, Beijing 100094, China)
In order to meet the requirement of large dynamic range imaging for low-light-level camera on dawn-dusk orbit, this paper proposes an imaging strategy for low-light-level camera based on EMCCD. The strategy formulates several imaging gears by designing and selecting the integration time and electron multiplier. During the imaging, gear switch was realized by the results of max image grey calculated in real time. According to the ground simulation and on-orbit validation, this strategy has better real-time, robustness and validity, which can produce high SNR and good images in large dynamic range.
dawn-dusk orbit; low-light-level camera; imaging strategy; space remote sensing
V443+.5
A
1009-8518(2017)05-0029-07
10.3969/j.issn.1009-8518.2017.05.004
李立金,女,1985年生,2012年获哈尔滨工程大学信息与通信工程专业硕士学位,工程师。研究方向为遥感相机电子学总体设计。Email:lilijin129@126.com。
2017-06-20
国家重大科技专项工程