基于软件定义微纳卫星的多模式计算光学成像技术

刘扬阳， 吕群波,*， 谭政， 裴琳琳， 李伟艳， 王建威

(1. 中国科学院光电研究院中国科学院计算光学成像技术重点实验室， 北京 100094; 2. 中国科学院大学光电学院， 北京 100049)

面向未来智能卫星发展的国家重大战略需求，为实现有效载荷具备上载软件在轨定义多功能、软件可控多功能、参数可重构的软件定义微纳卫星需求，将重点围绕计算光学、认知成像、最优控制、强化学习、智能控制等基础科学和应用科学问题，突破软件一体化、综合化、人机交互功能扩展化定义等新体制卫星载荷设计和研制的关键技术瓶颈，需要突破传统卫星平台和传统光学相机的设计局限，开展基于微纳卫星的软件定义下新型计算光学成像载荷技术研究。

基于微纳卫星的软件定义下新型计算光学成像载荷技术研究，需要充分考虑有效载荷的软件和硬件两者之间联合设计可能存在的发展空间，分析软硬件系统中各个参数对成像质量的影响。根据各个影响因素的物理机制分别建立物理模型和误差模型，作为重建方法的先验信息，将这些有利于超分辨技术的先验信息约束应用于相机设计过程，使得相机获取的图像可以很好地匹配超分辨方法，该方法可以同时提升视觉分辨率和实质分辨率，同时保持对噪声的抑制能力，并有可能降低传统相机的结构尺寸和研制难度。

1 软件定义下新型计算光学成像载荷的光学结构设计

针对微小卫星的平台约束，基于已有的相关理论研究和仿真验证工作基础，重点研究基于成像链路影响约束的数字超分辨方法、高动态范围成像方法，配合卫星的成像模式设计，通过软件的灵活动态配置，实现最优成像效果。设计方案如图1所示。

根据技术要求的规定，本文中可见光相机采用推扫成像的方式获取地面目标的图像，如图2所示。若采用传统单台相机实现9 m地面分辨率，则光学系统焦距长，整体结构尺寸庞大，质量较大。若采用超分辨成像的原理，利用较短焦距相机对目标成像，经后期数据处理实现3 m的地面分辨率，将大大降低对光学系统的设计指标要求，单个相机光学系统更加简洁，体积质量下降。

软件定义下新型计算光学成像载荷的光学系统方案的选择主要考虑在高空间分辨率情况下，对相机的尺寸有约束，需要选择结构紧凑、体积小的方案。

系统要求空间分辨率在500 km高度达到9 m分辨，探测器像元数为2 560×2 048，像元大小为5 μm，则光学系统的总焦距为

图1 软件定义多模式计算光学成像技术的设计方案Fig.1 Design scheme of software-defined multi-mode computational optical imaging technology

图2 相机推扫成像模式Fig.2 Camera push-scanning imaging mode

(1)

为了满足光学系统能量需求，并考虑到光学系统口径的设计余量，最终选定光学系统F#=5。对应光学系统设计视场角为

--2θ=2arctan([(2 560×0.005)2+

(2)

分析本文中光学系统的技术指标，该系统属于中等焦距、中等视场、中等相对孔径系统。显然，由于系统焦距要求不高，采用透射式光学系统作为本文光学系统的基本结构。本文的波长范围为可见光到近红外，在这个范围内，国内的光学玻璃制造工艺优良，运用到透射式光学结构中，能够很好地实现系统的光学性能。

最终设计结果如图3所示。透镜光学系统结构总长为298 mm，第1个曲面透镜的通光口径为56 mm。考虑系统工程应用的实用性，在光学系统最前方放置偏振片/滤光片，其通光口径为62 mm。

光学系统设计完成后对其成像质量进行评价。评价光学系统的成像质量主要考虑点列图、调制传递函数(MTF)。本文设计的全色点列图及MTF曲线如图4所示。

图3 光学设计结果Fig.3 Optical design results

图4 镜头点列图成像质量评价结果Fig.4 Quality evaluation results of lens point image

从图4可知，光线经过光学系统后形成的弥散斑的均方根RMS直径均小于5 μm，控制在一个像元以内，像质良好。从全色MTF曲线可以看出，由于系统相对孔径较大，系统整体的调制传递函数较高，在对应奈奎斯特频率100 lp/mm(lp为线对，是光学质量评估中的常用单位，由探测器的像素大小应对而来，1 000/(2×pixel)lp/mm=100 lp/mm)处的衍射极限，满足使用要求，成像质量良好，如图5所示。

在卫星平台上，为增大幅宽，采用9台相同相机按照光学要求进行拼接，结构形式如图6所示。

9台相机以中间相机为基准，其余每台与中间基准相机按照不同角度拼装在平台上，达到增大幅宽的目的。

每台相机主要由相机支架、主镜组件、次镜组件、碳纤维支撑筒、校正镜组件、电控箱组件等部分组成，如图7所示。

2009年，马来西亚ATSB公司借美国“猎鹰”火箭发射的RazakSAT中型卫星，其成像载荷黑白分辨率约2.5 m×425 km，整个卫星重达190 kg，成像载荷主镜孔径为300 mm，载荷长度为755 mm。2011年发射的英国Surry Satellite Technology 公司的NigeriaSat-2卫星，可见光成像载荷分辨率为2.5 m×700 km，主镜孔径为385 mm，载荷长度为1 000 mm，整星重达270 kg。本文设计的透镜光学系统结构总长为298 mm，通光口径为62 mm，单机将可以控制质量小于2 kg，考虑到对整机的幅宽要求，整机相机按照光学要求进行单机3×3形式拼接，则整机也控制在20 kg以下，x、y方向大小小于200 mm，z方向长度小于310 mm。在图像分辨率几乎相等的情况下，本文设计的相机相比RazakSAT卫星载荷和NigeriaSat-2卫星载荷，其光学、结构等分系统的研制难度大大降低。

图7 单台相机的三维结构构型Fig.7 Configuration of three-dimensional structure of single camera

2 新型计算光学成像载荷的数学处理设计

2.1 软件数字超分辨技术

目前的数字超分辨技术只考虑多帧数据间的信息冗余，以及成像过程中的图像降质，并没有对相机本身的成像特性进行算法约束和功能约束，也没有考虑过载荷的软件和硬件两者之间联合设计可能存在的发展空间，以及可以拓展的星载平台与载荷总量和两者彼此的性能联合设计的优势，导致实际应用效果不佳。

通过多次重采样解除混叠，提高分辨率的思想最早起源于20世纪60年代提出的频谱外推理论[1-2]，之后在1984年应用到图像处理领域[3]，经国内外学者30多年的研究已发展出了多种方法，主要可分为频域法和空域法2类。频域法以傅里叶域内插值法[4]和差值重建法[5]为代表。空域法以迭代反投影法[6]、凸集投影法[7-9]、最大后验概率估计(MAP)法[10-11]、变分贝叶斯法[12]、Tikhonov正则化法[13]等为代表，多基于统计或集合的理论，具有较高的精度，但是该方法多以凸优化为研究目标，解算模型复杂，包含大规模的矩阵运算。

根据先期的研究，相机本身的成像特性对智能超分辨技术有较大影响，需要将该因素作为相机设计的约束，从而真正实现超分辨应用。智能超分辨技术原理如图8所示。相比较频域法而言，空域法多基于统计或集合的理论，具有较高的精度，其中变分贝叶斯法将配准参数建模为高斯分布以提高亚像元估计精度，再将先验信息建模为L1范数模型[14]或全变分模型[12,15]，在一步迭代中对建模涉及的所有变量进行求解，一定程度上阻止了误差的传播，获得了较好的超分辨率重建效果。

超分辨重建属于数学上的反问题，可以概括为“还原真相，倒果求因”。病态性和解的不稳定性是反问题的重要属性。要获得效果更好的高分辨率影像，就需要充分挖掘和利用多帧低分辨率影像之间的冗余信息、光学系统参数信息、探测器参数信息、噪声信息、成像环境信息，建立成像过程的全链路模型，同时提高影像的分辨率、信噪比、对比度。

要重建高分辨率影像，需研究反问题理论，解决图像重建问题的病态性，而相比地面成像系统，遥感成像由于大气衰减的作用，其病态性更强。为获得尽量逼近于真解的结果，就要充分分析亚像元信息、卫星平台参数、光学系统参数、探测器参数、噪声、大气对超分辨率重建的影响，根据各个影响因素的物理机制分别建立物理模型和误差模型，作为重建方法的先验信息，并提取图像本身的光流信息对解空间加以约束，实现全局优化，消弱病态性对求解的稳定性和收敛性影响。

图8 智能超分辨技术原理Fig.8 Principle of intelligent super-resolution technology

超分辨率重建的过程如图9所示。高分辨率图像指具有较高分辨率、满足奈奎斯特采样准则的采样得到的数字图像。旋转平移指现实图像相对于成像系统探测器平面产生了相对运动，可以用运动函数Mk来表示。降晰指经过位移以后的图像又经过了模糊降质，可用模糊函数Bk来表示。下采样指物体发出的光线在图像传感器单元上进行光电转化，然后将电信号进行采样输出得到低分辨率图像，用下采样函数Dk来表示。

因此，图像退化的数学模型可表示为

yk=DkBkMkx+nkk=1,2,…,K

(3)

式中：yk为第k幅低分辨率图像；x为原始高分辨率图像；nk为加性噪声。

由式(3)可以看出，图像重建就是指利用Dk、Bk、Mk的先验知识及假设条件从同一场景的K幅低分辨率退化图像序列中恢复高分辨率图像的逆过程。重建过程可分为3个环节：①对低分辨率图像组进行运动匹配，估计运动函数Mk；②降晰辨识，估计模糊函数Bk；③复原算法，在以上两步的基础上，复原高分辨率图像。

图9 智能超分辨技术软件定义设计思路Fig.9 Software-defined design idea for intelligent super-resolution technology

2.2 粗略重建与精细重建

在超分辨重建方法上，为获得高精度的重建结果，首先，在地面通过测量获得成像系统的全视场的点扩散函数作为光学模糊的先验信息，并将该信息代入到粗略重建和精细重建中；其次，将粗略重建结果作为精细重建迭代的初始值，提高精细重建的计算精度和收敛效率；最后，由于图像配准结果对超分辨重建精度影响较大，在精细重建中采用SURF法和光流法双匹配、互校验的方式来提高图像序列的配准精度。

粗略重建中采用了次全局最优的重建方法，其算法流程如图10所示。首先，对相机所获得的低分辨率图像进行预处理，包括灰度修正、畸变矫正等；然后，采用频域相关或特征提取的方法对多幅低分辨率图像进行运动估计和图像配准，得到亚像元级的位移信息；最后，将多幅低分辨率图像映射到高分辨率的网格上，采用非均匀插值的方法进行图像融合，融合后的图像再利用成像系统的点扩散函数等先验知识进行图像复原，得到最终的高分辨率图像。

图10 粗略重建算法流程Fig.10 Flowchart of rough reconstruction algorithm

精细重建采用全局最优的重建方法，其算法流程如图11所示。精细重建的算法需充分分析成像过程的物理机制及成像系统的性能参数，形成有效的先验信息，并根据成像的物理约束总结出各个参数变量的上边界和下边界，对下采样矩阵、模糊矩阵、运动矩阵、噪声矩阵分别进行建模，通过反复迭代对噪声参数、位移参数、模糊函数进行辨识，用一组与成像方程相邻近的适定问题的解去逼近原问题的真解，使病态问题尽可能良态化，从而实现更为精确的亚像元级的融合和估计，得到更为高分辨率的复原图像。

智能超分辨技术软件定义算法的结果如图12～图14所示。图12为采用常规电视鉴别率靶标中的局部图进行智能超分辨技术软件定义算法的仿真比对。图13为采用某幅星载相机对地某海港处的观测图进行智能超分辨技术软件定义算法的仿真比对。图14为采用CX6-02星载相机对地嵩山靶标场观测图进行智能超分辨技术软件定义算法的仿真比对。

图11 精细重建算法流程Fig.11 Flowchart of fine reconstruction algorithm

图12 智能超分辨技术软件定义算法仿真结果1Fig.12 Simulation result 1 of intelligent super-resolution technology software-defined algorithm

2.3 软件数字动态范围增强技术

遥感相机通常采用高性能的CCD实现高动态范围成像，但是仍存在动态范围不足的问题，而且高性能探测器的价格昂贵。随着CMOS技术的快速发展，其较高的性能和低廉的价格，使其在诸多的低成本遥感卫星中得到应用。但是选择CMOS探测器，其动态范围要低于CCD。新型计算光学成像载荷研究为了保证大部分性能适用于软件定义微纳卫星，同样选取CMOS型探测器，也存在成像动态范围受限的技术难点。在高动态范围成像方面，目前常规采用硬件方法，基于硅基液晶(LCOS)自反馈调整，增强数字动态范围，可以实现120 dB的高动态范围清晰成像。

新型计算光学成像载荷的数学处理设计重点开展基于软件定义的CMOS的高动态范围成像技术，辅助多帧图像叠加，并契合在超分辨率算法中，突破数字动态范围增强技术，实现超过高性能CCD的高动态范围清晰成像能力。

基于软件定义的CMOS的高动态范围成像技术仿真结果图像如图15所示。

图13 智能超分辨技术软件定义算法仿真结果2Fig.13 Simulation result 2 of intelligent super-resolution technology software-defined algorithm

图14 智能超分辨技术软件定义算法仿真结果3Fig.14 Simulation result 3 of intelligent super-resolution technology software-defined algorithm

图15 基于软件定义的CMOS的高动态范围成像技术仿真结果Fig.15 Simulation results of high dynamic range imaging technology based on software-defined CMOS

3 结 论

微纳卫星以造价低、周期短、发射灵活、容易组成星座完成大卫星难以实现的任务等优点成为遥感领域技术创新方向，这就要求载荷的发展要实现小型轻量化。而长期以来，高分辨率与大口径、长焦距、高重量、长周期、高成本是遥感成像技术设计界难以回避的矛盾，为了不牺牲分辨率就必须要改变传统思路，发展新型的成像技术。

经过多年对计算光学成像技术的探索，笔者项目组对病态问题的求解具有了一定的经验积累和技术储备，并且已在实验室实现了超分辨率重建的次全局最优，通过软件定义下新型计算光学成像载荷技术的研究，预期实现集超分辨成像、动态范围增强成像、视频成像等软件智能可控的多种成像处理模式于一体的通用型计算光学成像相机研制，能够在保证高几何分辨率前提下减小光学系统体积和质量，缩短载荷的研制周期，降低研制成本。能够较为全面地摸清超分辨率重建应用于航天遥感需要面临的问题，并攻克相关技术，其研究成果可实现高分辨率航天载荷的轻量化，缩短载荷的研制周期，降低研制成本，与微纳卫星结合可以很方便地组成高分辨率成像星群或星座，将对航天产业提供的灵活性和增值空间，为航天技术研究与快速创新提供一种可行的方案。为中国未来智能卫星的发展奠定有力的科技支撑。