多尺度大视场十亿像素成像技术

庄绪霞 阮宁娟 贺金平 戚均恺

（北京空间机电研究所，北京 100094）

0 引言

像素是组成数字图像的最小单元，像素的个数越多，可挖掘的图像信息量越大，因此像素个数是影响图像品质的重要因素。成像系统视场越大、分辨率越高，则像素个数越多、图像富含的信息量越大。十亿像素，就是指图像的可分辨像素个数超过十亿个，是传统成像仪的数十到数百倍。由于获取到的信息量巨大，在天文观测、航空航天宽幅成像等领域具备广阔的应用前景。

在天文观测领域，国际上的 Pan-STARRS、GAIA等十亿像素望远镜，均采用了长焦距光学系统，视场不超过3.5°，探测器采用多探测器拼接的方法（如Pan-STARRS使用了64片面阵探测器）拼接成一个大的连续焦平面[1-3]，拼接的难度及成本较高。

对于大视场的十亿像素相机，受光学设计和探测器水平限制，传统方法通常经过小视场相机扫描成像和后续拼接获得十亿像素图像，如美国卡内基梅隆大学团队设计开发的GigaPan全景拍摄系统获取的十亿像素图像[4]。然而，在一些需要大范围实时监视领域，对非扫描一次成像的大视场十亿像素成像系统的需求日益强烈。文献[5]提出的多尺度设计手段突破了传统的单轴设计方法，采用多个小相机置于不同视场处分割大视场的像面，再经过后续处理拼接出大视场图像，可实现大视场十亿像素成像；美国哥伦比亚大学于2010年研制出多尺度大视场成像原理样机[6]，该样机用5个小相机阵列配合1个球镜实现了15°×2°视场；2012年，美国杜克大学研制出多尺度十亿像素相机AWARE-2[7]，AWARE-2的视场达到120°，相机的主镜为同心形式，周围被98台小相机构成的阵列环绕，获取图像的有效像素个数达十亿。本文将对多尺度大视场十亿像素成像技术开展分析，分析其原理、指标和关键技术。

1 多尺度十亿像素成像原理

要实现十亿像素成像需要具备三个条件：成像系统的焦面上要具备相当数量的像元个数；成像系统的光学系统具备分辨十亿像素的能力；成像系统的信息处理部分能够快速处理十亿像素级的图像。针对上述三个问题的解决方案如下：

现有的单片面阵探测器件尚未达到十亿像素量级，多探测器件拼接成为必需。多探测器件的拼接方案有多种，如机械拼接、光学拼接等。机械拼接通常在拼接过程中要舍弃一些边界上的像元，造成图像产生较大的拼接缝隙，图像存在盲区，降低了图像品质。光学拼接方法的精度较高，目前的光学拼接方法多采用棱镜分光方式，但会造成探测器体积和质量的增大，同时由于棱镜的存在而产生一些色差[8]。

对于非相干光学成像系统，设平均波长为λ、入瞳直径为D、焦距为f、视场角为θFOV、宽度为h´=ftan （θFOV/2） 。根据瑞利判据[9]，光学系统的分辨极限为σ= 1.22λf/D，在衍射极限下系统可以分辨的像元个数为

根据上式，得到不同入瞳直径和视场的衍射极限下可分辨率如表1所示。

表1 不同入瞳直径和视场的衍射极限分辨率Tab.1 Diffraction lim ited resolution for different apertures and fields of view

由表1可知，在衍射极限条件下，对于cm量级的入瞳直径，视场角达到120°；对于m量级的入瞳直径，视场角达到1.5°时，可分辨的像元个数为1×1010量级。但实际系统不可避免地存在像差，随着像差的增大，可分辨的像元个数随之下降；且视场和入瞳直径越大，像差校正难度越大。为了校正大入瞳直径、大视场下的像差，传统设计方法靠增加元件复杂性和数量来实现，设计难度及成本较高。此外，还需要开展高性能信息并行处理单元设计，使得信息处理单元具备在短时间内处理十亿像素级图像的能力。

多尺度十亿像素相机技术的提出为上述问题提供了解决方案。多尺度光学成像系统包括主透镜系统、小透镜阵列、探测器阵列、信号处理单元，如图1所示。主镜头置于系统前端，用于收集光能，获得一个较大视场的粗糙一次像。小透镜阵列位于主透镜后端，置于不同的视场处来校正不同视场的像差，获得具有一定重叠的多幅子图像。小透镜阵列中的每一个小透镜与探测器阵列中的每一个探测器一一对应，组成一个小相机；小透镜阵列和探测器阵列均匀分布在主透镜的同一侧一次像面后；不同视场的光线从物方入射主镜进行粗糙的模糊一次成像，再经过小透镜阵列消像差和视场分割后，形成清晰的多通道图像并送至各个小透镜对应的探测器，探测器阵列将光信号转换成电信号后，将电信号传输至信号处理单元进行多通道小视场图像的快速并行配准融合，拼接得到一幅完整的大视场图像。

图1 多尺度光学成像系统Fig.1 Multi-scale optical imaging system

从像差校正的角度看，设光学系统的主镜表面是旋转对称的，可将波像差用4阶多项式描述为

式中H为归一化的视场；ρ为归一化的光瞳半径；φ为光瞳坐标的方位角；W为波前像差系数，表示实际波前与球面参考波前在出瞳位置的光程差，其下标分别为H、ρ、φ的幂指数。

光学系统设计的目标是在指定的视场下最小化波像差。由式（2）可见，主镜的波像差随着视场角的增大而增大，视场角越大，利用全局像差校正的难度越大。多尺度光学系统采用局部像差校正，即通过在不同视场处布置不同的小透镜（组）。每个小透镜仅对较小范围的视场进行光场校正，校正难度也随之降低。为进一步降低设计和加工难度，通常将主镜设计为同心形式，可以用相同的小透镜校正不同视场的像差。因此，多尺度光学系统将光能收集和光场处理二个部分的功能独立设计，整个系统集成了两端的优势，即前端镜头的光能收集能力、角分辨能力和后端多孔径阵列的光场处理能力。通过局部像差校正的方法，降低了系统设计的复杂度。

此外，多尺度成像系统利用多孔径阵列的放大率实现相邻视场的重叠，避免使用棱镜等探测器拼接元件，不引入额外的色差，利用小透镜阵列实现像差校正和探测器拼接一体化；同时小透镜元件的加工难度及成本比大透镜低，系统复杂性和研制成本明显降低，而且每个小相机的焦距、积分时间、增益等可单独控制，提高了系统的灵活性。

多尺度大视场十亿像素相机在以下领域存在较广的应用前景：

1）大范围监视领域。多尺度十亿像素系统具备较大的视场，可以应用在航空大范围监视等领域，实现多目标同时监视；

2）天文观测领域。多尺度十亿像素相机在长焦情况下可以获得较高的角分辨率和较大的信息量，对于大天域的高效观测具备重要的意义；

3）智能遥感领域。由于相机后端可设计成焦距可调，先用短焦距获取低分辨率大视场图像，对低数据量的图像进行目标提取识别后，对重要目标所在区域进行放大观测，获得更多的细节信息。

由于相机系统后端是并行的成像与处理单元，一个多尺度十亿像素相机可以由多个用户共享，多个用户可以对视场内感兴趣的区域并行观测、处理，实现多用户终端共享操作。

2 多尺度十亿像素成像系统的设计指标

传统的光学系统总体设计指标包括：视场角θFOV、瞬时视场角、奈奎斯特频率处的调制传递函数、光谱范围、F数、畸变等。对于多尺度大视场相机还具备一些特殊的指标[10-12]。

（1）单个小透镜的视场角θMFOV

由于每个小透镜获取相机整个视场的一小部分，因此需要多个小透镜覆盖整个视场，并且θMFOV＜θFOV，而θMFOV之和大于θFOV。

（2）相邻小透镜之间的视场重叠率

一幅大视场图像是由多个小视场图像拼接而成，相邻小透镜视场的边缘要有一定的重叠来保证最终视场的连续。重叠率的提出不仅与采取的图像拼接算法有关，还与小透镜的旋转、倾斜误差有关。重叠率可以用2个相邻小相机的线视场重叠来表征，如图2所示。

图2 相邻小透镜视场重叠示意Fig.2 Overlapping of adjacent lens

（3）光学物理锥角

如果小相机的结构外径尺寸过大，导致相邻小透镜的光轴偏离过大，在θMFOV一定的情况下，相邻视场的重叠性较差。小相机的光学物理锥角是一个重要的设计参数，指能够容纳下小相机光学硬件的最小顶角，其顶点在主镜像平面曲率中心，如图3所示。为保证相邻小相机获得足够的视场重叠，物理锥角α和θMFOV之间需要满足一定的关系。

图3 物理锥角示意Fig.3 Cone angle of m icro-camera

（4）小透镜阵列的放大率

小透镜阵列是一个中继光学系统，以降低到达传感器线视场的尺寸。小透镜的放大率设定需要保证传感器获得重叠视场的同时给小相机足够安装的空间。

3 关键技术分析

（1）多尺度十亿像素成像系统指标的优化

多尺度十亿像素成像系统具备区别于传统单轴成像系统的指标，呈现一些新的特点，在指标优化过程中，尤其需要考虑相邻小相机的视场重叠问题以及边缘视场的渐晕问题。

1）相邻小透镜视场的重叠问题。小相机的光学物理锥角影响相邻小相机获取到图像的重叠率。相邻小相机成像示意如图4所示。在小透镜视场角一定的情况下，光学物理锥角越大，相邻小相机的光轴偏离越大，则相邻小相机的重叠性较差。

图4 2个小相机重叠示意Fig.4 A diagram of two m icro-cameras w ith their overlapping fields

将物理锥角和视场角投影到一次像面上，如图5所示，图中虚线表示单个小透镜对应物理锥角的投影范围，实线表征单个小透镜的视场角对应的投影范围。单个小透镜的锥角和视场的中心一致。可见，当相邻小透镜相切时，为使其视场可以重叠，小透镜对应的物理锥角要小于小透镜对应的子视场，设小透镜的半视场为ω，即要满足ω＞α/ 2。根据图4可以计算重叠率为

图5 θMFOV与锥角关系（2个小相机）Fig.5 Sketch for relationship between cone angle and θMFOV when two m icro-cameras being packed

对于3个小透镜非并排排列的情况，如图6所示，为满足重叠条件，视场角应至少满足以下条件：ω＞α/(2cos30o)，即ω＞ 0.58α。

2）边缘视场渐晕问题。如果孔径光阑置于主镜，那么在边缘视场，由于小透镜的物理硬件分割，使得小透镜边缘视场产生较为明显的渐晕，如图7所示，在边缘视场处产生至少为50%的渐晕。Zemax软件给出了相应的仿真结果，如图8所示。

图6 视场角与锥角关系（3个小相机）Fig.6 Sketch for relationship between cone angle and θMFOV when three m icrocameras being packed

图7 边缘视场渐晕现象Fig.7 Vignetting phenomenon at edge of θMFOV

图8 小透镜边缘渐晕Zemax仿真结果Fig.8 Simulation results of vignetting phenomenon for microlens by Zemax

为降低边缘视场的渐晕，应增大主镜的光束孔径角，将孔径光阑置于后端，这样每个小相机具备各自独立的光阑而非共用一个。设入瞳直径为Dε，主镜的通光直径为D0，为保证边缘视场无渐晕，应满足[12]。为进一步保证照度的均匀性，可考虑后端设计成像方远心形式。

（2）大视场同心主镜设计

如果前端设计成对称形式，后端不同视场处就可以采用相同形式的透镜，从而降低复杂性。同心光学系统是一个对称的系统，其所有球面具有同一个曲率中心。这样的对称形式可以使得半球像面上零慧差和零象散，且具备较大的场曲[13-14]。最简单的同心光学系统是球镜，但普通球镜的像差较大，为了保证系统总体的成像品质，后端形式比较复杂，必要时需要设计形式相对复杂的同心镜头，光学玻璃材料、曲率半径和厚度等的优化等均变得复杂。

（3）自动调焦

为了提高相机的成像深度，需要进行调焦。由于多个光轴经过主镜，难以通过主镜的移动对多个小相机进行重新聚焦。因此需要在小相机上进行调焦。对于多尺度成像系统，其一般具有数十个甚至上百个小相机，若采用机械调焦方法，将使系统的复杂性、体积和成本大幅增加。因此需要探索更加紧凑、灵活且小巧的调焦策略。AWARE-2采用了基于液晶透镜的调焦方法，实现物距范围2m～∞的清晰成像[15]，相对机械调焦方法，降低了复杂性。

（4）图像并行拼接

成像系统通过一次像面后的光场处理阵列形成交叉重叠的区域，就 3个邻域的子视场而言，任意2个子视场的重叠区域与第3个子视场还有重叠区域，多图像交叉重叠现象在整个并行阵列视场中非常严重，如图9所示，图中给出了3个相邻的小镜头对应的小视场：视场1、视场2、视场3；其中视场1和视场2存在重叠区1；视场3和视场2存在重叠区2；3个小视场还存在3个交叉重叠区域，从而使图像配准融合算法变得更加复杂。如果采用图像盲配准的方法，即通过基于图像相似灰度信息或相似特征信息搜索的方法，会增加匹配的时间，降低匹配效率[16-17]。如何实现多幅子图像的并行高速拼接是需要解决的关键技术之一。

图9 子图像嵌套重叠现象Fig.9 Multi overlapping of different subimages

4 结束语

多尺度十亿像素相机具备拍摄快速、分辨率高、覆盖范围大的优点，能在一瞬间捕捉大量信息，具有较广的应用前景。本文从十亿像素成像技术的原理出发，分析了新型多尺度大视场成像技术的优势及应用前景；针对该技术独特的技术指标进行了研究，为后续系统的顶层设计提供参考；针对该类系统涉及到的关键技术进行阐述。

References)

[1] Hodapp K W, Kaiser N. Design of the Pan-STARRS Telescopes[M]. Astronom ische Nachrichten, 2004, 325(6): 636-642.

[2] John L T, Barry E B. Results from the Pan-STARRS Orthogonal Transfer Array (OTA)[J]. Proc. of SPIE, 2008, 7021: 1-9.

[3] Ralf K, Philippe G. Gaia's FPA: Sampling the Sky in Silicon[J]. Proc. of SPIE, 2012, 8442: 1-16.

[4] Sargent R, Bartley C. Timelapse GigaPan: Capturing, Sharing, and Exploring Timelapse Gigapixel Imagery[EB/OL].2010-11-20. http://www.ri.cmu.edu/publication_view.htm l? pub_id=7019.

[5] David J B, Nathan H. Multiscale Lens Design[J]. Optics Express, 2009, 17(13): 10659-10674.

[6] Cossairt O, M iau D. Gigapixel Computational Imaging[C]. IEEE International Conference on Computational Photography.Pittsburgh, PA: IEEE, 2011: 1-8.

[7] Brady D J, Gehm M E. Multiscale Gigapixel Photography[J]. Nature, 2012, 486(7403): 386-389.

[8] 张德新, 马广富, 曲国志. 宽角航空CCD侦察相机拼接方案综述[J]. 电光与控制, 2010, 17(4): 50-52.ZHANG Dexin, MA Guangfu, QU Guozhi. Survey on Mosaicing Schemes for Super-w ide-angle Aerial Reconnaissance CCD Camera[J]. Electronics Optics＆Control, 2010, 17(4): 50-52. (in Chinese)

[9] 石顺祥, 张海兴, 刘劲松. 物理光学与应用光学[M]. 西安: 西安电子科技大学出版社, 2000.SHI Shunxiang, ZHANG Haixing, LIU Jinsong. Physical Optics and Applied Optics[M]. Xi’an: Xi’an Electronic and Science University Press, 2000. (in Chinese)

[10] Daniel L M, Hui S S. Engineering a Gigapixel Monocentric Multiscale Camera[J]. Optical Engineering, 2012, 51(8): 1-13.

[11] Hui S S, Daniel L M. Design of a Spherical Focal Surface Using Close Packed Relay Optics[J]. Opt. Express, 2011, 19(17):16132-16138.

[12] Eric J T, Daniel L M. Design and Scaling of Monocentric Multiscale Imagers[J]. Applied Optics, 2012, 51(20): 4691-4702.

[13] 杨长城, 杨建强, 李升辉. 大视场红外同心光学系统的设计[J]. 光学与光电技术, 2012, 10(5): 94-96.YANG Changcheng, YANG Jianqiang, LI Shenghui. Design of Big Field Infrared Concentric Optical System[J]. Optics &Optoelectronic Technology, 2012, 10(5): 94-96. (in Chinese)

[14] 戚均恺, 周峰, 姚罡, 等. 一种新型超大视场小畸变光学系统[J]. 航天返回与遥感, 2013, 34(2): 30-35.QI Junkai, ZHOU Feng, YAO Gang, et al. A New Super-large Field of View and Small Distortion Optical System[J]. Spacecraft Recovery & Remote Sensing, 2013, 34(2): 30-35. (in Chinese)

[15] Igor Stamenov, Eric Tremblay. Liquid Crystal Lens Focusing in Monocentric Multiscale Imagers[J]. Proc. of SPIE, 2012,8486: 1-12.

[16] Gehma M E, Golish D R. Image Formation Challenges in the MOSAIC Platform[J]. Proc. of SPIE, 2011, 8056: 1-7.

[17] Golish D R, Vera E M. Development of a Scalable Image Formation Pipeline for Multiscale Gigapixel Photography[J]. Optics Express, 2012, 20(20): 22048-22062.