航空成像系统检调焦技术分析与展望

黄厚田 ，王德江，沈宏海，高玉军

(1.中国科学院长春光学精密机械与物理研究所，吉林长春130033;2.中国科学院航空光学成像与测量重点实验室，吉林长春130033;3.中国科学院大学，北京100049)

1 引言

航空成像系统工作过程中由于工作环境(主要为温度、压力)变化导致光学元件曲率半径、透镜间的空气间隔、镜片间的空气折射率及结构件的实际尺寸发生变化，造成离焦，从而降低了光学系统的整机调制传递函数与成像质量。长焦距、高分辨率的航空相机为了获得高清晰的地面图像，必须对成像系统的离焦量进行补偿，高精度的自动检调焦技术是研制航空相机的核心技术之一［1-5］。

与地面成像系统相比，航空成像系统由于其工作环境的特殊性对调焦技术提出了一些特定的要求。首先，由于航空成像系统的搭载平台为高速运行的飞行器，成像系统对感兴趣区域的驻留时间极为有限，因此要求自动检调焦机构能够在短时间内完成光学系统焦平面的调整，从而确保成像系统能够实时地对目标进行侦察、定位［6］;其次，随着航空成像系统焦距的持续增加以及探测器光敏像元尺寸的逐步减小，航空成像系统理论上能够达到的地面分辨率越来越高，为了能够在实际飞行中获得高分辨率的图像，一般要求成像系统的离焦误差小于半焦深，这对调焦系统的检焦精度提出了很高的要求［7-8］;再次由于飞机的前向飞行、俯仰、横滚等运动，航空成像系统在调焦过程中一直处于“动基座”工作状态，因此要求自动检调焦机构能够克服外界扰动对调焦过程的影响，即在动基座条件下仍能保持调焦精度与调焦效率［9］;最后，由于航空成像系统执行任务的特殊性，即在灾情监测，对敌侦察等突发性应用领域要求航空成像系统具有极高的可靠性，不能由于某个分系统(尤其是对成像质量具有重要影响的检调焦分系统)的失效而影响了任务的整体实施。根据上述要求，航空成像系统在发展过程中逐渐形成了3种检调焦技术方案，分为程序标定法、光学自准直法、图像调焦法，这3种方法几乎涵盖了当前所有的航空成像系统的检调焦技术方案［10］。近年来随着光场成像理论的发展，以及能够实现光场成像技术的新型成像器件的成功研制，基于光场的自动检调焦技术在检焦精度、检焦效率以及检焦可靠性等方面体现了极大的优势［11］。

本文首先对航空成像系统3种传统检调焦技术的工作原理、优缺点进行了比较，然后着重对基于光场成像理论的检调焦技术方案进行论述，最后对我国未来航空成像系统检调焦技术的发展做出了展望。

2 传统检调焦技术

2.1 程序标定法

航空相机的离焦主要是由大气压力、温度和成像距离的变化引起的。程序标定法是通过相机上安装的温度、压力和GPS传感器实时采集探测相机所处的环境，根据温度、大气压力和拍摄高度与离焦量之间的先验关系，计算出系统当前的离焦量，然后进行调焦补偿。

大气压力的变化使空气折射率发生改变，造成相机镜头焦距变化，引起离焦。由大气压力变化引起的离焦量表示为:

式中，Δf为离焦量，f为透镜焦距，P为环境大气压力，P0为标准大气压力，na为空气折射率，ng为玻璃折射率。

温度的改变使镜头玻璃各镜面的热膨胀系数改变，导致折射率、曲率半径、镜间间隔和镜箱长度等参数发生变化，造成离焦现象。温度变化引起的离焦量表示为:

式中，f为镜头焦距，α为金属线膨胀系数，Φ为温度变化1℃镜头的离焦系数，ΔT为温度变化量。

航空相机成像时，成像高度和成像角度一般是变化的，即成像斜距是变化的。根据物像共轭关系，物距变化则像距也发生变化，产生的离焦量为:

基于传感器的自动调焦方法示意图如图1所示。

图1 基于标定法的自动调焦原理示意图Fig.1 Diagram of the programming focusing technique

为了工程应用的需要，对由大气压力、温度引起的离焦量进行大量的数据仿真，得到航空相机的大气压力、温度变化量与离焦量一一对应的数据拟合曲线。当航空相机上的传感器采集到工作环境的大气压力和温度值时，通过查表方式可以得到当前相机对应的离焦量值，如最早研发的推扫型线阵航空相机MAEO即采用程序标定法进行自动调焦。然而这种方法需要大量的模拟实验，在模拟环境下标定离焦量与温度、压力、拍摄距离等的先验关系，虽然调焦速度快，但是标定时需要大量的计算，并且存在建模误差和机械系统误差。调焦属于开环控制，系统无反馈，因此调焦精度不高，因此其在高分辨率航空载荷中的应用受限。

2.2 自准直检焦方法

航空相机在飞行过程中，由于环境中温度、大气压力的改变和成像距离的变化引起离焦现象。航空相机除了采用温控系统和隔热材料等来降低温度变化对焦面的影响外，还应用了自动调焦技术来补偿温度变化、压力变化造成的离焦。自准直调焦方法原理图如图2所示。

图2 自准直调焦方法原理图Fig.2 Principle of auto-focusing with automatic calibration

相机在拍摄前，首先利用自准直方法进行自动检焦。相机在进行自动检焦时，相机镜头前方的倾斜扫描反射镜旋转至与光轴垂直的状态，由发光二级管发出的光源照亮位于镜头物方焦平面上的光栅，光线经过物镜及镜头前方扫描反射镜反射回来，再次经过物镜成像在像方光栅上，并在光电探测元件上产生一个光调制信号。

当相机准确对焦时，反射回来的物方光栅像与像方光栅重合，调制信号幅值最大。当相机离焦时，反射回的物方光栅像落在像方光栅前面或后面，此时产生的调制信号幅值低于重合时的幅值。通过检测光调制信号的幅值，判断相机是否准确对焦。

图3 合焦时和离焦时的调制信号图Fig.3 Modulating signal in focus superposition and defocusing

航空相机在每次拍摄之前，相机进行自准直调焦过程。通过自准直调焦后，系统对无穷远准确对焦，此时相机所处的飞行环境中温度和大气压力与地面环境相差很大，通过自准直调焦过程，由温度和大气压力引起系统的离焦量得到了补偿。当相机对某一距离成像时，由温度和大气压力引起的离焦量已经被补偿，系统只需要通过距离成像公式补偿系统由距离产生的离焦量。KA112、KS146等长焦距高分辨率航空侦察相机均采用光学自准值法，图4为KA112A光学自准值调焦光路图。

图4 KA112A光学自准值调焦光路图Fig.4 Optical auto-collimation focusing diagram for KA112A

光学自准直法对光机结构有特殊要求，即在光学入瞳前需要扫描反射镜，从而才能实现检调焦光路的闭合，而在紧凑型航空光学侦查平台中，在入瞳前端没有扫描反射镜，因此光学自准直法应用领域受限。另一方面光学自准直在检焦过程中需要反射镜不断地扫描配合，耗费时间长，例如KA112A一次检调焦所需时间约为60 s，周九飞等提出的改进型光学自准直调焦法调焦时间仍需20 s以上［12］。

2.3 基于图像对比度的调焦法

基于图像对比度调焦法是一种建立在搜寻过程上的调焦方式，成像系统通过镜头直接对景物成像，采集到一系列连续数字图像，系统选择某一种评价函数判断一系列图像中哪一幅处于最佳对焦位置。

对焦开始时，系统处于离焦状态，拍摄的图像较模糊，图像反差低;对焦过程中，系统调整镜头(或者成像平面)连续移动，拍摄的图像由模糊变得清晰，再变得模糊;系统记录下一系列的图像，计算每一帧图像的评价函数值，评价函数值最大的图像对应成像最清晰的位置，并给出反馈信号控制镜头移动到该位置，采集的图像达到最清晰，最终完成调焦。图5为采用图像调焦法获得的图像序列图，从中可以看出，靶标图案的清晰度与离焦深度呈现对应关系。

图5 反差对焦原理示意图Fig.5 Schematic diagram of the contrast auto-focusing

这个搜寻过程需要相同成像参数下的多幅图像，所用图像越多则聚焦精度越高。基于图像调焦法的一项主要研究内容为评价函数的选取，理想的调焦评价函数要求具有单峰值、准确性、灵敏度高、计算量小等优点。目前文献中提出的评价函数多种多样，主要包括空间域函数、频率域函数和统计学函数等［13-24］，下边列出了几种典型的评价算法数学表达方法。

方差函数利用函数灰度的标准偏差作为调焦评价函数，其表达式为:

梯度函数(垂直方向)绝对值之和:

梯度函数(水平方向)绝对值之和:

拉普拉斯变换绝对值之和:

拉普拉斯变换绝对值平方:

傅里叶变换高频分量绝对值之和:

式中，I(u，v)为 i(x，y)的傅里叶变换。

小波变换系数之和:

式中，ck为小波系数。

图像调焦法不需要专用调焦组件，结构简单，成本低廉;以最终成像为检测对象，更为准确。这种调焦方式对图像质量的实时评价，避免了由于数学模型的不确定而引起的调焦误差，并且不受镜头和测量组件变化的影响。这种方法具有检焦判据灵活多样、调焦系统更加集成化和自动化、调焦精度高等优点。图像调焦法是大多数高级战术侦察平台与侦察吊舱采用的调焦方法，如RecceLite侦察吊舱，美国的全球鹰侦察系统均采用此法。

图像调焦法要求获得的图像序列为同一景物，且要求导致图像质量退化的唯一因素为焦平面的改变，这在航空成像系统的应用中颇具挑战性，但由于视轴稳定系统精度的限制将导致采集的图像帧与帧之间不匹配，且由于像移补偿系统精度以及带宽的限制，将导致单帧图像存在像移，且帧与帧之间的像移不一致。因此图像调焦法能否成功实施，关键在于对采集的图像样本序列的预处理工作，且对这些图像的预处理不应单纯以图像算法处理为核心，而应深入结合航空成像系统总体成像原理与成像过程中的各种状态信息，以提高图像调焦法的精度及鲁棒性。

2.4 3种方法的性能比较

表1列出了程序标定法、光学自准直法以及图像对比度法3种检调焦方法的参数性能比较。

表1 3种调焦方法性能参数对比Tab.1 Comparison of performance parameters of three focusing methods

从表1可以看出，程序标定光机适应能力前，检焦速度快，但检焦精度依赖与环境模拟精度;光学自准直法检焦精度高，且不依赖于外界因素，但其光机适应性差，且速度较慢;图像对比度法光机适应性强，但其精度依赖与载荷在对焦过程中的整体工作参数。综上3种方法均有其利弊，在工程实际中需要结合具体要求选择适当的方法。

3 基于光场成像理论的自动检调焦技术

3.1 光场成像基本理论

光场是表示光辐射分布的函数，反映了光波动强度与光波分布位置和传播方向之间的映射关系。在几何光学中，光场指的是光线强度在空间中的位置和方向分布，该分布函数可用光线与两个平行平面的交点坐标来进行参数化的表示，如图6所示。

L(u，v，x，y)表示光场的一个采样，其中各变量:L为光线强度，(u，v)和(x，y)分别表示光线在光瞳与探测器像面上的交点坐标。

传统的成像系统所采集到的光场分布如图7所示。探测器像面上每个点接收来自整个光瞳的光线，然后进行积分，像面(x，y)处的光照度为:

图6 四维光场参数表征Fig.6 Light field parameters in 4-dimension

式中，(u，v)为镜头出瞳面上的坐标。

图7 传统成像光场表征Fig.7 Traditional light field imaging characterization

可见，传统成像系统所探测到的光场只能反映其强度和位置(x，y)之间的关系，而损失了(u，v)方向信息。

光线方向信息与景物的立体信息是息息相关的，而景物平面的立体信息对应到像平面上则对应两种状态，聚焦与离焦。下面针对不同情况进行论述。

3.1.1 聚焦情况下的光场分布

聚焦状态的光场成像示意图如图8(这里仅选择场的一维相互对应信息，即u、x平面)。将此过程采用坐标的形式进行描述，由于聚焦时来自不同方向的光线会聚于像平面上的一点，该坐标图为一条垂直的直线。

图8 聚焦时的方向光线示意图Fig.8 Diagram of light direction in focus

3.1.2 离焦情况下光场的分布

光学系统的离焦分为两种，如图9与图10所示，在(u，x)平面可以清晰的看出，离焦时不同方向的光线分散到不同的探测器像元中，因此造成了像的模糊。

3.1.3 光场信息记录

传统的焦平面阵列对应的每个元，如x0处的像元只能记录从－u0到+u0所有方向的光线，而不能分别记录，如图11左图所示。如果在焦平面x0处能将不同方向的光线记录下来，则可以对光线的方向信息进行恢复，如图11右图所示。

3.2 基于微透镜的光场相机

基于微透镜阵列的光场相机结构示意如图12所示。

主光学系统的F数为:

微透镜光学系统的F数为:

图9 前离焦时成像示意图，方向光线示意图Fig.9 Diagram of image and light direction in front defocus

图10 后离焦时成像示意图，方向光线示意图Fig.10 Diagram of image and light direction in backwards defocus

当FL=F时，单个微透镜覆盖的探测器光敏元与主光学系统成共轭关系，每个光敏像元对应主光学系统上的一部份，如图13所示。

图11 光线记录方式的细分Fig.11 Light recording mode subdivision

图12 微透镜阵列光场相机结构示意图Fig.12 Schematic of light field camera with microlens array

图13 不同方向光线的记录Fig.13 Records of light in different directions

采用此方法，单个微透镜元与其所覆盖的探测器光敏像元组成了一个等效的新的像元，且该像元能够实现光线方向信息的记录。图14为聚焦情况相邻两个的红、蓝点目标经光学系统调制对应的(u，x)平面分布图，此时收集的所有光线均会聚到 x0、x1点。

图14 聚焦情况下光线的收集Fig.14 Light collection in focus superposition

图15为离焦情况下(u，x)平面分布图，虽然由于离焦的作用蓝球与红球对应的光线弥散到周围的像素中，但由于每个像素对应的点能够独立记录来自不同方向的光线，沿着红线与蓝线倾斜的方向将光线收集起来，则可以实现离焦状态下的重聚焦。

图15 离焦情况下光线的收集Fig.15 Light collection in defocus

4 航空成像系统检调焦展望

4.1 基于光场成像理论的快速检调焦方法

传统的光场相机要求记录的光线方向信息越多越好，产生这种观念的原因是只有记录的方向信息越多，相机重聚焦能力以及三维重建能力越强。但是通过微透镜阵列实现的光场相机，提高方向分辨率主要有两个手段:

(1)降低探测器像元尺寸;

(2)提高单个微透镜像元尺寸;

受限于光学系统的衍射斑，为了防止成像混叠，探测的像元尺寸不可能无限减小，且当前的CMOS探测器的像元尺寸已经与光学系统的衍射斑可相互比拟。在探测器像元尺寸一定的情况下，提高单个微透镜元的尺寸也可以提高光线的方向记录能力，但这却是以牺牲空间分辨率为代价的。例如一个微透镜元覆盖的探测器元为N×N，则此时的等效像元尺寸即为微透镜的像元尺寸，像元分辨率降低了N倍。

2013年，佳能公司推出了70D数码相机，其本质上也是一款光场相机，不同的是每个微透镜下仅对应两个像元，像元排布结构如图16所示。

图16 佳能70D数码相机像元排布图Fig.16 Pixel arrangement of Canon 70D camera

佳能的全像素双核CMOS自动对焦技术的核心是:在一个像素中置入两个相互独立的光电二极管，两个二极管分别接受来自镜头两侧的光信号。

图17 佳能70D CMOS像素结构图Fig.17 Pixel structure of Canon 70D CMOS camera

这种方法是将相位检测系统微缩到了成像传感器的像素结构中，用像素表面的微透镜代替独立对焦组件的透镜，用像素半边感光的方式起到镜头光束分离的作用，用两个像素的组合代替线性传感器。相机成像时，像素左右独立的二极管分别接受来自镜头两侧的光信号，两侧的光信号分别成像，系统通过左右两侧的像实现相位检测对焦。

图18 佳能自动对焦方法示意图Fig.18 Diagram of auto-focusing technique for Canon cameras

每个像素在制造时即被分为左右两部分，读出时左右两半部分像素分别读出。当合焦时，左像元组成的图像与右像元组成的图像完全一致。当离焦时左右两半部分图像产生了与离焦量成比例关系的相位差，根据下式计算离焦量:

根据式(7)即可实现单幅图像的调焦。

图19 合焦与离焦时的左右图像相位关系Fig.19 Phase relationship of the two images in(a)focus and(b)defocus

系统应用相位检测技术对图像调焦时，只用单幅图像即可完成系统调焦过程，调焦速度快，能够实现成像系统的连续实时追焦功能。在航空相机中应用相位法调焦，利用单幅图像实现调焦过程，与上述其他方法相比，极大地提高了调焦速度，并且调焦过程不受像移和振动的影响，这在目前的检调焦应用中具有重要意义。

4.2 新型基于图像对比度航空相机检调焦方法

基于图像的检调焦方法直接利用相机拍摄的地面景物作为检调焦样本，避免了检焦过程中的基准传递，是最直接的方法;且基于图像对比度的检调焦方法不需要外界的辅助检调焦机构，仅凭成像系统自身就可完成任务，不受光机结构限制、成像谱段限制。由于该方法具有上述特性，国内众多的科研机构对该技术开展了预研，且在地面仿真实验过程中获得了良好的效果，但该项技术在我国的航空遥感载荷，尤其是高分辨率航空相机中仍无法应用，其主要原因为航空遥感载荷的成像平台为动机座，图像对比度检调焦方法采集的序列帧与帧之间存在着不匹配，帧间图像的像移量不同等因素，这降低了传统的图像检调焦方法的可靠性，极易导致检焦失败。因此新一代基于图像对比度的检调焦方法必须解决以下问题:

(1)图像光照度归一化，对快门、外界阳光引起的光照度非均匀性进行统一;

(2)图像匹配处理，对多帧图像之间进行景象匹配，达到对同一目标进行处理;

(3)多帧图像之间像移量不匹配，对多帧图像之间的不匹配进行预处理;

(4)大气激流对连续多帧图像质量影响研究。

在解决上述问题的前提下，对于图像对比度的新一代自动检调焦技术具有广阔的应用前景。

5 结束语

自动检调焦技术是影响航空成像系统分辨率的核心技术。检调焦技术涉及的学科种类众多，不是单纯依赖某一专项技术(如图像图形处理)就能够实现的，从本文论述的航空成像系统自动检调焦技术发展历程来分析，这是一门融合航空相机工作原理、光学成像原理、精密机械加工、图像信息处理以及探测器光敏原理的综合技术。例如结合航空相机光机结构、成像原理以及精密机械加工等技术提出了光学自准直调焦法，随着光敏元件的数字化，结合航空相机成像原理与图像处理技术提出了图像调焦法。随着新型光场成像原理的提出以及支撑该技术的探测器的出现，国际领先的数码相机研制集团提出了基于光场成像的自动检调焦技术，由于该技术具有单幅图像高精度调焦能力，因此在航空成像领域具有广泛的应用前景。相信随着设计航空相机各领域综合技术的不断进步，制约当前航空成像系统调焦精度、调焦效率的瓶颈将不断被突破。

［1］ 赵志彬，刘晶红.基于图像功率谱的航空光电平台自动检焦设计［J］.光学学报，2010，30(12):3495-3500.ZHAO ZH B，LIU J H.Power spectra-based auto-focusing method for airborne optoelectronic platform［J］.Acta Optica Sinica，2010，30(12):3495-3500.(in Chinese)

［2］ 许兆林，赵育良，张国栋.新型航空相机自动调焦系统的设计［J］.电光与控制，2011，18(4):77-80.XU ZH L，ZHAO Y L，ZHANG G D.Design of an auto-focusing system for a new type of aerial camera［J］.Electronics Optics Control，2011，18(4):77-80.(in Chinese)

［3］ 周怀得，刘金国，张立平，等.线阵——面阵CCD三线阵立体测绘相机焦平面组件的研制［J］.光学 精密工程，2012，20(7):1492-1497.ZHOU H D，LIU J G，ZHANG L P，et al..Development of focal plane module for three-line LMCCD mapping cameras［J］.Opt.Precision Eng.，2012，20(7):1492-1497.(in Chinese).

［4］ 刘磊.空间三反相机调焦范围的确定［J］.光学 精密工程，2013，21(3):631-636.LIU L.Focusing range of space off-axial TMA optical camera［J］.Opt.Precision Eng.，2013，21(3):631-636.(in Chinese)

［5］ 刘炳强，张帆，李景林，等.空间相机调焦机构运动同步性误差分析［J］.中国光学，2013，6(6):946-951.LIU B Q，ZHANG F，LI J L，et al..Analysis of synchronous motion error for focusing mechanism of space camera［J］.Chinese Optics，2013，6(6):946-951.(in Chinese)

［6］ IYENQAR M，LANGE D.The Goodrich 3th generation DB-110 system:operational on tactical and unmanned aircraft［J］.SPIE，2006，6209:1-12.

［7］ LI Z H，WU K Y.Autofocus system for space cameras［J］.Optical Engineering，2005，44:1-5.

［8］ 杨会生，张银鹤，柴方茂，等.离轴三反空间相机调焦机构设计［J］.光学 精密工程，2013，21(4):948-954.YANG H SH，ZHANG Y H，CHAI F M，et al..Design of focusing mechanism for off-axis TMA space camera［J］.Opt.Precision Eng.，2013，21(4):948-954.

［9］ WU J G，ZHENG ZH ZH，FENG H J，et al.Restoration of TDI camera images with motion distortion and blur［J］.Optics Laser Technology，2010，42(1):1198-1203.

［10］ 朱鹤，梁伟，高晓东.航空相机光电自准直检调焦系统［J］.光电工程，2011，38(3):35-39.ZHU H，LIANG W，GAO X D.Autofocusing system with opto-electronic auto-collimation method for aerial camera［J］.Opto-electronic Engineering，2011，38(3):35-39.(in Chinese)

［11］ 周志良.光场成像技术研究［D］.北京:中国科学技术大学，2012.ZHOU ZH L.Research on light field imaging technology［D］.Beijing:University of Science and Technology of China，2012.(in Chinese))

［12］ 周九飞，翟林培，周刚.航空成像设备自动调焦方法［J］.光学学报，2010，30(1):105-108.ZHOU J F，ZHAI L P，ZHOU G.Auto-focus method of aerial imaging device［J］.Acta Optica Sinica，2010，30(1):105-108.(in Chinese)

［13］ LIN H Y，CHANG CH H.Depth from motion and defocus blur［J］.Optical Engineering，2006，45(2):1-12.

［14］ ASLANTAS V，PHAM D T.Depth from automatic defocusing［J］.Optics Express，2007，15(3):1011-1023.

［15］ TIAN Y B.Autofocus using image phase congruency［J］.Optics Express，2011，19(1):261-270.

［16］ TIAN Y B，SHIEH K，WILDSOET C F.Performance of focus measures in the presence of nondefocus aberrations［J］.J.Opt.Soc.Am.A.，2007，24(12):B165-B173.

［17］ LI Q X，BAI L F，XUE S F，et al.Autofocus system for microscope［J］.Optical Engineering，2002，41:1289-1294.

［18］ SUBBARAO M，CHOI T，NIKZAD A.Focusing techniques［J］.Optical Engineering，1993，32:2824-2836.

［19］ CHOI K S，LEE J S，KO S J.New autofocusing technique using the frequency selective weighted median filter for video cameras［J］.IEEE Trans.Consum.Electr.，1999，45:820-827.

［20］ ZHANG Y，ZHANG Y，WEN C.A new focus measure method using moments［J］.Image Vis.Comput.，2000，18:959-965.

［21］ KAUTSKY J，FLUSSER J，ZITOVA B，et al.A new wavelet-based measure of image focus［J］.Pattern Recogn.Lett.2002，23:1785-1794.

［22］ HOLST G C.Electro-optical Imaging System Performance［M］.Bellingham:PIE Optical Engineering Press，2008.

［23］ FIETE R D，TANTALO T.Image quality of increased along-scan sampling for remote sensing systems［J］.Opt.Eng.，1999，38:815-820.

［24］ LIN H Y，CHANG C H.Depth from motion and defocus blur［J］.Opt.Eng.，2006，45:815-820.