航空相机扫描像移片上补偿技术

匡海鹏，王德江，孙崇尚，3

(1．中国科学院长春光学精密机械与物理研究所，中科院航空光学成像与测量重点实验室，吉林 长春130033;2．中国科学院长春光学精密机械与物理研究所，吉林 长春130033;3．中国科学院大学，北京100049)

1 引言

随着CCD传感器技术的进步，新一代航空高分辨率航空侦察相机如DB110、F9120均采用大靶面探测器替代传统的胶片光敏介质［1－3］，这显著提高了相机整体的智能化水平与情报信息的处理效率。然而在当前的突发事件中，不仅要求光学成像设备具备在广域范围内的大面积侦察能力，又要求其具有对疑似目标实时监控、跟踪的能力。基于大尺寸焦平面探测器的航空相机受限于电荷读出速度，无法对疑似目标进行实时跟踪与去伪判别。鉴于此美国最先进的航空侦察载荷“全球鹰”采用Kodak公司1 k×1 k的行间转移小面阵探测器，虽然其瞬时视场仅为0．306°×0．414°，但通过连续摆扫的方式极大扩大了地面覆盖宽度，这其中一项关键技术为扫描像移的动态、高精度补偿。“全球鹰”相机利用无焦光路中的快速反射镜(Fast Steering Mirror，FSM)对扫描像移进行补偿，采用这种方式一方面需要在光学系统中附加设计无焦光路，且对FSM的行程、频带有极高的要求。基于面阵探测器的片上电荷时间延迟积分(TDI)像移补偿方式相比于光机式像移补偿方式［4－6］具有天然的优势，如CA295相机采用全帧转移CCD补偿扫描像移，但全帧转移CCD在电荷读出时需要机械快门对光进行阻断［7］，限制了实时监控的能力。帧转移CCD具有完全独立的光敏区与暗像元区，采用这种探测器的成像系统无需机械快门，因此可以获得与全球鹰相机同等的时间分辨率，同时在电荷读出时可以采用面阵TDI的电荷补偿方式，灵巧型的实现扫描像移片上补偿。然而当前的面阵探测器TDI像移补偿精度是像素级的，这是因为电荷的离散非规则运动与景物像点运动之间产生了速度失配，导致沿着TDI电荷转移方向的分辨率总是低于垂直于该方向的分辨率［8－11］。针对于此本文首先阐述了基于帧转移CCD的查打一体化航空相机工作原理，然后针对帧转移CCD的电荷转移特性建立了行间电荷转移的数学模型，最后通过结合查打一体化航空相机工作原理与帧转移CCD电荷转移特性提出了一种真相位的扫描像移补偿方法。

2 基于帧转移CCD的查打一体化航空相机工作原理

2．1 帧转移CCD凝视成像原理

图1为帧转移CCD的结构框图，与全帧转移CCD、行间转移CCD不同，帧转移CCD具有对称的光敏成像区与电荷存储区，且分别由独立的A1－A4、B1－B4行转移脉冲驱动。在凝视成像过程中光敏区采用凝视成像的方式采集景物像点产生的光电子;当曝光结束后成像区电荷并行转移至存储区串行读出。电荷从光敏成像区转移至存储区所需时间为:

其中，N为成像区行方向分辨率;Tc为电荷的行转移周期。例如对于靶面分辨率为2 k×2 k的探测器，当行转移频率为5 MHz时，成像区电荷完全转移至存储区耗费的时间仅为0．4096 ms，优于机械快门开关性能，因此完全可以实现无快门凝视成像。

图1 帧转移CCD结构框图Fig．1 Structure diagram of frame transfer CCD

2．2 帧转移CCD的扫描成像原理

帧转移CCD的扫描成像原理如图2所示［12］，主光学系统以飞行方向为轴采取摆扫的工作方式扩大地面覆盖宽度，在曝光时刻景物像点在成像焦平面阵列上的移动线速度为:

其中，ωR为航空相机摆扫角速度;f为航空相机焦距。

图2 扫描成像原理Fig．2 Principle of scanning imaging

为了补偿相机扫描过程中产生的像移，帧转移CCD光敏成像区在外输入行转移脉冲的驱动下移动，其线速度为:

其中，b为CCD的像元尺寸;fc为光敏阵列电荷行转移频率。

为了达到曝光过程中景物像点与光敏像元之间相对静止，理论上需使VS=Vc［13－14］。

在此过程中产生的图像序列如图3所示。在曝光时刻整帧CCD在外部行转移脉冲的驱动下进行电荷转移，保持景物像点与光敏介质之间相对静止;当曝光结束后CCD在固定行转移脉冲的驱动下将光敏区的电荷全部并行转移至存储区;最后，将光敏区的电荷串行输出至外部信号处理单元。在进行下一帧扫描时重复上述步骤，即可实现扫描像移的连续多帧片上补偿。

图3 扫描图像序列Fig．3 Sequences of scanning image

3 帧转移CCD扫描像移建模与补偿方法

3．1 电荷转移像移建模

扫描像移的高精度、宽频带补偿是研制查打一体化相机的关键技术，当Vs=Vc，即景物像点移动的线速度与电荷转移移动的平均线速度相等时，传统观点认为由相机摆扫成像引起的扫描像移得到了完全补偿，实际成像过程中在一个行转移周期内景物像点的运动可认为是连续的，而CCD的电荷转移运动是离散的，景物像点与CCD光敏介质之间在一个行转移周期内的具体时刻是存在相对运动的。本文以四相位的帧转移CCD为例对一个行转移周期内的电荷运动进行分析。图4是四相位帧转移CCD的电荷转移示意图，其中每个像素在CI1、CI2、CI3以及CI4相位时钟的驱动下进行转移。当相位控制信号CIX为高电平时，其光敏区收集的光生电子存储于对应的光敏区;而当相位控制信号CIX为低电平时，对应的光生电子则存储在周围的势阱中。

在电荷一个电荷转移周期内共分8个子转移周期，在电荷转移子周期变换过程中，光敏像素转移的距离为1/8像素尺寸。由于电荷转移的物理特性，转移过程所需时间可近似忽略，因此转移过程可表示为:

对式(4)中表示的转移过程求导，则电荷移动线速度可表示为:

由于一个行转移周期由8个独立的电荷转移子过程组成，因此帧转移CCD在一个行转移周期内的电荷行转移速度可描述为:

其中，t(i)为第i个电荷转移子周期发生的时间点。

图4 行间电荷转移流程图Fig．4 Charge transfer in one line

对于帧转移CCD像素电荷读出过程是串行的，一般占一个行转移周期的70%左右，此时令T1子周期占整个行转移周期时间的70%，其他时钟子周期占用的时间相互相等，分别为一个行转移周期的4．2857%。根据给定的比例关系，图5(a)、(b)给出了一个行转移周期内景物像点与帧转移CCD电荷转移相对速度与相对位置示意图。

从图5中可以得出帧转移CCD电荷的转移运动是离散的，由8个脉冲式速度分量组成，而景物像点的速度是连续的，导致一个行转移周期时间内景物像点与光敏像元之间存在相对运动，这种运动称之为电荷转移像移。

图5 景物像点与TDI CCD电荷转移运动关系Fig．5 Velocity diagram of image point and TDI CCD Charge transfer in one line period

3．2 电荷转移像移调制传递函数

调制传递函数(Modulation Transfer Function，MTF)是评价航空相机光学系统质量的重要标准［15－18］，本节以 相位帧转移CCD为例给出电荷转移像移对光学系统调制传递函数的影响。

设航空相机采集的初始图像为I(x，y)，在积分时间过程中景物像点与光敏介质相对运动时生成模糊图像可描述为:

其中，*表示卷积运算;E为曝光强度;l为景物像点与光敏电荷之间的相对位移;为矩形函数，如图6所示。

图6 像移模糊函数Fig．6 Function of image smear

在第一个电荷转移子过程内，当相机积分过程中景物像点与帧转移CCD之间产生的相对位移可表示为:

其中，T1为第一个电荷转移子周期;T为一个行间电荷转移时周期。等效曝光强度可表示为:

将式(8)、式(9)代入式(7)，产生的像移模糊图像为:

在第二个电荷转移子周期开始前，景物像点已经产生l1的位移，而电荷的移动位移为在积分前对应的图像为，积分过程中发生的相对位移量为，曝光强度为，此时产生的模糊图像为:

按照上述方法类推，在第n个电荷转移子周期内产生的模糊图像为:

根据上述分析在一个行转移积分时间内生成的图像是第1至第2个电荷转移子周期生成图像的和，如下式所示:

对式(13)进行傅里叶变换:

根据式(14)电荷转移固有像移对应的传递函数为:

根据式(15)，表1列出了典型2、3、4相位帧转移CCD一个行转移周期内每个电荷转移子过程景物像点与光敏介质之间发生的相对运动。

表1 电荷转移子周期发生的相对运动Tab．1 Smear occurred in each charge transfer step

将表1中的参数代入式(15)，图7绘制了2、3、4相位帧转移CCD电荷转移像移产生的的调制传递函数。

图7 电荷转移像移的调制传递函数Fig．7 MTF of charge transfer smear

3．3 查打一体化航空相机扫描像移补偿方法

如前所述，传统的TDI CCD非均匀像移是由像移补偿时的电荷并行转移与同时发生的电荷串行读出引发的时序约束冲突产生的。帧转移CCD具有对称的光敏成像区，电荷的并行转移与串行读出可以采取分时读出的方法实现。当进行TDI像移补偿时，并行读出时序如图8所示。

此时像素内光敏介质与景物像点引起的相对运动为1/8像素。当曝光结束后，光敏电荷在高速行转移频率的驱动下快速转移至存储区。在电荷串行读出阶段，由于存储区不成像，因此行驱动时序采取图9所示。采用这种方法可以最大化的降低串行电荷时钟读出频率，从而降低电荷读出噪声。

图8 曝光时刻帧转移CCD电荷转移像移补偿方法Fig．8 Image motion compensation based on the charge transfer of frame transfer CCD during exposure time

图9 电荷读出时刻帧转移CCD电荷转移偿方法Fig．9 Image motion compensation based on the charge transfer of frame transfer CCD during charge readout

图10 给出了采用提出的方法电荷转移像移调制传递函数的影响，从中可以得出在奈奎斯特频率处新方法相对传统方法有了明显的改进。

4 实验研究

为了验证电荷转移对查打一体化相机成像分辨率的影响，搭建了一个试验平台，如图11所示。试验测试系统主要包含四部分:光源、靶标、光学准直仪，动态目标发生器，基于帧转移CCD的航空相机。在实验过程靶标与动态目标发生器结合产将目标图像按照给定的摆扫速度运动起来，光学准直仪用光学方法将靶标图样置于设定的成像距离;帧转移CCD相机对设定距离的的运动靶标图样成像。

图10 传统方法与本文方法调制传递函数对比图Fig．10 Comparison of MTF between traditional method and proposed method

图11 实验系统框图Fig．11 Block diagram of experiment

式(16)给出了靶标在CCD相机焦平面处的所成图像的间距:

其中，f2表示光学准直仪的焦距，为4000 mm;f1为全帧CCD相机焦距，为1000 mm;w为一对亮暗条纹宽度，其中最细为0．06 mm。

根据式(16)最细的一对靶标图样在相机像面上对应的宽度为0．015 mm，约为60 lp/mm，该CCD相机的分辨率为61 lp/mm，可以近似认为靶标的空间频率与CCD相机的奈奎斯特频率相等。图12为获得的不同相位时的靶标图样对比图，通过对比可知采用本文提出的方法获得的靶标图像对比度(尤其在奈奎斯特频率处)有了明显的改善。

5 结论

本文详细论述了查打一体化航空相机扫描像移产生过程及对成像质量的影响，采用帧转移CCD给出了一种新的电荷转移像移模型。对于二、三、四相位面阵TDI CCD，与传统的TDI CCD电荷转移平均速度模型相比，该像移模型的精度分别提高约1/2，2/3与3/4像素，因此在描述电荷转移像移时该模型不仅比传统模型更为准确，而且也更易揭示电荷转移像移产生的原因。接着以电荷转移像移的调制传递函数为评价指标，定量地给出了空间频率的对比度损失，最后通过实验验证了电荷转移像移分析的正确性。通过本文的论述希望能够对查打一体化相机扫描像移建模与补偿提供一点帮助，同时更希望CCD生产设计厂商从相机设计人员的角度出发，认识到电荷转移像移对图像质量的影响，从而通过一些新的方法降低电荷转移过程带来的像移。

图12 靶标图像对比图

［1］ Iyenqar M，Lange D．The goodrich 3th generation DB－110 system:operational on tactical and unmanned aircraft［C］．Proc．SPIE，2006，6209:1－12．

［2］ RUSSO M J．An all－beryllium－aluminum optical system for reconnaissance applications［C］．Proc．SPIE，2009，7425:74250H－1－74250H－13．

［3］ LI Bo，SUN Chongshang，TIAN Ddpeng，et al．Developments of foreign airborne reconnaissance camera［J］．Modern Scientific Instruments，2013，2:24－27．(in Chinese)李波，孙崇尚，田大鹏，等．国外航空侦察相机的发展情况［J］．现代科学仪器，2013，2:24－27．

［4］ FU Jinbao，DING Yalin，ZHONG Chongliang，et al．Compensation controller with disturbance observer for forward image motion aerial camera［J］．Opt．Precision Eng．，2013，21(6):1456－1463．(in Chinese)付金宝，丁亚林，仲崇亮，等．带干扰观测器的航空相机前向像移补偿控制器［J］．光学 精密工程，2013，21(6):1456－1463．

［5］ LI Jun，XIU Jihong，HUANG Pu，et al．Identification of linear approximation for scanning mirror system of aerial camera［J］．Opt．Precision Eng．，2013，21(7):1771－1779．(in Chinese)李军，修吉宏，黄浦，等．航空相机扫描镜系统的线性近似模型辨识［J］．光学 精密工程，2013，21(7):1771－1779．

［6］ HE Xiaojun，QU Hongsong，ZHANG Guixiang，et al．Impact of scan mirror stability on TDI CCD system measure accuracy［J］．Chinese Optics，2014，7(4):665－671．(in Chinese)贺小军，曲宏松，张贵祥，等．扫描镜稳定度对TDICCD测量 精 度 的 影 响［J］．中 国 光 学，2014，7(4):665－671．

［7］ LENG Xue，ZHANG Xuefei，LI Wenming，et al．Image defect of full－frame CCD in TDI mode［J］．Opt．Precision Eng．，2014，22(2):467－473．(in Chinese)冷雪，张雪菲，李文明，等．全帧CCD相机时间延迟积分模式下的图像缺损［J］．光学 精密工程，2014，22(2):467－473．

［8］ Wang D J，Zhang T，Kuang H P．Clocking smear analysis and reduction for multi phase TDI CCD in remote sensing system［J］．Optics Express，2011，19(6):4868－4880．

［9］ Smith SL，Mooney J，Tantalo T A，et al．Understanding image quality losses due to smear in high resolution remote sensing imaging system［J］．Optical Engineering，1999，38(5):821－826．

［10］MA Tianbo，GUO Yongfei，LI Yunfei．Precision of row frequency of scientific grade TDI CCD camera［J］．Opt．Precision Eng．，2010，18(9):2028－2035．(in Chinese)．马天波，郭永飞，李云飞．科学级TDI CCD相机的行频精度［J］．光学 精密工程，2010，18(9):2028－2035．

［11］GUO Hanzhou，LV Hengyi，QU Lixin．Relation of line transfer period error and dynamic MTF of TDICCD in remote sensing camera［J］．Opt．Precision Eng．，2013，21(8):2195－2200．(in Chinese)郭汉洲，吕恒毅，曲利新．遥感相机动态调制传递函数与时间延迟积分CCD行周期误差的关系［J］．光学精密工程，2013，21(8):2195－2200．

［12］WANG D J，LI W M，YAO Y，et al．A fine image motion compensation method for the panoramic TDI CCD camera in remote sensing applications［J］．Optics Communications，2013，298(7):79－82．

［13］ZHAI Linpei，LIU Ming，XIU Jihong．Calculation of image motion velocity considering airplane gesture angle in oblique aerial camer［J］．Opt．Precision Eng．，2006，14(3):490－494．(in Chinese)翟林培，刘明，修吉宏．考虑飞机姿态角时倾斜航空相机像移速度计算［J］．光学 精密工程，2006，14(3):490－494．

［14］SHI Junxia，LI Peiyue，LI Hongfa，et al．Scroll imaging of space TDI CCD remote sensing camera and optimization of image location accuracy［J］．Chinese Journal of Liquid Crystals and Displays，2014，29(5):777－784．(in Chinese)石俊霞，李佩玥，李洪法，等．遥感TDICCD相机侧摆成像及定位精度优化［J］．液晶与显示，2014，29(5):777－784．

［15］Holst G C．Electro－optical imaging system performance［M］．Bellingham:SPIE Optical Engineering Press，2008．

［16］Holst G C．CMOS/CCD sensor and camera system［M］．Bellingham:SPIE Optical Engineering Press，2007．

［17］XIE Bing，JIAO Binliang．The PSF estimation method and image restoration algorithm based on image－motion analysis of spaceborne TDI CCD camera［J］．Journal of Astronautics，2010，31(3):936－940．(in Chinese)谢冰，焦斌亮．基于航天TDI CCD相机像移分析的PSF估计及图像复原算法研究［J］．宇航学报，2010，31(3):936－940．

［18］SUN Chongshang，WANG Qi，DING Yalin，et al．Modulation transfer function calculation and image restoration based on slanted－edge method［J］．Acta Optica Sinica，2014，34(12):1212001．(in Chinese)孙崇尚，王琦，丁亚林，等．基于倾斜刃边法航空相机像移的调制传递函数测量［J］．光学学报，2014，34(12):1212001．