像移补偿技术的发展与展望

张玉欣,刘 宇,葛文奇

(1.中国科学院长春光学精密机械与物理研究所,吉林长春 130033; 2.中国科学院研究生院,北京 100039; 3.北华大学电气信息工程学院,吉林吉林 132021; 4.吉林铁道职业技术学院铁道工程系,吉林吉林 132001)

1 引 言

航空相机已广泛应用在民用工程领域中。由于在工作过程中相机载体 (飞机、飞艇或探空气球等)与被摄目标之间存在相对运动,致使感光介质在曝光成像时,目标影像与感光介质存在相对运动,从而使图像产生模糊,即存在像移。像移的存在极大地影响了成像质量,使得航摄图像分辨率降低,且存在被摄目标轮廓不清,目标和周围背景存在或大或小的过渡区,而当过渡区达到一定程度还会导致相邻两目标的成像互相交叠,甚至不能分辨。因此,必须采取相应措施补偿像移,提高图像分辨率。

不同原因引起的像移有不同的补偿方法,各种方法有各自的特点及适用范围,但是所有的像移补偿系统都应该满足以下几方面的要求:

(1)保证像面上各点的补偿精度即像移补偿残差在允许的范围内;

(2)补偿系统不能影响其它部分的工作;

(3)不降低成像质量,即不能导致离焦、降低透光率等现象的发生;

(4)在像移速度范围内能简单补偿而不需外加设备或复杂的人工干预。

目前,研究者已经对像移补偿进行了大量的专业研究,找出了多种有效的补偿方法,例如光学像移补偿法、机械式像移补偿法、集成像移补偿法、电子式像移补偿法、数字式像移补偿法等。

美国在航空相机像移补偿方面技术先进、补偿精度高,处在本研究领域的前列。例如,美国的KA-112A航空侦查相机采用机械式和光学式像移补偿法,美国芝加哥航空工业公司研制的 KS-146航空侦查相机采用光学式像移补偿法,美国CA-260、CA-270、CA-290系列电光分幅值式侦查相机则采用电子式像移补偿法来进行像移补偿,均获得较好的补偿效果。

我国航空相机像移补偿工作起步较晚,与西方军事强国的差距较大,这也成为制约航空成像质量的重要因素,目前正努力创新以缩小差距。

速高比是像移补偿中一个重要的参数,速高比的获取精度决定了像移补偿的精度。国内外获取速高比的方法主要有以下几种:平行狭缝法、扫描相关法、外差法 (美国专利 3537793)、光程差法(美国专利 5745226)和直接计算法。本文将分别对像移补偿和速高比获取的主要方法进行阐述。

2 像移补偿的工作原理及方法

一般来说,像移是由以下几种原因造成的:飞行器前向飞行造成的前向像移;飞行器姿态变化带来的随机像移 ;飞行器震动及气流波动引起的震动像移以及相机镜头扫描产生的摆扫像移等。不同原因产生的像移要用不同的方法进行补偿。这里简单介绍了像移补偿原理和常用的几种像移补偿方法。

2.1 像移补偿的工作原理

图1 像移补偿原理Fig.1 Principle of image motion compensation

如图1所示,相机 C安装在飞机上,对地面景物进行拍照时,如取景物为A点,并假设飞机静止,A点在相机中的成像为A点,但由于飞机以速度v向前运动,等效为A点以速度v向后运动到A1点,飞机的运动使得在相机中A点变成A′点,飞行高度为H,相机焦距为fL时,像面上的像速值iv为:

令曝光时间为te,则曝光时间te内的像移量δi为:

当te很小时,例如te=0.001 s,则产生的像移动量δi很小 ;当te=0.02 s时 ,δi即不可忽视 ,它势必降低图像分辨率,因而必须采取补偿措施。

2.2 常用像移补偿方法

不同原因引起的像移有不同的补偿方法,常用的像移补偿法有以下几种。

2.2.1 光学式像移补偿法

光学式像移补偿法是按照与相机焦面上像速一致的原则旋转或移动光路元件 (如反射镜)以改变光线方向和移动速度进行像移补偿的方法,其原理如图2所示。

图2 光学式像移补偿法原理图Fig.2 Principle of optical image motion compensation method

地物A经反射镜成像在焦平面a点,由于飞机的运动使像点运动到a′造成了像移。曝光时以一定角速度ω旋转,就可以使成像点a′与a重合,从而实现像移的补偿。其中:

光学式像移补偿法采用的反射镜体积小、重量轻,但要求反射镜速度控制精度较高 (3%～0.5%)。该种补偿方法已经在近代相机中获得广泛的应用,尤其是大孔径长焦距相机中用的较多。

2.2.2 机械式像移补偿法

在胶片式相机中 (例如德国 LMK相机中),让胶片 (实际为胶片托板)在曝光时间te内按速度与像速同向移动,可以使图像“冻结”,即起到像移补偿作用。该方法对系统精度要求较高。

2.2.3 集成像移补偿法

最新的像移补偿技术集成像移补偿法是将像移补偿同芯片集成为一体,目前加拿大DALSA公司为美国海军实验室做成了 5 kByte×5 kByte带像移补偿功能的芯片,帧频达 2.5 Hz,为超高分辨率 CCD探测器。

2.2.4 数字式像移补偿法

数字式像移补偿法又称图像补偿法、软件补偿法。该方法利用点扩散函数和维纳滤波等对CCD相机的数字图像进行像移补偿,虽然实时性差些,但也能收到较好的效果。

3 获取速高比 v/H的常用方法

无论哪种像移补偿方法都必须提供准确的速高比 (v/H)值,即必须提供准确的像速值iv,它是像移补偿的基础。为此研究人员对测量v/H做了大量的研究工作,这里对已有的几种方法逐一加以阐述。

3.1 平行狭缝法

平行狭缝法也称空间滤波法[10,11],这是早期采用的一种直接方法,其原理如图3,相机及载体以一定的速度v在高度H处水平飞行,设图像速度为iv,用一组矩形平行狭缝 h放在镜头 L前,设相机物镜焦距为F为一常数。将投射到像面上的景物先经平行狭缝进行空间滤波,再汇聚到光电探测器的靶面 ph上产生电信号,由图4可知:

假设平行狭缝的周期长度是b(mm),如图4所示,设平行狭缝滤波器输出信号频率为fc,则有:

由式 (4)和 (5)可以看出测出频率fc即可获得像速值iv,进而可以进行像移补偿。

图3 平行狭缝测速原理Fig.3 Principle of velocity measurement with parallel slits

图4 平行狭缝Fig.4 Diagram of parallel slits

3.2 扫描相关法

光电探测器的输出信号f(t)作为相关器输入信号,f(t)与延时一个扫描周期Ta后的信号f(t-Ta)进行相关运算后得到自相关函数R(τ)。由于相邻两个扫描周期相应景物信号波形相同且差一个相位τ,扫描对应点只差一个扫描周期Ta,所以有:

以圆环扫描为例,其中半径为r,当τ值较小时可近似认为v不变,故:

则:

所以有:

从上式可以得出相关函数是像移速度v的函数。

3.3 外差法

外差法是美国专利 3537793[12],是一种用来测量运动光学图像或者稳定图像像速的方法。采用电子手段使装置产生相对空间滤波器明显的平动速度而不需要空间滤波器真正的进行物理移动。外差法系统框图如图5。

图5 外差法系统框图Fig.5 Diagram of heterodyne system

带有速度信息的图像通过部件在成直角的两个方向上与图像信号频率发生器连接,图像频率发生器产生两路交流信号σi和σ′i,每一个信号频率与像面上特定方向的像速成正比。图像频率发生器包括一对空间滤波器或者光栅,放置在像平面上以产生像速对应栅格传递方向的光度信号。栅格的放置在网格状线上相对彼此四分之一周期,以保证产生的频率信号σi和σ′i相位相差90°。σi和 σ′i可以分别是余弦和正弦信号 ,

其中,vg为栅状信号数,vt为在栅格平面上图像运动数,t是时间,幅值A的大小取决于vg。

基准信号发生器产生的基准信号σr的频率值要求并不十分严格,要大于σi和σ′i的频率,通常为 10～30 kHz/s,σr经过移相器输出相位相差90°的信号 σ′r,

其中fr是基准信号频率。

σi和σr经第一调制器后输出信号σp为:

σ′i和σ′r经第二调制器后输出信号σ′p为:

σr和σ′p经过加法器线性相加后输出信号σc为:

其中σc和σr分别为相位速度检测装置的两个输入信号,相位速度检测装置输出信号v中包含被检测图像像速和表征图像运动方向的参量。

3.4 光程差法

光程差法也称分光法,是美国专利5745226[13],如果已知景物运动动速度可以确定像速,反之如果已知像速可以确定景物运动速度,该方法最大的优点就是不需要确定测量装置与景物之间的实际距离。

光程差法使用一对速高比传感器,即v/H传感器,它们放置的位置距离景物不同,即存在固定的光程差Δh,如图6所示。

图6 光程差法原理图Fig.6 Diagram of optical path difference method

图中景物运动速度是v0,镜头 1像平面上像移速度为vi1,镜头 2像平面上像移速度为vi2,va1和va2分别是图像在像面上的角速度,其大小与景物运动的角速度相等,则有:

采用相同焦距的镜头则vi1和vi2相等,统一记为vi,则根据公式为:

其中S1、S2、Δh为系统固定几何尺寸,v0可利用GPS或多普勒雷达测出,由此可以由式 (20)计算出像移速度vi,而不需要知道测量装置与景物之间的实际距离。

光程差法也可以采用一组v/H传感器,利用光学器件将光路分成两个光程不同的传输支路,根据式(20)也可实现像速的测量。如图7所示系统景物光线经分光器 1和 2产生两路光线,第一路是透射光线,第二路是折射光线经折迭反射镜反射后再经过分光器,与第一路光线汇聚。两路光线的光程差即为Δh。

图7 采用一组 v/H传感器的光程差法结构图Fig.7 Schematic diagram of optical path difference using a set ofv/Hsensors

3.5 直接计算法

利用多普勒雷达测出相机及载体飞行速度v,利用激光测高仪测出相机及载体距离被测景物高度H,直接计算出v/H。

4 结束语

目前,航天相机使用的 CCD主要依赖进口,由于西方军事强国的某些高性能 CCD是军事禁售品而无法获得,CCD技术的相对落后已成为制约我国航天成像质量提高的一个瓶颈,而自主研发高性能 CCD是当前的重中之重。

研究表明,就补偿方法而言,随着 CCD等感光器件的广泛应用及精度的提高,数字式的像移补偿法必将成为研究的重点内容,而多种像移补偿方法的结合应用必将成为研究的一个方向。

根据目前微电子学的发展与技术进步,像移补偿装置将会向如下方向发展:

(1)光机电一体化,适用范围广;

(2)工作v/H范围宽,精度高;

(3)体积小、重量轻,可随相机安装在飞机或吊舱上;

(4)低功耗,功耗小于 10W;

(5)低成本,高可靠性。

另外,随着航空相机与侦查平台的快速发展,速高比的独立获取势在必行,测量像速的装置也逐步成熟并迅速发展。前文介绍的几种速高比计都是采用模拟式的方法实现的,而随着 CCD器件的广泛应用,DSP、ARM等高速微处理的出现和技术的成熟使得速高比计的数字化、实时化、小型化成为发展的趋势和重点研究内容。因此,文中提到的平行狭缝法可以采用面阵 CCD作为敏感元件探测矩形光栅输出信号的频率[14],并采用ARM9系列微处理器对图像进行处理。关于速高比的测量,目前也提出了多种方法,可根据任务所需设计出不同类型和用途的测速装置,以确保得到满足要求的照相分辨率。

[1] 刘明,刘钢,李友一,等.航空相机的像移计算及其补偿分析[J].光电工程,2004,31:12-15.L IU M,L IU G,L I Y Y,et al..The effect of image motion on the quality of aerial camera images[J].Opto-Electronic Eng.,2004,31:12-15.(in Chinese)

[2] 刘明,匡海鹏,吴宏圣,等.像移补偿技术综述[J].电光与控制,2004,11(4):46-49.L IU M,KUANG H P,WU H SH,et al..Survey on the image motion compensation technology[J].Electronics Opt.Control,2004,11(4):46-49.(in Chinese)

[3] 陈黎,翟林培,李友一.基于航空遥感器像移补偿实现方法的研究[J].计算机测量与控制,2009,17(1):154-155.CHEN L,ZHA IL P,L I Y Y.Research to realize aerial remote sensor image motion compensation[J].Com puterM easurement Control,2009,17(1):154-155.(in Chinese)

[4] 王德江,匡海鹏,蔡希昌.TD I-CCD全景航空相机前向像移补偿的数字实现方法[J].光学精密工程,2008,16(12):2465-2472.WANG D J,KUANG H P,CA IX CH.Digital implementation of forwardmotion compensation in TD I-CCD panoramic aerial camera[J].Opt.Precision Eng.,2008,16(12):2465-2472.(in Chinese)

[5] 闫得杰,徐抒岩,韩诚山.飞行器姿态对空间相机像移补偿的影响[J].光学精密工程,2008,16(11):2199-2203.YAN D J,XU SH Y,HAN CH SH.Effect of aerocraft attitude image motion compensation space camera[J].Opt.Precision Eng.,2008,16(11):2199-2203.(in Chinese)

[6] GAYLORD O. Image motion compensation with frame transfer CCD′s[J].SPIE,2002,4567:153-160.

[7] 王庆有.图像传感器应用技术[M].北京:电子工业出版社,2003.WANGQ Y.Application of Im age Sensor Technology[M].Beijing:Publishing House of Electronics Industry,2003.(in Chinese)

[8] 周怀得,刘海英,徐东,等.行间转移面阵 CCD的 TD I工作方式研究[J].光学精密工程,2008,16(9):1629-1634.ZHOU H D,L IU H Y,XU D,et al..Study of TD Ipattern for interline transfer progressive scan CCD[J].Opt.Precision Eng.,2008,16(9):1629-1634.(in Chinese)

[9] 徐正平,翟林培,葛文奇.等.亚相元的 CCD几何超分辨方法[J].光学精密工程,2008,16(12):2447-2453.XU ZH P,ZHA IL P,GE W Q,et al..CCD geometric superresolution method based on subpixel[J].Opt.Precision Eng.,2008,16(12):2447-2453.(in Chinese)

[10] MALUEG R M.Two-axis image motion detector:US:3950099[P].1976-03-13.

[11] GIG IOL I GW,Jr.Passive optical velocitymeasurement device and method:US:5745226[P].1998-03-28.

[12] 薛旭成,李云飞,郭永飞.CCD成像系统中模拟前端设计[J].光学精密工程,2007,15(8):1191-1195.XUE X CH,L I Y F,GUO Y F,et al..Design of analog front end of CCD imaging system[J].Opt.Precision Eng.,2007,15(8):1191-1195.(in Chinese)

[13] 孙辉,张葆,刘晶红,等.航空光电成像电子稳像技术 [J].光学 精密工程,2007,15(8):1280-1286.SUN H,ZHANGB,L IU J H,et al..Electronic image stabilization for aerial E-O imaging system[J].Opt.Precision Eng.,2007,15(8):1280-1286.(in Chinese)

[14] 李国宁,刘妍妍,金龙旭.用于动态目标跟踪的面阵 CCD成像系统[J].光学精密工程,2008,16(3):558-564.L I GN,L IU Y Y,J IN L X.Area CCD imaging system used in moving target tracking[J].Opt.Precision Eng.,2008,16(3):558-564.(in Chinese)