APP下载

基于光学相关器的光学稳像器研究

2014-03-27唐武盛隋京高张小亚张圣辉陈怡休杨建坤

应用光学 2014年6期
关键词:视频流傅里叶光学

唐武盛,隋京高,张小亚,张圣辉,陈怡休,贾 辉,杨建坤

(国防科学技术大学 理学院,湖南 长沙 410073)

引言

随着对光学成像要求的提高,拍摄时相机抖动对成像质量造成的影响必须得到有效克服,因此人们提出了稳像的概念。流行当前的稳像技术大多是用电子和机械的方法实现的。美军军事研究实验室(ARL)研制的应用在无人驾驶越野车上的稳像系统,稳像速度达到30帧/s,稳像精度已优于1个像元[1]。传统电子和机械稳像技术在处理速度上存在极限,同时也由于精度不高只能应用在相机等普通器件上。基于光学相关器的稳像方法是综合较早出现的光学相关运算的概念[2],用光学计算的方法实现稳像,摆脱传统电子与机械稳像的性能瓶颈。在国外,K. Janschek等人于2007年提出了基于联合变换相关器的适时运动补偿(即稳像)结构,在SNR较低的条件下达到了2 000次/s的相关运算速度(256像元×256像元),其相关运算输出的RMS误差达到0.05像元[3]。在国内,中国科学院西安光学精密机械研究所于2010年提出了基于联合变换相关器的光电数字混合稳像系统的概念[4],成为稳像器的重要理论支撑。本文以光学联合变换相关器为核心,充分发挥光学计算的速度优势,通过优化相关峰提取方法和补偿算法,大大减少了系统误差,提高了稳像器的测量精度,实现了高速视频的实时、高精度稳像。相较于前文提到的各种稳像技术,该稳像器能够进行实时处理,大大减小了亚像元误差,并在实验室条件下实现了旋转稳像。

1 基于光学相关器的稳像原理

基于光学相关器的稳像系统基本原理:通过对高速视频前后两帧图像进行光学联合相关变换(joint transform correlation,JTC),产生相关峰,而相关峰位置信息反映了两帧图像的像移差,利用该像移差可进行图像的稳像。

1.1 用于稳像的光学相关器

光学稳像器的核心是光学联合变换相关器[5],简称光学相关器,它可以通过高速视频流前后两帧的对比,探测出两帧图像的微小像移差。光学联合变换器一般采用4-f系统,其原理如图1所示。图1中,P1、P2、P3分别是物平面、谱平面和像平面,它们和2个傅里叶透镜L1、L2的距离均为焦距f。参考图像和目标图像中心相距2b,经过2个透镜傅里叶变换后,相关峰距离4b。

图1 联合变换相关器原理Fig.1 Principle of joint transform correlation

为实现稳像功能,对图1光路进行重新设计,达到进一步缩小尺寸及小型化要求,采用如图2(a)所示的折叠光路,实现相关处理。上述光路中,核心器件是基于反射式数字微镜元件(digital mirror device,DMD)的空间光调制器(spatial light modulator,SLM),速率可达10 000帧/s,能够满足实时性要求。DMD按时序控制依次显示拼接视频(连续两帧分别作为参考图像和目标图像)和频谱图,频谱图再次经过傅里叶透镜(L2),得到相关峰图像,由高速CCD(每秒千帧图像探测)接收。用来加载图像的激光由氦氖激光器提供,准直扩束系统(L1)和全内反射棱镜(TIR)是为了保证激光到DMD的入射角度而设计。图2(a)中,光学相关器的3个主要部件DMD、傅里叶透镜(L2)、CCD都被复用,系统大大缩小了稳像器的体积,实物如图2(b)。

图2 光学稳像器结构示意图Fig.2 Optical image stabilization layout

1.2 像移差的产生及补偿

对平移稳像来说[6],取DMD中心为坐标原点,以当前帧f0(x,y)作为参考图像,下一帧f1(x,y)作为对比图像,横向拼接后对称地输入DMD,输入坐标为(x0,0)和(-x0,0),则当前帧为f0(x+x0,y)。假设下一帧相对当前帧有(Δx1,Δy1)的位移矢量,则表示为f1(x-x0-Δx1,y-Δy1)。输入面就有以下形式:

f(x,y)=f0(x+x0,y)+f1(x-x0-Δx1,

y-Δy1)

(1)

该面经过傅里叶透镜,在CCD处得到f(x,y)的频谱图为

(2)

就旋转稳像来说,其核心仍旧是对参考帧和对比帧进行光学联合相关变换,只是在补偿算法上,与平移稳像有所不同。取当前帧f0(x,y)作为参考图像,下一帧f1(x,y)作为对比图像。假设下一帧f1(x,y)是参考帧f0(x,y)逆时针旋转Δθ1得到的图像,则两者之间在理论上满足[5]:

f1(x,y)=f0(xcosΔ1+ysinΔθ1,-xsinΔθ1+

ycosΔθ1)

(3)

通过水平和垂直方向上的位移差得到旋转角度Δθ1。同样的方法依次得到每帧图像之间的Δθk,补偿之后完成旋转稳像。

1.3 稳像原理

综合上述过程,运用光学稳像器能够探测出一系列像移差,在系统的一次曝光周期内,根据这些像移差组成的累计运动矢量对每一帧都进行运动补偿,其技术原理如图3所示。

图3 光学稳像器技术原理示意图Fig.3 Principle diagram of optical image stabilization technology

连续2次傅里叶变换能够得到相关峰位置变化信息,提取出像移差反馈给计算机,补偿输出稳定视频流。

2 稳像实验

为提高稳像精度,减小系统误差和相关峰位置提取亚像元误差,对相关峰位置提取算法和图像补偿算法进行优化,并利用光学计算的速度优势完成了旋转稳像的实验。

2.1 实验过程

按照光学稳像器的原理要求,利用前端相机随机采集了景物视频流图像,将其输入计算机进行预处理。采用Labview软件将视频第一帧与第二帧拼接后输入DMD,如图4(a)所示。输入图像经过第一次傅里叶变换后,在CCD上得到两幅图像的联合频谱图,再经过第二次傅里叶变换,产生相关峰输出,如图4(b)所示。当输入的图像稳定时,相关峰的相对位置不变。某一时刻引入不规则抖动时,图像因为相机的平移产生像移。相关峰的位置随之改变,与起始坐标产生差值。采用软件进行实时补偿,输出处理后的稳定图像。

图4 实验中计算机显示内容Fig.4 Image displaying on computer

实验中计算机实时显示预处理后相邻两帧的拼接图像(分辨率1 024像元×768像元)。每一次光学处理后,均会得到频谱图以及相关峰的坐标信息。待稳视频和经过光学稳像器处理后的稳定视频同时显示在屏幕上,可以动态地观察稳像效果。如图5所示,待稳视频中的某一帧图像经过光学稳像器后得到稳定图像。

图5 稳像前后视频图像效果对比Fig.5 Before and after video image stabilization

2.2 相关峰位置提取及亚像元误差分析

在稳像过程中,稳像器在补偿一定数量的单帧图像后,产生固定的补偿误差。为得到稳像误差,用一个特定目标(本文采用黑色圆)的可控运动来模拟相机的运动。保持前后两幅图像在DMD上相对位置不变,使用2种不同口径(25 mm和80 mm)傅立叶透镜,得到的误差波动范围分别约为0.2像元和0.1个像元。目标图像在DMD的不同位置对应于目标在进行光学傅里叶变换时的不同入射角,经光学稳像器计算后,得到相关峰位置的波动。然后,利用二次加权质心提取算法[7]得到相关峰位置变化值。经过分析,本系统主要误差应该是由傅里叶透镜的像差以及算法累积误差引起。如图6(a)所示。为检验亚像元提取误差对结果的影响,实验中采用固定DMD中的一个目标,另一个目标每20帧移动1个像元进行匀速运动。处理后得到相关峰位置信息随运动目标图像的变化关系,如图6(b)所示的实线。利用最小二乘法的原理,用一条斜直线拟合,得到相关峰位置真值,如图6(b)所示的虚线。

图6 提取相关峰坐标Fig.6 Extracting coordinates of correlation peak

对比发现,相关峰位置仿真实验值和真值之间存在明显的亚像元误差。通过对算法进行优化,采用多次加权平均方法,得到相关峰位置提取的最佳算法[7]。根据残差理论[8],在相关实验基础上得到图7所示的补偿后的残差图,可看出这种补偿方法可将亚像元误差的残差波动范围从约±0.1个像元补偿到约±0.04个像元,大大减小了亚像元误差,有效提高了坐标位置的提取精度。

图7 残差与质心坐标关系Fig.7 Relation between residual error and facula centroid coordinate

2.3 旋转条件下的稳像

在旋转条件下,将视频流相邻两帧拼接后输入到DMD上,经过光学相关器的计算,得到输入图像频谱图的相关峰图像,如图8所示。提取相关峰坐标,可以计算出旋转的角度为Δθ1。

图8 目标图像旋转前后相关峰图像Fig.8 Images of correlation peak before and after rotation

将第二帧图像逆时针旋转Δθ1后输出,两帧图像间没有位矢差。对其余图像依次进行相同过程,得到稳定的视频流图像,如图9所示。

图9 旋转稳像前后视频图像对比Fig.9 Before and after video image stabilization of rotation

两帧的差异还体现在尺度上的变化[9],由于光学相关处理能够识别图像很小的旋转角,在这种条件下,可以认为两帧图像在尺度上保持不变。构建旋转与平移关系的算法[10],就能够得到需要补偿的旋转角。取实际拍摄景物进行对比,得到光学稳像器能够进行稳像的最小旋转角度低至0.1°。

3 结论

本文在阐明光学相关稳像器原理的基础上,设计方案进行了实验,实现了光学稳像器的功能。对于实验过程中出现的系统误差和亚像元误差,通过亚像元定位补偿,使得实验误差达到最小。在实验室条件下,实现了高速视频的抖动和旋转稳像。实验表明,稳像器平移稳像的精度可以达到±0.1个像元(改进补偿算法后可达±0.04个像元),旋转稳像的精度可达0.1°。

在实验中,由于器件对图像的要求较高,待稳视频在进入光学系统前必须进行预处理,降低了整个系统的处理速度;对DMD进行复用时,时序控制尤其重要,偶尔会出现乱帧现象;对于稍大角度的旋转,光学相关器就会误认为是相机的正常旋转,不对图像进行稳像,低于预期效果。通过算法改进、视频流控制,光路调整等措施,基于光学相关器的光学稳像器会继续向集成化,小型化发展,大大提高了实用性。

[1] Han Shaokun, Zhao Yuejin, Liu Mingqi, et al. Electronic image stabilization techniques and development[J]. Optical Technique, 2001,7(1):71-73.

韩绍坤,赵跃进,刘明奇,等. 电子稳像技术及其发展[J]. 光学技术,2001,7(1):71-73.

[2] Goodman J W. Introduction to Fourier optics[M]. New York: Mc-Graw-Hill,1968.

[3] Janschek K, Tchernykh V, Dyblenko S. Performance analysis of opto-mechatronic image stabilization for a compact space camera[J]. Control Engineering Practice, 2007, 15(3): 333-347.

[4] Yi Hongwei, Zhao Hui, Wen Desheng, et al. Static simulation experiment of image motion measurement based on optical joint transform correlator[J]. Acta Optica Sinica, 2010, 30(12):3471-3475.

易红伟,赵惠,汶德胜,等. 联合变换相关器像移测量静态仿真实验分析[J]. 光学学报, 2010, 30(12):3471-3475.

[5] Ma Jin, Tian Tao. Target tracking method based on joint transform correlation[J]. Journal of Applied Optics,2012,33(5):904-908.

马进,田涛.基于联合变换相关的目标跟踪方法[J].应用光学,2012,33(5): 904-908.

[6] Yi Hongwei, Zhao Hui, Li Yingcai, et al. Improved digital processing method used for image motion measurement based on hybrid opto-digital joint transform correlator[J]. Chinese Optics Letters, 2010, 8(10):989-992.

[7] Zhang Xiaoya, Sui Jinggao, Tang Wusheng, et al. Subpixel centroid error analysis and compensation for optical joint transform correlator[J]. Chinese Journal of Lasers, 2012, 39(s2): s209006.

张小亚,隋京高,唐武盛,等. 光学联合变换相关器相关峰亚像素定位误差的分析与补偿[J]. 中国激光, 2012, 39(s2): s209006.

[8] Song Feijun,Jutamulia S.Modern optical information processing[M]. Beijing: Beijing University Press, 200,78-84.

宋菲君, S.Jutamulia.近代光学信息处理[M].北京:北京大学出版社,2001:78-84.

[9] Du Dengchong, Jiang Xiaoyu, Yao Jun. Electronic image stabilization algorithm for estimating rotation and translation simultaneously[J]. Computer Engineering and Application, 2010,46(4):233-235.

杜登崇,蒋晓瑜,姚军.可同时估计旋转和平移的电子稳像方法[J]. 计算机工程与应用, 2010,46(4):233-235.

[10] Mao Liangjin. Research and implementation of rotating electronic image stabilization technology[D]. Hangzhou: Zhejiang University, 2010.

毛良瑾. 旋转电子稳像技术的研究和实现[D]. 杭州: 浙江大学,2010.

猜你喜欢

视频流傅里叶光学
边缘实时视频流分析系统配置动态调整算法研究
滑轮组的装配
光学常见考题逐个击破
法国数学家、物理学家傅里叶
基于视频流传输中的拥塞控制研究
双线性傅里叶乘子算子的量化加权估计
铁路货场智能大门集装箱全景图像采集方法研究
美国视频流市场首现饱和征兆
任意2~k点存储器结构傅里叶处理器
基于傅里叶变换的快速TAMVDR算法