偏振透雾成像系统的设计与实验分析

夏 璞,刘学斌,闫 鹏

(1.中国科学院西安光学精密机械研究所中国科学院光谱成像技术重点实验室,陕西西安 710119; 2.中国科学院大学,北京 100049)



偏振透雾成像系统的设计与实验分析

夏 璞1,2,刘学斌1,闫 鹏1

(1.中国科学院西安光学精密机械研究所中国科学院光谱成像技术重点实验室,陕西西安 710119; 2.中国科学院大学,北京 100049)

摘要:针对尘雾天气下对成像质量、集成度和实时性的要求,设计了一种可进行快速去雾处理的偏振成像系统.利用现场可编程门阵列实现差分电平转换,结合探测器内置锁相环路和Cam Link图像传输协议搭建高集成度CMOS成像电路;利用斯托克斯方程对获得的偏振图像进行反演,通过数字信号处理器模块实现了实时去雾算法.该偏振成像系统尺寸为117 mm×117 mm×126 mm,质量为1.2 kg.在尘雾天气下进行成像实验,通过对比去雾前后图像直方图和RGB分布,表明该成像系统能有效地对大气散射进行校正,验证了该成像系统的透雾能力.实验结果表明,该成像系统在2048×2048及180 Hz下可获得稳定的彩色去雾图像.

关键词:去雾;偏振测量;CMOS;现场可编程门阵列;数字信号处理器

随着环境的日益恶化,雾霾等恶劣气候不断增多[1-3].在尘雾天气下,大气中各种固体粒子和液体粒子对光的散射和吸收严重影响了可见光波段的成像质量[4-5],获得的图像严重退化,分辨率和对比度降低,图像中蕴含的很多重要信息被覆盖,给图像解析和信息提取带来了很大的困难.因此,设计一套可在尘雾天气下有效工作的成像系统具有实际意义.

从1992年Travis基于地球观测扫描偏振计(Earth Observing Scanning Polarimeter,EOSP)分析了偏振遥感观测大气气溶胶开始,偏振透雾成像在国际上已成为一个快速发展的领域[6-7].法国国家空间研究中心研制的POLDER是第1个可以获取偏振光观测信息的星载对地观测器,开始了偏振成像系统的使用.在国外,偏振成像系统在APS星载宽波段偏振探测器、MICROPOL航空遥感相机、RSP多角度机载探测器等载荷中受到重视,在卫星遥感、大气气溶胶参数观测等方面取得成果.在国内,偏振成像也取得了一定成绩.我国国家973计划和中国科学院战略性先导专项都对尘雾天气下的成像进行了研究.这些研究虽然取得了多项突破,但研究以透雾算法为重点[8-10],缺乏高集成度透雾成像系统样机.此外,现有的成像系统只能输出偏振图像,对上位机有很强的依赖性.透雾成像对系统的集成度、功耗和实时性提出了很高要求,研制小型化成像系统[11]进行快速响应[12]是目前研究的热点.

笔者采用互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor transistor,CMOS)探测器进行尘雾天气下的高质量成像,利用现场可编程门阵列(Field Programmable Gata Array,FPGA)完成图像输出和相机控制,通过数字信号处理器(Digital Signal Processor,DSP)实现偏振图像的复原算法,搭建了可实时输出去雾图像的成像系统.本成像系统中开发了一套具有高集成度的CMOS探测器驱动电路,采用内置锁相环路产生高速差分同步时钟,利用现场可编程门阵列实现差分电平转换,通过Cam Link协议实现高速图像输出和实时参数设置.采用数字信号处理器结合偏振图像复原透雾算法,反演图像退化过程,获得去雾图像.

图1 尘雾天气下的图像退化模型

1 偏振透雾算法

尘雾天气下的图像退化过程如图1所示.大气散射是由大气介质折射率的非均匀性引起的,在光的散射过程中,一个突出特点就是偏振状态的变化,散射光相对于景物光会有一定程度的偏振,偏振程度取决于粒子的大小、形状、折射率、入射光偏振状态和观测角度.由于大气散射的偏振特性与目标的偏振特性存在巨大差异,利用该差异将目标辐射从图像中提取出来,可以实现大气散射校正.

为反演尘雾天气下大气散射的退化过程,需要已知景物光及大气散射光的辐射量和偏振状态.采用斯托克斯参量(I,Q,U,V)描述偏振光的偏振信息,其中I表示光的总强度,Q表示0°与90°线偏振光分量之差,U表示45°与135°线偏振光分量之差,V表示右旋与左旋圆偏振光分量之差.

当确定0°参考方向后,在α偏振方向上的光强为

需测量3个不同偏振方向的透过光强I(α),分别选取0°、60°、120°的偏振方向,表示式为

线偏振度P和偏振角θ为

偏振透雾成像系统获得的图像信号包含景物直射成分和大气散射成分.考虑一次大气瑞利散射的影响,建立如下关系式:

其中,I、D和A分别表示图像中单位像元的总辐射强度、景物光分量和大气散射光分量;A∥、A⊥分别表示单位像元大气散射光分量中平行和垂直于偏振角方向的分量.由于景物光分量D几乎不随偏振方向变化,近似为I∥-I⊥=A∥-A⊥.其中,I∥和I⊥分别表示单位像元总辐射量中平行和垂直于偏振角方向的分量.景物光直射成分为

2 系统设计

2.1 设计思路

搭建基于现场可编程门阵列的CMOS探测器驱动平台,设计现场可编程门阵列加数字信号处理器的实时透雾成像系统.系统通过Cam Link自带串口通信协议对相机参数进行实时设置,利用串行外设接口(Serial Peripheral Interface,SPI)向探测器上传控制信号.探测器将16路低电压差分(Low Voltage Differential Signaling,LVDS)图像信号传输给现场可编程门阵列,现场可编程门阵列经过信号转换、数据对齐后将图像信号传输给数字信号处理器.2块256 MB同步动态随机存储器(Synchronous Dynamic Random Access Memory,SDRAM)对图像进行缓存,数字信号处理器运行去雾算法,将去雾后的图像经现场可编程门阵列由双路Cam Link接口输出.系统框图如图2所示.

图2 成像系统框图

探测器驱动模块由6部分组成:顶层模块(CMV4000_Top)、时钟管理模块(clock Gen)、探测器时序驱动模块(Cmos_Timing)、图像信号接收模块(Receive_Image_Data)、Cam Link接口驱动模块(Driver_For_Cam)和串口通信模块(Communicate_ Engine).CMV4000_Top连接各个子模块,并对所有输入输出信号进行管理;clock Gen包含数字时钟管理器(Digital Clock Manager,DCM),为其他子模块提供时钟信号;Cmos_Timing对探测器进行初始化,产生曝光时序,并通过串行外设接口更改探测器工作参数; Receive_Image_Data转换、对齐、缓存图像信号,并将双端口随机存储器(Dp RAM)缓存的图像输出;Driver_ For_Cam将图像信号按照Medium模式Cam Link协议输出;Communicate_Engine将用户设置反馈给探测器驱动模块并实时监控探测器温度.探测器驱动模块框图如图3所示.

2.2 相机参数

设计完成的成像系统支持在180 Hz帧频下输出2 048×2 048分辨率图像,具有彩色及灰度2种工作模式,可根据成像质量需求选择10 bit或12 bit的数据位宽.相机具备370～930 nm光谱响应波段,60 d B动态范围和5.56 V/(lx·s)灵敏度.在工作过程中,无须重新启动相机,即可实时更改增益、积分时间、帧频和开窗设置,并监控探测器温度.相机硬件电路采用模块化设计,探测器、控制电路和数字信号处理器分别安装在3 块112 mm×112 mm的印制电路板(Printed Circuit Board,PCB)上,板间采用120针接插件连接.成像系统可定制.当启用全部模块,使用分孔径式偏振镜头时,成像系统以透雾模式工作,输出去雾后的图像;当只使用探测器和控制模块时,成像系统以普通模式工作,输出透雾前的偏振图像;当使用普通可见光镜头时,可作为标准成像系统使用.成像系统后视图如图4(a)所示,俯视图如图4(b)所示.

图3 探测器驱动模块框图

2.3 器件选型

笔者采用CMOSIS公司2012年的全彩色CMOS探测器CMV4000,该探测器具备5.5μm的单位像元,采用全局快门,室温下暗电流为125电子数/秒,固定背景噪声小于1个最低有效位,最大功耗为650 m W,参数满足成像需求.采用Xilinx公司V4系列XC4VSX55型现场可编程门阵列,该现场可编程门阵列作为相机控制芯片,提供差分信号接口,可优化电路结构,简化信号完整性及电磁兼容设计难度.采用TI公司TMS320DM642型数字信号处理器芯片运行透雾算法,实现实时去雾处理,系统为用户预留上传接口,也可运行其他算法.

图4 探测成像系统

3 驱动电路集成化设计

成像系统工作在最大帧频时探测器输出16路480 Mbit/s的低电压差分图像信号,传统驱动电路设计方法难以满足需求;大分辨率高帧频图像传输需要大带宽信道,普通信道难以实现实时输出;实时更改参数设置需要串口通信模块,标准模块占据空间大,且需要额外接口,难以实现小型化.针对上述3个问题,提出如下改进方案:采用现场可编程门阵列实现低电压差分电平向晶体管-晶体管逻辑电平(Transistor Transistor Logic,TTL)转换;利用系统内置锁相环路产生高速差分同步时钟;通过Cam Link协议实现大带宽信号输出和串口通信.

3.1 差分电平转换的实现

该成像系统采用Cam Link接口输出图像,Cam Link芯片DS90CR285将接收到的TTL信号按照Cam Link协议输出,需要将探测器输出的低电压差分信号进行电平转换.不同于传统的专用电平转换芯片实现方案,本成像系统采用现场可编程门阵列实现电平转换.采用支持差分输入的现场可编程门阵列芯片,利用V4系列现场可编程门阵列自带元件库VComponent中的idufg元件,对图像及控制信号进行电平转换,代码如下:

lvds_control_bit:ibufds generic map(IOSTANDARD=＞"LVDS_25",DIFF_TERM=＞FALSE)

port map(i=＞ControlBit_p,iB=＞ControlBit_n,o=＞control_bit);

ibuf_d0:ibufds generic map(IOSTANDARD=＞"LVDS_25",DIFF_TERM=＞FALSE)

port map(i=＞ImageDataina_p(0),iB=＞ImageDataina_n(0),o=＞ImageDataina(0)).

图像接收模块将接收到的低电压差分图像信号经电平转换、串并转换、对齐后,交由Dp RAM缓存并输出.图像接收模块框图如图5所示.

图5 图像接收模块

3.2 高速差分同步时钟设计

成像系统以最大帧频工作时,需要480 MHz的高速差分同步时钟.高速信号对信号完整性和电磁兼容设计提出很高要求,需要对印刷电路板进行等长布线,系统很难实现小型化.针对上述问题,对成像系统设计时利用内置锁相环路,只需要一块40 MHz的无源晶体振荡器即可满足全部时钟需求,简化了设计难度.

需要对探测器的控制寄存器进行相应设置来启用内置锁相环路.CMV4000探测器共包含128个8 bit控制寄存器,可设置增益、积分时间、采样模式、高动态范围图像(High Dynamic Range image,HDR)等丰富功能.控制寄存器参数通过串行外设接口上传,一组串行外设接口信号包含16 bit数据,其中第0位为读写校验位、第1位～第7位为地址位、第8位～第15位为数据位.启用内置锁相环路共需要设置4组控制寄存器,分别为使能内置锁相环路(Pll enable)、启用内置锁相环路(Pll_bypass)、启用外部差分同步时钟输入(LVDS clock input enable)和使能差分信号接收(LVDS receiver).

3.3 利用CamLink协议实现图像输出和串口通信

选用Cam Link协议实现实时图像输出.该协议采用低压差分信号,相对于单端传输有更优良的抗干扰性能.该信道带宽大,可实现多通道并行传输,很适合传输大分辨率、高帧频图像.Cam Link自带串口通信协议,可直接通过Cam Link电缆实现串口通信,无须额外接口,能有效地提高系统集成度.在系统默认工作模式下,采用Medium模式Cam Link协议,一次输出4 组12 bit数据.一路Cam Link信道共包含28 bit数据,包括24 bit图像信号、行有效标志位、帧有效标志位和像素有效标志位.

成像系统采用RS231和RS232串口通信芯片实现相机参数的读取及上传.串口波特率为57 600,字长8 bit,每条指令包含关键字、数据字长、数据和校验字.串口采用921 k Hz时钟,探测器驱动模块采用80 MHz工作时钟,利用2个先入先出(First In First Out,FIFO)缓存实现时钟转换.串口通信模块框图如图6所示.

图6 串口通信模块

4 实验结果

4.1 偏振去雾前后图像对比

利用本成像系统对尘雾天气下中国科学院西安光学精密机械研究所空天大楼进行成像实验.图7(a)为未开启机内数字信号处理器去雾处理模块直接输出的景物总光强图,图7(b)为开启实时去雾模块后输出的去雾后图像.

图7 偏振去雾前后图像对比

图8 偏振去雾前后直方图对比

4.2 偏振去雾前后直方图对比

偏振去雾前后图像直方图对比如图8所示.去雾前图像的灰度值集中在60～140之间;去雾后灰度值分布于35～200之间,图像经过去雾处理后直方图分布更加均衡,能更加清晰地还原景物细节,图像得到明显改善.

4.3 偏振去雾前后RGB色彩分布对比

偏振去雾前后图像RGB分布对比如图9所示.对比原始图像,去雾后图像RGB分布明显展宽,图像色彩饱和度、锐度得到显著提升.

图9 偏振去雾前后RGB分布对比

5 结束语

笔者对尘雾天气下图像退化的机理进行分析,提出了基于偏振透雾算法的成像系统设计方案,搭建了一套偏振成像系统.该成像系统具有较高的分辨率、灵敏度及动态范围,满足尘雾天气下的成像需求,可实现开窗、隔行采样、高动态范围等丰富功能,具有较高灵活性.系统集成的数字信号处理器模块可实现实时处理,直接输出透雾后的图像.实验结果表明,该成像系统能有效地改善受大气散射影响的图像,提高尘雾天气下成像质量,为目标提取识别带来便利.最终设计完成的成像系统尺寸为117 mm×117 mm×126 mm,质量为1.2 kg.

参考文献:

[1]YUAN Q,LI W J,ZHOU S Z,et al.Integrated Evaluation of Aerosols during Haze-fog Episodes at one Regional Background Site in North China Plain[J].Atmospheric Research,2015,156(6):102-110.

[2]WANG M Y,CAO C X,LI G S,et al.Analysis of a Severe Prolonged Regional Haze Episode in the Yangtze River Delta,China[J].Atmospheric Environment,2015,102(3):112-121.

[3]TAO M H,CHEN L F,XIONG X Z,et al.Formation Process of the Widespread Extreme Haze Pollution over Northern China in January 2013:Implications for Regional Air Quality and Climate[J].Atmospheric Environment,2014,98(17):417-425.

[4]GALLEN R,CORD A,HAUTIERE N,et al.Nighttime Visibility Analysis and Estimation Method in the Presence of Dense Fog[J].Intelligent Transportation Systems,2015,16(1):310-320.

[5]郭红,顾行发,谢东海,等.大气气溶胶偏振遥感研究进展[J].光谱学与光谱分析,2014,34(7):1873-1880.GUO Hong,GU Xingfa,XIE Donghai,et al.A Review of Atmospheric Aerosol Research by Using Polarization Remote Sensing[J].Spectroscopy and Spectral Analysis,2014,34(7):1873-1880.

[6]PEINADO A,LIZANA A,IEMMI C,et al.Polarization Imaging with Enhanced Spatial Resolution[J].Optics Communications,2015,338(5):95-100.

[7]UGOLNIKOV O S,MASLOV I A.Mesosphere Light Scattering Depolarization During the Perseids Activity Epoch by Wide-angle Polarization Camera Measurements[J].Planetary and Space Science,2014,92(3):117-120.

[8]张广燕,王俊平,汪松,等.一种SLIP模型的图像增强新算法[J].西安电子科技大学学报,2014,41(1):105-109.ZHANG Guangyan,WANG Junping,WANG Song,et al.New Image Enhancement Algorithm based on the SLIPmodel[J].Journal of Xidian University,2014,41(1):105-109.

[9]李权合,查宇飞,熊磊,等.雾霾退化图像场景再现新算法[J].西安电子科技大学学报,2013,40(5):99-106.LI Quanhe,ZHA Yufei,XIONG Lei,et al.Novel Method for Haze Degraded Image Scene Rendition[J].Journal of Xidian University,2013,40(5):99-106.

[10]李权合,毕笃彦,何林远.退化过程模拟模型及其在图像增强中的应用[J].西安电子科技大学学报,2011,38(6): 185-192.LI Quanhe,BI Duyan,HE Linyuan,et al.Degradation Process Simulation Model and Its Use in Image Enhancement [J].Journal of Xidian University,2011,38(6):185-192.

[11]苏宛新.大面阵CMOS实时同步成像及显示系统的设计[J].光子学报,2012,41(3):364-369.SU Wanxin.Design of a Large Array CMOS Image and Display System in Real-time Synchronization[J].Acta Photonica Sinica,2012,41(3):364-369.

[12]赵宝玮,相里斌,吕群波,等.FPGA和多DSP系统的并行RX探测算法[J].西安电子科技大学学报,2014,41(3): 152-156.ZHAO Baowei,XIANGLI Bin,LÜQunbo,et al.Parallel RX Algorithm Implementation based on the FPGA and Multi-DSP System[J].Journal of Xidian University,2014,41(3):152-156.

(编辑:郭 华)

Design of and experiment on the polarization dehazing imaging system

XIA Pu1,2,LIU Xuebin1,YAN Peng1
(1.Key Laboratory of Spectral Imaging Technology,Xi’an Institute of Optics and Precision Mechanics,Chinese Academy of Sciences,Xi’an 710119,China;2.University of Chinese Academy of Sciences,Beijing 100049,China)

Abstract:In view of the requirement of image quality,integration level and real-time application of the imaging systems under fog weather,this paper reports a polarization imaging system with a dehazing ability.The differential signal is converted by FPGA,and a highly integrated CMOS imaging circuit is built based on the internal PLL of the image sensor and the CamLink protocol.The obtained image is inversed by stokes equations,and the real-time dehazing algorithm is realized by the built-in DSP module.The total size of the polarization imaging system is 117 mm×117 mm×126 mm,and the weight of the system is 1.2 kg.An imaging experiment was made under fog weather,and the dehazing ability of the imaging system is proved by the contrast of the original image and the dehazed image’s histogram and RGB distribution.Experimental results show that the imaging system can stably obtain a color dehazed image at 2 048×2 048@180 Hz.

Key Words:fog dispersal;polarization measurements;complementary metal oxide semiconductor;field programmable gata array;digital signal processor

作者简介:夏 璞(1989-),男,中国科学院西安光学精密机械研究所博士研究生,E-mail:xiapu@opt.ac.cn.

基金项目:国家高技术研究发展计划(863计划)资助项目(20137031071B);国家自然科学基金资助项目(61275149)

收稿日期:2014-12-20 网络出版时间:2015-05-21

doi:10.3969/j.issn.1001-2400.2016.02.017

中图分类号:TP212

文献标识码:A

文章编号:1001-2400(2016)02-0095-07

网络出版地址:http://www.cnki.net/kcms/detail/61.1076.TN.20150521.0902.014.html