基于AL422的视频拼接技术研究

2013-03-20杨小光

科技视界 2013年10期

杨小光

（中国电子科技集团公司第四十一研究所，安徽蚌埠233006）

0 引言

实时视频拼接技术在测试测量、军事监控、生物医学、汽车导航等领域有着广泛的应用需求。视频拼接技术是从图像拼接技术发展而来，在二维图像处理的基础上利用了增加的时间维度信息，成为三维的处理过程。随着视频技术以及大规模集成电路的发展，视频信号拼接技术的应用越来越广泛。本设计采取基于帧存储器AL422的视频拼接技术实现视频双显，切换平滑、流畅，充分满足了设计要求。

1 原理介绍[1]

视频拼接原理如图1所示，两路图像传感器CMOSX、CMOSY在两个方向X、Y上对物体成像，在外部时钟驱动下完成光电转换，输出视频图像信息及同步控制信号。两组CMOS输出同步信号输入到FPGA，以合成各组控制信号，如读、写使能信号，读写复位信号，输出使能信号等。

图1 视频拼接原理图

两组缓存器在FPGA输出控制信号的作用下，分别存储一路压缩的CMOS视频数据，且满帧视频数据只占据缓存的一半空间，数据的输出和存储作乒乓切换，以使图像显示流畅。在数据存储的同时将两个压缩的图像拼接成完整的一帧图像输出，同时输出行、场同步信号显示图像，如图2所示。

图2 缓存读、写乒乓操作

图像传感器采用Omni Vision公司的OV7141[2]型CMOS芯片，输出VGA（640×480）格式视频，帧频30fps，数据格式YUV/YCbCr 4:2:2。因此一帧视频数据量为600K字节。

缓冲器采用Aver Logic公司推出的AL422[3]视频帧存储器，存储容量为384K字节，工作频率可达50MHz，该芯片的主要特点如下：

（1）支持VGA、CCIR、NTSC、PAL与HDTV分辨率；

（2）可进行独立的读/写操作，可接受不同的I/O数据率；

（3）可高速异步串行存取，读写时钟周期为20ns；

（4）内含输出使能控制，并能够自行刷新数据。

2 视频拼接控制信号的产生

视频拼接的本质是控制帧存储器有规律的做读、写切换，在时间轴上重构成完整的视频数据流输出。CMOS输出数据及同步信号，通过对场同步信号（VSYNC）、行同步信号（HREF）、像素时钟（PCLK）的处理，产生帧存储器AL422的读、写控制信号，进行视频数据的压缩、复原、存储、拼接。视频拼接的信号主要分为以下几类：写相关控制信号、读相关控制信号、VGA信号。

2.1 写控制信号模块

写控制信号模块主要利用CMOS芯片产生的行、场同步信号以及像素时钟产生帧存储器AL422的写相关控制信号，主要有写复位信号(/WRST)、写使能信号(/WE)、写时钟信号(WCLK)，信号产生原理如图3所示。

图3 帧存储器写控制信号合成框图

（1）写时钟信号

本设计中，写时钟信号（WCLK）直接由CMOS像素时钟PCLK直接提供。并且视频数据以X方向时序为基准，因此CMOS_X时钟同步所有的信号处理模块。

（2）写复位信号

帧存储器的地址是由内部地址计数器控制，在写使能信号（/WE）有效时，对写时钟进行计数，到达地址末端或写复位信号有效时，计数器自动清零。图像存储对应拼接显示，采用隔行抽取数据的方法压缩，帧存储器存储两帧压缩图像，因此每两场数据复位一次。场同步信号、写复位信号时序如图4所示。

图4 场同步信号、写复位信号时序图

（3）写使能信号

帧存储器写使能信号(/WE)控制写操作，在其有效期间地址计数器随时钟信号增长，并在时钟的上升沿将数据写入存储器。当/WE处于高电平时，地址计数器停止计数，写操作被禁止。有规律的控制写使能信号，可以方便的对视频数据进行压缩。

拼接双显是在纵向上压缩图像，采取隔行存储数据的方法，只存储一帧图像（480行）中的240行，因此写使能（/WE）信号相对于行同步信号隔行反转。并且由于采用黑白显示，因此只存储亮度信号Y，而丢弃色度信号Cb，Cr，写使能信号在像素时钟PCLK的下降沿反转，甄别亮度信号和色度信号。对应与双显的写使能信号将是在隔行有效的基础叠加隔像素有效。

2.2 读控制信号模块

帧存储器读控制信号包括读使能（/RE）、读复位（/RRST）、数据输出使能（/OE）、读时钟（RCLK），信号产生原理如图5所示。该模块使用的行同步信号，场同步信号均通过对像素时钟的计数产生的。控制用VGA信号在时序上提前于输出用VGA信号，以利于帧存储器输出数据与输出VGA信号同步。由于在数据存储时丢弃了色度信号，因此在输出时需恢复色度信号。

图5 帧存储器读控制信号合成框图

（1）读复位信号（/RRST）

帧存储器的读、写操作是相互独立的，可以同时操作，但是不能同时操作同一个存储单元，理想状态是读、写地址计数器相差128个单元。读地址计数器同时受读复位信号（/RRST）、读使能信号（/RE）、读时钟（RCLK），在RCLK作用下不断刷新，单调增长。当地址计数器达到最大，或者读复位信号有效，地址计数器将清零。拼接双显模式下，帧存储器存储两帧压缩图像，因此每读两场数据地址复位一次。场同步信号、读复位信号时序如图6所示。读复位信号与写复位信号波形一致，然而读复位信号时序上落后于写复位信号200个行同步周期。

图6 场同步信号、读复位信号时序图

（2）读使能信号（/RE）

两个帧存储器（X、Y）的读取控制，交替输出视频数据，是拼接视频的关键部分。拼接双显读使能信号如图7所示，在视频输出的场同步信号前半帧期间，X帧存储器的读使能信号有效，输出视频数据，构成上半屏压缩图像，于此同时Y帧存储器的读操作被禁止。当处于下半帧期间情况相反，Y帧存储器读使能信号有效，输出数据，构成下半屏数据，而X帧存储器的读操作被禁止。两帧存储器在半帧切换信号控制下，做乒乓切换，轮流输出数据构成视频图像。另外，由于存储器中仅存储了亮度信号，在读取数据时需将地址计数器的刷新频率降低一倍，以便于输出数据时恢复色度信号。因此对像素时钟进行二分频，低电平读取存储器的数据作为亮度信号，高电平存储器读禁止，地址计数器维持不变，输出端输出固定值0x80作为色度信息。