针对高清视频压缩的预处理系统设计与实现

李 光，李其虎，2

(1.中国电子科技集团公司第五十四研究所，河北 石家庄 0500813;2.西安电子科技大学ISN国家重点实验室，陕西 西安 710071)

责任编辑:时 雯

随着多媒体技术的高速发展，数字视频技术在通信领域获得了广泛应用，由于视频信息量过大给无线传输带宽带来了很大压力，为了使得视频得到较好的应用，必须解决视频压缩和压缩后视频质量的问题，选择一种高效的视频编码算法是解决这一矛盾的重要途径。H.264/AVC自从ITU－T视频编码与ISO/IEC运动图像专家组(MPEG)共同推出以来，以其高效的压缩性能和友好的网络特性受到了业界的广泛推崇。同时，H.264标准的巨大运算量又成为其应用瓶颈，因此选用性能优良的专用H.264高清图像压缩芯片可以快速地完成H.264高清视频压缩的工程化应用。当前国际上高清视频压缩芯片种类繁多，由TI公司推出的DM6467是TI推出的一款面向高清视频应用的媒体处理片上系统(SoC)，内部集成1个ARM 核、1个C64x+DSP核、2个高清视频/图像协处理器和丰富的片上外设。ARM最高时钟频率为297 MHz，主要负责视频采集、视频显示、网络通信以及外围器件控制等工作;DSP核的时钟频率可工作在594 MHz，峰值运算能力达到4 752 MIPS(million instructions per second)，主要负责调用HDVICP实现完整的H.264编码算法。DM6467既有与通用DSP一样的可编程性，又兼有同专用芯片一样的高效性，在功耗、适应性、性能等方面达到了完美平衡。能够完成最高1 080p 30 f/s(帧/s)以上的视频编解码。DM6467的Video Port Interface(VPIF)用于接收和发送图像数据，包括2个输入通道和2个输出通道，VPIF时钟速率最高达150 MHz，支持BT.656，BT.1120，SMPTE 296 这 3 种标准图像格式，还支持用于非标准图像的格式RAW数据采集方式。采用RAW 采集时，支持的数据位宽为 8 bit，10 bit，12 bit，最大单帧分辨率为2 048×1 536。

通过上述分析可知，DM6467虽具有性能优良的高清视频压缩特性，但支持分辨率有限，且支持的图像分辨率具有上限限制，本文设计了一种基于FPGA结合DM6467处理器的高性能图像压缩平台，在FPGA中完成视频图像采集、分辨率自行检测、色度空间转换等工作，采用的分帧传输技术突破了该款芯片所能支持的最大处理图像分辨率的限制，并大幅降低了图像采集时延。

1 系统总体方案设计

该系统是基于FPGA+DM6467的高清视频压缩系统，包括FPGA中的图像预处理以及DM6467中的H.264视频硬核编码。图1为本系统的硬件设计结构图。视频通过CAMLINK接口进入预处理系统，输入图像格式为RGB格式或BT656格式，在FPGA中将预处理完成后的数据通过DM6467的VPIF(视频输入接口)输入到DSP中(此处按照RAW数据流方式输入)，DM6467将编码后的码流通过千兆网口传输到FPGA中，FPGA再将压缩后的码流输出。

图1 系统硬件设计结构图

视频预处理全部在高达1 000万门的Xilinx Virtex－5 FPGA处理器中完成。预处理系统可自适应地对输入视频图像分辨率进行检测与采集，并可将输入的RGB色度空间转换为YUV色度空间，并对色度空间进行下采样，最后预处理系统将下采样数据进行分帧传输，即将下采样后的视频数据进行分块并按照RAW格式进行组帧传输。

2 预处理关键技术的硬件实现

DM6467视频接口(VPIF)用来采集和显示数字图像数据，包括2个图像采集通道Channel 0和Channel 1以及2个图像显示通道Channel 2和Channel 3，每个通道位宽8 bit。图像采集通道可配置输入2路8 bit标清视频(BT.656 格式)，或单路16 bit高清视频(BT.1120 格式)，或单路RAW格式视频(8/10/12 bit可变)。

2.1 分辨率自行检测

上述前两种模式只适用于采集标准格式视频，本课题设计方案主要应用于无人飞行器测控系统中，由于无人飞行器载荷输出的高清视频多采用RGB格式，分辨率也不尽相同，属于非标格式，因此只能选择配置灵活的RAW格式采集。RAW格式数据采集最大支持单帧分辨率为2 048×1 536，不支持RGB到YUV的色彩空间转换。采用8 bit RAW格式逐行采集时，使用信号包括行同步(h_valid)、帧同步(v_valid)、输入数据(vin_data［7:0］)，其要求时序图如图2所示。

图2 RAW格式传输时序图

为满足RAW格式单帧分辨率的要求，首先要检测输入视频的分辨率。通过对输入视频数据的行同步信号与帧同步信号进行计数，就可以计算出输入视频信号的分辨率大小，从而实现对图像分辨率自行检测。

2.2 色度空间转换与下采样

颜色空间是颜色集合的数学表示，常用的颜色模型有RGB和YCbCr。红、绿、蓝是3个基本的相加色，RGB的3个分量需要相同的带宽。本项目中高清相机输出的图像属于RGB444格式，因为人眼对亮度的变化比对色度的变化更敏感，所以Cb和Cr的传输速率就没必要和Y一样，这样就可以减少存储量和带宽。从RGB到YCbCr的色度空间转换关系式为

在Xilinx Virtex－5中型号为 XC5VSX50T的 FPGA中，内部集成有1个RGB到YCrCb空间的IP智能转换核，如图3所示。在预处理系统中通过调用该IP核，并通过合理的接口设计，就可以完成色度空间的转换。该IP模块输出为YUV色度空间模式，对该输出模式的UV分量根据系统需求再进行下采样，进而完成对色度空间的转换与下采样操作。

2.3 分帧传输与RAW格式数据重组

根据系统设计框图可知，在完成色度空间下采样之后，将有效的YUV图像数据分别写入到3个FIFO中。DM6467视频传输接口RAW格式支持的最大分辨率为2 048×1 536，本文预处理系统中将整帧图像按照下式进行分帧传输处理

图3 FPGA内部色度空间转换(截图)

式中:h_resolution与v_resolution分别表示原始图像帧的分辨率;H_resolution_raw与V_resolution_raw表示子帧分辨率大小。如分辨率为4 992×6 668大小的原始图像，分帧后得到的32个分辨率为1 248×833的子帧图像。分帧后为了能识别完整的图像帧信号，还需要单独产生能识别完整帧的同步信号。

RAW格式数据组帧需要根据分帧模块计算的子帧分辨率及子帧的个数，依次读取FIFO中的Y分量和UV分量，按照RAW格式要求的时序输出到VPIF接口，RAW格式数据组帧状态机转换图如图4所示。

图4 RAW格式数据组帧状态机转换图

3 系统设计实验

3.1 实验分析

预处理部分由FPGA实现，开发环境为ISE 12.4，并在MODELSIM 6.5d下进行了仿真。仿真时序如图5所示，输入图像为分辨率4 992×6 668的数码照片。其中，VSYNC_IN与HSYNC_IN为输入图像的帧同步、行同步信号。Vresolution与hresolution为检测到的分辨率，framenum为分帧后的子帧个数，v_resolution_raw与h_resolution_raw为分帧后的子帧分辨率，oFval与oHVAL为子帧的帧同步、行同步信号。可以看到，分帧后的子帧分辨率、同步信号以及时序均能满足DM6467的VPIF接口RAW格式要求。

图5 RAW格式分帧仿真时序图

3.2 硬件实现

根据系统总体设计硬件结构图，本文所设计的硬件实物图如图6示，将所设计的系统连接真实相机进行实际视频预处理、压缩，最后将压缩后的比特数据流通过I/O端口传输至PC机中进行软解压显示。整套图像预处理、压缩、传输以及软解压显示如图7示。

图6 视频采集压缩板卡实物图(照片)

图7 视频编解码传输系统(照片)

4 结论

本文针对高清视频压缩技术的需求，设计一种基于FPGA与DM6467达芬奇平台的视频压缩硬件平台，在FPGA中完成了对DM6467编码前数据的自适应预处理，包括自适应地对输入视频进行分辨率的检测与数据采集，色度空间的转换与下采样，以及RAW格式数据组帧。采用的分帧传输技术突破了DM6467所能支持的最大分辨率限制，大大减少了系统图像采集时间，本文所设计系统可对任意格式分辨率视频采集与编码，为基于DM6467的视频压缩提供了参考设计模型。

［1］郭波，樊丁，彭凯.基于DaVinci技术的嵌入式视频监控系统设计［J］.测控技术，2009，28(10):82－84.

［2］赵攀，卢彬.基于FPGA+DM6467智能监控系统设计［J］.电视技术，2012，36(7):137－139.

［3］TI TMS320DM6467 digital media system on chip［EB/OL］.［2013－01－02］.http://www.ti.com/product/tms320dm6467.

［4］赵勇，袁誉乐，丁锐.DaVinci技术原理与应用［M］.南京:东南大学出版社，2008:81－101.

［5］WU Y，ZHAO Y.Brief analysis of the DM6467 HD－VICP subsystem functional simulator［C］//Proc.ICNDS 2010.［S.l.］:IEEE Press，2010:609－612.

［6］WANG J，LV R，GAO P，et al.The design of HDTV H.264 encoding system based on multi－dsps architecture［C］//Proc.International Conference on Computer Science and Software Engineering.［S.l.］:IEEE Press，2008:54－57.

［7］TALLA D，GOBTON J.Using DaVinci technology for digital video devices［J］.Computer，2007，40(10):53－61.

［8］李武森，迟泽英，陈文建.高速DSP图像处理系统中的乒乓缓存结构研究［J］.光电子技术与信息，2005，18(3):76－79.

［9］沈道宁，陈耀武.H.264滤波器在达芬奇平台下的优化设计［J］.计算机工程，2010，36(23):220－222.

［10］王宏志，苏令华，王晓红.基于达芬奇平台的视频编码器实现［J］.计算机测量与控制，2011，19(5):1118－1120.

［11］李丹，王健，季晓勇.基于达芬奇平台的H.264视频流加密终端的设计［J］.电视技术，2009，33(4):33－35.

［12］陈键.基于TI公司达芬奇平台的嵌入式无线视频监控系统［D］.天津:天津大学，2010.