机载视频叠加单元的设计与实现

赵维娜，刘智朋

（1.中国移动通信集团陕西有限公司西安分公司 陕西 西安 710075；2.西北工业大学 电子信息学院，陕西 西安 710129）

视频叠加技术因其高集成度，低成本、可重复使用和高机动等诸多优势，已被广泛应用于军事、民用、科学研究等领域。视频显示技术是航空电子系统最基本的功能之一，早期的航空电子系统一般包括监控视频显示界面、导航地图显示画面、飞行速度显示仪表、飞行高度显示仪表等组成，视频显示画面较多而且监控显示器众多，无法使驾驶员方便快捷地获取到外界视频显示信息。

随着显示集成度的提高，航空电子系统监控视频显示界面、导航地图显示画面、飞行速度和高度、电源电量、发动机引擎等信息的显示全部由视频监视器显示，视频叠加技术是实现电子综合显示系统图像混合的关键技术之一。对于航空电子产品，能源就意味着生命，而传统地利用纯DSP硬件架构进行复杂图像处理时，图像处理运算量大而且功耗大，当航空电子系统存在多路外视频源时，不同源视频之间的显示切换，使得系统实时性较差，不能够精确显示监测画面。故本设计对传统视频处理硬件平台进行了相应的改进，利用DSP+FPGA实现视频信号的叠加处理，虽然FPGA+DSP的方案增加了设计成本，但是降低了系统的开发难度，FPGA与DSP模块功能划分明确，数据采集与数据处理相互独立，非常利用后续电路系统升级，在此硬件架构上，只需要更换相应处理软件及逻辑，就可将本设计应用于工业监控、军事系统、医疗卫生以及民用生活等领域。

传统的基于DSP视频叠加技术耗时较长，因此难以满足高速航空电子系统对于视频显示的实时性要求。

本文利用高性能FPGA并行执行指令的特点，多路外视频并行采集，数据采集和数据处理相互独立，大大提高了视频信号显示的实时性，缩短了视频信号预处理、后处理的消耗时间。

1 无人机红外图像处理系统方案

本设计视频叠加技术硬件平台是基于某型号任务管理计算机视频处理模块，为了满足航空电子监视系统全方位无盲角监控，视频处理模块外部包含4路PAL摄像头，分别监控前后左右四个方向，由SAA7113负责完成PAL视频的模数转换，FPGA完成视频采集数据的预处理，以及后期的视频叠加显示处理，DM648负责完成视频信号的增强去雾等；本设计FPGA采用Xilinx公司的XC5VLX330T芯片，它具有11664Kb Block RAM/FIFO，51840 Slices，331776 逻辑单元，逻辑量相当大，具有192个DSP48E，而且每个DSP48E包含一个25×18乘法器、一个加法器和一个累加器，足以满足本设计视频图像的预处理以及显示处理；视频图像增强去雾处理器采用TI公司的DM648，DM648是一款专用视频处理芯片，具有 5 个可配置视频端口（VP0，VP1，VP2，VP3，VP4），支持多种解决方法和视频标准，这五个视频端口是可配置的，并能提供视频捕获和/或视频显示模式，非常方便数字视频之间的相互通信；本设计机载视频系统框图如图1所示[2]。

图1 机载视频系统框图Fig.1 Airborne video system diagram

2 视频数据处理

视频采集为符合ITU-R BT.656标准码流结构[3]，8bit并行数据，其每行总采样点数为864点，行有效点数为720点，总行数625行，有效行数为576行，采集数据经过FPGA内部双FIFO乒乓缓存于数据缓冲区，为了准确的采集视频数据，系统采用行和列计数器的方式，并且行场严格同步；本设计外部具有4路外视频源，4路采集视频数据经过FPGA预处理，最后以叠加复合的形式展现在监视器上，视频叠加复合可实现4路外视频的同时同步显示[3]。

2.1 视频叠加需求

为了实时显示航空电子系统的动力显示数据，比如飞机油量数据，导航地图、发动机引擎等装置监测数据，航空电子系统需要将两幅甚至更多视频源叠加到一起，即需要进行视频叠加处理；任务管理计算要求机载视频采集模块支持不同格式不同分辨率的叠加，叠加子图和叠加底图格式支持PAL-D和VESA格式，叠加子图分辨率支持360x288、720x288、720x576等，叠加底图分辨率支持640x480、720x576等。叠加方式可以实现覆盖叠加、半透明叠加等；在隐藏叠加底图时，在VGA显示器上单独显示叠加子图，也可对叠加子图进行切换以显示各个叠加子图；FPGA中逻辑叠加框图如图 2所示[4]。

图2 视频叠加框图Fig.2 Video overlay diagram

2.1.1 视频数据采集

由图2知，视频数据的叠加是在视频有效数据预处理之后进行的，数字视频预处理是完成后期视频缩放复合叠加的前提；视频信号预处理最核心的就是视频同步信息的提取，对于BT656数字视频，其同步信息隐藏于8bit数字视频信息中，同步信息包含SAV和EAV，SAV之后为数字有效行视频数据段，EAV放在数字有效行的结束后，SAV和EAV分别共4个字节，它们以十六进制表示为FF0000XY[5]，头三个字是FF、00、00固定前缀，供定时基准识别用，第四个字节定义了场的奇偶标识、行场消隐期和行场正程期状态信息以及校验位。同步头信息FF0000XY的提取框图如图3所示。

图3 同步信息提取Fig.3 Synchronization information extraction

2.1.2 视频信号复合

设计要求多路视频最后混合显示于同一块PAL屏上，对于不同的PAL视频源，必须对外视频源信息进行相应的缩放处理才可以将多路外视频以复合方式展现于监视器上。视频采集模块要求4路PAL视频最终以复合的形式显示于PAL监视器上，且视频复合要求4副图像分辨分别为720*288、180*288、180*288、180*288， 而 PAL视频解码后分辨率为720*576，故必须进行缩放拼接处理。系统要求分辨率与原始图像分辨率都是整数倍关系，因此只要实现像素抽取即可，即向输出目的地址写入数据时，判断该像素是否需要写入，如果不需要写入，则直接抛弃即可。

2.2 视频叠加FPGA逻辑算法

系统采用α叠加[6]，alpha叠加是alpha混合（alpha mixing）技术的一种应用，即一幅图像或视频源覆盖到另一种视频信号上。alpha叠加中的在叠加系数为0.5时称为 “半透明叠加”，其中透明指使图像中部分颜色不可见。一般使叠加子图的部分背景颜色透明，以使叠加底图可以显示需要的部分，这样两幅图叠加后看起来更像一幅完整的图。

图4 视频缩小逻辑框图Fig.4 Video narrow logic diagram

假设叠加子图与底图的像素点为P1和P2，子图叠加系数为α，底图叠加系数为β，而叠加后新图像像素为PN。则叠加算法描述如下：

式（1）中为α叠加系数。α越接近0，子图越透明。反之，当α=1时，子图完全覆盖底图，此时阿尔法叠加等同于覆盖叠加，其中 β=1-α。

当算法处理图像为RGB彩色图像时，公式（2-1）可推广为以下形式：

式（2）中 PNR，PNG，PNB为新图像像素 PN的 RGB像素。 同理，P1R，P1G，P1B为子图像素 P1的 RGB像素 P2R，P2G，P2B为底图像素P2的RGB像素。图5表示了叠加子图和叠加底图中R像素叠加的示意，G像素和B像素的叠加同R像素叠加。

图5 α叠加示意图Fig.5 αSchematic superposition

在 FPGA 中具体实现为 PAL*α＋PAL*（1－α）。 视频叠加时，对于路PAL输入的信号，解码后先经过一个FPGA内的双口行缓冲区传输到SRAM中，读出时将YCbCr视频格式变换RGB视频信号并缓存于同步FIFO中，然后在FIFO右端以27M的时钟将数据读出并进行α乘法运算，此时数据变化为 PAL*α，最后对 PAL*（1－α）和 PAL*α 进行加法运算得出叠加后的数据，并以720*576*50采样时钟27M将叠加数据送往PAL显示器。

图6 视频叠加逻辑框图Fig.6 Video overlay logic diagram

3 视频叠加实现

视频信号的叠加显示包括视频信号复合以及视频信号叠加。视频的复合多路PAL视频同时以不同的分辨率显示于PAL监视器上；而视频的叠加则是不同的视频信息以某种方式混合显示于监视器上。实验室环境下，硬件测试视频复合时利用视频多路复用器将外部一路PAL信号分为4路视频信号，来代替硬件上的4路PAL摄像头来实现视频复合显示。视频的叠加则是将一路PAL视频以VESA格式送出，在VGA显示器上完成，其中叠加底图显示器界面，叠加子图为视频摄像头外部景象。图7为视频复合显示图像，图8为视频叠加显示图像。

图7 多路视频复合显示Fig.7 Multiple video composite display

图8 视频叠加效果图Fig.8 Video overlay effect diagram

由上图知，视频叠加复合效果画面清晰无抖动，完全满足设计要求。实验室环境下测试下，快速移动外部摄像头，视频画面清晰流畅，各路视频之间的切换显示抖动微小，画面与画面之间的切换延迟非常小，4路外视频源信息任何一路均可进行显示位置上的调整，逻辑可操作性方便，非常方便系统硬件升级以及应用环境移植；从显示画面知，本设计视频叠加符合系统要求，满足设计指标求。

4 结 论

本设计首先对传统视频处理硬件架构进行分析，在传统纯DSP硬件架构的基础上进行硬件升级，构造出本设计外视频采集与视频处理相互独立的视频叠加硬件架构；其次接着对视频采集进行了详细分析，并对视频叠加流程进行了详尽阐述，利用FPGA动态实现视频叠加是本设计的创新点与难点，本设计采用α叠加实现多路视频的混合显示，采用缩放技术实现多路视频的复合显示，大大节省了航空电子系统的空间资源，更大大有效地提高了航空驾驶员对外视频监控信息的获取；最后给出了本设计视频复合叠加的实现结果，叠加结果画面清晰，抖动微小，满足设计要求，非常具有使用价值，应用者只需修改相应的硬件逻辑就可将本设计硬件平台应用不同的工作环境以及工作场合，应用前景非常宽泛。

[1]三恒星科技.TMS320C6713DSP原理与应用实例[M].电子工业出版社，2009.

[2]郭永彩，苏渝维.基于FPGA的红外图像实时采集系统设计与实现[J].仪器仪表学报，2011，32（3）:514-517.GUO Yong-cai，SU Wei-yu.FPGA-based real-time infrared image acquisition system design and implementation[J].Journal of Scientific Instrument，2011，32（3）:514-517.

[3]许志祥.数字电视与图像通信技术[M].清华大学出版社，2009.

[4]宋传明，陈宁，陈文芗.车载视频系统中字符叠加技术的应用[J].厦门大学学报，2005，44（2）：202-204.SONG Chuan-ming，CHEN Ning，CHENG Wen-xiang.Overlay technology applications in car video systems character[J].Journal of Xiamen University，2005，44（2）：202-204.

[5]Keith Jack.视频技术手册[M].杨征，张杰良，等译.人民邮电出版社，2009.

[6]Clive Max Maxfield FPGAs World Class Designs[M].POSTS&TELECOM PRESS，2012.