基于CPLD芯片控制的视频图像处理系统设计

陈建国，康海静，兰 英

(成都理工大学 工程技术学院，四川 乐山 614000)

0 引言

CPLD芯片也叫复杂可编程逻辑器件，常应用于数字化电路系统中，为减少关联器件使用数量，进而缩小PCB板件的存储空间，独立芯片的逻辑信息门数值已突破了百万。为实现数据信息的反复编程、使用与擦除，在外围电路保持不变的情况下，每一路执行软件可直接控制一种硬件执行设备，不仅大大提升了数字化电路系统的应用灵活性，也大幅缩短了数据文件编程所需的消耗时间[1]。相较于国外最早使用的GAL器件来说，CPLD芯片的应用结构更为复杂，可按照用户的实际需求，构造数字集成电路的逻辑功能，也可通过目标文件下载的方式，将原编程代码传送至客户端主机中。

视频图像处理的发展依赖于计算机技术的应用与实施，它是信息编程领域中非常活跃的一部分，大多数情况下，视频图像处理基本等同于计算机的连续图像处理[2]。传统多路视频处理手段虽能直接获取智能控制信号的信息路数，但随着视频图像覆盖空间的增大，数据信息的处理及时性开始迅速下降，图像内空间冗余水平的大幅提升。为解决此问题，引入CPLD芯片控制原理，在VGA显示模块等多个硬件执行设备的支持下，搭建一种新型的视频图像处理系统，一方面优化了图像分数的像素差值参量，另一方面也实现了数据包缓冲区内的信息按需排序。

1 系统结构及原理

视频图像处理系统主要由CPLD存储模块、视频图像采集模块、图像边缘检测模块、VGA视频图像显示模块、图像源路数智能控制以及视频流播放设计组成。其系统结构及原理如图1所示。

图1 系统结构及原理

CPLD存储模块主要负责暂存视频图像相关数据信息，其中，视频图像多线程控制过程中，所有视频图像信号只能存储在该模块内。视频图像采集模块利用结构化导线，经过视频流输入接口，加工视频流数据，整合处理已输入视频图像，进入下级处理设备。图像边缘检测模块主要负责制定视频流处理相关设备执行指令，释放暂存的视频流文件。VGA视频图像显示模块主要将图像数据流转化为视频流，提取待处理图像数据，通过信息流接口元件，生成完整的数据流参量，协调视频图像的存储形式，匹配视频图像控制处理行为。图像源路数智能控制是利用分数像素的运动补偿原理，优化图像像素差，根据视频图像输入信号路数，设置子窗口实时显示位置。视频流播放设计是利用多线程节点，完成系统内部视频进程联合化控制处理，排序数据包缓冲区域内信息参量，实现视频图像数据的同步传输，提取采集模块中的数据信息，通过传输信道，反馈给回VGA视频图像显示模块。综上所述，实现基于CPLD芯片控制的视频图像处理系统设计。

2 视频图像处理系统的硬件执行方案

视频图像处理系统的硬件执行环境由CPLD存储模块、视频图像采集模块、图像边缘检测模块、VGA视频图像显示模块四部分组成，具体搭建方法如下。

2.1 CPLD存储模块

CPLD存储模块负责暂存与视频图像相关的数据信息，由LVTH存储器、D/A转换器、TTL芯片、DAC芯片、视频流传输导线5类结构主体共同组成。CPLD存储模块结构如图1所示。

图2中，视频流传输导线连接了LVTH存储器与下级图像处理结构，可将负载于其中的流通数据转化成束状传输结构，总体执行功能相当于CPLD芯片控制结构中的信息传导设备。LVTH存储器是视频图像数据信息的直属暂存元件，在系统运行过程中始终保持连续性输出状态，从而使传输导线中的视频流信息具备较强的调度积极性[3]。D/A转换器具备两种接入状态，视频流信息保持分散输入形式时，该原件实施数据参量的聚集与整合；视频流信息保持束状输入形式时，该原件实施数据参量的分散与重组，但总体工作模式始终与CPLD存储模块保持一致。TTL芯片、DAC芯片同时负载于视频流传输导线下端，可根据图像数据的实际输出速率，更改元件设备的接入形式，从而更好匹配CPLD存储模块内的暂存信息连接行为。

图2 CPLD存储模块结构图

2.2 视频图像采集模块

视频图像采集模块与CPLD存储模块直接相连，视频流信息可借助结构化导线，经过输入接口，从上级系统元件进入下级处理设备之中。视频图像采集模块结构如图3所示。

图3 视频图像采集模块结构图

图3中，模块中部设置两块型号相同、但功能不同的传感芯片，分别负责视频图像中的信息属性分析与CPLD芯片的控制功能判定。从结构化角度来看，两块传感芯片同时起到承上启下的图像信息采集传输作用，可在保障视频流输入稳定性的同时，解决连续空间节点的冗余占据问题[4-5]。CMOS图像信息加工元件具备较强的视频流数据加工能力，可在Device芯片的作用下，精准提取传输视频中的冗余可控节点，并按照CPLD芯片的基本控制原则，将剩余信息注入连续视频文件中。CCD耦合芯片是视频图像采集模块的核心搭建设备，负责已输入视频图像的集中性处理与整合，并将筛选后的束状信息数据分配至下级系统元件之中。

2.3 图像边缘检测模块

图像边缘检测模块负责制定与视频流处理相关的设备执行指令，分别与视频图像采集模块及VGA显示模块相连。图像边缘检测模块结构如图4所示。

图4 图像边缘检测模块结构图

图4中，内部负载了4个不同的小型CPLD控制芯片，可有效感知图像信息在视频流中的传输速率，进而协调处理系统内连续进程节点间的冗余占据关系。Ⅰ型像素卷积设备、Ⅱ型像素卷积设备保持并列相连的关系，通常情况下，视频图像中的数据信息可顺次通过上述两个执行设备，并在主动建立与系统处理主机间物理连接的同时，扩展视频流的平均传输宽度。数据输出旋调装置具备较强的感知适应性，可根据视频流中图像数据的暂存实值，改变设备体与边缘检测模块间的连接紧密程度，从而抑制连续视频图像的空间性冗余能力[6-7]。Sobel芯片是图像边缘检测模块的核心搭建设备，始终保持较强的指令处理能力，在完整获取4个CPLD芯片内图像数据信息的控制应用需求后，释放所有暂存的视频流文件，同时建立与VGA显示模块的物理连接。

2.4 VGA视频图像显示模块

VGA视频图像显示模块实现了由图像数据流到视频流的转化，在CPLD控制芯片的作用下，可在与图像边缘检测模块建立连接的同时，借助ADV7213芯片，计算暂存视频图像中的平均分数像素差值。VGA视频图像显示模块结构如图5所示。

图5 VGA视频图像显示模块结构图

图5中，R9-R0、B9-B0、G9-G0是3个不同的信息流接口元件。其中，R9-R0芯片可借助传输导线与Ⅰ型像素卷积设备、Ⅱ型像素卷积设备相连，在视频流传输宽度不断拓宽的情况下，提取CCD耦合芯片中的待处理图像数据，再通过B9-B0芯片的传输促导作用，将这些束状信息反馈至G9-G0芯片中，直至系统内部的连续视频图像节点完全趋于稳定，才会生成完整的数据流参量[8]。信息流接口位于VGA视频图像显示模块右下部，可在IOB芯片的作用下，协调信息寄存器内视频图像的存储形式，直至与系统内部的控制处理行为完全匹配。

3 图像源路数智能控制

在视频图像处理系统硬件执行方案的支持下，按照分数像素差值优化、子窗口动态显示调节的操作流程，实现系统内图像源路数的智能化控制。

3.1 分数像素差值优化

在整个视频图像处理过程中，分数像素差值函数占去大部分计算量，其中和CPLD芯片控制有关的计算占去总运算量的40%左右。在系统核心处理标准中，图像像素差优化用到了分数像素的运动补偿原理，需要在原有数据信息的基础上进行分数化像素的内插协调，而中间像素插值占去整个优化补偿估计的至少三分之二的计算量[9]。因此改变视频图像中原始数据信息的分数像素插值，成为系统优化调度处理的重要操作环节。分数像素差值优化原理如图6所示。

图6 分数像素差值优化原理

根据图6可知，用于内插的视频图像分数像素点可分为两类：一类直接作用于数据信息的整数行或列组织，如图5中的aa、bb、cc、dd类节点，这些分数像素差值可通过优化数据行列属性的方式得到；另一类像素内差点所在的行和列位置上均不包含整数数据信息，如图5中的i、k、l、g类节点，这些像素点的差值优化结果必须参考第一类分数像素点的实际所在位置。

3.2 子窗口动态显示

对于视频图像处理系统的子窗口来说，由CPLD控制芯片预设的窗体结构始终保持显示型排列方式。图像源数据信息的分辨率为1 920×1 080，因此每一个子窗口只能按照16∶9的比率实时播放与显示。根据视频图像输入信号路数的不同，系统将自动设置子窗口的实时显示位置，在CPLD芯片控制原理的作用下，与子窗口匹配的动态节点将会不断靠近，进而达到控制连续视频图像在空间范围内冗余化程度的目的[10]。在视频图像默认显示条件保持不变的情况下，处理系统预设的子窗口始终具备较强的动态协调能力，故处于连续视频空间内的分数像素差值都能够得到稳定的放大处理。因CPLD芯片可与视频图像数据保持不平衡的控制对等关系，子窗口的动态显示复杂度也具备波动变化的能力，随着输出图像信息源路数的增加，视频流显示结果也将造成子窗口使用率的提升[11]。设ΔM代表单位时间内处理系统中图像数据信息的实际输出量，ΔR代表分数像素差值的优化变动总量，联立上述物理量，可将视频图像处理系统的子窗口动态显示条件定义为：

(1)

公式(1)中，σ代表视频图像处理系统中数据信息的动态显示参量，λ代表视频图像信息的实际输入系数，f代表图像数据的输出处理总量。

4 视频流播放的设计与实现

联合图像源路数的智能化控制需求，建立必要的视频进程，在确保视频流得到完整存储的前提下，完成基于CPLD芯片控制的视频图像处理系统设计。

4.1 视频的进程与多线程控制

整个视频图像处理系统需要完成多种数据应用功能，在边缘检测模块中，信息用户可以设置所有与本系统相关的操作参数，并且将核心主机返回的处理意见，直接显示在VGA模块中。结合CPLD芯片的控制原理来看，为实现视频图像信号的同步处理，不同数据信息必须取自不同的图像采集模块，与此同时，CPLD模块还支持图像本地保存、截屏处理等功能。图像边缘检测模块作为数据包传输结构，可按照信道组织的连接需求，实现各硬件执行设备间的信号共通[12]。个别情况下，有的功能模块间存在明显的并行执行状态，视频图像中的分数像素差值也会随之增大，进而影响子窗口的动态显示行为，故系统内部的视频进程必须借助多线程节点，才能实现联合化的控制与处理。视频图像多线程控制结构如图7所示。

图7 视频图像多线程控制结构

根据图7可知，多控制线程负责子窗口动态图像的显示及视频的播放处理，而节点进程则负责分数像素通道内的信息处理，每一帧视频信号的处理都关联一个线程控制结构。一个视频信号由关闭状态转换为开启状态，也就意味着创建一个新的多线程控制结构，在整个进程通路中，某一个视频信号完成播放时，即表示一个进程的结束，通常情况下，可在图像数据处理线程的末尾，释放所有因视频显示而占用的子窗口结构体。另外在此过程中所涉及的所有视频图像信号，都只能存储在CPLD模块之中，形成独立的本地保存文件。

4.2 数据包缓冲区排序

对于待处理视频图像信息，由CPLD芯片控制的硬件处理结构始终维持按序发送的执行状态，但信息码流的发送只能以数据包作为单位结构组织，对于数据包不设置独立的传输途径，每个信息结构可经过不同子窗口的转发进入系统处理接收端，在经过VGA显示模块的传输后，接收端元件并不能保证数据信息依然维持原始发送顺序，因此为了实现视频图像数据的同步传输，必须在数据包缓冲区域内，对信息参量实施必要排序处理[13]。在执行视频图像数据包的物理排序时，应以一个随机生成的16位二进制数作为发送序列号，接下来每发出一个图像数据信息，就在起始序列号的基础上加“1”，当序列号的末尾标注数值超过16位二进制数的应用范围时，则建立一个全新的序列号组织[14]。采用双向循环链表准则，设原始信息参量为“Seq0”，插入指令为“add”，联立16位随机编码标准，对视频图像数据包的缓冲区排序原则进行归纳，如表1所示。

表1 视频图像数据包缓冲区排序原则

4.3 视频流存储

视频流存储是基于CPLD芯片控制视频图像处理系统搭建的末尾设计环节，可直接提取采集模块中的数据信息，并借助传输信道，将这些束状结构体反馈回VGA显示模块中。所谓视频流是指连续的平滑图像帧序列，在实时处理系统中，必须截取多个视频图像的特定数据瞬间，并以数据信息的形式直接存储在CPLD模块中，以便直接实施后续的处理与分析操作[15-16]。在多路视频处理系统中，一个数据信号只能对应一类信息参量，而随着传输图像数据总量的增大，连续视频的空间冗余性也开始大幅提升，图像数据的处理及时性持续下降。而CPLD芯片控制处理系统，具备同时截取多个数据信号的能力，不仅支持单路视频流的传输与存储，也支持双路或多路视频流的传输与存储，既满足了系统子窗口对于图像分数像素差的显示占用需求，也实现了图像信息数据包的缓冲与排序处理。至此，完成CPLD控制流程的建立，在相关软硬件设备结构的支持下，实现新型视频图像处理系统的顺利应用。

5 数据检测与分析

为验证基于CPLD芯片控制视频图像处理系统的实际应用能力，设计如下对比实验。如图8、9所示，以一空白桌面作为实验实施平台，将图像投射屏幕放置于桌面后缘，在桌面上放置书本、盆栽等物质作为实验对象，不断增加或减少实验对象的具体数量，直至投射屏幕中形成完整且稳定的视频图像。利用传输导线将投射屏幕与控制主机相连，首先启动新型视频图像处理系统，分析连续视频中的图像信息，将各记录数值作为实验组指标参量；再启动多路视频处理系统，分析连续视频中的图像信息，将各记录数值作为对照组指标参量；最后对比实验组、对照组的数值记录结果。

图8 视频图像处理系统 图9 待处理视频图像

图像数据帧缓存速率、VGA信息转换指标都是反应连续视频图像空间冗余性的重要物理指标，通常情况下，二者的影响行为始终保持相反的作用效果，即图像数据帧缓存速率越快，连续视频图像的空间冗余程度越低，反之则越高；VGA信息转换指标越小，连续视频图像的空间冗余程度越低，反之则越高。

图10反应了实验组、对照组图像数据帧缓存速率的具体变化情况。

图10 图像数据帧缓存速率对比图

图10记录了4组不同的图像数据帧缓存速率指标结果，从平均值的角度来看，第2次实验组的平均数值最大，第3次对照组的平均数值最大。从极限值的角度来看，第1次、第3次实验组的图像数据帧缓存速率最大值达到9.1帧/s，第1次实验组的图像数据帧缓存速率最小值也达到5.3帧/s；第2次对照组的图像数据帧缓存速率最大值达到5.9帧/s，第2次、第3次对照组的图像数据帧缓存速率最小值低至1.1帧/s。对比最大值，实验组图像数据帧缓存速率指标上升了3.2帧/s；对比最小值，实验组图像数据帧缓存速率指标上升了4.8帧/s。

表2反应了实验组、对照组VGA信息转换指标的具体变化情况。

表2 实验组VGA信息转换指标

表2、表3分别代表4种不同实验环境下，实验组、对照组VGA信息转换指标的具体数值结果。对比表2、表3可知，第4组VGA信息转换指标的平均数值最大，实验组极大值6.79与对照组极大值8.46相比，下降了1.67；第1组VGA信息转换指标的平均数值最小，实验组极大值2.03与对照组极值2.71相比，下降了0.68。

表3 对照组VGA信息转换指标

综上可知，应用实验组处理系统后，图像数据帧缓存速率出现了明显提升的变化趋势，极大值指标由5.9帧/s上升至9.1帧/s；而VGA信息转换指标却开始大幅下降，极大值指标由8.46下降至6.79，即应用基于CPLD芯片控制视频图像处理系统，可降低连续视频图像的空间冗余性，实现对图像数据的及时性处理。

6 结束语

为解决多路视频处理手段对于图像数据处理及时性较差的问题，设计基于CPLD芯片控制的视频图像处理系统。在边缘检测模块、VGA显示模块等多个硬件执行设备的支持下，同时执行分数像素差值的优化调度与子窗口的动态应用，不仅实现了对视频进程的多线程控制，也解决了数据包在缓冲区域内的按需排序问题。从实用性角度来看，图像数据帧缓存速率开始不断上升，而VGA信息转换指标却大幅下降，从根本上控制了连续视频图像空间冗余性的上升趋势，实现了及时处理图像数据的初衷。