基于PCIE总线的多DSP系统接口设计和驱动开发

崔炳喆 ， 杨士义

（1.中国空空导弹研究院 河南 洛阳 471009；2.航空制导武器航空科技重点实验室，河南 洛阳 471009；3.驻中国空空导弹研究院军事代表室，河南 洛阳 471009）

雷达成像信号处理的特点是运算复杂，数据量大，要求系统在进行快速运算的同时能进行大数据量的快速传输和存储[1]。I/O技术在高性能计算的发展过程中始终是一个十分关键的技术。

PCI Express总线基于串行总线高速互连，比普通并行I/O技术有着更为领先的带宽优势，被广泛地认为是一项革命性的总线技术，其重要性可以满足不同使用者的需求。本文将详细讨论基于PCIE总线的信号处理板卡的数据传输设计，主要包括DSP互连，DSP与FPGA通信，PCIE接口设计以及总线驱动程序的开发。

1 基于PCIE总线的数字信号处理机介绍

本系统是一个通用的基于PCIE总线的雷达成像数字处理机，板卡功能框图如图1所示 。4片DSP之间通过高速链路口实现点对点互连，实现1GB/s的全双工带宽。同时每个DSP又分别通过链路口与FPGA互连，构成一个分布式系统。系统采用4片ADI公司生产的TS201芯片进行主要的数据处理工作，配以高性能的 Xilinx Virtex-5芯片（XC5VLX110T），实现对数据的高速预处理。每片DSP配备容量为256MB的SDRAM。系统通过FPGA芯片内嵌的PCIE IPcore实现与主机的通信。

图1 板卡功能框图Fig.1 Function diagram of board

2 DSP与FPGA互连接口设计

2.1 互连及数据通信方法

首先，采用DSP高速链路口实现DSP点对点连接，TS201芯片采用全双工模式，当处理器内核工作在500 MHz时，链路口最高也可工作在500 MHz，每个链路口的双向吞吐率可以达到1 GB/s，实现了点对点的高速传输。任意两片DSP之间都通过链路口连接，使得DSP之间传递数据变得灵活，使程序设计变得简单。另外，每块DSP通过一个链路口与FPGA互连，在数据传输不冲突的情况下，FPGA可以同时与多片DSP通信，实现FPGA和DSP的高速数据交换。

2.2 接口设计原理与实现

由于系统中DSP之间实现了点对点互连，接口的设计主要涉及到DSP和FPGA之间的时序电路开发。TS201有4个链路口，链路口采用全双工模式，每个链路口有两个独立的DMA通道可以同时进行通信[2]。每个通道用LxCLKOUTP/N，LxACKI，LxCLKINP/N和LxACKO控制数据传输，LxBCMPI和LxBCMP用于指示现行缓冲器发送是否完成。利用链路口传输数据时，数据帧的开始是由时钟的上升沿来指示的，在时钟上升沿和下降沿分别传送数据[3-4]。由于链路口具有收发两个模块，所以FPGA需要在内部实现收发两个模块来与DSP的两个模块相对应。

依照链路口通信协议，FPGA向DSP发送数据时的链路口发送时钟是由内部锁相环产生的，接收DSP传送的数据时的接收时钟由DSP的随路时钟提供。链路口时钟、数据信号线均使用LVDS电平标准进行连接，ACK和BCMP信号则采用单端的方式连接至FPGA。

FPGA内部逻辑主要包括接收/发送模块和接收/发送缓冲。接收模块与DSP的链路口发送端连接，发送模块与DSP的接收端连接，在FPGA和DSP通信时这两个模块可以对数据分别进行打包和拆包处理。接收/发送缓冲则用来配合接收/发送模块，在传输数据时用来缓冲数据。

FPGA与DSP之间传输数据时发送方先要将数据传送给链路口发送模块缓冲（一个异步FIFO），接收方控制模块检测到LxACKI为高并且FIFO内至少有一个4字数据块的数据时，双方握手完成，启动数据传输，否则继续等待。一个数据移位控制模块使数据按照链路口通信协议的标准进行排列后传送给DDIO模块产生DDR数据，另一个DDIO宏单元则是用来产生同步的时钟。发送模块的仿真波形如图2所示。

3 PCIE 驱动程序开发

3.1 WDM 驱动程序的开发介绍

WDM是微软全力推出的一种设备驱动程序模型，相对于 KDM （Kernel Driver Model），WDM 增加了对即插即用（pnp）、电源管理等新的硬件标准的支持。

WDM的分层结构有利于系统的设计、扩展和驱动程序的开发。采用DriverStudio来开发运行在Windows XP下的WDM模式PCIE设备驱动程序（用DriverWorks编写代码，用DriverMonitor和SoftICE调试驱动[5]。DriverWorks对Windows DDK的类进行了很好的封装，因此在开发WDM驱动程序时，DriverWorks向导产生驱动框架，开发人员只需选择合适的例程即可，因此可以在较短的时间内开发出效率较高的驱动程序。

一个WDM驱动程序的功能模块一般由初始化、创建和删除设备、即插即用处理、访问硬件、处理Win32 I/O及控制请求、调用其他驱动程序等组成。

3.2 应用程序和驱动程序的通信方法

应用程序可以用标准的Win32API函数与驱动程序建立通信。在应用程序中首先用设备GUID接口或符号链接名打开设备，实际上应用程序调用了Win32API函数CreateFile。若成功打开将返回设备的有效句柄，应用程序获得有效句柄后就可以和驱动程序交换数据。打开设备后应用程序可以用函数DeviceIoControl与驱动程序通信，这个函数包括从驱动程序读数据和写数据。完成硬件操作后用CloseHandle函数关闭该设备。

图2 链路口发送端仿真波形Fig.2 Simulation waveform on the sender of link port

3.3 PCI Express总线介绍

PCIE总线是Intel公司提出的第3代I/O总线。PCIE总线采用双工串行传输模式，速度快，低功耗，扩展灵活，软件层与PCI兼容，具有数据包和层协议架构[6]。

PCI Express协议定义了4层结构：物理层，数据链路层和事务处理层，软件层[7]。PCI Express系统体系结构如图3所示。每个层次按照协议中规定的内容，完成相应的数据处理功能。PCIE软件层保持与PCI总线兼容，软件兼容包括器件的初始化、自动配置和器件的运行。事务处理层接收来自软件层或应用层的读写请求，并构造响应数据包并传给数据链路层。数据链路层的主要作用是确保数据链路包在数据链路层上的可靠传送。物理层负责接口和设备间的连接，它在两个PCI Express模块之间的链路层间传输数据包。

3.4 驱动开发实例

3.4.1 PCIE接口模块

图3 PCIExpress体系结构Fig.3 Architecture of PCI Express

PCI Express接口模块通过调用IP核技术实现，它接口模块的结构[8]如图4所示。PCI Express通信协议以及DMA的实现等是在FPGA内实现的，整个模块用到了Hard IP核和DMA IP核。

图4 PCI Express接口模块整体结构Fig.4 Overall Architecture of interface module of PCI Express

Hard IP核用来处理PCI Express协议相关的事务；DMA IP核用作DMA控制器；DMA控制器通过控制与DMA相关的寄存器，设定读写操作的地址范围和大小，来完成DMA数据读写操作。DMA管理模块控制两个独立的DMA通道，分别用来从主机内存读取数据和将数据写入主机内存。

3.4.2 DMA模式读写过程

为提高主机和板卡之间的数据传输速率，并保证数据的不丢失，采用DMA传输的方式。DMA方式的工作原理图5所示。

图5 DMA方式的工作原理Fig.5 Working principle of DMA mode

板卡的FPGA芯片中有DMA控制器。它提供了2个独立的DMA通道用于从主机到设备和从设备到主机的数据传输。

DMA写操作，即设备将数据向上传输到主机中，当数据到来的时候，它将FIFO中的数据直接写到服务器的内存空间，并产生一个DMA中断通知驱动程序，驱动程序收到中断后调用中断响应函数来处理内存空间的数据.。

DMA读操作，即主机将数据向下传输到设备中，传输卡直接从服务器的内存空间将数据读取到FIFO中。服务器中用于DMA读写的内存空间由驱动程序初始化DMA操作时分配，PCI Express驱动程序利用这段内存空间直接与传输卡进行DMA通信。

4 结束语

开发的多DSP雷达信号处理板卡传输效率高、扩展灵活。用DriverStudio所开发的DMA模式PCIE驱动程序通用性好，并且驱动运行稳定，保证了主机应用程序与硬件板卡上各DSP数据的快速存取。

[1]全英汇，王宏现，邢孟道.分布式多DSP系统的CPCI总线接口设计和驱动开发 [J].现代电子技术，2006，20（235）：91-93.QUAN Ying-hui，WANG Hong-xian，XING Meng-dao.Bus interface design of distributed multi-DSP system and driver development[J].Modern Electronics Technique，2006，20（235）:91-93.

[2]Analog Devices，Inc.ADSP-TS20ISdata sheet[EB/OL].（2006）http://www.analog.com/stic/imported/data_sheets/ADSP_TS201S.pdf.

[3]龚翠玲，吴超，龚丽芳，等.TS201高速通信接口设计及实现[J].现代电子技术，2008，3（266）：40-43.GONG Cui-ling，WU Chao，GONG Li-fang，et al.Design and realization of TS201 high speed communication interface[J].Modern Electronics Technique，2008，3（266）:40-43.

[4]杨子元，包启亮，王旭.基于PCIE/104总线的高速数据接口设计[J].现代电子技术，2011（14）：75-78.YANG Zi-yuan，BAO Qi-liang，WANG Xu.Design of highspeed data interface based on PCIE/104 bus[J].Modern Electronic Technique，2011（14）：75-78.

[5]武安河，邰铭，于洪涛.Windows 2000/XPWDM设备驱动程序开发[M].北京:电子工业出版社，2003.

[6]田玉敏，王崧，张波.PCIExpress系统体系结构标准教材[M].北京:电子工业出版社，2005.

[7]梁国龙，何昕，魏仲慧，等.PCIE数据采集系统的驱动程序开发[J].计算机工程与应用，2009，45（31）：63-65.LIANG Guo-long，HE Xin，WEI Zhong-hui，et al.Driver development of PCIE data acquisition card[J].Computer Engineering and Applications，2009，45（31）:63-65.

[8]李国光，罗丰.一种64位高速PCI总线接口的设计与实现[J].电子科技，2011（2）：57-59.LI Guo-guang，LUO Feng.Design and realization of a 64bit high-speed PCIbus interface[J].Electronic Science and Technology，2011（2）：57-59.