工业控制刀片服务器设计

周绍祥，邹玉莲，赵琴琴

（1．研祥智能科技股份有限公司，广东 深圳 518107；2．国家特种计算机工程技术研究中心，广东 深圳 518107）

0 引言

近年来，物联网的技术发展越来越完善，物联网得到越来越广泛的普及，从而催生出更多需要大量信息的处理和计算的应用的场景[1]。未来，随着信息化产业的进一步发展和扩大，需要高计算能力和高可靠性要求，维护简单，易于升级的工控服务器需求必定越来越多。在此环境下，传统的服务器渐渐无法满足需求,一种新的能满足以上需求的服务器方式将应运而生，这种方式就是刀片式工控服务器[2-4]。刀片式工控服务器可以根据现场需求拓展服务器的计算节点，工控节点，以及电源节点，管理模块节点等，集交换设备、路由、直通等通讯设备于一身，计算能力强，集成度高，拓展性强，维护简便，为大数据时代下的物联网的发展提供新的方向和实现的可能。

刀片工控服务器由刀片机箱、刀片模块和背板共同组成。各个刀片模块通过跨接多个模块的集成线路板即背板相衔接。除了独立的各个刀片模块和连接各模块总线的背板，还需要刀片机箱才能组装成完整的刀片工控服务器[5]。刀片工控服务器通过PCIE总线，LAN MDI千兆以太网，SMBUS总线，LPC总线等进行模块间的数据交互以及实现拓展功能,PCIE传输速率高；千兆以太网可以进行远距离传输，满足大量高速信息远距离传输需求[6]；SMBUS、LPC总线等控制总线用于实现系统对外部设备的管理和控制。

1 刀片工控服务器计算节点设计

计算节点可以为物联网的信息提供强大的高密度计算力，具有超大的内存容量。为了满足计算能力要求，在刀片机箱上可以插入多个计算节点。各计算节点可根据公司的产品特点，市场需求进行配置，基于不通的处理器平台，通过管理模块进行集中管理，以满足各种业务场景的不同需求。计算节点主要由CPU、MEZZ模块、PCH模块、DIMM、背板连接器、电源模块组成。计算节点逻辑如下图1所示。

图1 计算节点逻辑图

计算节点CPU之间通过20LANE的UPI总线连接，RXTX高速差分起到数据与信息交换，速率高达10.4GT/S；MEZZ网卡及千兆网卡，通过PCIE总线与CPU连接，一路通向直通模块，数据信息可与其他工控设备接入；另一路通向刀片交换模块，实现各计算节点的数据交互；DIMM条：为CPU提供内存空间，临时存储CPU输出的寄存器地址信息和数据信息；HDD/SSD硬盘：可掉电存储，可由于存放操作系统、软件或者采集的数据等；RAID卡：硬盘阵列，为数据存储提供冗余技术，保证信息的安全程度；PCH：南桥通过DMI总线与CPU相连，可以很好的拓展出外部低速接口；USB：方便计算节点配置和调试、装机，用于外接鼠标键盘或者其他设备；显示接口：提供HDMI、VGA等图像传输；COME以及POWER连接到背板。

2 刀片工控服务器数据采集模块设计

数据采集模块主要负责连接外部设备，采集外部设备的参数、状态等信息的作用，用于与外部设备数据的交换与控制，实现与工控设备的连接。工控模块针对不同的应用场合提供不同的解决方案。它可以集成多种多样的总线设备如485总线，232总线，CNA，传感器接口等。同时，为了满足高容量的需求，工控模块可以插入多个相同功能或者不同功能的模块，也可以插入混合型模块。

数据采集模块主要由BMC模块，ROM，SDRAM，外部IO接口等组成，通过背板连接器与其他刀片设备连接。工控模块的逻辑框如图2所示。工控模块主要核心是BMC，负责采集外部传感器，模拟信号，RS232总线信号，串口等信号；ROM高速存储器，存储需要快速读写的信息资源；SD CARD：可临时存储容量较大的日志文件；SDRAM：为BMC处理器提供内存空间；COME、POWER CN从背板提供总线连接和电源输入。

图2 数据采集模块逻辑框图

3 刀片工控服务器通信模块设计

通信模块主要包括直通模块、交换模块、路由模块、管理模块以及背板模块。

直通模块：直通模块为给每个计算节点提供独立的千兆网口，用于外接其他设备，一个刀片直通模块可集成多路外接千兆网口和光口。直通模块主要是为计算节点提供外出的接口，实现计算节点网卡端口直出，与外部网络通信。直通模块主要由CPU模块，CPLD模块，PHY模块，外置接口模块四个模块组成。直通模块逻辑如图3所示。CPU负责处理和协调管理每一路的信息资源；PHY SOC以太网数据收发器，应用于物理层接口，它可以包含多个子层的物理层，如MII子层，PCS子层，PMA子层PMD子层，以及MDI子层等。除此之外它还集成了MAC功能；SDRAM：为CPU处理器提供内存空间；CPLD：复杂编程逻辑阵列CPLD可以管理和检测直通模块的设备的运行监测和保护；外置接口提供RJ45，SFP+以太网接口和USB接口。

图3 直通模块逻辑框图

交换模块：交换模块是服务器的交换控制单元，为整个系统内部提供数据交换功能，通过背板与计算节点，管理模块互联，实现内部数据报文和控制管理报文的交换，提供高速数据传输。由于需要使用多个计算节点，因此需要交换模块提供数据交换业务，除了内部数据相互交换功能外还应提供多路与外部设备数据交换的千兆网口和光口。交换模块主要由CPU模块，CPLD模块，SWITCH SOC模块、SDRAM等组成。交换模块逻辑如下图4所示。CPU负责处理和交互计算节点传输过来的信息资源；SWITCH SOC模块：交换模组提供三层转发、组播，生成转发表、路由表等，提供给其他设备或者计算节点接入；SDRAM：为CPU处理器提供内存空间；复杂编程逻辑阵列CPLD可以管理和检测交换模块的设备的运行监测和保护；外置接口提供RJ45,SFP+以太网接口和USB接口。

图4 交换模块逻辑框图

路由模块：路由模块用于自动分配各模块的IP，包括各计算节点IP,交换模块IP,直通模IP，还有其他模块IP，以便组网，拨号。路由模块用于连接两个或以上的网络设备，自动分配内部网络IP地址，传输信息到所需的各个端口。路由器网关可以对标准以太网或者工业以太网，无线，有线网，现场总线协议进行转换，实现数据透明传输和路由功能。路由模块主要由CPU、路由模块、SDRAM以及各外置接口组成。路由模块逻辑如图5所示。包括：①CPU负责处理和交互计算节点传输过来的信息资源；②路由模组引擎提供路由和转发业务，提供给其他设备或者计算节点接入，可分为物理层，数据链路层以及网络层；③SDRAM：为CPU处理器提供内存空间；④复杂编程逻辑阵列CPLD可以管理和检测路由模块的设备的运行监测和保护；⑤外置接口提供RJ45,SFP+以太网接口和USB接口，以及2.4G和5.8G频段WiFi。

图5 路由模块逻辑框图

管理模块：管理模块用于检测刀片服务器的运行情况。管理设备启动和停机，协调主从设备的切换，维护数据信息安全等功能。管理模块的作用是管理服务器的各硬件设备，主要由CPU，BMC模块，SRDRAM，PHY SOC模块以及COME背板连接器等组成。管理模块逻辑如图6所示。其中BMC模块管理散热系统、ATX电源、各计算节点、工控节点的工作情况，通过PG,FAN,PWM,AD,SMBUS,PS_ON-等信号控制，复位键和开机键控制系统的复位和开停机；CPU通过BMC负责服务器系统的控制和切换，通过以太网实现所有联网刀片的检测和主从切换和协调。

图6 管理模块逻辑框图

背板模块：背板是负责进行CPU和机架上的各个信号模块和功能模块之间的数据交换的单板，各个模块通过背板连接器将刀片单板和背板连接起来，实现数据交换。背板模块用于连接每个刀片模块的功能，利用高速连接器对各模块的信号进行连接和分离，有利于设备的维护和升级。背板和连接器的应用极大的简化单板设备的连线，服务器内各刀片模块的信号可以全部利用PCB走线引出，后只需要用以太网等总线连接至外部设备。背板逻辑图如图7所示，刀片服务器的背板主要是针对刀片式的服务器，背板为系统插槽之间的电气连接提供基础。通过背板连接各计算节点、工控模块，管理模块、电源模块等各模块，实现各个模块间的数据传输和交换。

图7 背板逻辑框图

4 刀片工控服务器散热模块设计

刀片机箱的散热系统由风扇模块组成。在各刀片模块之间预留散热通道，冷空气从各模块的网格面板吸入后带走刀片模块热量，后从散热系统的排风口处排出。散热系统使用强迫式风冷方式给机箱进行散热。散热系统逻辑如图8所示，散热系统主要由散热模块组成，散热控制芯片通过对刀片机箱的温度检测结果，控制风扇的风扇数量、风速等参数，对刀片服务器的机箱进行散热。

图8 散热系统逻辑框图

5 结论

本文通过对服务器的计算节点、数据采集模块、通信模块以及散热模块等方面的设计，开发了一种基于工业控制的刀片式服务器。该服务器集成多个不同的刀片单元，按需进行不同的组装，是一种可实现的定制化设计。刀片模块化设计，设备维护简便，易于升级和更新换代，成本可控，市场适应性强，同时的兼容传统工控服务器，是集多种功能于一身的工业控制服务器。