数据中心高速光互连技术

余建军

摘要：随着网络流量的爆发性增长，数据中心传输速率将从10/40 Gbit/s朝25/100/400 Gbit/s架构升级。这些速率的提升需要有新的信号光源、调制和探测技术满足其要求。将介绍这些技术在数据中心应用的最新研究成果。

关键词：数据中心;光互连;调制格式;相干探测

Abstract： Driven by fast growing Internet traffic， the bit rate between data center is upgraded to be from 10/40 Gbit/s to 25/100/400 Gbit/s. These high-speed signals will need new optical transmitter source， modulation formats and detection technologies.  These technologies and the latest research results are introduced in this paper.

Key words： data center; interconnection; modulation formats; coherent detection

1 數据中光互连速率增长迅速

随着物联网、人工智能（AI）和虚拟现实（VR）的涌现，互联网已经到了一个新的发展阶段，所产生的数据量也正在以指数量级爆发性地增长，对通信带宽和计算能力也提出了新的需求。大数据是这个时代的显著特征之一，作为信息资产，大数据正在越来越多的领域中发挥着重要作用。为了应对大数据时代的信息处理需要，云计算成为了必不可少的选项。云计算是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以提供给其他计算机和设备。依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术，原来难以在单台计算机上处理的大数据可以得到充分的挖掘和利用。数据中心是云计算的基础设施，为云计算提供了支撑平台。根据《Cisco全球云计算指数白皮书》的预测，从2016年到2021年，全球数据中心的IP流量将会以25%的年增长率从6.8 ZB迅速增长到20.6 ZB，如图1所示;到2019年，99%的全球通信网络流量都是和数据中心有关的，而大多数的流量发生于数据中心内部，如图2所示[1] 。

由于网络流量的爆发性增长，现有的数据中心无论是在传输带宽、传输速率还是时延、可扩展性等方面均无法满足要求，因此未来的数据中心将从10/40 Gbit/s朝25/100/400 Gbit/s的架构升级。在这种情况下，传统的电互连架构面临着传输带宽不足、通信距离有限、网络复杂性过高、能耗过大等挑战，难以满足未来数据中心的需求，这就为光互连带来了巨大的机遇。从1966年高锟发现了光纤用于通信的潜在可能性以来，光纤通信技术已经发展了50多年。第一个商用光纤通信系统由AT&T在1977年开发出来的，容量为45 Mbit/s，到了今天单模光纤的容量已经可以达到100 Tbit/s，传输距离跨越了1万多千米，覆盖了大多数的信息传输场景，成为了当今信息社会的基石。

数据中心可以看作是规模庞大的超级并行计算设备，它由成千上万台服务器以网络连接的方式组合而成。一般来说，数据中心互连网络（DCN）采用树状拓扑分层结构，每个机架的服务器集群与机架顶端（ToR）交换机互联，ToR交换机则与汇聚层交换机相连，汇聚层交换机再与核心交换机连接，从而形成一个庞大的数据中心服务器网络。服务器之间的通信需要超高速率和超低延迟，由于具有大容量、低时延、长距离传输和低功耗的优势，光纤传输已经成为了数据中心互联方案的重要发展方向。在今天的数据中心网络架构中，几乎所有的交换机和路由器连接都采用了光互连，机柜顶端的交换机与服务器也使用了有源光缆（AOC）进行连接。目前大多数的数据中心传输速率已经达到了40 Gbit/s，100 Gbit/s的架构正在部署，而下一代架构也将会跳过200 Gbit/s，直接升级到400 Gbit/s的速率。并行光传输是数据中心内部通信的重要方式，这种传输方式不仅能够大大提高通信速率，而且能够与大规模网络架构中的并行数据通道结构结合在一起，使得数据处理的速度也有很大的提升。在40 G的架构中，通常采用的是多模传输方案，使用垂直腔面激光器（VCSEL）作为发射源，多模光纤（MMF）作为传输介质，这种方案不仅具有低成本、低功耗的优势，而且易于实现电信号与光信号的速率匹配;对于升级到100 G及更高速率的架构，由于多模光纤传输距离的限制和模式色散的影响，基于VCSEL-MMF的方案难以突破速率的瓶颈，因此主要采用单模光纤（SMF），同时广泛地采用波分复用（WDM）技术。目前的100 G传输技术主要包括3种类型：并行单模4通道（PSM4）、粗波分复用系统（CWDM4），以及短距离光模块（SR4），这几种类型都是4个通道，每个通道25 Gbit/s，其中前2种是基于分布式反馈（DFB）激光器和单模光纤的技术，SR4仍然采用VCSEL和多模光纤[2-6]。

对于下一代400 Gbit/s的速率标准，需要对光电器件的带宽提出更高的要求，同时需要新的技术应用于光互连中。这些新的技术包括先进的信号调制技术、色散补偿等，也包括并行多通道技术的演进。从实现方式上看，可以通过提高通道速率、增加并行光纤数目和增加波长通道数的方法来提高现有网络的容量，使之达到400 Gbit/s的标准，但无论采用哪种方式，400 Gbit/s的单位比特成本和功耗都不应该高于100 Gbit/s。电气和电子工程师协会（IEEE）于2017年12月完成了400 G以太网的标准化，但在此之前业界已经进行了一系列的技术研发。400 G升级目前存在着2个主要的挑战，一个是100 G到400 G的4倍速率提升该以何种方式实现，另一个是信号编码的方式从不归零码（NRZ）到4电平脉冲幅度调制（PAM4）带来的信号完整性问题。目前支持数据中心400 G的传输技术有多模的SR4.2和单模的长距离光模块（DR4），其中SR4.2采用4对多模光纤，较为适合100 m以内的传输，而DR4则可以达到500 m，采用8×50 Gbit/s的PAM4。

数据中心内部网络承载了大部分的网络流量，在数据中心服务器上部署的应用程序大多数都使用了并行计算架构，分布式计算节点和存储节点之间存在着大批量的数据吞吐，服务器之间的通信异常频繁;与此同时，高性能服务器已经具有了支持10 Gbit/s速率的数据接口。当这些服务器协同工作时，需要的交换机接口速率很轻易就能超过100 Gbit/s。因此，提升数据中心内部网络的传输能力是一件迫在眉睫的事情，同时也成为了近期学术界和工业界相关研究团队的一个研究热点。

与长距离光纤传输网络不同，数据中心内部网络通常是光纤密集、传输距离从几米到几十千米的短程通信网络，信号的损耗较小，因此主要使用强度调制-直接检测（IM-DD），能够降低复杂度、功耗和成本，提升系统的集成度。在其他国家的研究中，2011年IBM沃森研究中心基于VCSEL激光器在多芯多模光纤上实现6通道120 Gbit/s的传输，传输距离达到了100 m [7]，首次实现多模光纤超过100 Gbit/s速率的传输;同年查尔姆斯理工大学完成了基于VCSEL的PAM4信号传输实验，工作波长为850 nm，在30 Gbit/s的速率下传输了200 m多模光纤[8];2014年，菲尼萨公司（Finisar）使用了25 GHz带宽的VCSEL传输了离散多音频（Discrete Multi-tone）调制的信号，在200 m 光模式3（OM3）多模光纤上达到了56 Gbit/s的速率[9];2015年康普公司（CommsCope）实现了4×28 Gbit/s的WDM信号在多模光纤上传输100 m的距离[10]，该系统同样使用了VCSEL激光器，工作在850～980 nm的波长范围内;2014年，以色列研究人员使用了工作在1 310 nm和1 550 nm的马赫-曾德尔调制器（MZM）实现了PAM4信号在单模光纤上的传输[11]，通过简化的最大似然序列估计（MLSE）算法来消除码间干扰（ISI）和非线性失真，该系统可达到56 Gbaud的速率，其比特率为112 Gbit/s，传输距离为2～80 km;2016年，丹麦技术大学使用了MZM在1 544 nm的波长上实现了PAM4和离散多音调制（DMT）调制信号传输[12]，其中残留边带（VSB）DMT信号在无色散补偿的情况下传输了80 km单模光纤，速率可达56 Gbit/s。

在中国，已经有多家企业和高校对短距离的数据中心光通信展开了研究，并取得了一系列进展。中兴通讯基于10 GHz带宽的分布式反馈激光器（DFB），在无色散补偿和预均衡的情况下实现了56 Gbit/s的单模光纤10 km传输[13];2016年，中兴通讯和复旦大学联合团队进行了4×128 Gbit/s的基于傅里叶变换扩展的（DFT-S）正交频分复用（OFDM）信号传输实验[14]，在单模光纤上的传输距离达到了320 km，创造了IM-DD系统在超100 Gbit/s速率上的传输距离记录;同年，该团队基于独立单边带（ISB）技术实现了单波长240 Gbit/s的DFT-S OFDM信号传输[15]，传输距离达160 km，创造了IM-DD系统在该距离上的传输速率记录;2017年，北京大学基于18 GHz带宽的VCSEL和多模光纤链路实现了70 Gbit/s的数据传输，通过使用前馈均衡（FFE）与MLSE抑制了激光器带宽不足造成的码间串扰[16];2018年，中兴通讯和复旦大学实现了单波长112 Gbit/s的无载波幅度相位调制（CAP）信号在480 km单模光纤上的传输[17]，这是超100 Gbit/s的CAP-16信号在IM-DD系统上的最远传输距离的记录。

在商用发展方面，以百度和阿里巴巴为代表的中国互联网运营商在数据中心光互连架构的部署上和应用上处于领跑地位。2017年百度数据中心的交换机连接采用了基于4通道小型可插拔（QSFP）28 SR4和CWDM4模块，速率为100 Gbit/s，服务器与交换机采用25 G 有源光缆 SFP28连接。2017年，阿里的服务器规模部署25 G AOC SFP28连接;2019年开始尝试100 G模块，使用SFP-双密度（DD）和100 G AOC线缆的方案，以2个50 G通道提供了100 G的接入能力;而交换机的互连早在2013年就部署了QSFP+40 G的光模块，2017年规模部署了QSFP的100 G的光模块，2019年则开始尝试QSFD-DD的400 G的光模块，以8×50 Gbit/s的8通道方式提供了400 Gbit/s的接口速率。

2 需要新的信号光源、调制和探测技术满足带宽需求

2.1 信号光源

数据中心光传输系统与长距离光传输系统不同，由于短距离网络的大规模部署，对成本非常敏感。因此，低成本的光收发器以及强度调制和直接检测已被采纳为主流技术。 在IM-DD系统中，直接调制激光器（DML）、电吸收调制激光器（EML）和MZM是发射机的主要选择。其中，DML具有体积小、输出功率高、功耗低等优势，用作数据中心光互连发射机可以降低部署成本。但是，DML在高速直接调制过程中会有很强的啁啾，导致信号光谱变宽，使得信号在传输过程中更容易受到光纤色散的影响。通常采用光滤波和DML组成啁啾管理激光器（CML）实现对直调信号的啁啾抑制，从而增加输出光信号的消光比，延长光纤传输距离。在数据中心光互連中，接收光功率灵敏度是考核系统的重要指标，较高的接收灵敏度通常需要提高进入光纤的光功率。但当入纤光功率较高时，光线中的非线性效应会导致信号畸变，系统性能会下降。基于DML的直接调制信号的载波直流分量较低，基于EML和MZM的外调制信号光谱具有较强的载波直流分量，外调制信号可以承受的入纤功率低于直接调制信号;因此，DML具有较高的光接收灵敏度。此外，随着数字信号处理（DSP）技术的发展，为了解决调制带宽限制和调制过程中的非线性损伤问题，许多DSP方法被提出用以解决这2种限制，例如判决反馈均衡、非线性Volttera均衡和查找表（LUT）预畸变等非线性补偿方案。

近年来，高速率、低功耗和小尺寸的全硅基电光调制器受到全球广泛研究，它的应用与成熟的互补金属氧化物半导体（CMOS）工艺兼容，便于实现光子、光电子集成。超过100 G 的高速硅光调制器已经有实验报道。北京大学在2019年光纤通信博览会及研讨会（OFC2019）报告了基于马赫-曾德尔结构的传统硅光调制器[18]，结合先进DSP技術，实现了创纪录的200 Gbit/s （PAM4）和 176 Gbit/s （PAM4）传输1千米标准单模光纤;加拿大拉瓦尔大学在OFC2019报告了基于行波电极的两个MZM全硅I/Q调制器[19]，采用先进的DSP技术，实现了100 Gbaud 32 正交振幅调制（QAM）相干接收，传输净速率高达单偏振416.7 Gbit/s。基于硅材料的电光调制器，有望在大容量、大带宽、低成本的数据中心光互连技术的相关方面发挥着重要的作用。

2.2 信号调制

在数据中心高速光互连中，研究先进调制码信号的产生、探测和恢复，可以实现更高频谱效率、更高系统容量。传统的二进制强度调制（OOK）是最简单的调制格式，每个传输符号携带1 bit信息;但随着数据传输速率的提高，其对器件的带宽要求以及对光纤色散匹配的要求也越来越高，已经不再适应发展的需要。随着光电器件的不断发展，多种高价的调制码方案被提出。其中，主流的调制码有脉PAM、CAP和DMT。

（1）PAM技术。PAM4通过4电平幅度调制，每个电平值可以承载2 bit信息，电平从低到高代表00、01、10、11。PAM4格式对系统带宽的要求比OOK降低一半，对色散的容忍性可以比OOK提高4倍，相比于DMT和CAP等高级调制格式，结构简单、易于实施，是目前受到推崇的调制格式。

（2）CAP技术。在发射端，原始数据比特序列首先被映射成复数符号，然后将映射后的符号上采样，以匹配后续的整形滤波器的采样速率。数据上采样后，通过一对正交的整形滤波器得到滤波后的正交信号，将正交滤波器输出相加即可得到调制信号而在接收端，在直接检测后得到的信号，经过模数转换器（ADC）后可采用数字信号处理恢复。CAP技术通过改变同相和正交波形反映所传输的数据流，在实现相同比特传输速率的情况下，CAP信号的符号速率只有PAM信号的一半，以更低的实现复杂度实现相同的传输速率。

（3）DMT技术。DMT技术将传输信道划分为多个相互正交的子信道，根据每个载波的信噪比的不同对每个载波采用不同调制格式，动态地给每个子信道分配信息传输功率和传输比特数，从而可以最大限度地优化信道的频谱效率，确保系统获得最大的传输速率。近年来，概率编码（PS）作为一种新的技术手段，在长距离单载波相干光调制系统中被广泛研究，其能够在一定信噪比下进一步提高频谱效率。此外，PS技术与多种调制码技术相结合的方案，联合偏振复用（PDM）技术，可以进一步提高IM-DD传输系统的容量， 满足数据中心高速光互连的需求。

2.3 信号检测

根据接收端信号的检测方式，可以将光传输系统分为直接检测系统和相干检测系统。针对数据中心内部网络密集、短距离、大规模等特点，IM-DD系统具有低成本、低功耗、小尺寸、结构简单等优点，易于集成在光模块中，是高速光互连的理想选择[20]。直接探测的信噪比与最小可探测功率皆低于相干探测系统，因此在长距离光传输系统中往往采用相干探测。但在数据中心内部，链路距离小于2 km的内部流量占互联网总流量的80%以上，并在近年来保持快速增长，光信号在传输过程中的功率和信噪比损失很小。另外，随着先进DSP技术和前向纠错码（FEC）编解码器性能迅速发展，使得接收端对于接收光信号光信噪比（OSNR）的要求大大降低。综上所述，直接检测系统可以支持短距离光互连系统的高速信号传输，且能降低系统的成本，是当前大规模数据中心光互连网络的首要解决方案。相干检测系统因为具有更高的灵敏度，可以支持大容量光传输系统[21]。然而，与直接检测系统相比，相干技术的灵敏度提高是以附加的本振光（LO）为代价的。单波长下较高的信道速率得益于其更多的调制维度（X和Y极化、同相和正交（IQ）分量），其结构相比于直接检测系统要复杂的多。在传统当数据中心内部光互连中往往采用简单易集成的IM-DD系统。但是，随着速度和带宽密度的增加，能够提供更高灵敏度和信道容量的数字相干检测在不久的将来可能会用于数据中心内部互连应用[22]。

下一代数据中心光互连架构将会从100 Gbit/s升级到400 Gbit/s的速率。并行光传输是数据中心内部通信的重要方式，在满足高速传输需求的同时，与大规模网络架构中的并行数据通道结构相结合，有助于后端数据处理速度的提升。当前主流的PSM4、CWDM4，以及SR4等技术皆为4通道传输。目前，使用4 × 100 Gbit/s PAM4信号的400 G收发器已经被实验证明，并有望在不久的将来实现商业化。图3给出了4 × 100 Gbit/s光传输系统的直接检测与相干检测系统构架。

如图3所示，相干检测系统的结构比直接检测系统更为复杂。它在接收端需要额外的LO与90°混频器，并且需要4个平衡PD以实现X和Y极化方向上IQ分量探测。通过信号的极化复用，这4路信号（IX，QX，IY，QY）可以实现在单路光纤上的传输。而直接检测系统需要4路光纤以来实现4 × 100 Gbit/s的信号传输。

3 中兴通讯取得了领先的研究成果

中兴通讯在基于PAM技术的高速光互连进行了深入的研究。表1总结了2018—2019年中兴通讯在数据中心光互连方面最新研究进展。采用PAM4调制和直接检测技术，利用有限带宽的10 GHz DML调制器，中兴通讯在C波段实现了100 Gbit/s 传输40 km标准单模光纤[23];采用幅度硬限幅的方法，结合PS和PAM8调制格式，利用EML调制器，实现了260 Gbit/s 在C波段传输1 km非零色散位移光纤（NZDSF）[24]。为了减少高速光信号在C波段色散的影响，中兴通讯进一步研究了在O波段传输性能。采用半导体光放大器（SOA）作为预放大器对进入光电探测器（PD）的光信号进行放大，并且利用PS-PAM-8调制信号和外腔激光器（ECL）+MZM调制器，中兴通讯成功实现280 Gbit/s 传输10 km标准单模光纤，这是目前业界单波长超200 G传输的最高记录。此外，中兴通讯利用低复杂度外差相干检测的方式，采用PDM-PAM-4调制信号和MZM调制器，成功实现了200 Gbit/s 在O波段传输20 km标准单模光纤[25]，这种方案避免了I/Q调制器的使用，相关实验结果作为OFC2019 Top scored paper 进行了会议报告。

4 展望

为了满足快速增长的数据中心流量的相关需求，灵活、低成本的400 Gbit/s速率传输成为下一代数据中心互联应用的备选方案。传统的强度调制/直接检测系统由于结构简单和低成本，与相干方案在短距离光互连比较，仍然占据市场主导地位。为了支持400 Gbit/s速率传输，其中一种有前景的方案是使用PAM调制的4×100 Gbit/（s·λ）传输，这种方法可以降低收发机的设计复杂度和能量功耗。相对于基于外部调制的MZM，使用EML 和DML的内调制方案成本较低，设计也更为简单。但是，光电设备的调制带宽限制和调制、解调过程中的非线性损伤问题限制了系统的性能。许多数字信号处理方法被提出用以解决这两种限制。随着数据量井喷式增长，下一代Ethernet正向着800 GbE或者1.6 TbE 演化。这种方案能够减少光源和光电器件的数量，简化传输系统，但是低复杂度高效的DSP还需要我们不断地进行深入研究。