光进入芯片能为高性能计算带来什么？

刘洪

导读

在硅光子学进步的推动下，深度光子学集成已经在某些数据中心应用中证明了其可行性，CPO架构肯定会在数据通信之外的领域继续它的故事。GPT爆火，算力“芯慌”，而数据中心HPC的功率效率也备受关注，据悉共封装器件（CPO，Co-packaged optics）能将功耗降低30%，每比特成本降低40%。真有这样的好事？条件成熟了吗？我们往下看。

CPO市场预期如何？

CPO是将交换芯片和光引擎共同组装在同一个插槽上，形成芯片和模组的共封装（图1）。这样就可以尽可能降低网络设备的工作功耗及散热功耗，在OIF（光互联网络论坛）的主导下，业界多家厂商才共同推出了近CPO器件（NPO）和CPO技术。

根据Yole预测，伴随未来人工智能（AI）的发展，数据通信光学器件一直在增长，2022～2028年其CAGR将为24%，2028～2033年为80%，收入预计将从2022年的3 800万美元增长到2033年的26亿美元。得益于AI/ML设备数据移动的加速，2022～2033年CAGR为46%。其中，CPO将从2022年的600万美元增长到2033年的2.87亿美元，CAGR为69%。

2023年，GPT引发了驱动力和应用范式的转变（图2）。高带宽、每机架高功率预算、HPC新型光链路捉襟见肘。随着从联网（交换）到处理（AI/ML（机器学习））的范式转变，预计2024年将推出首个基于光学I/O的封装内Al系统，而CPO的批量交付预计将在2029年之后。

CPO为何能受到青睐？

CPO受到关注是由于其在数据中心高性能计算的功率效率。由于近年来宏观经济不利，网络应用CPO的大多数支持者已暂停了对CPO项目的支持。其主要原因包括：一是可插拔产品的工业生态系统需要完善：二是可插拔尺寸的集成电光调制器可以实现所需的低功耗，且可在不改变现有网络系统设计的情况下引入市场。

Yole Intelligence光子学和传感部门高级分析师Martin Vallo博士则表示：“在所需的电密度和光密度、热管理和能源效率方面，可插拔尺寸将限制其支持6.4 TB和12.8 TB容量的能力，使用硅光子学技术平台的共封装能够应对上述挑战。”

随着技术的进步，在商业系统中更紧密地集成通信和计算技术的网络硬件组件越来越常见。不过，CPO对AI/ML系统仍保持吸引力。AI模型的规模正在以前所未有的速度增长，传统架构（铜基电互连）的芯片对芯片或板对板能力将成为扩展ML的主要瓶颈。因此，HPC及其新的分散架构出现了新的、非常短的光互连。分散设计将服务器卡上的计算、内存和存储组件分开，并分别对其进行池化。

通过先进的封装内光学I/O技术将基于光学的互连用于xPU（CPU、DPU、GPU、TPU、FPGA和ASIC）、内存和存储器，以实现必要的传输速度和带宽。

另外，未来数十亿光学互连（芯片、电路板）的潜力正在推动大型代工厂为大规模生产做准备。由于大多数光子制造lP由非代工公司（AyarLabs、Ranovus、思科、Nvidia、Marvell、Lightmatter和许多其他公司）持有，Tower Semiconductor、GlobalFoundries、ASEGroup和三星等大型代工公司正在准备硅光子工艺流程，以接受设计公司的任何PIC架构。所有这些代工厂都在加入PCle、CXL和UCle等行业联盟。

小芯片（chiplet）互连的通用规范允许构建超过最大掩模尺寸的大型片上系统（ SoC）封装。这有助于在同一封装内混合来自不同供应商的组件（图3），并通过使用较小的片芯来提高制造产量。每个小芯片可以使用适合特定器件类型或计算性能／功耗要求的不同硅制造工艺。

对快速增长的训练数据集的预测表明，数据将成为扩展ML模型的主要瓶颈，因此，AI的进展可能会放缓。在AI/ML设备中加速数据移动是下一代HPC系统采用光学互连的主要驱动因素，在ML硬件中使用光学I/O有助于应对数据的爆炸性增长。怎样重拾CPO？

事实上，在过去50年里，每10年都会有一次移动技术创新。移动带宽需求已经从语音通话和短信发展到超高清（UHD）视频和各种增强现实／虚拟现实（AR/VR）应用。尽管疫情对电信基础设施供应链产生了较大影响，但全球消费者和商业用户不断对网络和云服务产生新的需求。社交网络、商务会议、UHD视频流、电子商务和游戏应用将继续推动增长。

每个家庭和人均连接到互联网的设备数量正在增加。随着功能和智能不断增强的新型数字设备的出现，每年的采用率都在上升。此外，不断扩展的机器对机器应用，如智能电表、视频监控、医疗保健监控、连接驱动器和自动化物流，极大地促进了设备和连接的增长，并推动了数据中心基础设施的扩张。

由于预算削减，CPO社区处于困难时期，只有在可插拔设备精疲力竭时CPO的全面部署才会发生。至少在接下来两代交换机系统中，CPO很难与可插拔模块竞争，在很长一段时间内可插拔模块仍将是首选。由于在数据中心中的网络功率效率，CPO最近受到了很多关注。思科、Meta、IBM、英特尔和微軟等行业重量级公司一直在努力推动CPO;博通、GlobalFoundries、Marvell、Quanta Cloud Technology等公司也加入了进来。

分析表明，与数据中心总功耗相比，联网节省的功耗可以忽略不计。只有博通、英特尔、Marvell和其他CPO公司会将专有解决方案推向市场。

随着6.4 TB光学模块最晚在2029年到来，CPO和可插拔光学器件之间可能发生激烈的竞争，预计CPO系统中的多个技术障碍将在此时得到解决。不过，收发器行业正在不断创新，以推动可插拔光学器件市场扩张。在CPO系统实现网络应用的批量交付之前，将在可插拔设备中使用CPO方法，且光学引擎将在高性能计算的未来系统中越来越受欢迎。行业生态系统，包括Ayar Labs、Intel、Ranovus、Lightmatter、AMD、GlobalFoundries和其他围绕机器学习（ML）系统供应商Nvidia和HPE，已经取得了相当大的进展，计划在2024～2026年间批量交付产品。

光子集成电路可以实现高功率和成本效益的光学互连CPO，可以预计，800 GB和1.6 TB可插拔模块将备受欢迎，因为它们具有100 GB和200 GB单波长光学器件的优势，因此可以在QSFP-DD和OSFP-XD尺寸中实现技术和成本效益。

光纤距离芯片组也越来越近，用光将数据引入集中处理点是架构设计师的主要目标之一。这一趋势始于10年前安装在PCB上的光学组件专有设计。这些嵌入式光学互连（EOI）的想法在板载光学联盟（COBO）中得到了延续，其制定的规范允许在网络设备制造中使用板载光学模块。

CPO是一种创新方法，可以将光学器件和交换机ASIC紧密结合在一起。由于在50 TB交换芯片中使用16个3.2 Tbps光学模块是当今技术的挑战，NPO通过使用高性能PCB基板（一种内插器）解决了这一问题。NPO内插器更宽，使芯片和光学模块之间的信号路由更容易，同时仍能满足信号完整性要求。相比之下.CPO能以更低的信道损耗和更低功耗使模块和主机ASIC更接近。

运营商喜欢怎样的方案？

如今，光可插拔模块市场供应链已经完善，包括分立或集成组件供应商、生产发射器和接收器光学组件（TOSA和ROSA）、多路复用器、DSP和PCB的光学公司以及组装／测试集成商。此外，一个交换机盒中多个不同可插拔模块的互操作性有助于提升行业的灵活性。高度集成的光学器件和硅片非常需要新的工程能力和代工厂，这对于传统的中型企业来说是不可接受的。只有价值数十亿美元的光学供应商才能负担得起从可插拔产品转向CPO的费用。

需要指出的是，尽管主流部署了主要针对大型云运营商的CPO解决方案，但仍有许多小型企业数据中心未采用最新的互连技术。这意味着即使CPO成为主流技术，可插拔模块仍将对CPO在技术或经济上不可行的几个应用（如长途應用和边缘数据中心）有很高的需求。预计可插拔技术在未来10年内不会逐步淘汰。不过，可插拔光学行业可能会整合，而CPO市场将形成多供应商商业模式。

市场调研公司CIR表示，数据中心CPO的部署将在很大程度上受到交换演进的驱动，到2025年，将达到102.4 Tbps。CIR表示，与使用可插拔光学器件相比，CPO可以将功耗降低30%，每比特的成本降低40%。

在组件层面，与前板可插拔产品（FPP）相比，CPO具有潜在的经济效益，如图4所示。例如，正如Ranovus董事长兼CEO Hamid Arabzadeh所说：“成本是一个关键因素，因为不需要PAM4 lC定时器，不需要时钟和数据恢复（CDR）芯片和其他FPP项目也可能带来节约。”

串行器和解串器（SerDes）链路是CPO的热门话题。Martin Vallo博士认为，224 Gbps数据速率的标准化SerDes链路是使CPO成为主流的必备条件之一，可以通过多种链路类型提供信号，包括片对片（D2D）、芯片到芯片、芯片到模块（C2M）、中距离芯片到芯片（MR）和长距离芯片到片（LR）。

与此同时，思科和OIF成员Jock Bovington强调，共封装的好处之一是降低整体功耗。“采用共封装时——无论是在同一基板（ CPO）上还是在高密度中间层（HDI）基板（NPO）上——通道的损耗都会大幅减少，能够使用明显更低功耗的SerDes，如XSR（10 dB）或XSR+（13 dB）。OIF开发了2种类型的电气接口。”

写在最后

2020年，开始出现了第一批CPO概念验证并创建了规范。4大超大型云运营商中的2家——Meta和微软积极支持CPO融入云网络中。

2022年，交付了数千台CPO引擎进行试点测试。2023年，尽管遇到一些宏观经济逆风，将对预算密集型项目产生负面影响，但在硅光子学进步的推动下，深度光子学集成已经在某些数据中心应用中证明了可行性。CPO架构也肯定会在数据通信之外的领域继续它的故事。