一颗芯片，叫板博通

在现代 AI 服务器中，PCIe 交换机在架构中很常见，因为 GPU 和 AI 加速器需要直接访问本地存储、网络、主机 CPU 甚至其他 GPU。几年前，一家名为PLX 的公司被 Avago 收购，现在它已成为 Broadcom 家族的一部分。在过去十年左右的时间里，基于 PLX 的 PEX PCIe 交换机一直是 GPU 服务器、存储服务器等的行业标准。

现在，Astera Labs Scorpio 系列 PCIe 交换机瞄准了 Broadcom，专注于 AI 市场。

Astera Labs 有两个系列。Astera Labs Scorpio P 系列实际上是一个 4x 16 通道 PCIe 交换机，旨在连接四个设备。CPU、GPU、NIC 和 NVMe 存储。

拓扑结构随着时间的推移而不断发展，但与前几代相比，我们发现单个服务器需要更多的 PCIe 设备，尤其是当 NIC 与 GPU 的比例趋向于 1:1 时。

许多 AI 服务器都采用了这种配置，目前我们看到机箱中使用了大型 Broadcom PCIe 交换机。

Astera Labs 希望借助 Scorpio P 系列，用更小的硅片来处理 CPU-GPU-NIC-SSD 连接，我们很可能会看到这八个硅片部署在服务器上。Astera 认为，通过提供更少的端口和更小的交换机，它将降低复杂性，并使其交换机与通道数约为其两倍的典型 Broadcom 交换机相比具有很强的竞争力。

同样，Astera Labs X 系列也被设计为端口数更高的版本。Astera Labs 的销售重点是直接面向大客户，因此它没有透露端口数。Astera Labs X 系列似乎更适合 GPU 到 GPU 的配置。

PCIe 交换机在 PCIe 和 OAM/SXM 架构中也已经很常见了。在 PCIe 交换机之间实现点对点 (P2P) 通信是 AI 领域的一项重大成就，因为它允许 GPU 直接通过 PCIe 交换机进行通信，而不是通过主机 CPU。

在当今快速发展的人工智能领域，超大规模数据中心面临着巨大的压力，需要满足生成式人工智能应用所需的人工智能数据流的处理需求。人工智能模型正在快速发展，规模庞大，四个主要的 LLM 计划于 2024 年第四季度发布，而 Gemini 1.5 Pro-002 等模型的参数量达到 1.5 万亿，其他模型也将陆续发布。作为参考，OpenAI 于 2022 年发布了基于 GPT-3 架构的 ChatGPT，该模型采用了一个拥有 1750 亿个参数的模型。

下一代 GPU 和 AI 加速器正在快速发展，以满足对计算能力和更高效率的强烈需求。它们每一代都会将 IO 带宽翻一番，新平台的部署也以每年严格的升级周期进行。

Astera Labs 的 Scorpio Smart Fabric Switch 产品组合旨在帮助超大规模企业以前所未有的速度和规模部署云级 AI 平台：

• 利用最高每瓦性能的结构解决方案提高能源效率

• 通过可预测、安全且高性能的数据流提高 GPU 利用率

• 利用 COSMOS 实现正常运行时间最大化，提供前所未有的数据中心可观测性

• 通过灵活的软件定义架构和无缝互操作性缩短上市时间

Scorpio 产品组合包含两条特定应用的产品线——Scorpio P 系列和 Scorpio X 系列——专为 AI 服务器和 AI 集群而构建。

Scorpio P 系列结构交换机是业界首款支持 PCIe 6 的交换机，其架构专为混合流量头节点连接而设计，可跨多样化的 PCIe 主机和端点生态系统进行数据提取。

用于扩展集群的Scorpio X 系列结构交换机旨在提供最高的后端 GPU 到 GPU 带宽，同时利用软件定义的架构进行特定于平台的定制。

Scorpio Smart Fabric Switch 产品组合从头开始构建，旨在解决下一代 AI 基础设施部署的几个关键挑战：

1、通用交换机并未针对 AI 工作负载进行优化。

当今 AI 服务器中使用的 PCI Express® (PCIe®) 交换机需要提供从 CPU、网络和存储到 GPU 或加速器内存的高带宽、低延迟路径。从这些来源流入 GPU 内存的数据称为数据提取。同时，PCIe 交换机需要通过网络接口卡将数据从 GPU 提供到横向扩展网络。

现代 GPU 和加速器经过精心设计，可充分利用平台提供的每一瓦电力。超大规模计算企业需要节能的连接解决方案，以提供不折不扣的性能，同时将尽可能多的电力返回给加速器/GPU。

目前广泛部署的通用交换机面临着多项挑战（如图 3 所示）：

• 严重未充分利用设备中的 PCIe 端口控制器，导致功耗更高

• 与多个 GPU 共享同一个交换核心，导致性能不可预测

• 由于将高速信号传输到更大的设备，导致电路板上的布线复杂，从而产生信号完整性问题

• 需要更长的系统开发周期，从而缩短上市时间

Scorpio P 系列 Fabric 交换机专为 AI 头节点连接而构建，并针对混合流量 GPU-CPU/NIC/SSD 工作负载进行架构设计。上图 3 显示了 Scorpio P 系列解决方案如何提供：

• 通过优化控制器以适应 AI 工作负载，实现更高的每瓦性能

• 通过提供专用交换硬件来预测性能

• 模块化 GPU 对齐设计，提供更简单的高速信号路由、更低的串扰和更好的信号完整性

• 专为 AI 工作负载而设计，可提供最佳性能并加快上市时间

随着行业从以训练为中心的数据中心建设向以推理为中心的数据中心建设（从小型、中型到大型）扩展，我们看到为服务于专门的 AI 工作负载而构建的定制加速器数量不断增加。这些解决方案通常由超大规模企业开发，具有同质性，为在连接性方面进行创新以扩大规模提供了重大机会。

Scorpio X 系列结构交换机专为提供最高的后端 GPU 到 GPU 带宽而设计，并通过其软件定义的架构支持特定于平台的自定义。协议增强、带宽和延迟调整以及扩展的遥测功能方面的创新提供了优化，可以可靠地扩展同构 GPU 或加速器结构，从而为实时洞察提供最佳的直接用户体验，并最大限度地延长正常运行时间，以提高大规模 AI 训练和推理构建的投资回报率。

Astera Labs 的软件定义架构支持开放式结构生态系统，同时为特定应用的 AI 工作负载支持定制的同构 GPU 集群。

随着行业不断将 GPU 和加速器集群从主板上的多个设备扩展到机架中的多个托架，再到数据中心中的多个机架，控制故障影响范围的需求也越来越大。运行作业的加速器集群如果受到组件或连接故障的影响，则需要重新启动，因此，确定故障的确切位置对于最大限度地减少停机时间越来越重要。下图 4 突出显示了一些常见的故障原因。

多年来，超大规模企业一直在部署 Aries PCIe/CXL 智能 DSP 重定时器，以帮助识别此类问题，从而防止故障并确保正常运行时间。当 Scorpio 智能结构交换机部署到这些相同的数据中心时，Scorpio 和 Aries 会携手合作，提供更深层的协议层调试、诊断和遥测。Scorpio 和 Aries 结合起来可以提供前所未有的数据中心可观察性，推动大量遥测，可用于识别连接问题、派遣帮助重新安装电缆，甚至在故障发生之前预测故障，以最大限度地提高服务器利用率和正常运行时间。

在大规模 AI 工作负载增长的推动下，Astera Labs 设计了软件定义的智能连接平台，该平台由高速 IC、模块和电路板以及 COSMOS（连接系统管理和优化软件）组成。

Scorpio 智能结构交换机通过新的 IC 和电路板扩展了智能连接平台。Scorpio 以已集成到客户部署中的 COSMOS 软件套件为基础，提供前所未有的数据中心可观察性、增强的安全性和广泛的设备群管理功能。

当与系统中部署的 Astera Labs 的 Aries PCIe/CXL Smart DSP Retimer 搭配使用时，Scorpio 可提供对 AI 服务器状态和健康状况的无与伦比的洞察。Scorpio Smart Fabric Switches 原生支持 COSMOS，使用 COSMOS for Aries Smart DSP Retimer 的部署可以在 Scorpio Smart Fabric Switches 上无缝部署队列管理，而无需进行额外的软件开发。通过利用链路中两个设备的统一诊断，客户可以识别和修复降级的链路，同时确保最大程度的正常运行时间和可用性。

Scorpio Smart Fabric 交换机通过领先的安全标准（如 OCP、NIST、FIPS 等）利用我们的机密计算支持保护多租户系统。旨在保护传输中的数据、使用中的数据和静态数据。OCP SAFE 认证的不可变代码支持所有固件层的安全启动身份验证和信任链。

推荐阅读