随着 Muse 系列基础模型近期的发布，我们希望带您深入了解让这一切成为可能的基础设施。
Prometheus 的第一阶段——我们的吉瓦级超级集群——已经完成，我们正努力将其扩展至包含 ~100 万块 GPU。
Prometheus 还采用了闭环液冷等技术，以帮助其高效运行。
现在，在俄亥俄州新奥尔巴尼，Meta 正在推进其迄今为止最具雄心的 AI 基础设施项目。Prometheus 是我们的吉瓦级超级集群，是我们基础设施的一项进步，正在训练下一代基础模型，这些模型将为数十亿人带来全新的 AI 体验。
两年前，New Albany 还是一个运行网络流量的常规数据中心站点。随着硬件、网络和建筑设计的进步，我们重新改造了这个站点，使其成为前沿模型训练项目的所在地。我们正在分阶段建设这个超级集群。第一阶段已经完成，并已用于训练我们的 Muse 基础模型，包括 Muse Wonder 模型——这是我们新的前沿模型，在个人和专业智能体任务上实现了最先进的性能。
大型训练作业需要一切以最优状态运行才能维持其性能；单台主机上的问题就可能拖慢或停止整个作业，降低其“有效吞吐率”。通过专注于提升系统的稳定性和可靠性，我们使 Muse Wonder 的预训练运行实现了超过 85% 的有效吞吐率，强化学习（RL）运行实现了超过 90% 的有效吞吐率。在这些训练运行期间，我们实现了约 4.7 万 GPU 小时的整体挂钟平均中断间隔（MTBI）。此后，我们已在整个机群中实施了进一步变更，包括固件修复，将 MTBI 提升至超过 5.4 万 GPU 小时，并且我们还在不断改进它。
现在，我们正继续扩展 Prometheus，同时将来自 Meta Superintelligence Labs 的下一代前沿模型纳入考量。
https://engineering.fb.com/wp-content/uploads/2026/10/AIM-1210-Superclusters_Video_v1.mp4
Prometheus 超级集群部署在 Meta 位于俄亥俄州新奥尔巴尼的数据中心。
超级集群：解锁全新 AI 能力
如今，Prometheus 由分布在多座互连建筑中的数十万块 GPU 组成，其中包括传统数据中心建筑、面向 AI 优化的数据中心建筑以及快速部署结构，所有这些都通过数英里长的光纤紧密互连，并作为一台单一机器运行。
这种能力使我们能够追求比以往实际可行的规模更大的模型和更长的上下文窗口。在完整规模下，Prometheus 将包含大约 100 万个分布式 GPU，全部同步一致地运行。
多代 AI 硬件
Prometheus 目前部署了两个 NVIDIA GPU 平台，第三个（基于 NVIDIA Vera Rubin NVL72）即将到来。每个平台都代表着性能与效率的代际跃升，依托我们的 NVL72 机架架构，其中 72 个 GPU 在同一网络结构内作为单个加速器运行。
Catalina：NVIDIA GB200
我们的首个平台 Catalina 采用 NVIDIA GB200 NVL72。我们部署的是 Ariel 变体，这是一种双机架配置，其中每个机架有 36 个 GPU，通过 NVLink 互连，形成一个统一的 72-GPU 域。与 Grand Teton H100 相比，Catalina 在原始计算能力和内存容量方面有所提升。它采用我们的 Open Rack V3 (ORv3) 高功率机架 (HPR) 结构，这是一种贡献给 Open Compute Project (OCP) 的开放硬件设计。
GB200 NVL72 的 Ariel 变体以 1:1 的 CPU 与 GPU 比例，将每块 NVIDIA Blackwell GPU 与一颗 NVIDIA Grace CPU 和 2 个 NVIDIA ConnectX-7 400G NIC 配对，使我们能够比业内其他公司更早地为每块 GPU 部署 800G I/O。我们选择 Ariel，是因为相对于 NVIDIA H100，GB200 NVL72 几乎在所有其他维度上都实现了扩展：FLOPS、HBM 带宽、纵向扩展带宽和纵向扩展域大小，而每块 GPU 的横向扩展带宽原本会停留在 400G。我们预计这种不平衡会损害性能，因此选择了一种为每块 GPU 提供 800G 横向扩展带宽的配置。随着区域逐步扩展以及 800G 横向扩展变得可用，这也让我们在规格上更加统一。
https://engineering.fb.com/wp-content/uploads/2026/10/AIM-1210-Superclusters_GB200_GIF_v1.mp4
Catalina GB200 NVL72 具有以下特点：
72 块 NVIDIA Blackwell GPU，配备 13.4 TB 的 HBM3e（每块 GPU 192 GB）。
720 PFLOPS 的 FP8 训练算力峰值（FP4 下为 1,440 PFLOPS）。
域内 130 TB/s 峰值 NVLink 带宽。
576 TB/s 峰值聚合内存带宽。
~120 kW，双机架对的系统总功率。
克莱门特：NVIDIA GB300 NVL72
我们的第二个平台 Clemente 迁移至 NVIDIA GB300 NVL72，并在 GPU 和平台层面均较 Catalina 有所提升。GB300 将每 GPU 的 HBM 容量提升 1.5 倍，从 192 GB 增至 288 GB，密集 FP4 吞吐量提升类似幅度，同时将注意力（softmax）加速大约翻倍。在平台层面，横向扩展不再是 GB200 NVL72 上的限制：NVIDIA ConnectX-8 SuperNIC 原生提供每 GPU 800G，因此我们早期在 Ariel 上部署的能力成为基线。再加上 2:1 的 GPU 与 CPU 比例，使 Clemente 能将完整的 72-GPU 域装入单个机架，简化我们的物理部署。Clemente 可搭配我们的模块化空气辅助液冷（AALC）部署，或在我们新设计的数据中心中使用设施液冷（FLC）。可维护性也大幅提升，线缆更少。
https://engineering.fb.com/wp-content/uploads/2026/10/AIM-1210-Superclusters_GB300_GIF_v1.mp4
Clemente GB300 NVL72 具备以下特点：
72 块 NVIDIA Blackwell Ultra GPU，配备 20.7 TB 的 HBM3e（每块 GPU 288 GB——比 GB200 多 50%）。
超过 1 exaFLOP 的峰值 FP4 算力。
130 TB/s NVLink 峰值带宽（每 GPU 1.8 TB/s 双向）。
~135 kW 机架功率。
相比 GB200 NVL72 性能提升 5-10%。
连接超星系团
在传统 Web 服务中，数据中心网络在服务之间传输请求和响应，这些服务的实例通常不需要高带宽、高性能，也不需要跨多台服务器进行紧密的锁步协调。大规模 AI 训练则需要所有这些，这意味着连接它们的网络现在已成为 AI 工作负载的重要组成部分。为最好地解决这一问题，除了连接服务器的标准数据中心网络外，几年前我们还添加了一个 基于以太网的专用第二数据网络，称为后端（BE）网络，以便在数据中心建筑内部和跨建筑实现直接的 GPU 到 GPU 通信。
大型预训练作业将训练划分为数据并行模型副本，在网络使用上形成层次结构：对延迟敏感和对带宽敏感的操作集中在单个副本内，而对更高延迟和更低带宽更容忍的流量则在副本之间调度。我们的网络旨在匹配这种层次结构：建筑内部采用低延迟、高带宽的网络结构，并用聚合网络连接各建筑内的网络结构。
我们与 Meta Superintelligence Labs 紧密合作，确保并行设计、流量模式以及通信算法和软件得到优化，以最大限度地减少任何网络通信的暴露。这使 GPU 尽可能保持忙碌，而不会因等待网络而空闲。
Meta 团队在过去几年中已将这些网络概念应用于此前建筑级的 24K GPU 集群和我们区域级的 10 万+ GPU 集群，并在 Prometheus 中将其提升到了新的规模和距离水平。
网络架构
在建筑层面，每个基于以太网的网络架构通过高带宽、低延迟的多层拓扑最多互连 20,736 个 GPU。我们的初始设计使用解耦式调度网络架构（DSF）来缓解由训练集合通信造成的网络拥塞，这类通信通常具有少量大型、长寿命的网络流，而这些流在传统负载均衡技术下会发生冲突；DSF 通过利用子包级多路径路由和网络架构中的数据包重排序，以及虚拟输出队列和基于信用的端到端流控来实现这一点。
随着以太网 NIC 技术的进步，使得在端点进行数据包重排序成为可能，我们得以升级到非调度架构（NSF），采用浅缓冲 51.2T 以太网交换机，例如支持动态负载均衡的 Minipack3，以及基于 NVIDIA Spectrum-4 交换机 ASIC 的 Minipack3N，其在 ConnectX NIC 上采用 NVIDIA 自适应路由。DSF 和 NSF 均基于 Meta 的 FBOSS 网络栈，这使我们能够控制并快速迭代和优化 Prometheus 中的网络架构，并获得大规模运营这些集群的可见性。
聚合
后端聚合（BAG）网络是一个多层中心辐射型网络，连接 Prometheus 集群中各楼宇级 fabric，跨度从 2 公里到 100 多公里。它采用运行深度缓冲 Broadcom Jericho3 芯片的 Arista 7800 系列机箱构建，每个区域对可提供数 Pbps 的带宽。
在这个网络上运行预训练需要与 Meta Superintelligence Labs 进行专门的优化工作，以确保训练不会被拖慢，尤其是考虑到在这些距离上的光速限制。
综合来看，Prometheus 网络的复杂性涉及数百万英里的光纤、数万台交换机和数百万个光模块——从建筑物内部使用的 2×400G FR4 LITE 短距、低成本可插拔光模块，到用于超过约 10 公里链路的 800G-ZR 相干光模块。
每个层级的工程可靠性
在 Prometheus 的规模下，每个组件都需要进行可靠性监控。任何地方出现单个故障都可能使整个训练作业停止，并浪费宝贵的计算资源。
在这一层面维持可靠性，需要与 NVIDIA 建立一种超越传统供应商关系的协同工程模式。双方团队深度嵌入我们的数据中心，共享实时遥测数据，并开展联合故障分诊会议，按根因拆解每一次系统停机。
这种以归因为驱动的责任模型确保双方专注于有针对性的改进。Meta 负责优化调度和基础设施，NVIDIA 则处理固件、信号诊断和内存管理。这种透明度消除了歧义，并推动两个组织更快修复问题。
72-GPU 故障域
从 H100 代的 NVL8 架构过渡到 NVL72，从根本上重新定义了我们实现基础设施韧性的方式。在 NVL8 时代，scale-up 域——为张量并行而通过 NVLink 紧密耦合的一组 GPU——被限制为 8 个单元。在 NVL72 中，该域扩展到 72 个 GPU，使故障爆炸半径增加 9 倍。
更大的 scale-up 域赋予 NVL72 带宽优势，但也使 72-GPU 机架成为我们规划容量时围绕的分配单元。训练并行性最高效地映射到 2 的幂组大小上，因此每个 NVL72 域运行一个 64-GPU 切片，并将剩余 8 个 GPU 保留为机架内备件。当某个 GPU 发生故障时，备件会立即顶替其位置，因此作业从上一个检查点重启，而不是等待硬件维修，机架仍留在作业中。机架内冗余将有效机架故障率压低到由可能移除整个 pod 的故障所设定的下限；对于更罕见的整机架故障，我们额外保留约 2% 的机架作为备用。对于 32,768 个活跃 GPU 的训练运行，这意味着要配置 523 个 NVL72 机架，即 37,656 个 GPU，比活跃占用规模高约 13%。这一余量中的大部分（11%）来自 64/72 切片几何结构，而不是绝对的可靠性成本。
物理复杂性进一步加剧了这些可靠性要求。单个 NVL72 域包含 5,184 条工作速率为 200 Gbps 的调谐差分对信号链路，每条链路都经过多个潜在故障点，包括 GPU SerDes、计算托盘 PCB、线缆盒和交换机托盘接口。在这种密集互连结构上、以每通道 200 Gbps 保持一致的信号完整性，是在这一规模下前所未有的工程挑战。
故障恢复
故障恢复解决的是我们如何对故障做出反应，以尽量减少对训练时间的影响。根据故障的范围（即影响区域），我们通过两种机制处理：
并行感知容错（PAFT）：当故障可以隔离到某个数据并行模型副本时，我们通过允许单个故障副本下线来降低硬件故障的影响，同时剩余集群重复该步骤并继续进行有效训练。受影响的切片只需在可用备用主机上重启并重新同步，从而将潜在的整个系统停机转化为总吞吐量的轻微、暂时下降。
检查点：当故障影响区域大于一个数据并行模型副本时，整个作业会重启回到上一个检查点；频繁检查点可减少这些事件中丢失的工作量。我们的分布式检查点架构异步地将模型状态——包括梯度和优化器数据——保存到多层存储。我们使用增量检查点和内存暂存，确保这些保存在对训练吞吐量影响最小的情况下完成。
这两种故障恢复机制与一种备用策略相结合，该策略利用机架内预分配的备用 GPU 托盘以及备用机架，以尽量减少启用替换硬件的时间，并减少因硬件故障而丢失的工作量
系统性减少中断
在训练前沿模型时，基础设施可靠性需要超越简单可用性的视角。根本挑战在于在不频繁系统停机的情况下保持训练势头。在 Prometheus 中，我们将中断定义为任何迫使作业暂停并启动恢复周期的故障——从 GPU 硅片缺陷和网络结构异常，到存储瓶颈或热限制。