1. 背景

一句话理解：传统云网络为"多租户、南北向、可丢包"设计，而 AI 训练是"单作业、东西向、同步屏障内的大象流集合通信"——一次丢包、一条慢链路、一个哈希极化，都会被同步屏障放大成全集群的等待。

版本现状（2026-10）：scale-up 侧 NVLink 5（GB200 NVL72，72 GPU 单域）已量产、Rubin NVL144（NVLink 6，3.6 TB/s）预计 2026 年下半年交付，UALink 200G 1.0 规范已发布（2025-04）但尚无量产芯片，NVLink Fusion（2025-03 GTC）向第三方 CPU/加速器开放 NVLink 生态；scale-out 侧 InfiniBand 进入 XDR 800G 时代（Quantum-X800），RoCE 出现 Spectrum-X（以太网 AI 化）与 UEC 规范（1.0 于 2025-06 发布，1.1 于 2026-10 发布）两条进化线，102.4T 交换芯片（Broadcom Tomahawk 6、NVIDIA Spectrum-6）与 CPO 硅光交换机（Spectrum-X/Quantum-X Photonics）开始落地。

1.1 AI workload 的流量特征：与传统云网络几乎是反着的

看两个对比图。传统云（Web 服务）的网络流量：

用户 ──请求──▶ LB ──▶ 前端 ──▶ 微服务A ──▶ 微服务B ──▶ 数据库
                    （南北向为主，流多而短，时延敏感但可容忍抖动）

AI 训练（数据并行 all-reduce）的网络流量：

        ┌──────────────── 同步屏障 ────────────────┐
 rank0 ──┤ all-reduce ▶▶▶▶▶ 全员同时收发 ▶▶▶▶▶      ├─┐
 rank1 ──┤ all-reduce ▶▶▶▶▶ 全员同时收发 ▶▶▶▶▶      ├─┤ 一步都不能少
  ...   ─┤ ...                                        ├─┘ 有人慢全员等
 rankN ──┤ all-reduce ▶▶▶▶▶ 全员同时收发 ▶▶▶▶▶      ├
        └──────────────────────────────────────────┘
        （东西向为主，流少而大，全员同步，丢包=全员超时重试）

两者的设计目标逐项对比：

维度	传统云网络	AI 训练网络
流量方向	南北向（用户→服务→存储）为主	东西向（GPU↔GPU）为主
流特征	大量短流（老鼠流），流量易预测性差	少量周期性大象流（每次 all-reduce 数百 MB 到数 GB）
丢包容忍	高：TCP 重传，应用无感	极低：RDMA 要求无损或快速重传，丢包导致 QP 出错、NCCL 挂起
延迟敏感度	平均延迟重要	尾部延迟决定一切（同步屏障取最慢者）
热点模式	突发难预测	高度可预测的 incast：all-reduce 汇聚、all-to-all 扇出
规模语义	一台服务器降速只影响自己	一个 rank 降速拖累整个 Job（数千卡一起等）
带宽需求	25/100G 足够大多数场景	400G 起步，800G 普及中，1.6T 在路上

Meta 在 2024 年的实践给了这组矛盾一个量化的注脚：两个 24,576 卡 H100 集群刚建成时，大集群性能只有理想值的 10–90%（小集群调好后能到 90%+），原因是三个——拓扑感知调度缺失、网络路由不合理、NCCL 算法不匹配——修复后才恢复到 90%+ 区间。也就是说，同样的硬件，网络侧没调好就能让数千张卡白等一半的时间。

1.2 AI 训练对网络的四个本质需求

需求一：带宽，而且是"全员同时打满"的带宽

单看数字：一次 70B 参数模型的数据并行梯度同步，每 rank 每 step 要发送约 2*(N-1)/N × 70GB ≈ 140GB。若 step 时间预算是 30 秒，通信要压在 3 秒内完成，需要的有效带宽是 140GB×8 / 3s ≈ 373 Gbps——这还没有算 TP/EP/CP 的通信。这就是为什么训练网卡从 100G 一路升到 400G/800G，而且是"每 GPU 一块高速 NIC、多轨（rail）并行"的设计：8 卡节点配 8 块 400G 网卡（阿里 HPN、腾讯星脉都是这个形态），单机聚合 3.2T。

需求二：尾部延迟，同步屏障把一切平均数变成最慢值

同步数据并行的 step 时间近似：

step_time ≈ compute + max_over_ranks(comm_rank) + barrier 开销

只要有一个 rank 的通信慢 10%，全集群就慢 10%。更糟的是慢源会漂移：哈希极化让某个上联周期性打满、光模块误码让某条链路降速重传、某台交换机的缓冲区被别的流占满——平均带宽达标毫无意义，P99.9 带宽才作数。这也是 AI 训练网络坚持无阻塞（full bisection）拓扑的原因之一：有收敛比的拓扑意味着"某些通信模式必然排队"，而同步通信下排队直接变成全员等待。

需求三：无损语义（或等价的快速恢复）

RDMA 的设计假设是网络不丢包：IB 的链路层基于 credit 机制天然无损；RoCE 把 RDMA 搬到以太网上，就必须靠 PFC（Priority Flow Control）把有损以太网改造成"逻辑无损"——代价是 PFC 可能风暴、可能死锁、会造成队头阻塞。丢一个 RDMA 包，轻则 QP 超时重传（毫秒级停顿），重则 NCCL 通信器整体报错。Google 的 Falcon 走了第三条路：允许丢包，但用硬件传输层做快速重传与时延感知拥塞控制，把"无损"从链路层移到传输层（详见第 6 章）。

需求四：规模化的故障域管理

规模本身就是敌人。NSDI'24 的 Google TPU 数据：每天约 0.08% 的训练机器、0.005% 的 ICI 链路、0.04% 的 OCS 出故障；Meta 把"硬件网络线缆故障"列为最常见的故障模式之一，且集中出现在服务器服役早期。一个 2 万卡集群每天出十几起网络硬件事件是常态，fabric 必须能自动隔离故障链路、Job 必须能快速重调度，否则有效训练时间会被故障吃光。

1.3 为什么传统数据中心网络设计不够

传统云网络的三个惯用设计，在 AI 集群里都会翻车：

ECMP 哈希负载均衡。 传统思路："流足够多，哈希自然会均匀。"但 AI 训练是"少量周期性大象流"：阿里 HPN 论文（SIGCOMM'24）观察到 LLM 训练每主机只产生约 400Gbps 的少量突发流，ECMP 哈希在这些流上出现严重的哈希极化（hash polarization）——多级交换机用同一哈希函数，多条大流被连续选到同一条路径，上联带宽被打满而其他路径空闲。HPN 的解法是双平面架构把路径选择空间从哈希里拿出来；更普遍的做法是自适应路由（见 5.3）。

收敛比（oversubscription）。 传统云网络 3:1 收敛是常态（成本考虑）。但 AI 训练的 all-to-all/EP 流量在最坏情况下要求任意对主机间同时满速——收敛比直接变成 step 时间的乘数。所以 AI 训练 fabric 普遍要求 1:1 无阻塞（full bisection bandwidth），成本问题改用拓扑创新（rail-only、双平面）而不是收敛比来缓解。

尽力而为 + 软件重试。 云网络靠 TCP 重传兜底。RDMA 路径上重传是毫秒级的灾难，所以训练网必须"不丢或快恢复"。这催生了 PFC/ECN/DCQCN 一整套无损机制，也催生了 IB 这种从物理层就按无损设计的协议。

1.4 推理 workload 的流量特征：与训练不同的一套约束

训练网络讲得多，但推理（serving）的网络问题同样真实，且约束不同：

维度	训练	推理
流量主体	集合通信（all-reduce/all-to-all）	请求/响应（南北向）+ 节点内 KV Cache 移动
时延预算	step 级（秒）	token 级（10–100ms），P99 直接是产品体验
同步性	全员同步屏障	请求间独立，但同请求内串行（自回归）
多机通信	DP/TP/PP/EP	多机 TP（大模型单机放不下）、PD 分离跨机传 KV

两个推理特有的网络热点：

1. PD 分离（Prefill/Decode 分离）：prefill 节点算完 KV Cache 后要传给 decode 节点，一次请求的 KV 量可达数百 MB（长上下文）。这套"KV 搬运"流量大、对尾延迟敏感，正在催生专用的 KV 传输层（如 NIXL、Mooncake 的 KVCache-centric 架构，见 vLLM/SGLang 主题）。
2. 多机 TP 推理：单实例放不下的大模型用 TP8/TP16 跨机部署，机间走 NVLink（NVL72 域内）或 IB/RoCE，token 生成的每一跳都过 all-reduce——推理集群的机间带宽直接换算成单 token 时延。

本主题后续章节以训练 fabric 为主线（训练是网络需求的最强形式），推理场景在第 4、8 章会单独标注差异。

1.5 带宽演进：十年走完五个数量级

2015  Pascal DGX-1      机间 100G IB EDR      机内 NVLink1 160GB/s
2018  V100 DGX-2        机间 200G IB HDR      机内 NVSwitch 300GB/s
2020  A100              机间 200G HDR/NDR     机内 NVLink3 600GB/s
2022  H100              机间 400G NDR         机内 NVLink4 900GB/s
2024  GB200 NVL72       机间 800G XDR         机内 NVLink5 1.8TB/s × 72 GPU 单域
2025  Spectrum-X Photonics / Tomahawk 6       102.4T 芯片 + CPO 硅光上路
2026  Rubin NVL144(规划) 机间 1.6T 起步        机内 NVLink6 3.6TB/s（[规划口径]）

注意两条线的节奏：scale-up 带宽（机内）始终领先 scale-out（机间）一个身位——这正是下一章"二分法"的物理基础。这个差距也解释了为什么并行策略的第一原则永远是"能放在机柜内的通信，绝不出机柜"。

1.6 成本视角：网络是集群里第三贵的部件

一个 GPU 集群的账单大致是：GPU 占 70–80%，网络（交换机 + 网卡 + 光模块/线缆）占 10–15%，服务器其余部分（CPU、内存、存储）占 10–15%。但网络是单位算力成本弹性最大的部分：

• 光模块/线缆（AEC/DAC/光纤）是网络 bill of materials 的大头，且速率每翻一倍，单位比特成本下降但单端口成本上升——800G 光模块的价格决策会影响整柜设计（能用电学直连的绝不拉光纤）。
• 无阻塞 vs 有收敛，直接是交换端口数量翻倍与否的差价。
• 网络选错或调差的隐性成本更高：Meta 的 10–90% 利用率案例意味着同一份 GPU 账单只买到一半的有效算力。

这解释了为什么第 2 章的 rail-only、双平面等"省交换机"创新如此受追捧——在 GPU 账单面前，网络省的每一个百分点都是净利润。

1.7 本章小结

传统云网络假设	AI 训练现实	设计回应（后文展开）
流多且小，哈希能均摊	少量周期性大象流，哈希极化	自适应路由、双平面、rail 设计（第 3、5 章）
有收敛比也能用	all-to-all 要求任意对满速	无阻塞 fat-tree / rail-only（第 2、3 章）
丢包了 TCP 重传	RDMA 丢包 = 通信器故障	PFC/ECN/DCQCN、IB credit、Falcon 快恢复（第 5、6 章）
单机降速影响有限	一个 rank 慢全员等	尾部延迟工程、遥测与故障域（第 5、8 章）
25/100G 够用	400G 起步、800G 普及	800G/1.6T 与 CPO 演进（第 8 章）
网络按峰值流量配	推理 P99 即体验、训练屏障取最慢	尾延迟与 KV 传输工程（第 4、8 章）

下一章进入 AI 集群网络的核心思想：scale-up/scale-out 二分、带宽时延比、以及"有损/无损/第三条路"的路线之争。

参考来源

• Meta Engineering：Building Meta's GenAI Infrastructure（24k 双集群、10–90% → 90%+ 调优）
• Meta Engineering：How Meta trains large language models at scale（线缆故障、并行-拓扑映射）
• NSDI'24：TPU v4 生产环境可靠性（PDF）（每日故障率 0.08%/0.005%/0.04%、可用性 99.98%）
• Alibaba HPN（SIGCOMM'24）（400Gbps 级大象流与哈希极化）