11. 延伸阅读

按"先官方、再论文、后报道"的顺序读；带 [未完全验证] 标记的条目以官方仓库/后续披露为准。

官方文档与规范

NVIDIA

• NVIDIA Networking 产品总览（Spectrum-X / Spectrum-XGS / Photonics、Quantum InfiniBand 的定位）
• Quantum-X800 XDR 集群文档（QM3400/Q3200、ConnectX-8、SHARP v4、两层 fat-tree 10,368 端点）
• Q32xx/Q34xx XDR 交换机规格
• NVIDIA NCCL 文档与源码（环境变量、transport、拓扑搜索）

开放规范

• Ultra Ethernet Consortium 与规范历史（1.0：2025-06-11；1.0.2：2026-01-28；1.0.3：2026-07-16；1.1：2026-10-12）
• UALink Consortium；UALink 200G 1.0 发布稿（2025-04-08）；2026-04 四规范更新（The Register）
• OCP Falcon 传输仓库
• IEEE 802.3 以太网标准族（802.3df 800G；802.3dj 1.6T/200G-per-lane 时代）

论文（按主题）

流量与并行策略

• DCQCN: Congestion Control for Large-Scale RDMA Deployments（SIGCOMM'15）
• Rail-only: A Low-Cost High-Performance Network for Training LLMs（arXiv 2307.12169）（38–77% 成本节省）
• Characterization of Large Language Model Development in the Datacenter（arXiv 2403.07648，Meta Acme 集群 trace）

拓扑与生产 fabric

• Alibaba HPN（SIGCOMM'24）（15,072 GPU/POD 双平面两层、双 ToR、+14.9%）
• Alibaba Stellar: A New Generation RDMA Network for Cloud AI（SIGCOMM'25）
• TPU v4: An Optically Reconfigurable Supercomputer（ISCA'23，含 OCS/3D-torus）；NSDI'24 TPU 可靠性（PDF）（0.08%/0.005%/0.04% 日故障率）

传输层新路线

• Falcon: A Reliable, Low Latency Hardware Transport（SIGCOMM'25）
• Deadlocks in Datacenter Networks: Why Do They Form, and How to Avoid Them（SIGCOMM'16）（PFC 死锁理论）

一手发布与工程博客

• Meta：Building Meta's GenAI Infrastructure（2024-03）（24k 双集群、10–90% → 90%+）
• Meta：Training large language models at scale（2024-06）
• NVIDIA Newsroom：Spectrum-X × xAI Colossus（2024-10）（100k→200k H100、95% 吞吐）
• 腾讯星脉 2.0 发布（C114，2024-07）（51.2T 自研交换、400G 硅光、TiTa 2.0、灵境）
• Broadcom Tomahawk 6 发布（2025-06）
• NVIDIA GTC 2025 要点（SemiAnalysis）（NVL144/Rubin、CPO、NVLink Fusion）
• OpenAI MRC 协议报道（PANews） [公开报道口径，细节以 OCP 为准]

手册内回链

基础原理（建议先读）

• 计算机网络——RDMA/RoCE/IB/fat-tree/OCS 的通用原理与本主题的分工
• 分布式系统基础——并行策略与同步屏障的语义来源
• GPU 架构与 CUDA——NVLink/NVSwitch 的硬件载体、GPUDirect 的前提

云原生相邻主题

• GPU 调度与资源管理——拓扑感知调度、Gang 与"轨"选择
• CNI / CSI 深度——K8s 多网卡、RDMA 设备插件化
• Kubernetes——控制面与多租户隔离

上下游主题

• vLLM / SGLang——多机 TP/PD 分离的通信模式
• AI SRE——网络 SLI、灰度故障与 MTTR 的观测闭环

案例研究（量化实践）

• xAI——Spectrum-X 95% 吞吐的对照口径与建设速度
• Google——Falcon/Jupiter OCS、ICI 拓扑、Virgo 网络
• DeepSeek——多平面拓扑与节点受限路由的训练效率动机
• OpenAI——Stargate 多园区与 MRC 协议
• Meta——双织物集群与 Llama 训练基础设施

学习路径建议

1. 第一遍：计算机网络 的 RDMA 与拓扑章节 → 本主题第 1、2 章 → Mini Demo 全部场景。
2. 第二遍：第 3–6 章 + NCCL 源码（src/graph/ 与 src/transport/）+ UEC 1.0 白皮书。
3. 第三遍：第 8 章量化案例逐一手读原文（Meta 两篇博客、HPN 论文、星脉发布、NVIDIA Newsroom），把每个数字标注来源与口径。
4. 面试准备：第 10 章全部 14 题能脱稿讲 5 分钟，其中 Q6/Q12 要求能画出排查流程图。