10. 面试题
覆盖初 / 中 / 高三级，每题给出考察点与答题骨架。带计算的题都可以用第 7 章 Mini Demo 的模型现场复现。
初级
Q1. 什么是 scale-up 网络和 scale-out 网络？为什么 AI 集群要把它们分开？
考察点：基本概念的准确性。
骨架：scale-up 是机柜内的内存语义互联（NVLink/NVSwitch，GB200 NVL72 为 72 GPU 域、单 GPU 1.8TB/s、亚微秒时延）；scale-out 是机柜间的消息语义 fabric（IB/RoCE，400–800Gbps、微秒级时延、十万级端点）。分开的原因：带宽时延比差 1–2 个数量级、成本结构不同（铜背板 vs 光模块）、语义不同（load/store vs send/recv）。并行策略据此划分：TP 必须留在 scale-up，EP/DP 走 scale-out。
Q2. 一次数据并行训练的 all-reduce，每个 rank 要发送多少数据？
考察点：通信量的闭式计算。
骨架：ring all-reduce 每 rank 发送 2(N-1)/N × M。N 个 rank 同步 M 字节梯度，总发送量与算法无关地趋近 2M（N 大时）；ring 用 2(N-1) 个步骤换流水线，tree（递归倍增）用 2·log2(N) 步但每 rank 发送 log2(N)/2 × M——大 N 时 tree 字节更多。小消息（时延主导）tree 优，大消息（带宽主导）ring 优。
Q3. RoCE 和 InfiniBand 都跑 RDMA，主要区别是什么？
考察点：协议路线对比（第 6 章对比表）。
骨架：IB 从链路层就是无损（credit 流控）、有集中式子网管理器（SM/UFM）、交换机支持 SHARP 网内计算、生态封闭；RoCE 把 RDMA 跑在以太网上，需要 PFC 造无损域 + ECN/DCQCN 做拥塞控制，生态开放多厂商。代价：PFC 可能死锁/风暴/队头阻塞，调优门槛高。
Q4. 什么是 incast？为什么 AI 训练网络特别怕它？
考察点：流量特征理解。
骨架：多发送者同步向同一接收者发流量，出口队列瞬时堆积。AI 场景：MoE 的 EP all-to-all 所有 rank 同刻 dispatch；参数服务器式同步。后果：缓冲不够就丢包/PFC 风暴，同步屏障把单点排队放大成全集群等待。缓解：ECN/DCQCN 提前降速、自适应路由/spraying 多路径、EP 分组与拓扑感知调度。
中级
Q5. Meta 建了两个 24k H100 集群，一个 RoCE 一个 IB，为什么不直接选一种？
考察点：生产决策与量化案例。
骨架：Meta 有 4 年 RoCE 经验但最大只到 4k 卡、IB 研究集群到 16k 卡但没上生产；24k 是两者都未知的规模，于是双路线并行实测。结果：不优化时大集群只有理想值 10–90%，靠拓扑感知调度、路由优化、NCCL 调参回到 90%+；Llama 3 两个集群都训过。启示：规模本身是变量，选型结论要在大规模实测后得出。
Q6. 千卡训练 all-reduce 带宽只有标称 70%，你的排查步骤？
考察点：排障 playbook（第 8 章）。
骨架：① 单轨 nccl-tests 复现，区分"配置问题"还是"fabric 问题"；② 看 PFC pause 计数与时长（有无风暴/死锁前兆）；③ 看 FEC/CRC（光模块误码导致链路悄悄降速）；④ 看 per-flow 分布（ECMP 哈希极化：多条大象流挤一条上联）；⑤ 对照拓扑检查布线与设计图。处置对应：调 ECN/DCQCN 参数、换模块、开自适应路由、修正布线。
Q7. PFC 是什么？为什么说它既是 RoCE 的基础又是 RoCE 的隐患？
考察点：无损机制的工程两面性。
骨架：PFC（Priority Flow Control）按优先级向上游发 Pause，把以太网改造成逻辑无损——这是 RDMA 不丢包的前提。隐患三类：死锁（缓冲区依赖成环，up-down 路由的经典反例）、风暴（Pause 逐级上溯冻住整个无损域）、队头阻塞（无损队列被一条慢流堵住）。工程缓解：死锁检测 watchdog、缓冲区分段与水线、让 ECN 先于 PFC 动作、能不用就不用（Falcon/UEC 路线的动机）。
Q8. 为什么 MoE 训练对网络的要求比稠密模型更苛刻？
考察点：流量矩阵思维。
骨架：稠密模型的跨机通信主要是 DP 梯度 all-reduce（ring 模式、流量可预测、可与计算重叠）；MoE 增加了 EP 的 all-to-all（每层 2 次、全互联扇出、天然同步 incast），且 expert 负载不均可造成热点倾斜（Mini Demo 场景 3：倾斜 all-to-all 的 incast 因子从 1.0 涨到 3.82）。要求：无阻塞拓扑、多路径/自适应路由、快速的拥塞反应，rail-optimized 设计几乎是必选项。
Q9. 什么是 rail-optimized / rail-only 拓扑？解决什么问题？
考察点：拓扑创新与成本工程。
骨架：每台主机第 i 块 NIC 接入第 i 条独立 fabric（轨），跨轨流量一律经节点内 NVLink 域转发。解决：传统三层 Clos 为实现无阻塞需要大量上层端口（贵）；LLM 训练通信高度结构化（同号 GPU 之间通信为主），按轨切分后每条 rail 可用更少层数做到等效无阻塞。Rail-only（MIT/Meta 论文）进一步去掉 spine 层，报告省 38–77% 网络成本、37–75% 功耗，代价是 MoE all-to-all 要经节点内部转发。阿里 HPN（15k GPU/POD 双平面）与 Meta IB 集群都是生产实例。
Q10. 解释 DCQCN 的工作原理，Kmin/Kmax 调大调小分别有什么影响？
考察点：拥塞控制参数直觉。
骨架：交换机队列超 Kmin 开始对报文打 ECN 标记，超 Kmax 全标；接收端回 CNP；发送端按 alpha 平滑后乘性降速，空闲时定时器/字节计数器加性升速。Kmin 调小：更早打标、队列更短、时延更好但标记更频繁、吞吐可能受损；Kmax 调大反之。PFC 阈值必须高于 Kmax 且留 headroom，保证"ECN 先动、PFC 兜底"。
高级
Q11. Google Falcon 和 UEC 都想"改造以太网用于 AI"，它们的共同哲学和设计差异是什么？
考察点：第三条路线的深度理解（第 6 章）。
骨架：共同哲学：把可靠与有序从网络（PFC/按序交付）交还端侧传输层，让以太网回归简单有损，从而原生支持多路径喷洒与乱序。差异：Falcon 是 Google 垂直私有实现（200G NIC 硬件传输、时延 CC + 硬件重传、跑在有损以太网、不需 PFC，已全数据中心部署，协议捐 OCP）；UEC 是开放规范（Linux 基金会 JDF，spraying + 乱序交付 + CMS 拥塞控制族，1.0 于 2025-06、1.1 于 2026-10，Broadcom/思科/Arista 等生态跟进）。门槛不在协议而在运维体系。
Q12. 一个 2048 卡训练 job，step 时间突然从 30s 变成 33s（+10%），网络团队如何自证清白或认账？
考察点：量化归因能力。
骨架：step 时间 = 计算 + 通信 + 屏障开销。先分解：GPU kernel 时间（nvidia-smi/DCGM/profiler）是否变长；通信时间（NCCL 层的 per-comm 计时、proxy 日志）占比变化；再对通信分解：all-reduce busbw 是否下降、哪条 rail、哪个方向；网络侧同时段证据：PFC pause 曲线、ECN 标记率、per-flow 分布、FEC 计数、拓扑变更记录（是否有链路 flap/固件升级）。若通信时间没变而 GPU kernel 变长（比如另一个租户 IO 干扰、降频），网络免责；若通信 P99 拉长且有对应链路证据，认账并定位到端口。关键是拿出"同一时刻、同一粒度"的双边数据。
Q13. UALink、NVLink Fusion、OCP MRC 分别解决什么问题？为什么 2025 年后开放互联动作密集？
考察点：产业格局与时事（注意区分"规范发布"与"量产落地"）。
骨架：UALink：开放的 scale-up 标准（对标 NVLink），200G/lane、1.0 规范 2025-04 发布，目标 1024 加速器域，但截至 2026-10 尚无量产芯片。NVLink Fusion（2025-03 GTC）：反向操作——NVIDIA 把 NVLink 授权开放给第三方 CPU/半定制芯片，守住 scale-up 生态主导权。MRC（OCP，OpenAI 牵头）：scale-out 侧的开放可靠传输协议（多路径喷洒 + 可靠连接），已用于 Stargate Abilene 与微软 Fairwater [公开报道口径]。背景：超大规模买家要摆脱单一供应商锁定，同时英伟达要用"开放一部分"换"保住核心"——scale-up（机柜内）仍是护城河，scale-out（机柜间）先被开放化。
Q14. 你要为一个 10 万卡集群设计网络，给出你的架构决策记录（ADR）骨架。
考察点：综合架构能力（全书串联）。
骨架：① workload 画像：模型结构（MoE 占比）、并行策略（TP/EP/PP/DP 维度）、流量矩阵与每 step 字节数；② 规模分层：NVLink 域（72/144 卡）→ 节点 8×800G 多轨 → POD 15–25k（rail-optimized 两层或三层 fat-tree）→ super spine 分区；③ 协议路线：IB/Spectrum-X/自建 RoCE/UEC-ready 的对比矩阵与灰度策略（含逃生通道）；④ 无损机制与拥塞控制选型（含 PFC 边界与死锁防护）；⑤ 故障域：双 ToR/双 plane、链路级冗余、NCCL 降级路径；⑥ 遥测与验收：SLI 定义、nccl-tests 基线、故障注入演练计划；⑦ 演进：800G→1.6T、CPO、UEC 兼容性的升级窗口。ADR 必须给出量化依据（流量矩阵、成本模型、对照案例），而不是"某大厂也这么做"。