2. 核心思想
本章提炼 Meta AI 基础设施的五条核心主线。它们不是孤立的技术点，而是一套自洽的工程哲学：用开放换供应链杠杆、用协同设计换效率、用双网络换韧性、用可靠性工程换规模、用 PyTorch 原生换软件栈一致性。
2.1 一句话理解
Meta 的基础设施 = 开放权重（Llama）+ 硬件协同设计（Grand Teton / Catalina / MTIA）+ 双网络织物验证（RoCE & InfiniBand）+ 可靠性即设计（SDC 治理 / >95% 有效训练）+ PyTorch 原生软件栈（FSDP / torch.compile / Triton / Llama Stack）。
2.2 支柱一：开放权重（Open Weights）
Meta 把训练出来的前沿模型以开放权重发布，这是它与 OpenAI、Anthropic 最显性的区别。开放权重不是"免费派送"，而是一种有明确工程后果的策略：
- 训练到发布（train-to-release）的完整工程链路必须自建：因为权重要开放给整个生态（AWS、Databricks、Google Cloud、Hugging Face、AMD、Intel、NVIDIA、Qualcomm、各种推理引擎），Meta 必须保证权重在异构硬件、异构框架上都能跑——这倒逼出一套高度标准化的发布与兼容性测试流水线。
- 安全责任转移给部署者：Meta 提供 Llama Guard、Prompt Guard、CyberSecEval、Code Shield 等开源工具，但最终的安全策略由部署方决定。Llama 4 引入 GOAT（Generative Offensive Agent Testing） 等自动化红队工具来覆盖已知风险。
- 蒸馏链路成为工程一等公民：Llama 4 Maverick 从 Behemoth（~2T）codistill，采用动态加权 soft/hard target 的新型蒸馏损失——开放权重让"大模型蒸馏小模型"成为可复用的规模化手段。
2.3 支柱二：硬件协同设计（Hardware Co-design）
Meta 不只是"买 GPU 装机柜"，而是与芯片厂商协同设计整机柜，并通过 OCP 开放设计：
- Grand Teton：Meta 自研的 OCP 开放 GPU 平台，把电源、控制、计算、网络织物集成进一个**单体（monolithic）**机柜，省去传统服务器拼装的复杂度。
- Catalina（GB200 机柜）：与 NVIDIA 协同设计的 Blackwell 机柜，一个 6-rack pod 中中间 2 个机柜装 72 个 Blackwell GPU，单 pod 功耗约 140 kW，算力约 360 PFLOPS（FP16）；其余 4 个机柜是 AALC（Air-Assisted Liquid Cooling，风液混合冷却）。
- MTIA（Meta Training and Inference Accelerator）：与 Broadcom 合作的 ASIC，按 "High velocity / Inference First / PyTorch Native" 三原则设计，cadence 约 6 个月一代（详见 第 5 章）。
- Open Rack：标准化机柜电源与机械结构。
协同设计的核心动机：当你要装 24k 甚至 129k 个 GPU 时，整机柜级别的集成（电源、散热、布线、远程管理）比单台服务器优化更重要——线缆、供电、热设计任何一处没跟上，集群就跑不起来。
2.4 支柱三：双网络织物并行验证
Meta 在 2024 年同时建了两个 24,576-H100 集群，一个用 RoCE（基于以太网的无损网络），一个用 InfiniBand，两者都是 400 Gbps 端点。这看似冗余，实则是深思熟虑的风险管理：
| 维度 | RoCE 集群 | InfiniBand 集群 |
|---|---|---|
| 交换机 | Arista 7800 + Wedge 400 + Minipack2（OCP） | NVIDIA Quantum-2 |
| 拓扑 | rail-optimized fat-tree | fat-tree |
| 供应链 | 多供应商以太网生态 | NVIDIA 单一供应商 |
| 训练验证 | Llama 3 在此训练 | 同代模型验证 |
为什么双织物？ 两个理由：
- 供应链韧性：如果只押 InfiniBand，产能、价格、技术路线都被 NVIDIA 卡住；RoCE 基于开放以太网生态（Arista、Broadcom、OCP 交换机），有多供应商。
- 技术验证：在两套截然不同的网络织物上训练同一代模型，能暴露任何"恰好依赖某网络特性"的隐式假设。Llama 3 在 RoCE 集群上跑通，本身就是"以太网也能做超大规模训练"的行业级证明。
Meta 的工程结论是：只要做好拓扑感知调度与 NCCL 路由协同优化，RoCE 与 InfiniBand 都能把大规模 AllGather 带宽利用率推到 90% 以上。
2.5 支柱四：可靠性即设计（Reliability as Design）
这是 Meta 在 GenAI 时代学到最深刻的一课。同步训练把单点故障放大成全局停顿，Meta 用一套组合拳把中断率降低约 50 倍：
- 故障分类：把硬件故障分成 static（开机即坏的二元故障）/ transient（热失控、不可纠正错误的间歇故障）/ silent（SDC，静默数据损坏） 三类，分别用不同手段治理。
- SDC 三层检测：Fleetscanner（45–60 天扫一遍全集群的维护期微基准）/ Ripple（ms–s 级、与负载同机共存、几天扫一遍）/ Hardware Sentinel（内核态、与应用异常挂钩、比测试法高 41% 覆盖率）。硅密度提升让 SDC 率达到约每 1000 设备 1 个故障——比宇宙射线软错误高 1000 倍。
- 训练 SDC 专项治理：针对 NaN 传播（SDC → NaN → 感染整个集群 → 全局停顿）与 梯度方差污染（数值在界内、被当作正确 → 静默发散），Meta 用 reductive triage（二分搜索隔离故障节点）、deterministic training、hyper-checkpointing、gradient clipping、algorithmic fault tolerance、tri-variate computational training、parameter vulnerability factors 等手段。
- 快速恢复：checkpoint 跨数千 rank 在数百毫秒内保存/加载；PyTorch 进程组初始化从数小时降到数分钟；auto-restart 把整个故障→恢复闭环自动化。
这条主线的成果是 Llama 3 有效训练时间 >95%、16k GPU 上 >400 TFLOPS/GPU、相比 Llama 2 约 3 倍效率提升。
2.6 支柱五：PyTorch 原生软件栈
Meta 是 PyTorch 的主要贡献者，整套训练与服务栈都构建在 PyTorch 之上，并坚持"PyTorch Native"——这意味着任何新硬件（MTIA、AMD、NVIDIA）都必须无缝接入 PyTorch 生态：
- 训练：FSDP / FSDP2（分布式数据并行）、torch.compile（图编译）、Triton（kernel 生成）。
- 微调：torchtune（PyTorch 原生微调库）。
- 推理：ExecuTorch（移动/边缘推理）、vLLM（服务端推理，MTIA 提供 plugin backend）。
- 服务接口：Llama Stack（9 类标准化 API）。
- MTIA 专用栈：TorchInductor + Triton + MLIR + LLVM 编译器栈、HCCL（Hoot Collective Communications Library，MTIA 通信库）、Rust 用户态驱动 + bare-metal Rust 固件。
- Kernel 生成：用 agentic AI（TritorX、KernelEvolve）自动生成与进化 kernel。
这条主线的动机是：统一软件栈 = 可移植的优化。当一个 kernel、一个调度策略在 PyTorch 上写好，它就能同时服务 NVIDIA、AMD、MTIA——这正是"开放"在软件层的具体兑现。
2.7 与 OpenAI / Anthropic 的对照
| 维度 | OpenAI | Anthropic | Meta |
|---|---|---|---|
| 模型开放度 | 闭源（API） | 闭源（API） | 开放权重（Llama） |
| 硬件策略 | Azure + NVIDIA（合作） | AWS Trainium + SpaceXAI GPU（异构采购） | OCP 协同设计 + 自研 MTIA + 多供应商 |
| 网络织物 | （未公开） | （未公开） | RoCE 与 InfiniBand 双织物并行验证 |
| 安全治理 | Preparedness Framework（闭源） | RSP/ASL（闭源合规） | Llama Guard/Prompt Guard/CyberSecEval（开源） |
| 可靠性工程 | （未公开） | （未公开） | SDC 治理、~50x 中断下降、>95% MFU（公开） |
| 规模路线 | （未公开） | Project Rainier >100 万芯片、5GW | Prometheus 1GW → Hyperion 5GW |
| 软件栈 | 闭源 | 闭源 | PyTorch/Triton/Llama Stack（开源） |
| 范式定位 | 规模驱动 | 对齐驱动 | 开放 + 协同设计 + 训练到发布 |
三者构成一个完整的三角：OpenAI 代表"闭源规模"，Anthropic 代表"闭源对齐"，Meta 代表"开放 + 硬件协同设计 + 训练到发布"。研究 Meta，正是补齐这个三角的第三条边。
小结
Meta 的五条核心主线——开放权重、硬件协同设计、双网络织物、可靠性即设计、PyTorch 原生软件栈——并非互相独立，而是互相强化的闭环：开放让供应链愿意协同设计，协同设计让大规模成为可能，大规模倒逼可靠性工程，可靠性工程又通过 PyTorch 栈沉淀为可复用的开放能力。理解这个闭环，是理解后续架构与工程细节的前提。