2. 核心思想：算法—系统协同设计
2.1 四个优化，一个设计
DeepSeek-V3 技术报告里最有名的是四个名词：MLA、FP8、DualPipe、细粒度 EP。把它们当成四个独立技巧来学就错了——它们是同一个约束条件下的联立解。这个约束就是 V3 论文反复强调的一句话：
只要保持恒定的计算通信比（computation-to-communication ratio），即使模型进一步扩展，我们仍然可以采用跨节点的细粒度专家，同时把 all-to-all 通信开销压到近零。
拆开看这个"联立"：
| 设计 | 解决什么 | 依赖谁 | 成就谁 |
|---|---|---|---|
| MLA（低秩 KV 压缩） | 推理时 KV cache 的显存与带宽墙 | 低维潜向量使打分/检索便宜 | 让 DSA（V3.2 稀疏注意力）成为可能 |
| FP8（混合精度训练） | H800 算力要被榨到 BF16 的 2 倍 | 细粒度缩放 + CUDA Core 提升累加保住精度 | 每 token 计算密度翻倍 ⇒ 通信更好藏 |
| DualPipe（双向流水线） | 16 路 PP 的流水线气泡 | 反向拆成 B_in/B_w + 通信可重叠 | 气泡近零，参数双拷贝代价可忽略（大 EP 摊薄） |
| 细粒度 EP（64 路跨节点） | MoE 专家数 ↑ ⇒ 单卡放不下 | 节点受限路由 + 无辅助损失均衡 | 专家切得细，激活参数比 ↓，每 token 更便宜 |
关键洞察是因果链：FP8 让单位显存与单位带宽能喂饱更多算力（计算密度 ×2）→ 计算通信比 ↑ → 通信更容易被藏住 → EP 可以跨节点、可以切得更细 → 每卡只需存 1/64 的专家 → 不需要张量并行（TP）→ 不用为 TP 付通信税 → DualPipe 的双拷贝参数代价被大 EP 摊薄。四个设计互为前提，任何单点照搬（比如只上 FP8 不改累加策略）都会失败。
这就是 算法—系统协同设计（algorithm-system co-design） 的完整含义：不是在模型定稿后做系统优化，也不是在硬件定稿后调模型，而是模型结构、并行策略、数值格式、通信调度一起设计。
2.2 用工程换算力：三本账
DeepSeek 的第二个核心思想是把成本当成技术指标来优化。三本账最有说服力：
账一：训练成本。 V3 全量训练 2.788M H800 GPU 小时，按 2 美元/GPU 小时折算 557.6 万美元：
| 阶段 | GPU 小时 | 折算成本 |
|---|---|---|
| 预训练（14.8T tokens） | 2664K | 532.8 万美元 |
| 上下文扩展（32K→128K） | 119K | 23.8 万美元 |
| 后训练（SFT + RL） | 5K | 1.0 万美元 |
| 合计 | 2788K | 557.6 万美元 |
对照同期传闻中 GPT-4 数亿美元量级的训练成本，V3 用约百分之一的成本达到了可比水平。注意口径：这是"正式训练"成本，不含前期架构/算法/数据消融实验——但这个口径本身也是开源叙事的一部分（把"研究成本"与"生产成本"分开核算）。
账二：训练吞吐。 每 1T tokens 仅需 180K H800 GPU 小时，即 2048 卡集群上 3.7 天/T tokens，14.8T tokens 全程无一次不可恢复的 loss spike、无一次回滚。在大规模 MoE + FP8 + 跨节点 EP 的组合下做到数值稳定，本身就是系统工程的最高指标（见 AI SRE 主题）。
账三：推理利润。 2025 年 2 月开源周收官时官方披露的 V3/R1 在线推理系统数据：每 H800 节点（8 卡）每秒处理 73.7K 输入 tokens / 14.8K 输出 tokens，按当时定价折算的理论成本利润率高达 545%。这个数字之后被反复引用也反复误读——它是"理论上限"口径（满负载、按标价、不含研发摊销），但足以说明推理系统的成本设计空间有多大（见 第 8 章）。
2.3 开源作为战略
DeepSeek 的开放姿态在主要实验室中独一无二，且分三个层次：
| 层次 | 内容 | 许可 |
|---|---|---|
| 模型权重 | V3、R1、V3.1/3.2、V4 系列全部公开 | MIT（比 Meta Llama 的社区许可更宽松） |
| 训练/推理基础设施 | DeepEP、DeepGEMM、FlashMLA、DualPipe、EPLB、3FS、smallpond、profile-data | MIT |
| 工程知识 | 技术报告公开并行配置、气泡公式、GPU 小时账、给硬件厂商的设计建议 | 论文 |
2025 年 2 月 24–28 日的**开源周（Open Source Week）**是这一战略的标志性事件：五天连发五个生产级仓库（逐日清单见 第 6 章），第六天放出推理系统概览与 545% 利润率测算。这套组合拳的直接收益：
- 生态位：云厂商、芯片厂商、推理服务商基于 MIT 权重与内核快速接入，DeepSeek 成为"开放权重的事实标准"之一；
- 人才杠杆：公开的工程细节是最高效的招聘广告；
- 叙事权：当竞争对手只能用 API 数字说话时，DeepSeek 用论文和代码定义了"高效训练"的标准。
对照各实验室的开放姿态：OpenAI/Anthropic 仅开放 API；Google 开放软件栈但 TPU 闭源；Meta 开放权重但训练栈依赖第三方；DeepSeek 是权重 + 全栈基础设施 + 成本账本三开。
2.4 硬件受限下的设计哲学
ISCA'25 论文《Insights into DeepSeek-V3: Scaling Challenges and Reflections on Hardware for AI Architectures》（arXiv:2505.09343）罕见地从"用户"视角给硬件厂商提了系统建议，可以当作 DeepSeek 设计哲学的官方注脚：
模型侧已经做过的（供硬件对齐）：
- MLA 降低显存占用与 KV 带宽压力；
- MoE 细粒度专家 + 路由限制 在专家规模与通信成本之间调平衡；
- FP8 混合精度 压榨算力利用率；
- 多平面网络拓扑（multi-plane network topology） 降低集群级网络开销。
希望硬件侧提供的（V3 论文 §3.5 的建议清单）：
- 张量核支持更高精度的 FP8 累加（当时 H100/H800 的 FP8 MMA 内部累加精度不足，DeepSeek 被迫每 128 元素把部分和提升到 CUDA Core FP32——用指令发射率换精度）；
- 原生支持 tile-wise / block-wise 量化格式（避免缩放因子乘法挤占 CUDA Core）；
- 支持在线量化（数值转换融入流水线，而非额外 kernel）；
- 支持转置 GEMM 操作；
- scale-up 与 scale-out 网络融合、更低延迟的通信原语（DeepEP 为 overlap 付出的工程成本，本质是在补偿硬件原语的缺失）。
这份清单的潜台词就是 DeepSeek 的方法论：不等待理想硬件，在现有约束内把系统设计做到极致，然后把"理想硬件应该长什么样"写进论文反向塑造供应链。2026 年 DeepEP/DeepGEMM/FlashMLA 对华为昇腾 950 的适配（三个库都发布了 Ascend 版本），是同一方法论的延续。
2.5 五条可对照的设计原则
- 先算通信账，再定并行策略。 V3 团队先证明 all-to-all 可以被盖住，才敢用 PP16 + EP64 而不用 TP。通信不是优化对象，是设计约束。
- 精度是预算，不是信仰。 FP8 的三个精度决策（全 E4M3、细粒度缩放、CUDA Core 提升累加）都是在"格式固有误差不变"的前提下，消除可避免的误差来源。附录 B 的"损失误差低于 0.25%"证明预算花得值。
- 每个数量级都要有人负责。 训练成本（GPU 小时）、推理成本（每 token 美元）、显存（KV 字节/token）、带宽（每 token 字节）——DeepSeek 的每项创新都能对应到一个具体的数量级改善。
- 把约束写进结构。 H800 的弱 NVLink 没有被当成"忍一忍"的网络条件，而是直接塑造了节点受限路由与两级通信模型；这种"为约束而设计"的结构化响应，比堆砌补偿层更彻底。
- 开源换标准。 用 MIT 权重与生产级代码把"高效训练/推理"的定义权拿在手里，这是技术资产之外的第二种回报。
下一章 架构设计 将给出训练与推理系统的全景架构图。