10. 面试题
13 道题，按初/中/高三档，附参考答案要点。
初级
Q1. MLA 是什么？它为什么能压缩 KV cache？
参考要点：MLA（Multi-head Latent Attention）不为每个注意力头单独存储 K/V，而是把每 token 的 KV 压缩成一个低维共享潜向量（V3：512 维），使用时经升维投影在线展开；位置信息用单独的 64 维解耦 RoPE key 携带（RoPE 的相对旋转会破坏低秩性，不能混进潜向量）。V3 配置下每 token 每层 KV 从 MHA 的 32768 元素（64 KiB）降到 576 元素（1.12 KiB），压缩约 56.9×；对潜空间内数据该压缩无损。收益：decode 的显存带宽与容量、长上下文可服务性；代价：训练/推理时在线展开的少量额外计算。
Q2. DeepSeek-V3 的训练成本是多少？这个数字为什么有冲击力？
参考要点：全量 2.788M H800 GPU 小时，按 2 美元/GPU 小时约 557.6 万美元（预训练 2664K + 上下文扩展 119K + 后训练 5K）。冲击力来自对照：同期前沿闭源模型传闻成本高出两个数量级；且口径透明（每 1T tokens 180K GPU 小时）。注意口径：不含前期消融研究成本。冲击力本质是"算法—系统协同设计可以换算力"的实证。
Q3. DeepSeek 在 2025 年 2 月的"开源周"发布了什么？
参考要点：五天五个生产级仓库：FlashMLA（MLA 解码 kernel）、DeepEP（EP 通信库）、DeepGEMM（FP8 GEMM）、DualPipe + EPLB + profile-data（流水线算法 + 负载均衡 + profiling 数据）、3FS + smallpond（文件系统 + 数据处理）；Day-6 放出推理系统概览（73.7K/14.8K tokens/s/节点、545% 理论利润率）。意义：从权重开放升级到全栈基础设施开放。
Q4. 什么是 DualPipe？解决什么问题？
参考要点：DeepSeek 的双向流水线调度：micro-batch 从流水线两端同时注入，每设备承载两个虚拟 stage；反向拆分为输入梯度与权重梯度，与配对的前向重叠；all-to-all 与 PP 通信通过 SM 比例调节藏进计算。气泡从 1F1B 的 (PP-1)(F+B) 降到 (PP/2-1)(F+B-3W)。代价：参数双拷贝（大 EP 摊薄后近似免费）、激活 +1/PP。前提：通信可完全重叠。
中级
Q5. V3 为什么可以不用张量并行（TP）？请推一遍账。
参考要点：TP 的 allreduce 是每层固定同步税；V3 的路径：① MLA 消除注意力 KV 的显存大户；② EP64 把 256 个专家切到每卡 4 个，参数显存可承受；③ EP 的 all-to-all 通信量 = tokens × topk × hidden × 2B ≈ 每 token 229 KB，而官方口径单 token 计算 0.648 ms（H800 FP8），计算通信比 ~140×；④ DualPipe 把这 140 倍余量的通信藏进计算。结论：当通信可被隐藏时，TP 是纯税负；EP 还换来更细的激活参数比（37B/671B）。边界条件：EP 度小、模型稠密、或通信藏不住时，TP 仍必要。
Q6. FP8 训练中"细粒度缩放"和"高精度累加"分别解决什么问题？
参考要点：细粒度缩放（前向 1×128、反向 128×1 分组 amax 缩放）：激活分布有极端离群通道，tensor-wise 缩放会被全局 amax 主导，把主体信号压入 E4M3 低bit/次正规区；分组后离群通道只伤害所在组。高精度累加：H800 张量核 FP8 MMA 内部累加精度不足，每 128 元素（4 条 WGMMA）把部分和提升到 CUDA Core FP32，避免累加误差在 K 维上累积——用 warpgroup 双常驻把提升开销与 MMA 重叠。配套：全 E4M3（不用 E5M2，尾数位优先）、在线量化（无独立转换 kernel）。验证口径：端到端损失误差低于 0.25%（vs BF16，1T tokens 级消融）。
Q7. EP 的 all-to-all 通信如何被优化？列出至少三种手段。
参考要点：① 节点受限路由：每 token 的 top-8 专家限制在最多 4 个节点内，跨节点（IB）流量占比从 7/8 降到 3/8；② 计算通信重叠：DualPipe 调度 + DeepEP 的 SM 可控通信 kernel，与专家 GEMM 并行；③ FP8 dispatch：激活量化后直接传输，字节数减半；④ 负载均衡三件套：无辅助损失 bias（训练）+ EPLB 放置优化（调度）+ 冗余专家（部署）压尾部；⑤ 通信库级优化：NVLink+RDMA 两级流水 kernel、低延迟模式（推理）。
Q8. 3FS 为什么能同时做到强一致与高读吞吐？
参考要点：CRAQ（Chain Replication with Apportioned Queries）：写操作沿链传播保证强一致；读操作由链上多个节点分摊（apportioned），而非只打头节点——读吞吐随链长放大。叠加：无状态元数据（FoundationDB）消除元数据热点、用户态旁路 I/O（USRBIO）剥掉内核税、分离式架构聚合数百节点的 SSD+RDMA 带宽（180 节点 6.6 TiB/s 读）。负载前提：AI 训练/推理的读多写少、大块、可重建——协议折中与负载特征匹配。
Q9. DSA（DeepSeek Sparse Attention）的机制与代价是什么？
参考要点：lightning indexer 用低维潜向量对全部历史 token 打分（类 MQA，计算量是稠密注意力的 d_latent/d_model 分之一，但仍是 O(L²)），每 query 选 top-K（2048/128K）个 KV 做注意力，主注意力复杂度 O(L²) → O(L·k)。indexer 与主模型损失解耦训练。代价与边界：indexer 的 O(L²) 打分在超长上下文下成为新瓶颈（需要更便宜的索引或层级索引）；top-K 选择的质量决定召回——V3.2 用 943.7B tokens 稀疏继续训练证明质量可对齐稠密基线。 MLA 是前提：没有低维潜向量，打分就贵到失去意义。
高级
Q10. 推导 DualPipe 与 1F1B 的气泡比，并说明 W 的物理含义与失效条件。
参考要点：1F1B：bubble = (PP-1)(F+B)。DualPipe：双向注入使关键路径上的流水段减半，bubble = (PP/2-1)(F&B+B-3W)，其中 F&B 表示 F 与 B_in 重叠后的等效时长（B_in≈F 时约等于 F），B 为完整反向，W 为每个 chunk 可被重叠的通信量（3W：PP 边界前向激活下发、反向梯度回传以及配对重叠三项）。PP=16、F=1、B=2、W=0.2 时：45 → 16.8，缩减 62.7%。失效条件：3W > F+B 时超出部分暴露回关键路径（dualpipe_exposed_comm = 3W-(F+B)）；且 PP 须为偶数、micro-batch 与 stage 数须可被 2 整除。
Q11. 如何用官方数字独立核算 V3 的单 token 计算时间？这个数字能推出什么结论？
参考要点：180K H800 GPU 小时 / 1T tokens = 0.648 GPU·ms/token。推论一：对照 H800 FP8 峰值（约 1979 TFLOPS），隐含有效吞吐约 450 TFLOPS 量级（含注意力、MTP、选择性重计算开销）——说明"MFU 口径"依赖 FLOPs 计数方式，引用需谨慎。推论二：每 token 通信 229 KB（BF16 dispatch+combine）对 0.648 ms 计算，算术强度约 970 FLOP/B——通信必然可藏，TP 必然无必要。推论三：prefill/decode 成本曲线可直接由 KV 字节数与注意力 FLOPs 公式重建，用于定价模型。
Q12. R1-Zero 证明了什么？R1 的四阶段 pipeline 各自解决什么问题？
参考要点：R1-Zero 证明：不给任何人工推理标注、纯 RL（GRPO + 规则奖励）就能让推理能力涌现（AIME 15.6%→77.9%，自发出现自我验证与延长思考），且 GRPO 用组内相对排名替代 value model，省一个 critic。涌现的代价：可读性差、语言混杂——R1 四阶段修正：① cold-start 数千条带思考过程的对话数据（修风格，不伤推理）；② 推理 RL（加语言一致性奖励）；③ 拒绝采样 + SFT（60 万推理 + 20 万非推理样本，把 RL 能力固化进权重并恢复通用能力）；④ 全场景 RL（有用性/无害性/推理统一对齐）。最终 AIME 79.8% 对标 o1，MIT 开源 + 蒸馏系列放大影响。
Q13. 对照 Google/Meta/OpenAI，DeepSeek 的算力路线差异本质是什么？哪些可学、哪些不可学？
参考要点：本质差异：三家是"先有（或买）超算，再训模型"——Google 自研 TPU 垂直整合（Google 案例）、Meta 开放硬件 + 标准网络（Meta 案例）、OpenAI 资本驱动堆规模（OpenAI 案例）；DeepSeek 是"在受限硬件（合规阉割版 GPU）内，把模型结构与系统机制联立求解"，算法—系统协同是生存策略而非优化选项。可学：通信账先行、精度预算管理、KV 记账、负载均衡三件套、成本透明经营。不可学/慎学：不用 TP（依赖极低激活参数比）、自研全栈（依赖精英密度与单一场景）、零回滚叙事（是成熟度的结果而非目标）。