1. 背景
大模型训练的下半场
2022 年 ChatGPT 之后，大模型训练有一个公开的"两段式"共识：
- Pre-training：把互联网塞进模型，烧钱但工程成熟（Megatron-LM / DeepSpeed / FSDP）。
- SFT：用人工标注的 (instruction, response) 对做监督学习，教模型"怎么说话"。
- RL Post-Training：让模型通过试错+奖励继续提升，教模型"怎么思考"。
2024 年之前，业界普遍认为 RL 只是"对齐的点缀"——InstructGPT 论文里 RLHF 带来的提升有限，工程复杂度却极高。因此很多团队只做 SFT 就上线了。
2024-2026 年的三个拐点
拐点一：OpenAI o1（2024-09）
o1 证明了一件事：RL 不只是对齐，它能解锁新能力。通过 RL 训练模型生成长 chain-of-thought（思维链），模型在数学、编程、科学推理上的表现大幅跃升。这是 SFT 无法做到的——因为你无法人工标注"长推理过程"这种数据。
拐点二：DeepSeek-R1（2025-01）
R1 进一步证明：纯 RL（不依赖 SFT 冷启动、不依赖 Reward Model）也能涌现出推理能力。它用 GRPO（Group Relative Policy Optimization）+ 可验证奖励（数学题对答案、代码跑单测），在 AIME、MATH-500 上追平 o1。
R1 的工程意义比算法意义更大：
- 奖励不需要训练 Reward Model，直接用脚本判定，工程上极度简化。
- 算法用 GRPO 替代 PPO，去掉了 Critic 网络，省一半显存。
- 训练框架是开源的（基于 veRL 改进），所有人都能复现。
拐点三：Agentic RL 与训练系统异步化（2026）
2026 年，竞争焦点从"数学/代码单轮推理"转向"真实环境中的长程任务"，训练系统也随之重构：
- Agentic RL 规模化：Kimi K3（2026-07，2.8T MoE / 1M 上下文）在自研 Firecracker 沙箱 AgentENV 上做百万 token 长程 Agentic RL，训练后期还引入多教师 On-Policy Distillation；字节 Seed CUDA-Agent（2026-08 公开）用 PPO 在真实 CUDA 开发沙箱里训出超过 torch.compile 的 kernel 生成模型。
- 沙箱成为一等基础设施：DeepSeek 公开 DSec 平台（arXiv:2609.22978，2026-09）——日产约 300 万个沙箱、峰值 38 万并发、每秒 5000+ 创建，与 RL 框架协同设计（有状态 rollout 与可抢占 GPU 训练分离）。
- 异步训练成为标配：veRL v0.9（2026-08/09）默认 V1 trainer，支持把训练侧空闲 GPU 借给生成侧（separate_async）；AReaL 2.0（2026-07）彻底微服务化；OpenRLHF 推出单样本、无 Critic 的 FlashREINFORCE 异步算法（2026-09）。
为什么 RL 训练是基础设施难题
1. 计算的"三段式"异构性
一次 RL 训练 step 包含三个阶段，每个阶段的最优引擎完全不同：
| 阶段 | 计算特征 | 最优引擎 | 显存瓶颈 |
|---|---|---|---|
| Rollout（生成） | 自回归 decode，KV Cache 大，batch 大 | vLLM / SGLang / TensorRT-LLM | KV Cache |
| Score（评分） | 规则脚本 / Reward Model 前向 | 普通 Python / 推理引擎 | 小 |
| Train（训练） | 前向+反向，梯度同步 | Megatron-LM / FSDP / DeepSpeed | 参数+梯度+优化器 |
如果用一个引擎跑全部，任何一段都会成为瓶颈。因此 RL 基建的核心是"三种引擎协同"。
2. On-Policy 的强一致要求
PPO/GRPO 是 On-Policy 算法：训练数据必须由当前策略生成。这意味着：
- Rollout 用的模型权重必须是最新的（每个 step 都要同步）。
- 不能让 Rollout 跑在老权重上"偷懒"，否则算法收敛性破坏。
- 权重同步的频率（每 step / 每 N step）直接决定算法是 On-Policy 还是 Off-Policy。
权重同步是 RL 基建的"阿喀琉斯之踵"——70B 模型每次同步 140GB（BF16），万卡集群的网络压力极大。
3. 负载不均衡与长尾
Rollout 是变长生成：
- 同一个 batch 里，有的样本 100 token 就结束，有的要 8k token。
- 推理引擎的 Continuous Batching 能缓解但不能消除。
- Agentic RL 的多轮交互会进一步拉长方差。
如果 Train 阶段等所有 Rollout 完成，GPU 会空闲 30-50%。
4. Agentic RL 的环境复杂度
传统 RLVR 的"环境"就是一个评分脚本。Agentic RL 的环境是：
- 代码执行器（要沙箱）
- 浏览器（要渲染）
- 终端（要持久 session）
- 多轮工具调用（要 MCP / function calling）
环境本身就是一套分布式系统，需要专门的基建。
现有预训练基建为什么不够
| 能力 | Megatron-LM / DeepSpeed | RL Post-Training 需要 |
|---|---|---|
| 静态数据加载 | ✅ 完善 | ❌ 数据是动态生成的 |
| 推理引擎集成 | ❌ 没有 | ✅ 必需 vLLM/SGLang |
| 权重在线同步 | ❌ 没有 | ✅ 每 step 同步 |
| 多模型共存 | ❌ 只有 Policy | ✅ Policy / Ref / Reward / Critic |
| 异构调度 | ❌ 单一负载 | ✅ 生成+评分+训练混合 |
| 环境交互 | ❌ 没有 | ✅ Agentic RL 必需 |
因此诞生了专门的 RL 训练框架：veRL（字节）、OpenRLHF（开源社区）、TRL（HuggingFace）、NeMo-RL（NVIDIA）、AReaL（蚂蚁+清华）、slime（清华）、ROLL（阿里）。截至 2026-10，这些框架正在快速收敛到"server-based rollout + 异步流水 + 微服务化解耦"的新范式。
RL Post-Training 的产业现状（截至 2026-10）
| 团队 | 框架 | 公开实践 |
|---|---|---|
| DeepSeek | 自研（基于 veRL） | R1 用 GRPO + 可验证奖励；DSec 沙箱平台支撑 Agentic RL（日产 300 万沙箱） |
| 字节 Seed | veRL | 开源，v0.9 默认 V1 trainer（sync / colocate_async / separate_async）；CUDA-Agent / Seed-Prover 1.5 走 Agentic RL |
| 阿里 Qwen | 自研 + ROLL | Qwen3 用 GSPO，Agentic RL 强 |
| Kimi | 自研 + AgentENV | K3（2.8T MoE / 1M ctx）百万 token Agentic RL + 多教师 On-Policy Distillation |
| OpenAI | 自研 | o 系列与 GPT 系列，不公开细节 |
| Anthropic | 自研 | Constitutional AI / RLAIF，Claude 4/5 |
| Meta | 自研 + 开源 | Llama 4 用 RLHF + RLVR，TorchTitan + vLLM |
| NVIDIA | NeMo-RL | 开源，深度整合 TensorRT-LLM |
| HuggingFace | TRL | 社区最广泛；异步版设计已定稿（有界队列 + 逐样本版本打标） |
| 蚂蚁 + 清华 | AReaL | 2.0（2026-07）微服务化：训练/推理/Agent/权重更新四服务全异步 |
| 清华 / 智谱 | slime | Megatron 训练生命周期与 SGLang 服务集群解耦，GLM-5 在用 |
框架层的共同演进方向：server-based rollout（替代 SPMD rollout）、推理/训练微服务化解耦、权重同步增量化（delta checkpoint）、陈旧性控制（版本打标 + 深度上界 + IS 修正）。
一句话总结
RL Post-Training 是把"强化学习"这个老概念，跑在"万卡集群 + 现代推理引擎 + 分布式训练框架"之上的新基础设施挑战。它的难度不在算法，而在工程。
本章小结
- 2024-2026 年 o1、R1、Agentic RL 三个拐点，让 RL Post-Training 从"对齐点缀"变成"能力引擎"。
- RL 训练的"生成-评分-训练"三段式负载、On-Policy 强一致、长尾分布，让传统预训练基建不够用。
- 这催生了 veRL / OpenRLHF / AReaL / slime 等专门框架；2026 年的主线是异步化、微服务化与 Agentic 环境基建（沙箱）。