源码分析

一句话理解：从 ReAct、Plan-and-Execute 到 ReWOO、LATS、AFlow、Plan-and-Act、HiPER，Planning 的演进方向清晰可见：从隐式推理到显式计划，从单路径到搜索多路径，从"提示工程现场规划"到"数据/RL 训练专用 Planner"，再到用 MCTS 直接搜索工作流结构。

本章从源码与设计的角度，对比主流 Planning 方案。重点不是罗列 API，而是理解它们的设计取舍：计划如何表示、如何执行、如何反馈、如何扩展。

1. ReAct

论文：ReAct: Synergizing Reasoning and Acting in Language Models（2022）

核心思想：把 Thought、Action、Observation 交错生成，形成隐式规划链。

Thought: 我需要先查询天气。
Action: search_weather[city=北京]
Observation: 北京今天晴，25°C。
Thought: 天气晴朗，适合出行，接下来查询航班。

计划表示：无显式计划，计划隐含在 Thought 序列中。

执行方式：单步交错执行，每步由模型决定下一步 Action。

优点：

• 简单直观，无需额外计划数据结构。
• 与工具调用天然结合。

缺点：

• 无全局计划，容易目标遗忘、重复探索。
• 难以审计与回滚。

适用场景：短程、工具链简单、允许一定探索成本的任务。

2. Plan-and-Execute

来源：LangChain / LangGraph 中的 planning agent

核心思想：先让 Planner 生成完整计划，再按顺序执行，执行中可重规划。

计划表示：通常是步骤列表或 DAG。

执行方式：先静态规划，再执行；执行失败时进入重规划。

优点：

• 有全局视图，适合多步任务。
• 人与系统都能理解计划。

缺点：

• 初始计划可能不准确，导致后续大量重规划。
• 对动态环境适应性一般。

适用场景：目标相对明确、步骤可预见的任务，如代码生成、数据分析 SOP。

3. Tree of Thoughts（ToT）

论文：Tree of Thoughts: Deliberate Problem Solving with Large Language Models（2023）

核心思想：把推理过程组织成树，每个节点是一个“思维步骤”，通过搜索算法（BFS/DFS）探索多条路径。

计划表示：树状结构，节点为中间推理状态。

执行方式：通过评估函数选择有潜力的节点继续展开，最终选择最优路径。

优点：

• 支持多路径探索，适合需要创造性或搜索的问题。
• 可回溯，避免单路径错误累积。

缺点：

• 计算成本高，需要大量模型调用。
• 评估函数设计困难。

适用场景：数学推理、游戏、创意写作、复杂决策。

4. LLM+P

论文：LLM+P: Empowering Large Language Models with Optimal Planning Proficiency（2023）

核心思想：把自然语言问题转换为 PDDL（Planning Domain Definition Language），调用经典规划器（如 FastDownward）求解最优计划，再把计划翻译回自然语言。

计划表示：PDDL 计划，包含动作序列与状态转移。

执行方式：先形式化、再求解、再翻译执行。

优点：

• 可得到理论最优或完备的计划。
• 适合状态空间明确、动作可枚举的问题。

缺点：

• PDDL 编码成本高，难以处理开放域问题。
• 对不确定性、动态环境支持弱。

适用场景：机器人规划、物流调度、资源配置等状态/动作可形式化的领域。

5. HuggingGPT

论文：HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in HuggingFace（2023）

核心思想：由 LLM 担任“任务规划器”，把复杂 AI 任务拆解为多个模型能力调用，并调度 Hugging Face 上的专家模型执行。

计划表示：任务依赖图，节点为模型调用。

执行方式：LLM 生成计划后，按依赖调度模型执行，最后汇总结果。

优点：

• 充分利用现有专家模型，解决多模态/多能力任务。
• 计划可解释，便于人工检查。

缺点：

• 依赖模型描述质量，工具选择容易出错。
• 对失败恢复与动态调整支持有限。

适用场景：多模态 AI 任务、需要组合多种模型能力的场景。

6. LangGraph planner

来源：LangGraph Plans

核心思想：把计划表示为图，节点可以是步骤、子图、甚至子 Agent；通过图的边表达控制流与数据流。

计划表示：图（节点 + 边），支持循环、条件、并行。

执行方式：LangGraph 的运行时按图结构执行，支持 checkpoint 与重放。

优点：

• 表达能力强，能描述复杂控制流。
• 与 LangChain 生态集成好。

缺点：

• 学习曲线较陡，调试复杂图较困难。
• 图的复杂度过高时，可维护性下降。

适用场景：需要复杂状态机、条件分支、循环、并行的 Agent 工作流。

7. OpenAI Agents SDK handoffs

来源：OpenAI Agents SDK

核心思想：通过 handoff 把任务从一个 Agent 转交给另一个 Agent，每个 Agent 可自带规划与执行能力。

计划表示：handoff 链，每个 Agent 内部可有自己的计划。

执行方式：顶层 Agent 决定把任务交给哪个子 Agent，子 Agent 执行后返回结果。

优点：

• 天然支持 Multi-Agent 协作。
• 每个 Agent 可独立演化，职责清晰。

缺点：

• handoff 决策本身需要训练或提示工程，容易出错。
• 全局计划可能被拆散到各 Agent 内部，难以统一审计。

适用场景：多领域协作、需要不同专家 Agent 分工的任务。

8. AutoGen planner

来源：AutoGen Planning Tutorial

核心思想：多个 Conversable Agent 通过对话协作完成任务，Planner 可以是其中一个 Agent 的角色。

计划表示：对话中隐式或显式地表达计划。

执行方式：通过 Agent 间对话推进任务，Planner Agent 负责协调。

优点：

• 高度灵活，适合探索性、对话式任务。
• 人机协同自然。

缺点：

• 对话状态复杂，难以保证一致性。
• 计划与执行边界模糊，调试困难。

适用场景：研究原型、需要频繁人机协作、任务边界不固定的场景。

9. ReWOO

论文：ReWOO: Efficient Agentic Workflow with World Model-Based Sequential Planning（2023，ICLR 2024）

核心思想：把 Plan-and-Execute 再推进一步——Planner 在完全不看工具返回的情况下生成整份计划，用变量占位符引用未来才会得到的观测结果；Worker 执行工具调用；Solver 汇总并做最终推理。

计划表示：带变量占位符的线性计划，例如"步骤 2 的输入引用步骤 1 的输出"。

执行方式：先一次性规划、再批量执行，天然支持并行工具调用。

优点：

• 大幅省 token：推理与观测解耦，避免"每一步都重新读一遍全部历史"。
• 无观测即可规划，适合工具输出难以提前获得的场景。

缺点：

• 计划不含真实观测，遇到意外时没有重规划机制，容错弱。
• 占位符引用出错时（如步骤编号错位）会导致整条计划失败。

适用场景：工具调用相互独立、可并行、且观测内容大致可预期的任务。

10. LATS

论文：Language Agent Tree Search Unifies Reasoning Acting and Planning（2023，ICML 2024）

核心思想：把 ReAct 的线性交错升级成 MCTS 树搜索——LLM 身兼三职：动作生成器（扩展节点）、价值评估器（给节点打分）、反思器（对失败轨迹做 verbal reinforcement）。

计划表示：搜索树，节点是（状态，动作）对，最优路径即计划。

执行方式：Selection → Expansion → Evaluation → Simulation → Backpropagation 的标准 MCTS 循环，环境真实反馈驱动搜索。

关键结果：HumanEval pass@1 GPT-3.5 / GPT-4 分别达 92.7% / 94.4%；WebShop 平均得分 75.9；HotPotQA 上约 2 倍于 ReAct。

优点：

• 统一了推理、行动与规划，可用环境反馈修正推理路径。
• 回溯能力让错误不再沿单路径累积。

缺点：

• 每个节点都伴随多次模型调用，成本数倍于 ReAct。
• 依赖环境可模拟/可回滚；不可逆动作（发邮件、转账）无法安全模拟。

适用场景：代码生成、数学、可回滚的搜索/导航类任务；生产中的推荐姿势是"规划时搜索、执行时线性"。

11. AFlow

论文：AFlow: Automating Agentic Workflow Generation（2024，ICLR 2025）

核心思想：规划的"元层级"——不再搜索一次任务的下一步动作，而是用 MCTS 在工作流代码的空间里搜索：每个节点是一段可执行的 workflow 代码，LLM 通过代码修改算子迭代改进工作流，执行反馈作为奖励信号。

计划表示：可执行代码形式的 workflow（节点即 LLM 调用单元，边即控制流）。

关键结果：六个基准上平均比 SOTA 提升 5.7%；被优化过的小模型可以仅花 GPT-4o 推理成本约 4.55% 的情况下超过 GPT-4o。

优点：

• 把"如何组织规划-执行循环"本身自动化了，摆脱手工设计 workflow 的负担。
• 树状经验沉淀可复用，搜索一次、多任务受益。

缺点：

• 搜索过程需要大量基准执行，前期成本高。
• 优化出的 workflow 可能过拟合特定基准。

适用场景：任务分布稳定、评估集可得、希望自动化发现 Agent 工作流的团队。

12. Plan-and-Act

论文：Plan-and-Act: Improving Planning of Agents for Long-Horizon Tasks（2025，ICML 2025）

核心思想：显式 Planner / Executor 分离，但关键区别在于训练数据管线：用真实轨迹反向标注出"可行的高层计划"作为监督信号，大规模增强后训练专用 Planner 模型——规划从"提示工程"变成"模型能力"。

关键结果：WebArena-Lite 成功率 57.6%、WebVoyager 81.4%（纯文本方案 SOTA）。

优点：

• Planner 可独立迭代与蒸馏，推理成本远低于通用大模型现场规划。
• 训练后的 Planner 输出结构稳定，便于 Validator 校验。

缺点：

• 需要高质量轨迹与标注管线，冷启动成本高。
• 泛化能力受训练分布限制，跨域任务需要重新标注。

适用场景：任务分布稳定、调用量大、且已有（或可构造）成功轨迹数据的业务。

13. HiPER

论文：HiPER: Hierarchical Reinforcement Learning with Explicit Credit Assignment for Large Language Model Agents（2026，ICML 2026）

核心思想：把多轮 LLM Agent 的 RL 训练从"扁平策略"升级为两层时间尺度：高层策略负责提出子目标（规划），低层策略负责执行若干步原子动作（行动）。配合 Hierarchical Advantage Estimation（HAE），把每个子目标执行期间的回报聚合后再做信用分配，相比扁平 GAE 方差更小、梯度无偏。

计划表示：子目标序列（隐式计划），由策略网络即时生成。

关键结果：Qwen2.5-7B-Instruct 在 ALFWorld 达 97.4%（+6.6），WebShop 达 83.3%（+8.3）；在含多个依赖子任务的长程场景上提升尤为明显。

优点：

• 显式分层让稀疏奖励下的信用分配变得可训练，是"层级规划"在学习范式上的落地。
• 小模型即可取得此前大模型提示工程才能达到的规划水平。

缺点：

• 需要可交互环境与奖励设计，训练基建要求高。
• 学到的子目标是隐式的，可解释性弱于显式计划 artifact。

适用场景：有可模拟环境、任务分布稳定、追求高成功率的长程任务（如运维操作、网页流程、家务机器人）。

设计取舍对比表

方案	计划表示	执行方式	动态性	可解释性	扩展性	计算成本
ReAct	隐式 Thought 链	单步交错	高	低	低	中
Plan-and-Execute	列表/DAG	先规划后执行	中	高	中	中
Tree of Thoughts	树	搜索 + 评估	高	中	中	高
LLM+P	PDDL 计划	经典规划器求解	低	高	低	中
HuggingGPT	任务依赖图	模型调度	中	高	高	高
LangGraph planner	图	图运行时	高	中	高	中
OpenAI Agents SDK handoffs	handoff 链	Agent 转交	高	中	高	中
AutoGen planner	对话/隐式	多 Agent 对话	高	低	高	高
ReWOO	带占位符的线性计划	先规划后批量执行	低	高	中	低
LATS	MCTS 搜索树	搜索 + 环境反馈	高	中	中	很高
AFlow	工作流代码	MCTS 搜索 + 执行评估	中	高	高	高（离线）
Plan-and-Act	训练式高层计划	Planner/Executor 分离	中	高	中	低（在线）
HiPER	隐式子目标序列	层级 RL 策略	高	低	中	低（在线）

选型建议

场景	推荐方案
短程工具调用、快速原型	ReAct
目标明确的多步 SOP	Plan-and-Execute
需要探索多路径的推理/决策	Tree of Thoughts / LATS
工具相互独立、追求低 token 成本	ReWOO
状态/动作可形式化的领域	LLM+P
多模态/多模型能力组合	HuggingGPT
复杂控制流、状态机、并行	LangGraph planner
多 Agent 分工协作	OpenAI Agents SDK handoffs / AutoGen
任务分布稳定、有大量轨迹数据	Plan-and-Act（训练式 Planner）
有可模拟环境、追求极限成功率	HiPER（层级 RL）
希望自动化发现最优工作流	AFlow（离线搜索）

本章小结

• ReAct 隐式规划，适合短程任务；Plan-and-Execute 显式计划，适合目标明确的 SOP；ReWOO 用占位符解耦推理与观测，把 token 成本压到最低。
• ToT/LATS 代表搜索式规划：用 MCTS 换回溯能力，但要把搜索限制在规划阶段。
• 2025-2026 年的新主线是"学习化"：Plan-and-Act 用合成数据训练 Planner，HiPER 用层级 RL 直接优化子目标选择，AFlow 则用 MCTS 搜索工作流结构本身。
• 选型应根据计划表示、执行方式、动态性、可解释性、扩展性、计算成本综合判断；任务分布稳定时，优先评估训练式 Planner 的性价比。

参考来源

• ReAct: Synergizing Reasoning and Acting in Language Models
• Planning for Agents - LangChain Blog
• Tree of Thoughts: Deliberate Problem Solving with Large Language Models
• LLM+P: Empowering Large Language Models with Optimal Planning Proficiency
• HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in HuggingFace
• ReWOO: Efficient Agentic Workflow with World Model-Based Sequential Planning
• Language Agent Tree Search Unifies Reasoning Acting and Planning
• AFlow: Automating Agentic Workflow Generation
• Plan-and-Act: Improving Planning of Agents for Long-Horizon Tasks
• HiPER: Hierarchical Reinforcement Learning with Explicit Credit Assignment for LLM Agents
• LangGraph Plans
• OpenAI Agents SDK Handoffs
• AutoGen Planning Tutorial