11. 延伸阅读
一句话理解：Agent Reflection 的理论基础来自 Self-Refine、Reflexion、CRITIC 等论文，工程落地可以参考 LangGraph、AutoGen 等框架的反射教程，同时要与 Agent Runtime、Memory、Multi-Agent 等主题联动学习。
论文
| 论文 | 核心贡献 | 链接 |
|---|---|---|
| Self-Refine: Iterative Refinement with Self-Feedback | 提出“生成—反馈—精炼”的通用迭代框架，无需额外训练数据 | arXiv |
| Reflexion: Self-Reflective Agents with Verbal Reinforcement Learning | 用语言反馈替代强化学习的奖励信号，Agent 通过反思失败经验改进后续行动 | arXiv |
| CRITIC: Large Language Models Can Self-Correct with Tool-Interactive Critiquing | 引入外部工具交互进行批判，解决 LLM 自评的事实性问题 | arXiv |
| Tree of Thoughts: Deliberate Problem Solving with Large Language Models | 用树搜索结构组织多步推理与评估，支持回溯和全局决策 | arXiv |
| Language Models Can Teach Themselves to Program Better | 展示代码生成任务中自我批判与测试反馈结合的效果 | OpenReview |
框架与官方文档
| 资源 | 说明 | 链接 |
|---|---|---|
| LangGraph Reflection Tutorial | LangGraph 官方反射教程，含代码示例和状态图 | 官方教程 |
| LangGraph Blog — Reflection Agents | 反射 Agent 的设计模式与实践建议 | 博客 |
| AutoGen Reflection Tutorial | Microsoft AutoGen 的反思 Agent 教程 | 官方文档 |
| OpenAI o1 / Reasoning Models | OpenAI 关于推理模型的官方介绍 | OpenAI |
工程文章
- "Building LLM Systems: Reflection" — 讨论何时以及如何在生产系统中引入 Reflection。
- "Self-Correction in LLMs" — 综述 LLM 自我纠错的研究进展与挑战。
- "LLM as a Critic" — 探讨用 LLM 作为 Critic 的 prompt 工程与校准方法。
- "Test-Time Compute" — 讨论通过增加推理时计算（包括反思）提升模型性能的趋势。
相关主题
| 主题 | 关系 | 链接 |
|---|---|---|
| Agent Runtime | Runtime 提供执行循环，Reflection 叠加自我纠错 | 阅读 |
| Agent Memory | Memory 存储反思产生的经验与 episode | 阅读 |
| Multi-Agent | 群体反思依赖多 Agent 通信与协调 | 阅读 |
| Planning 详解 | Plan Reflection 在规划层面做批判与重规划 | 阅读 |
| Tool Use 详解 | Tool-use Reflection 反思工具选择、参数与调用结果 | 阅读 |
| Tool Use（后续主题） | 工具结果可作为 Reflection 的外部反馈 | 敬请期待 |
| MCP | Reflection 可调用外部验证工具；MCP 提供标准化工具发现 | 阅读 |
推荐学习路径
- 先读论文：Self-Refine → Reflexion → CRITIC，理解三种典型反思范式。
- 再看框架：LangGraph Reflection Tutorial 动手跑一遍代码。
- 结合本主题：阅读本主题 01~07 章，理解架构与 Mini Demo。
- 深入学习：结合 Agent Runtime、Memory、Multi-Agent 主题，思考 Reflection 在整个 Agent 系统中的位置。
- 动手实践：在真实任务中尝试构建一个最小 Reflection 系统，用真实 LLM 替换 Demo 中的 MockLLMClient。
Mini Demo 本地入口
- Mini Demo README
- 源码包：
mini-demo/reflection_mini/ - 测试目录：
mini-demo/tests/
本章小结
Agent Reflection 的延伸阅读覆盖了理论基础、工程框架、相关主题和学习路径。建议从 Self-Refine、Reflexion、CRITIC 三篇论文入手，结合 LangGraph 或 AutoGen 的教程进行实践，再与本主题的架构设计、Mini Demo 和企业生产实践章节对照阅读，形成从理论到落地的完整认知。
参考来源
- Self-Refine: Iterative Refinement with Self-Feedback
- Reflexion: Self-Reflective Agents with Verbal Reinforcement Learning
- CRITIC: Large Language Models Can Self-Correct with Tool-Interactive Critiquing
- Tree of Thoughts: Deliberate Problem Solving with Large Language Models
- LangGraph Reflection Tutorial
- AutoGen Reflection
- OpenAI o1 / Reasoning Models
- LangGraph Blog — Reflection Agents