AI Infra HandbookAI 基础设施工程师手册

一句话理解 ​

AI Infra Handbook 不是教程合集，而是一本面向 AI 基础设施工程师的长期维护的工程手册。

它帮助一名已经具备 Kubernetes / Linux 基础的工程师，成长为能够设计和构建 AI 基础设施的平台工程师、LLMOps Engineer 或 AI SRE。

当前进度 ​

• [x] 项目骨架与 VitePress 初始化
• [x] vLLM 主题（LLM 推理引擎）
• [x] SGLang 主题（LLM Program / RadixAttention / 结构化生成）
• [x] TensorRT-LLM 主题（NVIDIA 编译型 LLM 推理引擎）
• [x] Triton Inference Server 主题（多框架推理服务软件）
• [x] LLM Gateway 主题（访问控制与抽象层）
• [x] Agent Runtime 主题（AI Agent 执行容器）
• [x] Memory 主题（AI Agent 记忆系统）
• [x] Multi-Agent 主题（多 Agent 协作系统）
• [x] Reflection 主题（Agent 自我反思与纠错系统）
• [x] MCP 主题（模型上下文协议）
• [x] Planning 主题（Agent 规划系统）
• [ ] 更多主题持续建设中……

如何阅读 ​

1. 如果你是新手，建议从 学习路线 开始。
2. 如果你想快速了解一个主题，先看 阅读指南。
3. 如果你关注当前最热门的 LLM 推理引擎，直接阅读 vLLM 详解、SGLang 详解、TensorRT-LLM 详解、Triton 详解、LLM Gateway 详解、Agent Runtime 详解、Memory 详解、Multi-Agent 详解、Reflection 详解、MCP 详解 或 Planning 详解。

贡献 ​

欢迎通过 GitHub 提交 Issue 和 PR。所有内容采用 CC-BY-SA-4.0 协议授权。

License ​

CC-BY-SA-4.0