11. 延伸阅读

官方文档（必读）

• Triton Inference Server User Guide
  • 最权威、最全面的 Triton 文档。
• Triton Architecture
  • 官方架构介绍，含 Dynamic Batching、Sequence Batching、Ensemble 的图示。
• Triton Model Configuration
  • config.pbtxt 完整字段说明。
• Triton Model Repository
  • 模型仓库结构、远程存储、版本管理。
• Triton Metrics
  • Prometheus 指标列表与解释。

GitHub 仓库

• triton-inference-server/server
  • Triton core 源码与 issue 讨论。
• triton-inference-server/backend
  • Backend API 与公共库。
• triton-inference-server/core
  • Triton server 核心 C++ 库。
• triton-inference-server/python_backend
  • Python backend 源码。
• triton-inference-server/tensorrtllm_backend
  • TensorRT-LLM backend。
• triton-inference-server/vllm_backend
  • vLLM backend。
• triton-inference-server/model_analyzer
  • 自动配置调优工具。

NVIDIA 资源

• NVIDIA Triton Inference Server 主页
• NVIDIA Dynamo-Triton 官方主页
  • Triton 更名后的官方入口（formerly Triton Inference Server）。
• NVIDIA Dynamo 官方主页
  • 面向大规模 LLM 的分布式推理框架，Triton 的互补组件。
• NVIDIA DYNAMO FAQ
  • 官方对 Dynamo-Triton 更名、与 Dynamo 分工的说明。
• Triton Release Notes
  • 每个 NGC 月度版本（YY.MM）的详细变更。
• NGC Triton Container Catalog
  • 官方 Docker 镜像与版本说明。
• NVIDIA Deep Learning Examples — Triton
  • 官方推理示例。

Kubernetes / KServe 集成

• KServe Triton Runtime 文档
• KServe 官方文档
• Triton Kubernetes Deploy Guide

相关主题

• vLLM 详解 — LLM 推理引擎，可作为 Triton vLLM backend。
• SGLang 详解 — LLM Program 执行引擎。
• TensorRT-LLM 详解 — NVIDIA 编译型 LLM 推理引擎，可作为 Triton TensorRT-LLM backend。
• LLM Gateway 详解 — 位于 Triton 前的统一接入层，处理认证、限流、路由与多租户。
• AI 编译器与 Kernel 生成详解 — 推理引擎之下的算子编译层：Triton 语言、Inductor、cuTile/CUTLASS、TileLang。注意区分：本主题的 Triton 是 NVIDIA 推理服务软件，该主题讲的是 OpenAI 的 Triton GPU 编程语言与编译器。
• 模型量化与压缩基础设施详解 — Triton 后端（尤其 TensorRT-LLM backend）常加载量化后的引擎；量化方案选择直接影响 Triton 部署的成本与延迟。

推荐学习路径

1. 先通读 Triton 官方 Architecture 与 Model Configuration 文档。
2. 用 NGC Docker 跑通一个 classification 示例。
3. 尝试把 vLLM 或 TensorRT-LLM 模型接入 Triton。
4. 阅读 server 仓库的 src/core/dynamic_batch_scheduler.cc 与 ensemble_scheduler.cc。
5. 用 Triton Model Analyzer 自动搜索最优配置。
6. 如果负责大规模 LLM 集群，继续阅读 NVIDIA Dynamo 与 TensorRT-LLM Disaggregated Serving，理解 prefill/decode 分离与 KV 传输。

本章小结

Triton 的生态系统非常丰富，官方文档、GitHub 源码、NGC 镜像、Model Analyzer 是最核心的学习资源。结合本主题的 Mini Demo 与 生产实践，可以从理论到工程全面掌握 Triton Inference Server。