Skip to content

11. 延伸阅读 ​

官方文档 ​

关键概念文档 ​

版本发布博客(2025-2026 演进线) ​

相关主题(本手册内) ​

主题关系链接
Operator 模式KServe 本身就是 OperatorOperator 模式
KubernetesKServe 的底座与调度层Kubernetes
vLLMKServe 的 LLM runtime 之一vLLM
TritonKServe 的多 backend runtimeTriton
Ray可与 KServe 互补的分布式平台Ray
KubeflowKServe 是 Kubeflow 的服务组件,可组合成完整 ML 平台Kubeflow
MLflow实验追踪与模型注册,KServe 可加载 MLflow 模型MLflow
KubeRayRay 在 K8s 上的 Operator,可与 KServe 组合KubeRay
Airflow工作流编排;可编排 KServe 部署流水线Airflow
LLM Gateway可与 KServe 端点组合LLM Gateway
模型量化与压缩KServe 可部署量化后模型,降低推理资源成本模型量化与压缩基础设施
AI SREKServe 的可观测与 SLOAI SRE

论文与博客 ​

生态工具 ​

工具用途
Kustomize / HelmKServe 安装配置管理(v0.17 起为 10 个子 chart)
IstioKServe 经典服务网格与网关
Envoy Gateway / Envoy AI Gatewayllmisvc 默认 Gateway 实现与 AI 网关能力(token 级限流)
KourierKnative 轻量级入口
llm-dKServe LLM 路由/调度的底层框架(EPP、WVA)
KEDA事件驱动扩缩(支持 vLLM 指标)
Prometheus + Grafana指标与可视化
Locust / k6压力测试

学习路径建议 ​

  1. 先修:Kubernetes CRD/Operator、Docker、HTTP/gRPC、Prometheus。
  2. 本主题:通读本主题 11 章 + 跑 mini-demo。
  3. 动手:在本地 kind/minikube 部署 KServe(先核心组件,再加 llmisvc/localmodel),发布一个 sklearn 和 vLLM 模型。
  4. 进阶:读 kserve/kserve controller 源码(重点 llmisvc 与 localmodel 控制面),尝试自定义 runtime。
  5. 生产:阅读官方 admin 文档与 v0.17+ 升级指南,搭建多租户、LocalModelCache、可观测、金丝雀完整方案。

一句话总结 ​

KServe 是连接 K8s 与 AI 推理的桥梁:官方文档是它的使用手册,源码是它的实现地图,相邻主题(Operator/Kubernetes/vLLM/Triton/AI SRE)共同构成完整的 AI 平台知识拼图;而 2025-2026 的 LLMInferenceService + llm-d 演进线,是读懂"下一代推理平台"的最佳入口。

Released under CC-BY-SA-4.0 License.