Kubeflow：Kubernetes 上的机器学习平台
一句话理解：Kubeflow 是把 Jupyter 开发、Pipeline 编排、超参搜索、分布式训练、模型服务串成一条生产级 ML 流水线的 K8s 原生平台——它本身不是单一软件，而是一组 Operator 和 Web UI 的集合，目标让机器学习工作负载像
Deployment一样在 Kubernetes 上声明式运行。
学习目标
读完本主题，你应该能：
- 解释为什么需要 Kubeflow（裸跑 ML 工作负载的痛点）。
- 说清 Kubeflow 的核心组件：Notebooks、Pipelines、Katib、Kubeflow Trainer、KServe、Hub、Spark Operator、Central Dashboard、Profiles。
- 理解 Kubeflow Pipelines v2 的 DSL → Compiler → IR YAML → Run 的完整链路。
- 理解 Katib 的 Experiment/Trial/Suggestion/Early Stopping 机制，以及 Trial 直接跑 TrainJob 的新范式。
- 理解 Kubeflow Trainer 两代 API：V1 框架 CRD（PyTorchJob 等）与 V2
TrainJob+TrainingRuntime（内置 torchtune LLM 微调运行时）。 - 理解多租户模型：Profile、Namespace、KFAM、Istio 认证，以及 1.11 的 PSS/NetworkPolicy 默认基线。
- 了解 Hub（原 Model Registry）：Model Catalog、MCP Catalog、OCI 模型制品。
- 会用 Kubeflow SDK（
pip install kubeflow）：本地后端验证、TrainJob 上集群、模型注册。 - 知道生产落地要点：安装方式选择（Community Distribution 26.03.1 日历版本 / 1.11）、SeaweedFS、多租户、存储、artifact、升级、成本。
与相邻主题的关系
| 主题 | 关系 | 链接 |
|---|---|---|
| Kubernetes | Kubeflow 的底座：namespace、CRD、调度、存储、网络 | Kubernetes |
| Operator 模式 | Kubeflow 每个组件都是 Operator（Pipeline、Katib、Trainer、Hub 等） | Operator 模式 |
| Helm | 安装 Kubeflow 或其组件时可选用 Helm / Kustomize | Helm |
| KServe | Kubeflow 的模型服务组件 | KServe |
| 存储系统 | Pipeline artifact、Notebook PVC、训练 Job checkpoint 都依赖 K8s 存储选型 | 存储系统 |
| Ray | 分布式训练/推理的补充，可与 Kubeflow Trainer / KubeRay 组合 | Ray |
| MLflow | 实验追踪与模型注册，常与 Kubeflow Pipelines 集成 | 计划中 |
| AI SRE | Kubeflow 生产环境的可观测、SLO、成本治理 | AI SRE |
本章结构
| 章节 | 标题 | 内容 |
|---|---|---|
| 1 | 背景 | ML 工作负载的痛点、Kubeflow 诞生与 2025–2026 演进、与 Airflow/MLflow/KServe/Ray 的对比 |
| 2 | 核心思想 | Notebooks、Pipelines、Katib、Trainer（V1/V2）、KServe、Hub、SDK、Central Dashboard、Profiles |
| 3 | 架构设计 | 控制平面、组件交互、多租户与认证、存储与网络 |
| 4 | Runtime 工作流程 | 从 Notebook 开发到 Pipeline Run → Katib 调参 → TrainJob → Hub → KServe 部署；Python-first 新范式 |
| 5 | 核心模块 | Central Dashboard、Notebook Controller、Profile/KFAM、Pipelines 后端、Katib、Trainer、Hub、Spark Operator |
| 6 | 源码分析 | kubeflow/pipelines、trainer、katib、sdk 关键源码与调用链 |
| 7 | Mini Demo | 纯 Python 模拟 Pipeline DAG、Katib Experiment、TrainingJob、Profile |
| 8 | 企业生产实践 | 安装方式、多租户、认证、存储、artifact、监控、升级 |
| 9 | 最佳实践 | Pipeline 版本、缓存、可复现、资源配额、安全、成本 |
| 10 | 面试题 | 初/中/高级 Kubeflow 高频题 |
| 11 | 延伸阅读 | 官方文档、发布博客、生态工具、学习路径 |
一句话总结
Kubeflow = Kubernetes 上的 ML 生命周期操作系统：Notebook 做开发、Pipelines 做编排、Katib 做搜索、Trainer 做分布式训练与 LLM 微调、KServe 做服务（含 LLMInferenceService）、Hub 管模型与 MCP 资产、Central Dashboard 做入口——全部通过 CRD 和 Operator 跑在 K8s 上，并且从 2026 年起可以用 pip install kubeflow 以 Python-first 方式驱动。
参考来源
- Kubeflow 官网
- Kubeflow GitHub
- Kubeflow Pipelines GitHub
- Kubeflow Katib GitHub
- Kubeflow Trainer GitHub
- Kubeflow SDK GitHub
- Kubeflow 1.11 Release
- Kubeflow Community Distribution 26.03 Release
- Kubeflow Manifests Releases（当前稳定版 26.03.1）
- CNCF 宣布 Kubeflow 毕业（2026-08-17）
- Kubeflow Graduation 博客
- 本手册 Operator 模式、KServe、Ray、Kubernetes