11. 延伸阅读
11.1 经典书籍
| 书名 | 作者 | 推荐理由 |
|---|---|---|
| 《Designing Data-Intensive Applications》 | Martin Kleppmann | 数据模型、存储引擎、复制、一致性、事务的系统讲解。 |
| 《The Linux Programming Interface》 | Michael Kerrisk | 文件 I/O、ext4、VFS 等 Linux 存储接口圣经。 |
| 《Cloud Native Storage》 | Alex Chalkias 等 | Kubernetes 存储、CSI、云原生存储实践。 |
11.2 关键论文
- GFS / Colossus — Google 分布式文件系统的设计演进。
- Ceph — 统一的分布式存储系统。
- Lustre — 面向 HPC 的并行文件系统。
- Alluxio — 内存/SSD 虚拟分布式存储层。
- JuiceFS — 基于对象存储的 POSIX 文件系统。
- Mooncake (USENIX FAST '25) — "Trading more storage for less computation"：以 KV Cache 为中心的推理服务架构，PD 分离 + 分布式 KV 池。
- 3FS / Fire-Flyer File System (2025) — DeepSeek 的 AI 原生并行文件系统，CRAQ 强一致 + FoundationDB 元数据。
- ByteCheckpoint (2024) / DataStates-LLM — 大规模训练 checkpoint 系统与惰性异步 checkpointing。
- GoCkpt (arXiv:2511.07035, 2026) — 梯度辅助的多步重叠 checkpoint，把 GPU→CPU 传输拆进多个训练步。
11.3 官方文档
- AWS S3 Documentation
- MinIO Documentation
- Ceph Documentation
- Lustre 2.17.0 Release — 2025-12 GA：Hybrid IO、动态 LNet NID、动态 nodemap
- DeepSeek 3FS — 6.6 TiB/s 聚合读带宽的 AI 存储
- Mooncake — 分布式 KV Cache 池与 Transfer Engine
- vLLM Blog: Mooncake Store — KV Connector 集成与 GB200 实测
- WEKApod 3 / NeuralMesh 6 — 2026-07 发布的单柜 EB 级 AI 存储
- Google Cloud Next '26 Storage Announcements — Managed Lustre 10 TB/s 与 Cloud Storage Rapid
- JuiceFS 1.4 Release Notes — 文件/目录级分层存储（2026-07 GA）
- Alluxio Enterprise AI 3.5 — CACHE_ONLY checkpoint 写模式
- Micron 6600 ION 245TB 出货公告 — 2026-05 量产
- Amazon S3 Vectors — 对象存储内原生向量检索（2025-12 GA）
- Kubernetes Storage Concepts
- Kubernetes CSI Spec
- PyTorch Distributed Checkpoint
- PyTorch Blog: 6x faster Async Checkpointing
- fsspec Documentation
- Google Orbax / Zarr3
11.4 本手册相关主题
- Linux 系统与性能调优：VFS、ext4/xfs、块层、I/O 调度器、page cache、direct I/O。
- 计算机网络：网络存储（NAS/SAN/对象存储/并行文件系统）依赖的网络基础。
- Kubernetes：PV/PVC/StorageClass/CSI 的使用与实现。
- CNI / CSI 深度：CSI 接口、Controller/Node Service、external-provisioner/attacher/resizer/snapshotter、VolumeAttachment、快照与扩容。
- MLflow：Artifact Store 与模型版本管理。
- Kubeflow：Pipeline artifact 与 MLMD lineage。
- KServe：模型存储与 storage-initializer。
- Ray：Object store spill/restore 与数据集存储。
- Airflow：XCom 与 Dataset/Asset 调度中的存储。
- RAG：向量与 embedding 存储。
- AI SRE：存储层可观测性。
- Meta 案例研究：Tectonic、Hammerspace、checkpoint SLA。
- Google 案例研究：Orbax / OCDBT / Zarr3 checkpoint。
- OpenAI 案例研究：TB 级 checkpoint 与并行文件系统。
- Anthropic 案例研究：TB 级 checkpoint 与 artifact 治理。
- LLM 推理缓存与 KV Cache 管理：KV Cache 分层卸载到 SSD/本地盘，Mooncake 分布式 KV 池的存储底座。
- 向量数据库与 Embedding 基础设施：向量索引（HNSW/IVF）与 Embedding 数据的存储引擎。
11.5 社区与会议
- USENIX FAST / ATC：文件系统与存储顶会。
- SNIA：存储网络行业协会，关注企业存储标准。
- KubeCon + CloudNativeCon：CSI、云原生存储、数据管理。
11.6 一句话收尾
存储系统是 AI Infra 中最不容易被看见、却最容易成为瓶颈的底座。理解它的语义、架构和 trade-off，是设计可扩展、可运维、可省钱的 AI 平台的前提。