11. 延伸阅读
11.1 经典书籍
| 书名 | 作者 | 推荐理由 |
|---|---|---|
| 《Designing Data-Intensive Applications》 | Martin Kleppmann | 数据模型、存储引擎、复制、一致性、事务的系统讲解。 |
| 《The Linux Programming Interface》 | Michael Kerrisk | 文件 I/O、ext4、VFS 等 Linux 存储接口圣经。 |
| 《Cloud Native Storage》 | Alex Chalkias 等 | Kubernetes 存储、CSI、云原生存储实践。 |
11.2 关键论文
- GFS / Colossus — Google 分布式文件系统的设计演进。
- Ceph — 统一的分布式存储系统。
- Lustre — 面向 HPC 的并行文件系统。
- Alluxio — 内存/SSD 虚拟分布式存储层。
- JuiceFS — 基于对象存储的 POSIX 文件系统。
11.3 官方文档
- AWS S3 Documentation
- MinIO Documentation
- Ceph Documentation
- Lustre Documentation
- Kubernetes Storage Concepts
- Kubernetes CSI Spec
- PyTorch Distributed Checkpoint
- fsspec Documentation
- Google Orbax / Zarr3
11.4 本手册相关主题
- Linux 系统与性能调优:VFS、ext4/xfs、块层、I/O 调度器、page cache、direct I/O。
- 计算机网络:网络存储(NAS/SAN/对象存储/并行文件系统)依赖的网络基础。
- Kubernetes:PV/PVC/StorageClass/CSI 的使用与实现。
- CNI / CSI 深度:CSI 接口、Controller/Node Service、external-provisioner/attacher/resizer/snapshotter、VolumeAttachment、快照与扩容。
- MLflow:Artifact Store 与模型版本管理。
- Kubeflow:Pipeline artifact 与 MLMD lineage。
- KServe:模型存储与 storage-initializer。
- Ray:Object store spill/restore 与数据集存储。
- Airflow:XCom 与 Dataset/Asset 调度中的存储。
- RAG:向量与 embedding 存储。
- AI SRE:存储层可观测性。
- Meta 案例研究:Tectonic、Hammerspace、checkpoint SLA。
- Google 案例研究:Orbax / OCDBT / Zarr3 checkpoint。
- OpenAI 案例研究:TB 级 checkpoint 与并行文件系统。
- Anthropic 案例研究:TB 级 checkpoint 与 artifact 治理。
11.5 社区与会议
- USENIX FAST / ATC:文件系统与存储顶会。
- SNIA:存储网络行业协会,关注企业存储标准。
- KubeCon + CloudNativeCon:CSI、云原生存储、数据管理。
11.6 一句话收尾
存储系统是 AI Infra 中最不容易被看见、却最容易成为瓶颈的底座。理解它的语义、架构和 trade-off,是设计可扩展、可运维、可省钱的 AI 平台的前提。