背景：为什么研究 OpenAI
OpenAI 成立于 2015 年，最初是非营利 AI 研究机构。2019 年转型为“封顶利润”模式以获得训练资金，随后与 Microsoft 建立深度 cloud 合作关系。其发展历程几乎就是大模型基础设施发展的缩影。
关键里程碑
| 时间 | 事件 | 基础设施意义 |
|---|---|---|
| 2018 | GPT-1 | 首次展示生成预训练 Transformer 的可扩展性。 |
| 2019 | GPT-2 | 模型大到引发“发布风险”讨论，开始 staged release。 |
| 2020 | GPT-3 (175B) | 需要数千 GPU 训练，OpenAI 开始依赖 Azure 超级计算机。 |
| 2022 | ChatGPT | viral 增长，推理基础设施从研究者工具转向消费级产品。 |
| 2023 | GPT-4 | 多模态、更大规模，训练与推理成本剧增。 |
| 2024 | GPT-4o / o1 | 原生多模态与 reasoning 模型，对实时推理与测试时计算提出新需求。 |
| 2025-2026 | o3 / 代理产品 | 推理扩展（test-time compute）与 Agent 执行成为基础设施核心。 |
产品矩阵
- ChatGPT：面向消费者的对话产品，峰值流量极高，对延迟和可用性敏感。
- OpenAI API：面向开发者的 B2B 平台，需要多租户、稳定 SLO、全球低延迟。
- DALL-E / Sora：多模态生成，需要大规模图像/视频推理集群。
- Whisper：语音模型，强调边缘与实时性。
- Codex / Operator：Agent 与工具调用，需要沙箱、权限控制与长程状态管理。
工程挑战
训练规模指数级增长 GPT-4 级别模型训练需要数万个高端 GPU 数月运行，任何硬件/网络/软件故障都会导致数百万美元损失。
推理成本主导运营支出 训练成本虽高但一次性；推理是持续性成本，且随用户增长线性或超线性扩张。
延迟与用户体验强相关 ChatGPT 的“打字机效果”、first token latency、throughput 直接影响用户留存。
安全与滥用治理 开放 API 带来提示注入、越狱、垃圾邮件、版权、有害内容等风险。
模型版本与能力快速迭代 每隔数月发布新模型，基础设施必须支持快速灰度、A/B 测试与回滚。
为什么 OpenAI 值得作为案例
- 公开资料相对丰富：Microsoft/Azure 官方博客、OpenAI 研究博客、System Cards、演讲、开源项目提供了大量一手信息。
- 覆盖了 AI Infra 全栈：从数据、训练、推理、部署、安全到产品化。
- 技术选型具有代表性：大规模 GPU 集群、InfiniBand、continuous batching、KV cache 优化、多模态 pipeline。
- 决策 trade-off 清晰：性能 vs 成本、安全 vs 能力、封闭 vs 开放、研究 vs 产品。
小结
OpenAI 不是唯一的大模型公司，但它的工程路径最能体现“从研究到规模化产品”的完整跃迁。下一章将从其核心工程思想入手，建立分析框架。