8. 企业生产实践：延迟预算管理、GPU 共享与成本
一句话理解：生产环境的多模态/语音系统，本质上是把一张毫秒级预算表当成 SLO 来运营——每段延迟有人认领、每个模型有降级路径、每路语音会话有完整的成本账本；谁掌握了预算表，谁就掌握了语音 Agent 的体验与毛利。
8.1 延迟预算管理：预算表即架构
成熟的语音团队会把 first-audio 预算拆成「认领制」：
| 段 | 预算（参考） | 负责团队 | 主要手段 |
|---|---|---|---|
| 端点检测 | 150-250ms | 音频组 | 语义端点模型、动态静音窗口 |
| STT 定稿 | 80-150ms | 音频组 | 流式 ASR、热词、端点并行定稿 |
| LLM TTFT | 200-300ms | 推理组 | 级联小模型、prefix cache、PD 分离 |
| TTS 首帧 | 80-120ms | 音频组 | 流式 vocoder、首帧优先级队列 |
| 网络/播放 | 30-60ms | 平台组 | 边缘接入、播放缓冲自适应 |
三条运营经验：
- 按杠杆排序投资：由 Mini Demo 场景 3 的分析，TTFT 与 endpointing 合计占 64% 的预算——优化顺序应从这两段开始；
- 测量先于优化：没有逐段埋点（每段记录进入/离开时间戳）就无法归因，P50/P95 要分开看（P95 往往是某段偶发排队）；
- 预算随场景浮动：客服场景可放宽到 1s 换准确率，陪伴/硬件场景要压到 500ms 内——同一套系统按租户配置多档预算。
8.2 GPU 共享与资源编排
多模态负载的资源画像天然异构：
text
显存/算力需求: LLM 池(大头) │ encoder 池(小头, burst) │ ASR/TTS 池(稳态, 低算力)
放置策略: H100/A100 │ 共卡分时 或 L4 独立池 │ L4/T4 池, 按并发路数扩缩实践要点：
- encoder 与 LLM 共卡时设硬性限额（
limit_mm_per_prompt+ 显存水位保护），防止一张 8K 图打爆同卡 decode； - ASR/TTS 是「路数型」负载：一路电话/会话占一份固定算力，扩缩容指标用「并发路数」而非 QPS；用 KEDA 类组件按活跃会话数弹性伸缩；
- 视觉 encoder 输出缓存的容量规划：按「热图集大小 × 每图 embedding 显存」估算（embedding 为 hidden_size × token 数 × 2 字节，1280 token × 4096 维 ≈ 10MB/图），命中率每提高 10 点，encoder 池可缩约同比例。
8.3 成本核算：语音会话的完整账本
一条 3 分钟语音会话的成本（2026 参考结构）：
| 项 | 计量 | 量级 |
|---|---|---|
| ASR（三段式） | 音频秒数 | 约 ¥0.006-0.02/分钟（自托管更低） |
| LLM | 文本 token（双向文本） | 数百 token/轮 |
| TTS | 字符/秒 | 约 ¥0.01-0.05/分钟（自托管更低） |
| 端到端 API（替代以上三项） | 音频 token（输入秒 + 输出 token） | 约为文本 API 的 5-15 倍同信息量 |
| 实时基础设施 | 并发路数 × 时长 | SFU/网关带宽与机器 |
核算纪律：
- 打断是成本事件：每次打断浪费已生成的 token/TTS 音频，打断率高的会话成本显著上浮——把误打断率同时记入体验与成本两个看板；
- 缓存命中即毛利：system prompt 前缀缓存、视觉 embedding 缓存、TTS 常用短语缓存（"您好，请问有什么可以帮您"）都是零推理成本的路径；
- 按会话阶段分层：寒暄/收音阶段用小模型，实质问答切大模型，成本可降一个量级（级联路由的性价比远高于全局降配）。
8.4 可靠性与降级
语音系统在线时长要求接近电话网（99.95%+），降级设计：
text
Realtime API 超时/不可用
→ 自动降级三段式（本地 ASR + 文本 LLM + 本地 TTS，延迟上浮但有响应）
ASR 质量劣化（噪声/方言）
→ 提示重复 + 转按键/文本通道（DTMF fallback）
TTS 首帧超时
→ 先播 filler 音频保交互感，异步换引擎
视觉请求突发
→ 限分辨率/限帧率降级（max_tokens 钳制优先于排队）关键设计原则是每一级都有「能出声」的兜底：语音 Agent 最差也要像断线的客服——说清楚状况并给出替代通道，而不是静默失败。
8.5 组织与流程
- 跨团队 SLO：音频组、推理组、平台组共用一张预算表，变更需跨组评审（endpointing 模型升级会吃掉 LLM 组的余量）；
- 仿真回放：用录制的真实会话 trace 回放压测（Mini Demo 的双工状态机就是这种 trace 驱动的最小形态）；
- 影子模式：新端点模型/新 codec 先影子运行（只记录决策不改行为），对比误打断率与延迟再切流。
小结
- 延迟预算表要认领制、按杠杆排序投资、逐段埋点归因。
- GPU 编排上 LLM/encoder/ASR-TTS 三类资源画像不同，扩缩容指标分别是 token/s、burst 缓冲、并发路数。
- 成本看板要同时记体验指标：打断率、缓存命中率既决定毛利也决定体验。
- 可靠性靠分级兜底：任何一级故障都要有「能出声」的降级路径。