Skip to content

4. 工作流程:一次查询的生命线 ​

本章把 第 3 章 的分层串成一条时间线:从用户敲下回车,到第一个词元出现在屏幕上。所有延迟数字分两类:有出处(来自官方博客/公告)与教学模型(来自本主题 Mini Demo 的合成预算,用于演示量级关系,不代表 Perplexity 内部数字)。

4.1 端到端时序 ​

4.2 阶段拆解 ​

① 查询理解与路由(毫秒级)。 决定这次查询走哪条路径:简单事实查询 → 快档模型;多步分析 → Pro/Reasoning 档;涉及代码执行/文件操作 → 挂 SPACE 沙箱。Aravind 访谈中提到混合排序信号(BM25、向量、域名权威度、时效性)按查询类别加权【访谈】——查询分类不仅影响选模型,还影响检索策略。[Mini Demo routing.py] 用"满足质量下限的最便宜档"近似这一决策。

② 缓存查询。 exact 缓存(规范化查询串)+ 语义缓存(相似问法)。缓存命中直接跳过检索与生成,是答案引擎毛利率的最大单一杠杆之一。本层为推断:缓存存在性可由其商业模型与行业惯例推断,但 Perplexity 未公开缓存命中率与层级设计。

③ 检索召回(Photon,65 ms p99 口径)。 broker 选分片组、shard 并行做 WAND 式倒排遍历 + 字段加权打分、broker 合并。教学预算取 65 ms(Photon p99 公开口径)。Fast Search 预设下,单次搜索调用公开口径为 160 ms p50 / 230 ms p95【一手】。

④ 热存储读(CobbleDB,5.6 ms p50 口径)。 段落、字段、embedding 的批量 MultiGet;hedged reads 吸收慢副本。教学预算取 5.6 ms(CobbleDB p50 公开口径)。

⑤ 重排与上下文组装(教学模型)。 检索返回的 top-N(例如 24)做二段精排后截到 top-5 进上下文。Perplexity 公开口径强调"检索不到就不回答"的引用纪律【访谈】:模型不许说检索内容之外的话,检索资源不足时明确告知用户。上下文组装还要处理引用槽位(每个论断对应来源段落)——这是答案引擎相对普通 RAG 的关键差异。

⑥ 流式生成(TTFT + 解码)。 教学预算:Sonar 档 TTFT 150 ms、1200 tok/s(Cerebras 官方口径的数量级)。第三方模型路径的 TTFT 取决于供应商。流式输出意味着阶段⑦与⑥在用户感知中重叠(见下)。

⑦ 引用渲染与后处理。 边生成边对齐引用编号;完成后做敏感词与安全检查、写入缓存。由于流式渲染,用户感知延迟 ≈ TTFT + 读前几十个 token 的时间,不是全部阶段之和——这是把 第 2 章 tail latency 哲学落到工程上的关键。

4.3 延迟预算表(教学模型) ​

Mini Demo 场景 5 的合成预算,全部阶段之和 550 ms:

阶段教学预算口径
查询理解与路由5 ms教学模型
缓存查询2 ms教学模型
检索召回65 msPhoton p99 公开口径
重排(top-24)48 ms教学模型
首次生成 TTFT150 ms教学模型(Sonar 档量级)
流式解码 300 token250 ms1200 tok/s 官方口径换算
引用渲染与后处理30 ms教学模型

对照组:2026 年官方 Fast Search 口径 160 ms p50 / 230 ms p95【一手】——检索层单独就要求百毫秒以内,任何比它慢的环节(例如一个 300 ms TTFT 的模型)都会立刻成为端到端瓶颈。检索快而生成慢时,优化生成;生成快而检索慢时,优化检索——瓶颈永远跟着 p99 走,不跟着均值走。

4.4 Deep Research 的多轮分支 ​

Deep Research(2025-02 上线)是同一生命线的循环版:把复杂问题拆成子查询,每个子查询走 4.2 的完整链路,中间结果作为后续检索的上下文,最后汇总成长报告。官方 API 对 Sonar Deep Research 的计费直接暴露了它的成本结构——按 citation token、reasoning token 与 search query 次数三项分别计费【一手:docs.perplexity.ai 定价页】:搜索调用被当成一等计费单位,说明多轮检索是该产品最主要的成本驱动。这也是"搜索是推理的一部分"这一命题在商业模式上的直接体现。

4.5 失败与降级路径 ​

  • 检索为空 → 明确告知"没有足够的检索资源给出好答案",而不是让模型自由发挥【访谈】——宁可答不了,不可编。
  • 第三方模型超时/降质 → 官方文档公开的 model fallback 机制自动切换备选模型【一手】;自研 Sonar 的存在本身也是 fallback 的一种形态。
  • 慢副本/慢分片 → Photon broker 超时监控 + 重发;CobbleDB hedged reads;YTsaurus 层的分区容错【一手】。
  • Agent 代码执行 → SPACE 沙箱隔离 + 快照恢复,逃逸对抗测试公开【一手】。

下一章 核心模块 逐模块展开设计与参数。

Released under CC-BY-SA-4.0 License.