面试题

本章按初级、中级、高级三个层次整理 Benchmark + Evaluation 相关面试题，覆盖评估维度、LLM-as-judge、trace-based 评估、回归检测、AIOps 等核心话题。

初级

1. 为什么 AI 系统不能只靠传统监控（如 Prometheus + Grafana）保证质量？

参考答案要点：传统监控关注可用性、延迟、错误率等接口层指标；AI 系统即使 HTTP 200、延迟正常，也可能出现幻觉、事实错误、工具误用、输出质量下降。需要增加语义层评估（correctness、factuality、tool accuracy、safety）。

2. 列举至少三个 AI 系统特有的评估维度。

参考答案：正确性、事实性、工具使用正确性、安全性、鲁棒性、延迟、成本。可结合场景说明权重差异。

3. 什么是黄金数据集（Golden Set）？它有什么优缺点？

参考答案：黄金数据集是人工标注的、带有期望输出的数据集。优点是可信度高、适合回归测试；缺点是构建成本高、可能无法覆盖真实分布变化。

4. 离线评估和在线评估有什么区别？各适用于什么场景？

参考答案：离线评估使用预先准备的数据集，成本低、可复现，适合 CI 门控与模型选型；在线评估基于真实流量，能发现长尾问题，适合生产监控与 A/B 验证。

5. 什么是 LLM-as-judge？举一个适用场景。

参考答案：用另一个 LLM 对模型输出打分或做 pairwise 比较。适用于开放性答案评估（如创意写作质量、回答相关性），因为规则匹配难以覆盖。

中级

6. 如何设计一个评估 Agent 工具调用正确性的 evaluator？

参考答案要点：

• 解析 trace 中的 tool call span，检查调用的工具名称是否正确。
• 校验参数是否符合 JSON Schema，必填字段是否完整。
• 检查工具返回是否被正确消费，是否产生预期副作用。
• 对多步骤 Agent，检查调用顺序是否符合预期计划。
• 对错误注入场景，测试 Agent 是否能正确重试或报错。

7. LLM-as-judge 有哪些常见偏见？如何缓解？

参考答案要点：位置偏见、长度偏见、自我偏好、标准漂移、提示词依赖。缓解方法包括：多 judge 投票、固定温度、使用 CoT 理由、用黄金集校准、按维度 rubric 评分、低置信度转人工复核。

8. 如何在 CI 中集成评估门禁？应该设置哪些规则？

参考答案要点：

• 在 CI pipeline 中增加离线评估步骤，生成报告。
• 设置硬门（如安全必须 100% 通过、总体分数 ≥ 阈值）和软门（如某能力下降超过 x% 告警）。
• 分层评估：PR 轻量、发布前全量。
• 把结果输出到 PR comment、dashboard、邮件。
• 评估失败时提供失败样本与 diff，便于快速定位。

9. 影子评估（Shadow Evaluation）是什么？有什么优缺点？

参考答案要点：新版本与旧版本同时接收真实流量，新版本不返回给用户，仅用于评估。优点是安全、能反映真实分布；缺点是成本 doubled、需要严格隔离、不直接获得用户反馈。

10. 如何评估 RAG 系统的检索质量与生成质量？

参考答案要点：

• 检索质量：Context Precision、Context Recall、Context Relevancy、Entity Recall。
• 生成质量：Faithfulness（答案是否被检索片段支持）、Answer Relevancy、Correctness。
• 可结合人工标注与自动指标，注意引用溯源与幻觉检测。

11. MMLU、GSM8K 这类经典基准已经接近饱和，模型选型时应该看什么？

参考答案要点：

• 理解饱和循环：基准难不住前沿模型后失去区分度，必须转向更难的继任基准。
• 按能力域选择未饱和基准：综合极难（Humanity's Last Exam）、数学（FrontierMath、PutnamBench）、工程（SWE-bench Pro / Multimodal）、环境交互（OSWorld 2.0、GAIA）、动态抗污染（LiveBench）。
• 公开分数必须带上下文：harness 版本、采样预算、评测日期、官方榜单还是厂商自报。
• 最终仍要以自建黄金数据集 + 影子评估为准，公开基准只用于初筛。

12. 什么是评测污染（contamination）？如何检测与缓解？

参考答案要点：

• 定义：测试样本或其改写出现在模型的预训练 / 后训练数据中，导致分数虚高。
• 检测：n-gram 重叠只是底线，容易被改写、翻译绕过；应升级为 LLM 语义级查重、金丝雀字符串、干净镜像集重测（审计发现 MMLU 约 29%、C-Eval 约 46% 疑似污染）。
• 缓解：私有 / 动态测试集（LiveBench 月度轮换、MMLU-CF）、污染声明、推理时去污染；自建数据集入库前做语义查重。
• 治理：引用分数时核查模型卡的去重方法与审计结论，对厂商自报分数保持警惕。

高级

13. 设计一个端到端的 Benchmark + Evaluation 平台，需要哪些核心模块？它们如何协作？

参考答案要点：

• Agent/App + Instrumentation SDK → Telemetry Store。
• Benchmark Registry 管理数据集与任务。
• Evaluation Engine 批量运行 evaluator（规则、embedding、LLM judge、代码执行）。
• Scoring & Aggregation 计算指标与回归。
• Experiment Tracking 记录实验上下文。
• CI Gate 阻止 regression。
• Human Review Queue 处理低置信度与高影响样本。
• Dashboard / Alerting / Report Generator 输出可视化与报告。
• 最终反馈给 CI/CD、模型选择、Prompt、工具、guardrails。

14. 当新版本在某项能力上分数下降时，你会如何定位根因？

参考答案要点：

• 先看是全局下降还是特定能力下降，特定输入类型是否集中。
• 用 trace 回放失败样本，观察模型、Prompt、工具、检索哪个环节变化。
• 做 ablation：只换模型、只换 Prompt、只换检索，看影响。
• 对比成本 / 延迟变化，判断是否因压缩、截断、降级导致。
• 与安全、产品团队确认是否因策略收紧导致可用性下降。

15. 如何防止团队"刷"评估指标？

参考答案要点：

• 多指标综合，避免单一指标成为唯一目标。
• 定期用 A/B 测试验证离线指标与在线业务指标的相关性。
• 引入对抗性评估与红队，主动寻找系统弱点。
• 人工抽检与 judge 校准，发现自动评分的系统性偏差。
• 把失败案例与根因修复纳入绩效考核，而非只看分数。

16. 在线评估中，如何在成本与覆盖率之间做权衡？

参考答案要点：

• 按风险与能力分层：安全、核心能力 100% 评估；长尾能力采样 1%-10%。
• 先用规则 / embedding 做低成本初筛，高价值样本再用 LLM judge。
• 对影子评估按流量比例开启，设置月度预算。
• 用缓存避免对相同输入重复评估。
• 持续监控评估成本占总体 AI 成本的比例，设置告警。

17. AI SRE 中的 AIOps 如何与 Benchmark + Evaluation 结合？

参考答案要点：

• AIOps 从 metrics/logs/traces 中检测异常；Evaluation 把异常转化为质量分数与失败模式。
• 用评估指标作为 AIOps 的输入特征（如幻觉率突增、工具错误率上升）。
• 用 AIOps 对失败样本做聚类与根因推荐。
• 用 LLM 自动生成 postmortem、runbook 更新建议。
• 两者共同构成"可观测性 → 评估 → 告警 → 修复"的闭环。

18. pass@1 与 pass^k 有什么区别？验收 Agent 应该用哪个？

参考答案要点：

• pass@1 是单次运行成功率，反映用户体验的平均水平；pass^k 是 k 次独立运行全部成功的概率，反映可靠性。
• Agent 有随机性与累积错误，pass@1 = 80% 的客服 Agent，pass⁸ 可能只有约 17%，而生产要求的是"每次都做对"。
• 高 stakes 场景应以 pass^k（k 按业务容忍度）为硬指标，同时报告方差与失败 streak；并结合"失败可检测 / 可升级人工"的能力评估。

19. LMArena（Arena）排名能不能作为模型选型依据？

参考答案要点：

• 能作为体感参考：捕捉语气、可用性、指令遵循等静态基准测不到的维度。
• 不能作为唯一依据：投票衡量"听起来好"而非"答得对"；2025 年"排行榜幻觉"研究指出变体挑选（厂商私下测几十个变体只报最优）、静默下架对开源模型有系统性偏差、Llama 4 定制版事件、Style Control 争议、榜单方同时经营商业评估业务存在利益冲突。
• 正确姿势：Arena 排名 + 抗污染客观榜（LiveBench 等）+ 自建黄金集三者交叉验证，最终用影子评估与 A/B 测试定案。

20. Agent-as-a-Judge 相比普通 LLM-as-Judge 有什么优势与风险？

参考答案要点：

• 优势：评审 Agent 逐步检查执行轨迹而非只看最终输出，论文报告与人工专家一致率约 90%（静态 judge 约 70%），成本下降约 97%；适合"答案对但过程偷工减料"的检测。
• 风险：聚合一致率掩盖判分正确性盲区；judge 存在对抗攻击面（单符号 master key 可诱发虚高评分）；judge 自身随机性。
• 缓解：DAG 化二元子判定、不确定时路由到更强 judge、跨模型族评审、用 AgentJudgeBench 等基准定期审计 judge。

小结

面试题覆盖了从概念理解到系统设计的不同深度。回答时应结合具体项目经验，展示对评估目标、工具选择、偏见控制、生产落地、组织协作的全面思考。下一章提供延伸阅读与跨主题链接。