Skip to content

延伸阅读 ​

本章汇总 AI 安全相关的权威论文、法规、官方文档、开源项目与工程文章,并给出与本手册其他主题的交叉引用。

权威框架与标准 ​

身份与访问 ​

密钥与供应链 ​

网络与零信任 ​

数据隐私与 Guardrails ​

红队与评估 ​

论文 ​

  • ReAct: Synergizing Reasoning and Acting in Language Models — 虽然主题是 Agent,但其中工具调用的安全边界值得参考。
  • Llama Guard: Llama Guard: LLM-based Input-Output Safeguard for Human-AI Conversations — Meta 的内容安全分类模型。
  • LlamaFirewall: LlamaFirewall: An Open Source Guardrail System for Building Secure AI Agents(2025)— Prompt Guard 2 + AlignmentCheck + CodeShield 的组合式 Agent 防护。
  • PoisonedRAG(USENIX Security 2025)/ CorruptRAG — 知识库投毒攻击与防御的代表工作。
  • MCPTox(2025)— 真实 MCP Server 上的工具投毒基准。
  • Tree of Thoughts / Chain-of-Thought 系列 — 规划与推理中的提示注入风险。
  • Membership Inference Attacks on Machine Learning Models — 成员推断攻击基础。
  • Model Inversion Attacks — 模型反演攻击。
  • SalUn(ICLR 2024)与 SemEval-2025 LLM Unlearning Challenge — 机器遗忘的代表方法与评测基准。

工程博客与案例 ​

  • Google Cloud Blog: BeyondCorp 系列
  • Netflix Tech Blog: Zero Trust in the Cloud
  • OpenAI / Anthropic 安全博客:红队、对齐、模型评估
  • Cloudflare Blog: AI 安全与零信任实践

本手册交叉引用 ​

  • AI 供应链与模型安全详解 — 本篇子主题:模型工件/训练数据/Agent 工具链三条供应链线的威胁建模、门禁与签名验证,把本章"模型扫描"一节展开成完整主题。
  • LLM Gateway 详解 — 统一入口、认证、限流、审计。
  • Agent Runtime 详解 — Agent 循环与工具权限。
  • Tool Use 详解 — 工具调用的 schema、校验与沙箱。
  • MCP 详解 — 工具/资源/提示的 capability 协商。
  • RAG 详解 — 向量库多租户、PII、权限隔离。
  • AI SRE 详解 — 安全事件的可观测性、审计、事件响应。
  • Benchmark + Evaluation 详解 — 安全评测、red-team 评估与 Guardrails 效果回归检测。
  • Personal AI Agent 详解 — 个人智能体的权限最小化、数据主权与隐私模型是 Agent 安全的产品化形态。
  • OpenAI 案例研究 — 大规模 AI 服务的安全对齐、红队、合规与隐私治理实践。
  • Anthropic 案例研究 — RSP/ASL 安全治理框架、Constitutional AI、可解释性驱动的安全监控。
  • Meta 案例研究 — 开放权重安全治理的代表:Llama Guard 2、Prompt Guard、CyberSecEval 2、Code Shield 全部开源,GOAT 自动化红队。

学习路径建议 ​

  1. 概念入门:先读 OWASP LLM Top 10(2025 版)与 OWASP Agentic Top 10,再读 NIST AI RMF / AI 600-1。
  2. 架构设计:结合本章 03-architecture 与开源项目文档,画出自己的分层架构图(含 MCP Gateway 与机密计算节点)。
  3. 动手实践:跑通 Mini Demo,再尝试集成 OPA 或 Presidio。
  4. 生产视角:阅读 Vault、Istio、SPIRE 官方文档,设计零信任与 Agent 身份落地路径。
  5. 合规治理:研究 GDPR、AI Act(含 2026-08 透明度义务)、中国标识办法、SOC2 与模型卡片,建立审计与影响评估流程。

小结 ​

AI 安全是一个快速发展的交叉领域,法规、攻击技术与防御工具都在快速演进。持续关注 OWASP、NIST、MITRE ATLAS、主流云厂商与 AI 实验室的安全发布,是保持竞争力的必要投入。

Released under CC-BY-SA-4.0 License.