延伸阅读
本章汇总 AI 安全相关的权威论文、法规、官方文档、开源项目与工程文章,并给出与本手册其他主题的交叉引用。
权威框架与标准
- NIST AI Risk Management Framework (AI RMF) — NIST 发布的 AI 风险管理框架, Govern / Map / Measure / Manage 四个职能。
- NIST SP 800-207 Zero Trust Architecture — 零信任架构的官方定义与原则。
- OWASP Top 10 for Large Language Model Applications — LLM 应用十大安全风险(2025 版),必读。
- OWASP Top 10 for Agentic Applications 2026 — Agentic 系统十大安全风险(ASI01-ASI10,2025-12 发布)。
- OWASP Machine Learning Security Top 10 — 传统 ML 系统安全威胁。
- MITRE ATLAS — AI 系统威胁矩阵与战术技术(2025 年起新增 Agent 专项技术)。
- EU AI Act — 欧盟人工智能法案官方页面;实施时间线。
- NIST AI 600-1 Generative AI Profile — NIST AI RMF 的生成式 AI 配套文件(2024-07)。
- GDPR — 欧盟通用数据保护条例。
- 中国《生成式人工智能服务管理暂行办法》 — 国内生成式 AI 监管文件。
- 《人工智能生成合成内容标识办法》 — 2025-09-01 起施行,配套强制国标 GB 45438-2025《网络安全技术 人工智能生成合成内容标识方法》。
身份与访问
- Open Policy Agent 官方文档
- OpenFGA 官方文档
- Cedar 授权语言
- SPIFFE / SPIRE — 工作负载身份标准。
- Keycloak 官方文档
- Ory Kratos / Hydra — 开源身份与 OAuth 基础设施。
- RFC 8693: OAuth 2.0 Token Exchange — Agent 委托链(
act声明)的标准基础。
密钥与供应链
- HashiCorp Vault 文档
- Sigstore — 开源软件签名生态。
- cosign 文档
- SLSA — 供应链安全框架。
- HuggingFace Safetensors — 安全模型权重格式。
- Picklescan / ModelScan — 模型文件恶意代码扫描,入库 CI 门禁。
- Kubernetes external-secrets
网络与零信任
- Istio Security 文档
- Cilium 文档
- Google BeyondCorp
- Cloudflare Zero Trust
- Teleport — 零信任访问平台。
- OpenZiti — 开源零信任网络覆盖层。
数据隐私与 Guardrails
- Microsoft Presidio
- LlamaFirewall(PurpleLlama) — Meta 开源的 Agent 组合护栏(Prompt Guard 2 + AlignmentCheck + CodeShield)。
- Llama Guard 论文 / HuggingFace
- NeMo Guardrails
- Guardrails AI
- OpenAI Moderation API
- Azure AI Content Safety
- Cloudflare Firewall for AI — 边缘 LLM 请求检查。
红队与评估
- PyRIT — 微软开源的生成式 AI 红队工具。
- Garak — LLM 漏洞扫描工具。
- AgentDojo — 工具调用 Agent 的提示注入基准(NeurIPS 2024)。
- AgentHarm — Agent 有害任务顺从度基准(ICLR 2025)。
- PoisonedRAG — 知识库投毒攻击(USENIX Security 2025):5 份恶意文档可达约 90% 攻击成功率。
- Anthropic Responsible Scaling Policy
- OpenAI Preparedness Framework
论文
- ReAct: Synergizing Reasoning and Acting in Language Models — 虽然主题是 Agent,但其中工具调用的安全边界值得参考。
- Llama Guard: Llama Guard: LLM-based Input-Output Safeguard for Human-AI Conversations — Meta 的内容安全分类模型。
- LlamaFirewall: LlamaFirewall: An Open Source Guardrail System for Building Secure AI Agents(2025)— Prompt Guard 2 + AlignmentCheck + CodeShield 的组合式 Agent 防护。
- PoisonedRAG(USENIX Security 2025)/ CorruptRAG — 知识库投毒攻击与防御的代表工作。
- MCPTox(2025)— 真实 MCP Server 上的工具投毒基准。
- Tree of Thoughts / Chain-of-Thought 系列 — 规划与推理中的提示注入风险。
- Membership Inference Attacks on Machine Learning Models — 成员推断攻击基础。
- Model Inversion Attacks — 模型反演攻击。
- SalUn(ICLR 2024)与 SemEval-2025 LLM Unlearning Challenge — 机器遗忘的代表方法与评测基准。
工程博客与案例
- Google Cloud Blog: BeyondCorp 系列
- Netflix Tech Blog: Zero Trust in the Cloud
- OpenAI / Anthropic 安全博客:红队、对齐、模型评估
- Cloudflare Blog: AI 安全与零信任实践
本手册交叉引用
- AI 供应链与模型安全详解 — 本篇子主题:模型工件/训练数据/Agent 工具链三条供应链线的威胁建模、门禁与签名验证,把本章"模型扫描"一节展开成完整主题。
- LLM Gateway 详解 — 统一入口、认证、限流、审计。
- Agent Runtime 详解 — Agent 循环与工具权限。
- Tool Use 详解 — 工具调用的 schema、校验与沙箱。
- MCP 详解 — 工具/资源/提示的 capability 协商。
- RAG 详解 — 向量库多租户、PII、权限隔离。
- AI SRE 详解 — 安全事件的可观测性、审计、事件响应。
- Benchmark + Evaluation 详解 — 安全评测、red-team 评估与 Guardrails 效果回归检测。
- Personal AI Agent 详解 — 个人智能体的权限最小化、数据主权与隐私模型是 Agent 安全的产品化形态。
- OpenAI 案例研究 — 大规模 AI 服务的安全对齐、红队、合规与隐私治理实践。
- Anthropic 案例研究 — RSP/ASL 安全治理框架、Constitutional AI、可解释性驱动的安全监控。
- Meta 案例研究 — 开放权重安全治理的代表:Llama Guard 2、Prompt Guard、CyberSecEval 2、Code Shield 全部开源,GOAT 自动化红队。
学习路径建议
- 概念入门:先读 OWASP LLM Top 10(2025 版)与 OWASP Agentic Top 10,再读 NIST AI RMF / AI 600-1。
- 架构设计:结合本章 03-architecture 与开源项目文档,画出自己的分层架构图(含 MCP Gateway 与机密计算节点)。
- 动手实践:跑通 Mini Demo,再尝试集成 OPA 或 Presidio。
- 生产视角:阅读 Vault、Istio、SPIRE 官方文档,设计零信任与 Agent 身份落地路径。
- 合规治理:研究 GDPR、AI Act(含 2026-08 透明度义务)、中国标识办法、SOC2 与模型卡片,建立审计与影响评估流程。
小结
AI 安全是一个快速发展的交叉领域,法规、攻击技术与防御工具都在快速演进。持续关注 OWASP、NIST、MITRE ATLAS、主流云厂商与 AI 实验室的安全发布,是保持竞争力的必要投入。