AI 安全生命周期

安全不是一次性扫描，而是贯穿 AI 系统全生命周期的持续过程。借鉴 SDL（Security Development Lifecycle）和 MLSecOps，我们把 AI 系统安全划分为六个阶段。

1. 设计阶段：威胁建模与风险定级

业务场景分析：系统处理什么数据？做什么决策？影响哪些用户？Agent 能调哪些工具、花多少预算？
威胁建模：使用 STRIDE、OWASP LLM Top 10 2025、OWASP Agentic Top 10 2026（含系统时）、MITRE ATLAS（2025 年起新增 Agent 专项技术：上下文投毒、工具凭证收割等）识别威胁。
风险分级：
- 高风险：医疗诊断、信贷审批、自动驾驶、招聘筛选。
- 中风险：客服、内容生成、代码辅助。
- 低风险：内部知识问答、非敏感数据分析。
合规预评估：GDPR、AI Act（注意 GPAI 义务 2025-08、透明度义务 2026-08 已生效，高风险系统延期至 2027-12）、中国《人工智能生成合成内容标识办法》（2025-09 施行）、SOC2 等适用条款提前确认。

依赖管理：定期扫描 Python/Node/Java 依赖漏洞，锁定版本。
密钥管理：禁止硬编码 API Key，使用 Vault/Secret Manager，配合 pre-commit hook 扫描。
Prompt 工程审计：系统提示模板需经安全 review，避免泄露敏感指令。
数据清洗与去标识化：训练数据去除 PII、毒性内容、版权风险数据。
代码审查：重点检查工具调用、文件访问、网络请求、反序列化点。
MCP 工具审计（2025 后新增）：引入第三方 MCP Server / 工具包时，把工具描述、注册配置当作代码做 review：描述中是否嵌入指令、是否会自动执行、更新策略是否锁定版本。历史案例：2025-09 某邮件服务商的 MCP Server npm 仿冒包在连发 13 个干净版本后投毒（BCC 外泄），"审批一次、终身信任"的模式被证明不可行。

数据血缘：记录训练数据来源、版本、清洗规则（DVC、MLflow）。
投毒/后门检测：监控异常标签、异常样本分布。
安全对齐：RLHF、Constitutional AI、DPO 降低有害输出。
模型版本与签名：使用 Safetensors、Sigstore cosign 对模型文件签名。
实验环境隔离：训练集群与生产网络隔离，限制外部 egress；GPU 驱动栈本身也在攻击面内——及时升级 NVIDIA Container Toolkit / GPU Operator（2025-01 披露的 CVE-2025-23266 容器逃逸即来自该组件的越权挂载）。
机器遗忘（Unlearning，可选但越来越重要）：为"删除权"请求预留流程。2025-2026 的共识是：精确遗忘在 LLM 规模下仍不可行，主流是近似方法（如 SalUn 系列梯度显著性擦除 + 成员推断验证），SemEval-2025 等基准提供了评测框架，但研究界自己也承认"基准分数 ≠ 真的忘掉"——合规上应把它当作"尽力删除 + 可验证证据"，而不是绝对保证。

实时 Guardrails：输入/输出过滤、 toxicity 检测、PII 检测。
行为基线：监控异常调用量、异常 token 消耗、异常工具调用序列。
审计日志：所有认证、授权、Guardrail 决策、人工审批留痕；Agent 系统额外记录每步工具调用与当时的工具描述版本（trace）。
红队与对抗测试：定期模拟提示注入、越狱、数据外泄攻击。2025 后的趋势是基准驱动：用 AgentDojo / AgentHarm 等公开基准做自动化回归（新模型、新 Prompt、新工具上线前跑一轮），把攻击成功率（ASR）作为发布门禁，而不是只靠人工红队。
模型漂移与毒性监测：监控输出分布变化、用户举报、自动化安全评估。
MCP 供应链监测（新增）：监控已注册 MCP Server 的版本变更与描述 diff；官方 MCP Registry 只校验仓库/域名所有权，不做代码审计，"在注册表里"不等于"被审过"。

两者共同目标是：让安全成为自动化、可重复、可度量的工程实践。

AI 安全生命周期把“设计 → 开发 → 训练 → 部署 → 运营 → 响应”串成闭环。下一章将拆解每个阶段所需的核心模块与工具。