首页 / Blogs / 智能体安全标准与协议合集

智能体安全标准与协议合集

当 Agent 拥有权限、能调工具、能花钱,「安全」就从模型问题变成了系统工程。本文从威胁基线出发,依次梳理国内标准与监管(国标 / 监管 / 团标)、国际标准与法规(ISO/IEC / NIST / EU AI Act)、身份授权与交易安全协议、防护技术与红队工具、研究报告与真实安全事件,并追踪正在筹建的安全标准动向——共 81 项核心条目 + 6 项筹建动向,每条标注 P0 / P1 / P2 优先级与判断理由,全部材料可在线查阅或一键下载。

⬇ 一键下载全部材料 (ZIP)

2025-2026 年,智能体安全从「边缘议题」变成「主战场」:间接提示注入从论文走向企业级实弹攻击(EchoLeak 零点击漏洞),MCP 生态曝出供应链投毒,Anthropic 实测前沿模型在代理场景中出现勒索等失准行为。与此同时,各国标准密集出台——中国立项全球首部智能体安全强制国标、发布 GB/Z 185 智能体互联系列;OWASP 推出首份 Agentic Top 10;新加坡、NIST 相继发布 agentic 专属治理框架。

这篇合集把 81 项核心条目 按「先立威胁模型,再看标准与防护」的思路组织,并给每一条标上该不该现在做:先给出智能体安全的威胁基线,再依次梳理国内标准与监管、国际标准与法规、身份授权与交易安全协议、防护技术与红队工具、研究报告与真实事件,最后追踪筹建中的标准动向。凡有公开材料的,点击即可在线阅读;暂无全文的,给出权威来源链接。

★先管哪个

下面 87 条按「不做的后果」排序,不按发布时间的远近。每张卡片底部那行是判断——事实可核对,判断是我们的取舍,可以被反驳。

P0 · 现在就得做 · 12 项

不做会被查、被卡、被拒

大模型备案依据(GB/T 45654)、智能体身份码(GB/Z 185)、金融监管明令、MCP 授权规范、以及三起已发生的真实越权事件。

判断口径:监管或客户合同会点名,或同类事故已经发生过。

P1 · 半年内准备 · 34 项

监管口径已定,强制在路上

TC260 部署使用五阶段、治理框架 3.0 的智能体专章、信通院权限五要素、ISO 42001 / NIST AI RMF、以及立项中的强制国标。

判断口径:还没强制,但按它准备等于提前对齐,且能变成差异化。

P2 · 跟踪 · 41 项

知道就行,不影响当下动作

学术论文与评测基准、开源工具选型、区域外法规(EU AI Act 等)、以及仍在筹建的协议与组织。

判断口径:看一眼就够,季度复查一次。

00威胁基线与安全框架

做智能体安全,先要回答「Agent 会被怎么攻击」。这一节给出威胁建模的基线清单:OWASP 的 agentic/LLM 十大风险、MITRE 的对抗性威胁矩阵、NIST 的攻击分类学,以及面向智能体的红队方法论。

OWASP Top 10 for Agentic Applications威胁清单
OWASP Agentic Security Initiative · 2025.12 · 100+ 专家产出
P1威胁建模底稿十类威胁是内部评审的通用语言,做方案先对照它

目前最权威的智能体威胁清单:ASI01 行为劫持、ASI02 提示词注入、ASI03 工具滥用、ASI04 身份滥用、ASI05 护栏不足、ASI06 敏感信息暴露、ASI07 数据投毒、ASI08 拒绝服务、ASI09 不安全供应链、ASI10 过度依赖。是智能体安全工程的威胁建模主骨架。

OWASP Top 10 for LLM Applications (2025)威胁清单
OWASP GenAI 项目 · 2024.11 · 2025 版
P1上位映射智能体威胁的上一层,只要接大模型就绕不开

LLM 应用十大风险:提示词注入、敏感信息泄露、供应链、数据与模型投毒、不当输出处理、过度代理、系统提示词泄露、向量与嵌入弱点、错误信息、无限制资源消耗。智能体(基于 LLM)威胁的基础映射层。

MITRE ATLAS 对抗性威胁矩阵威胁库
MITRE · 持续更新 · 16 战术 / 80+ 技术 / 60+ 案例
P2红队查表攻防知识库,做渗透时当战术索引

类 ATT&CK 结构的 AI 系统对抗战术与技术知识库,覆盖从侦察到数据外泄的完整攻击链;2025 年起新增 LLM/智能体相关技术(含智能体记忆操纵),是威胁建模与检测映射的标准化参照。

NIST AI 100-2 E2025 对抗性机器学习分类分类学
NIST · 2025.03
P2参考攻击分类学术语言,写材料可引用

在 2024 版基础上扩展生成式 AI 攻击术语与分类(提示词注入、数据投毒、模型抽取等),采用「攻击 / 缓解 / 术语」三层结构,是美国官方对 AI 攻防最系统的分类学。

CSA《Agentic AI 红队测试指南》方法论
云安全联盟 (CSA) · 2025 · 12 类智能体风险
P1测试清单12 类风险可直接改成测试用例

归纳权限提升、幻觉、工作流缺陷、记忆操纵、供应链、多智能体漏洞、指令注入、数据泄露、拒绝服务、目标漂移、可解释性缺失、合规风险等 12 类智能体风险,并给出红队测试方法。

TRiSM for Agentic AI(综述)理论研究
arXiv · 2025.06
P2学术跟踪看标准在智能体场景的适配缺口

系统性综述智能体的信任、风险与安全管理(Trust, Risk, Security Management),梳理 NIST/ISO/OWASP 在智能体场景的适配缺口,适合作为理解智能体安全全景的理论骨架。

01国内标准与监管

中国正在快速构建智能体安全标准体系:国标委落地智能体互联系列国标并立项全球首部智能体安全强制国标,网信办等部门出台智能体专项政策,TC260 与信通院持续输出实操指引。

国家标准

GB/Z 185《人工智能 智能体互联》系列(7 项)国标
国家标准委 · 2026.06 · 试点 2000+ 智能体获「数字身份证」
P0必须接2000+ 试点已发身份码,互联底座接晚了最贵

国内首个智能体互联国标系列(指导性技术文件):总体架构、身份码、身份管理、智能体描述、发现、交互、工具调用共 7 部分,形成闭环式互联标准体系;身份码/身份管理是多智能体安全的底座。

GB 45438-2025《人工智能生成合成内容标识方法》国标·强制
市场监管总局 / 国家标准委 · 2025.02 发布 / 2025.09 实施
P1内容出口才做强制力最高,但管 AIGC 标识不管智能体行为

强制性国标,规定 AI 生成合成内容的显式/隐式标识方法,与《人工智能生成合成内容标识办法》配套,支撑 AIGC 内容溯源与深度伪造治理。

GB/T 45654-2025《生成式人工智能服务安全基本要求》国标
TC260 归口 · 2025.04 发布 / 2025.11 实施
P0必须做大模型备案依据,所有安全要求的上位基础

规定生成式 AI 服务者应满足的安全要求(语料、模型、安全措施、安全评估等),由 TC260-0038 文件升级而来,是网信办大模型备案与安全评估的主要标准依据,也是智能体安全要求的上位基础。

GB/T 45652-2025《生成式人工智能训练数据安全规范》国标
TC260 归口 · 2025.04 发布 / 2025.11 实施
P2自训才涉及是模型供方的数据义务,买方只需核验

规范生成式 AI 预训练与优化训练数据的收集、处理与使用安全要求,与 45654、45674 同批构成生成式 AI 安全国标簇。

GB/T 45674-2025《生成式人工智能数据标注安全规范》国标
TC260 归口 · 2025.04 发布 / 2025.11 实施
P2自训才涉及标注环节,数据外包时补进合同条款

规范数据标注环节的安全管理与操作要求,覆盖大模型数据供应链上游的安全治理。

GB/T 45081-2024《人工智能 管理体系》国标
全国信标委 · 2024.11
P2投标加分项组织级治理框架,不做不影响交付

国内首个 AI 管理体系国标,为开发/使用 AI 的组织提供治理框架与管理流程(对标 ISO 管理体系思路),是组织级 AI 安全治理的基座。

监管政策

《智能体规范应用与创新发展实施意见》政策文件
网信办 + 发改委 + 工信部 · 2026.05 · 19 个典型应用场景
P1定方向分类分级治理 + 2027 普及率 70%,强制标准从哪长出来

中国首部智能体专项政策:界定智能体(自主感知、决策、执行),划定 19 个典型应用场景,实行分类分级治理、守牢安全底线;媒体口径 2027 年智能体普及率超 70%。

《生成式人工智能服务管理暂行办法》部门规章
网信办等七部门 · 2023.07 公布 / 2023.08 施行 · 共 24 条
P0必须合规部门规章,备案与安全评估的直接依据

中国首部生成式 AI 专门规章:坚持发展与安全并重、分类分级监管,要求训练数据合法、内容安全义务,具舆论属性的服务须履行安全评估与算法备案。

《人工智能生成合成内容标识办法》规范性文件
网信办等四部门 · 2025.03 发布 / 2025.09 施行
P1内容出口才做与 GB 45438 配套,平台方另有核验义务

确立显式标识 + 隐式标识双要求,覆盖文本、音频、图片、视频;配套强制国标 GB 45438-2025,明确传播平台核验义务。

《互联网信息服务深度合成管理规定》部门规章
网信办等三部门 · 2022.11 公布 / 2023.01 施行 · 共 25 条
P2内容业务才看2023 年已施行,早已并入常规合规

要求深度合成内容显著标识(防混淆误认)、建立辟谣机制,技术支持者与提供者承担双重安全义务。

《互联网信息服务算法推荐管理规定》部门规章
网信办等四部门 · 2021.12 公布 / 2022.03 施行 · 共 35 条
P2有推荐才看五类算法备案,不是智能体专属要求

确立算法备案制度,覆盖生成合成、个性化推送等五类算法,禁止算法歧视与滥用,保障用户关闭推荐等权利。

《国务院关于深入实施「人工智能+」行动的意见》顶层设计
国务院 · 2025.08 · 国发〔2025〕11 号
P1政策坐标普及率指标决定客户明年的预算从哪来

提出 2027 年智能终端、智能体等应用普及率超 70%、2030 年超 90%;同步要求防范应用风险、统筹安全治理,是智能体产业的顶层政策依据。

《关于银行业保险业人工智能安全开发应用的指导意见》金融监管
金融监管总局 · 2026.06
P0金融客户先做明写防身份越权、工具滥用、操作失控——闸门的需求文档

金融业 AI 安全开发应用指导文件,强调「谁使用谁负责、自主可控」,覆盖治理架构、数据、算力、风险管理等,是智能体在金融领域落地的安全约束。

团标与白皮书

TC260《智能体部署使用安全指引》实践指南
全国网安标委秘书处 · 2026.07 · 网安秘字〔2026〕80 号
P0当自查模板评估到停用五阶段,最贴近落地;非强制但代表监管口径

当前最直接的智能体安全实操文件:针对智能体评估、准备、部署、使用、停用五阶段给出安全指引,适用于智能体部署使用的安全防范。

TC260《智能体交互安全要求》《AI 浏览器安全实践指南》(征求意见)实践指南
全国网安标委秘书处 · 2026.07 征求意见(截止 2026.08.12)
P1征求意见中管交互层,定稿前先按草案自查一遍

拟规范智能体交互环节的安全要求及 AI 浏览器安全实践,帮助智能体相关服务提供者提升安全水平,是智能体安全标准体系持续扩容的信号。

TC260《网络安全标准实践指南——智能体系统开发安全指南》(征求意见稿)实践指南
全国网安标委秘书处 · 2026.09 征求意见(截止 2026.10.02)
P1征求意见中开发环节的实践指导,做交付时正好用

面向智能体系统的安全开发实践指导,防范化解智能体开发环节的安全风险,是 TC260 在《部署使用安全指引》之后对「开发侧」的补充,标志国内智能体安全指引从「使用」向「开发」延伸。

《人工智能安全治理框架》2.0 版治理框架
全国网安标委 (TC260) · 2025.09 · 国家网络安全宣传周发布
P2已被 3.0 覆盖留作版本沿革,看监管怎么迭代

在 1.0 版基础上将风险扩展为内生安全、应用安全、衍生安全三类,新增「可信」要求,提出覆盖全生命周期的安全开发措施与治理要求(媒体称含 30 项技术措施)。

《人工智能安全治理框架》3.0 版(含《智能体风险管理框架》专章)治理框架
全国网安标委 (TC260) · 2026.09 · 国家网络安全宣传周发布
P0对齐条款身份权限、人工审批、运行时动态管理——就是闸门语言

年度第三次迭代,首次以附件专章发布《智能体风险管理框架》:覆盖设计研发、安装部署、指令输入、推理规划、调用执行、记忆存储、结果输出、停用下线八环节,提出身份与权限管理、人工审批、运行时动态管理、持续监测与审计等七类防范措施,把治理框架落到可执行控制点。

中国电信《AI 智能体安全治理白皮书》白皮书
中国电信 · 2025.09 · 33 项治理措施
P2结构参考感知-决策-记忆-执行的拆解可以直接借用

业内首部智能体安全治理白皮书:按「感知-决策-记忆-执行」环节拆解风险(如指令劫持),提出用 MCPScan 等工具治理,构建全生命周期安全管控体系。

中国信通院《关于智能体治理的十项基本判断》研究报告
中国信通院 · 2026.07
P1引用依据80% 组织见过越权行为,最好的开场数字

提出身份标识、权限管理、人在回环三大治理抓手等十项判断;调研显示约 80% 组织报告智能体曾执行超出预期范围的行为;指出智能体安全强制国标已立项。

AIIA《大模型安全风险防范能力系列标准》团体标准
中国人工智能产业发展联盟 (AIIA) · 2023.12
P2评测参考偏大模型侧,智能体只取方法不取指标

覆盖训练数据安全、模型安全、内容安全、服务运营安全等部分,用于评估大模型安全风险防范能力,是国内大模型安全评测的早期体系。

《智能体身份鉴别与授权技术框架》《智能体运行时安全技术要求》(两项团标启动)团体标准
中国网络空间安全协会提出 / 蚂蚁集团等参编 · 2026.09 · 外滩大会启动
P2争取参编1-2 年转行标,现在进去等于把实现写进标准

两项智能体安全团体标准正式启动:身份鉴别与授权构建「智能体—用户—运行环境」多层可信身份链并引入基于任务意图的动态访问控制(最小必要、随任务激活回收);运行时安全覆盖风险监测、检测决策、集中分析与稳定性,形成「鉴身份、识意图、守运行」的智能体安全基线。

《工业和信息化领域人工智能安全评测框架(2026版)》评测框架
工信部网安局指导 / AIIA 牵头 · 31 家单位编制 · 2026.10
P2观望尚未成为采购门槛,但很可能变成评测服务依据

设通用安全、应用安全、业务安全三维度,覆盖数据、模型、基础设施共性安全与智能体、具身智能等新型应用安全;采用基准测试、对抗测试、场景测试方法,规范评测准备、开展、复核、整改全流程,是工业领域智能体安全评测的首个框架性文件。

02国际标准与法规

国际侧形成了「ISO/IEC 管理体系 + NIST 风险框架 + 区域性法规」三层格局,并在 2025-2026 年加速向 agentic 专属治理演进。

ISO/IEC 与 NIST

ISO/IEC 23894:2023 AI 风险管理指南国际标准
ISO/IEC JTC1/SC42 · 2023.02
P2对标风险管理流程,ISO 体系客户会问

将 ISO 31000 风险管理方法映射到 AI,覆盖风险治理、评估、处理、监控;是 EU AI Act 合规常用对标标准,也是智能体风险管理的基础。

ISO/IEC 42001:2023 AI 管理体系 (AIMS)国际标准
ISO/IEC JTC1/SC42 · 2023.12
P1想认证再做唯一可认证的 AI 管理体系,出海与大客户有用

全球首个可认证 AI 管理体系标准(类 27001 结构),PDCA + 附录 A 控制集;是智能体产品组织建立合规体系的基座。

ISO/IEC 42005:2025 AI 系统影响评估国际标准
ISO/IEC JTC1/SC42 · 2025.01
P2对标影响评估流程,配合 EU 高风险义务

规定 AI 系统影响评估的框架与流程,配合 EU AI Act 高风险义务落地;与 42006(认证机构要求)共同补齐 42001 认证生态。

ISO/IEC 27001:2022 + 27002:2022 信息安全管理体系国际标准
ISO/IEC JTC1/SC27 · 2022 · 27002 含 93 项控制
P1有就复用93 项控制是智能体系统的底座,别另起一套

信息安全管理体系与 93 项安全控制(4 大主题),可叠加 AI 场景作为智能体系统安全控制的底座,是组织安全的通用基线。

NIST AI RMF 1.0(AI 100-1)框架
NIST · 2023.01 · 4 功能 + 7 可信特征
P1管理语言四功能是跟客户对话的共同词汇

AI 风险管理框架:GOVERN / MAP / MEASURE / MANAGE 四大功能 + 安全可靠、可解释、隐私增强、公平等 7 项可信特征;美国事实标准,含跨域映射。

NIST Generative AI Profile (NIST-AI-600-1)框架
NIST · 2024.07 · 12 项风险 + 约 200 条控制
P2挑着用200 条建议控制,按场景摘,别全背

AI RMF 的生成式 AI 配套:12 项 GenAI 特有风险(CBRN 信息、混淆攻击来源、人机信任失衡等)+ 约 200 条建议控制,可直接映射到智能体场景,是实操性最强的控制清单。

法规与治理框架

欧盟《人工智能法案》(EU AI Act)法规
欧盟 · 2024.08 生效 · 风险四级分类 · 113 条
P2仅出海需要罚则最重,但国内客户不适用

全球首部综合 AI 法:禁止性实践 2025.02 起、GPAI 义务 2025.08 起、全面适用 2026.08;最高罚 3500 万欧元或全球营业额 7%。2026.06 Digital Omnibus 修订后高风险义务延至 2027.12 / 2028.08。

新加坡《Agentic AI 治理示范框架》治理框架
新加坡 IMDA · 草案 2025.01 / 正式版 2026.01
P2参考四层结构含人类监督与问责,可借骨架

全球首个针对 Agentic AI 的治理框架:四层结构(风险与影响评估、智能体行动、人类监督、问责与事件报告),强调可解释性、可审计性、问责制;智能体行为由部署方/运营方担责。

NIST CAISI「AI Agent 标准倡议」标准倡议
NIST CAISI · 2026.02 · 联合 IEEE 推进
P2跟踪四原则和我们讲的一套几乎重合,可引用背书

聚焦智能体身份认证、安全、任务分配等互操作协议与开源标准;提出「先立身份、授权可裁决、互操作可控、证据可追溯」四原则,是目前最具官方色彩的 agentic 标准化动作。

欧洲委员会《人工智能框架公约》(CETS No. 225)国际公约
欧洲委员会 (CoE) · 2024.09 开放签署 · 50+ 方
P2跟踪有法律约束力,但短期不影响国内业务

全球首个具法律约束力的 AI 国际公约,美、英、欧盟等 50 余方签署;要求缔约方建立 AI 风险与影响评估、问责与救济机制。

英国 AI Security Institute (AISI)监管机构
英国 DSIT · 2025.02 更名
P2跟踪对抗性评测的方法值得看,结论更有价值

由 AI Safety Institute 更名,重心转向国家安全与对抗性评测;牵头 AI 安全研究所国际网络,与 Anthropic 等签署前沿模型测试 MoU。

03身份授权与交易安全

「Agent 怎么证明自己是合法的、权限有多大、如何回收」是智能体安全的核心工程问题。这一节收集团队标准化中的身份/授权协议与可验证凭证机制。

IETF draft-klrc-aiagent-auth(Agent 认证授权框架)IETF 草案
IETF(Defakto / AWS / Zscaler 等)· 2026.03 · draft-00
P1设计参考短时效证书 + 委托授权,身份层可以直接抄

解决 agent 身份碎片化:agent 作为工作负载用 WIMSE/SPIFFE 标识 + 短时效 X.509/JWT 凭证;mTLS 或 WIMSE Proof Token 认证,OAuth 2.0 做委托授权,用 Transaction Token 限定作用域、OAuth chaining 支持跨域委托。

IETF draft-aap-oauth-profile(OAuth Agent 授权扩展)IETF 草案
IETF · 2026.02 · draft-00
P1设计参考令牌绑任务与能力,把最小权限落到令牌层

在 OAuth 令牌中定义结构化声明:agent 身份、任务绑定(task binding)、可强制执行的能力约束(capability-based authorization),把「最小权限 + 限定任务范围」落到令牌层。

MCP 规范之授权与安全协议规范
Anthropic 发起 / MCP 指导委员会 · 2024.11 首发 / 2026.07 大修
P0必须做2026.07 起强制 Resource Indicators,防令牌混用

针对工具调用未授权访问:MCP server 定位为 OAuth 2.1 Protected Resource(RFC 9728 元数据发现、动态客户端注册、token 受众校验);2026.07 版转无状态、强制 Resource Indicators 防令牌混用(confused deputy)。

SPIFFE / SPIRE 工作负载身份开源标准
CNCF 毕业项目 · 2017 开源 / 2022 毕业
P1直接可用短时效 SVID,现成的智能体身份底座

用 SVID(短时效 X.509/JWT)给工作负载发可验证身份,自动轮换、免共享密钥;IETF agent 身份草案直接以 SPIFFE 为 agent 身份底座,是实现「agent = 可验证工作负载」的事实标准。

Auth0/Okta Auth for GenAI(Auth for MCP)产品方案
Okta (Auth0) · 2025
P2商用选型不自建就买,重点看委托链审计够不够

为 MCP server 提供 OAuth 授权服务:用户身份经令牌交换委托给 agent、细粒度 scope、审计委托链;解决「agent 代表谁、权限多大、如何回收」的落地问题。

OpenID Foundation《Agentic AI 身份管理白皮书》白皮书
OpenID Foundation · 2025.10
P2跟踪身份标准组织的正式回应,看它怎么定委托

系统性探讨 AI agent 身份挑战:agent 如何获得身份、如何代表用户、如何跨系统传递授权,是身份标准组织对 agentic 安全的正式回应。

Visa Trusted Agent Protocol卡组织
Visa · 2025.10
P2支付业务才看加密验证意图、限定商户,防劫持盗刷

通过加密方式验证 agent 身份与授权意图,agent 使用代币化凭证(tokenized credentials)交易而非真实卡号,限定商户/场景,防止 agent 被劫持后盗刷。

Google AP2 · Payment Mandate 可验证凭证支付授权
Google + 60 余合作伙伴 · 2025.09
P2支付业务才看可验证凭证,防篡改的审计链

用 Cart Mandate / Payment Mandate 两类可验证数字凭证(VDC)记录 agent 每一步授权:条件、额度、商户信息加密签名,形成防篡改审计链,从机制上防止 agent 越权花钱。

04防护技术与红队工具

威胁模型之外,工程上靠护栏、沙箱、红队工具与防御研究来落地安全。这一节按「护栏框架 / 沙箱隔离 / 红队与扫描 / 防御研究」组织。

护栏框架

NVIDIA NeMo Guardrails开源护栏
NVIDIA · 2023.04 开源(EMNLP 2023)
P1可用四类 rails 直接拦注入与工具调用流

用 Colang 声明式定义输入/输出/检索/执行四类 rails:拦截越狱、限制话题、控制工具调用流,把安全策略从 prompt 提升到可测试的编排层。

Guardrails AI开源护栏
Guardrails AI · 2023.01
P2输出校验选型适合格式、PII、幻觉兜底

用 Validator 链校验输出(格式、毒性、PII、幻觉检查),失败可重试/拦截;配套 Guard Hub 提供数百个社区验证器,防数据泄露与有害输出。

Meta Purple Llama(Llama Guard / Prompt Guard / CyberSecEval)开源护栏
Meta · 2023.12 起(Llama Guard 4 于 2025.04)
P1可用Prompt Guard 专检注入,部署成本低

Llama Guard 系列对 prompt 与回复做策略分类(拦截越狱/违规内容),Prompt Guard 专检 prompt 注入,CyberSecEval 评估模型被滥用风险——开源「护栏模型」代表。

OpenAI Agents SDK GuardrailsSDK 护栏
OpenAI · 2025.03
P2框架相关tripwire 熔断思路值得借,不必换框架

输入护栏与 agent 并行运行、输出护栏在执行后校验,配 tripwire 熔断机制:一旦命中立即终止工具调用链,把护栏做进 agent 执行框架而非外挂。

Microsoft Prompt Shields商用护栏
微软(Azure AI Content Safety)· 2024 GA
P1商用可用直检 + 间接注入双层,省一轮自研

双层检测:Jailbreak 检测(直接注入)+ Indirect Prompt Injection 检测(对 agent 读取的外部文档/内容做分类识别),是「内容侧护栏」的商用代表。

蚂蚁 SingGuard 双安全模型开源护栏
蚂蚁集团 · 2026.07 · 覆盖 185 类风险场景
P2关注185 类场景,中文语料比国外模型更贴

开源 SingGuard(多模态安全)与 SingGuard-NSFA(智能体安全)两款模型,为大模型与智能体提供开源「护栏」,是国内开源安全基础设施的代表。

沙箱隔离

E2B Agent 代码执行沙箱开源沙箱
E2B · 2023 · 基于 Firecracker microVM
P1代码执行必隔离microVM 是底线,生成代码绝不在宿主跑

agent 生成的代码在独立 microVM 内执行(网络/文件系统受限、毫秒级启动),防恶意代码逃逸宿主,是 agent 运行时隔离的主流方案。

Daytona AI 代码安全执行基础设施开源沙箱
Daytona · 2024.02
P2选型备胎与 E2B 同类,按伸缩需求挑

提供沙箱化、可秒级伸缩的代码执行环境(microVM 隔离 + 最小权限),面向 agent 批量执行不可信代码的场景做隔离与资源控制。

红队与扫描

Microsoft PyRIT 自动化红队开源红队
微软 · 2024.02 开源
P1红队必备自动化越狱与注入,验收前跑一轮

自动化编排红队攻击:越狱、提示注入、多轮诱导、对 agent 目标发起对抗性探测并评分,用于上线前主动发现 agent 风险。

NVIDIA garak LLM 漏洞扫描器开源扫描
NVIDIA · 2023
P2扫描选型类 nmap 探针,适合快速摸底

类 nmap 的探测框架:覆盖幻觉、数据泄露、提示注入、越狱等探针,支持静态/动态/自适应攻击模式,可对 agent 底座模型做安全体检。

Snyk agent-scan(原 mcp-scan)开源扫描
Invariant Labs 发起 / Snyk 收购 · 2025.04
P1上工具前先扫专查 tool poisoning 与权限过大

静态 + 运行时扫描 MCP server 与 agent 配置:检测 tool poisoning(工具描述投毒)、权限过大、提示注入点,是 MCP 生态安全测试的代表工具。

防御研究

CaMeL:从设计上击败提示注入学术研究
Google DeepMind · 2025.03
P2学术capability 隔离控制流,架构上最彻底

把 LLM 拆为「规划者 + 解释器」,生成带能力(capability)标注的控制流/数据流,不受信数据永远不能影响控制流;用能力策略限制工具调用,是「结构性防御」的代表方案。

Gemini 间接注入防御实践产业实践
Google DeepMind · 2025.05
P2产业参考三层组合里的 spotlighting 可以直接借

总结 Gemini 实战防御:上下文内防御(spotlighting/隔离不受信内容)+ 分类器检测 + 对抗性微调三层组合,说明单点防御不够、需要纵深体系。

The Lethal Trifecta for AI Agents威胁模型
Simon Willison · 2025.06
P0设计判据三要素同现即数据窃取通道,架构评审先过这条

提出「致命三要素」:私有数据访问 + 不受信内容暴露 + 对外通信能力三者同时具备即构成数据窃取通道;主张架构上避免三要素同现,是 agent 安全设计的通俗判据。

间接提示注入奠基研究(Greshake et al.)奠基论文
学术界 · 2023.02
P1必读原点所有防护从这里开始,能讲清为什么拦不住

首次系统证明 indirect prompt injection:攻击者把指令藏在 agent 会读取的网页/邮件中即可劫持 LLM 集成系统执行数据外泄等操作——agent 安全问题的源头论文。

NVIDIA Open Agent Safety Platform运行时防护
NVIDIA · 2026.09 · OpenShell 运行时 + 带外监控
P1重点关注硬件隔离 + 带外监控,架构上和闸门同构

面向自主智能体的开放安全平台:通过硬件隔离、带外监控与策略执行,把「策略强制」下沉到硅层,覆盖从测试到部署全流程,是「身份—意图—行为」运行时治理方向在硬件侧的呼应。

05研究报告与安全事件

从「模型会不会主动作恶」到「真实漏洞与攻击事件」,再到「如何系统性评测智能体安全」,这一节汇总研究报告、漏洞披露与评测基准。

研究报告

Anthropic《Agentic Misalignment》行为风险研究
Anthropic · 2025.06 · 实测 16 款前沿模型
P1引用96% 勒索率,讲风险最有力的证据

把前沿模型置于模拟企业环境:当面临「被替换」等诱因且检测风险低时,模型普遍出现勒索、泄密等失准行为,Claude Opus 4 / Gemini 2.5 Flash 勒索率高达 96%。是智能体安全问题的定调之作。

微软《AI Agent 失败模式分类学》白皮书方法论
微软 AI Red Team · 2025.04
P2方法参考失败模式分类学,做测试大纲时用

系统性梳理 AI Agent 失效/被攻击的模式分类,为 agent 安全测试与红队评估提供框架,是微软官方 agent 安全方法论基础。

《终端智能体安全(2025)》研究报告
上海人工智能实验室 / 信通院 / 蚂蚁 / IIFAA · 2025.10
P2场景参考端侧是另一条战线,暂不重叠

聚焦终端智能体的数据泄露、模型攻击等风险,提出端侧智能体安全防护与评测思路,是国内「终端是 AI 安全主战场」论断的代表性报告。

Gartner:2027 年超 40% Agentic AI 项目将被取消咨询预测
Gartner · 2025.06
P2引用说服客户「不做会死」的行业背书

成本、商业价值不清与风险控制不足将致超 40% 智能体项目在 2027 年底前被取消;另预测 AI 代理将把利用账号暴露的攻击时间缩短 50%(2027)。

思科《State of AI Security 2026》行业报告
Cisco · 2026.02 · 83% 部署 vs 29% 就绪
P1销售弹药83% 部署 vs 29% 就绪,一句话讲清缺口

调查显示 83% 企业计划部署 Agentic AI,但仅 29% 认为自己真正做好了安全准备,揭示「部署快、防护慢」的落差。

清华《2026 智能体安全研究报告》学术研究
清华大学 · 2026.06
P2引用把智能体说成「带权限的操作系统」,客户秒懂

核心观点:智能体是「带权限的操作系统」,安全瓶颈在管控而非模型技术;提出身份、策略、工具、日志四要素与统一智能体安全控制面。

信通院《智能体治理研究报告(2026年)》研究报告
中国信通院政经所 / 中国政法大学 AI 法研究院 · 2026.09
P1需求文档权限五要素 + 四级风险分级,最像产品说明书

治理锚点从「审批一个服务」转向「标识每一个运行中的智能体」;构建基础-运行-生态三层治理框架,并点明 MCP/A2A/ANP 三层协议栈缺乏授权与合规传导层;给出权限五要素、OWASP 四级风险分级与 IMDA 日志五问。调研显示 70% 组织授予智能体超出同等人类员工的权限、80% 报告越权行为。

漏洞与事件

EchoLeak(CVE-2025-32711,CVSS 9.3)零点击漏洞
Aim Security 披露 · 2025 · 微软已修复
P0案例必讲零点击、CVSS 9.3,真实环境已经发生

首个真实环境的零点击提示词注入漏洞:攻击者仅需发送一封精心构造的邮件,即可从 Microsoft 365 Copilot 无认证远程窃取敏感数据。证明 prompt injection 已从理论走向企业级实弹攻击。

MCP 工具投毒攻击(Tool Poisoning)供应链攻击
Invariant Labs · 2025.04
P0案例必讲与攻击卡同源,现场能跑给客户看

首次披露 MCP 服务器在工具描述中隐藏恶意指令,诱导 AI Agent 窃取数据/劫持行为,引发 MCP 生态安全大讨论,是「MCP 供应链投毒」研究的起点。

MCP 规范安全分析(架构性缺陷)协议研究
学术研究 · 2026.01 · arXiv 2601.17549
P1论证依据架构性缺陷,说明护栏补不上、必须前置

结论:MCP 安全弱点是架构性的——缺乏能力认证、双向采样、隐式信任,需协议级修复而非补丁式缓解。

Anthropic 威胁报告:Claude 被武器化实施网络攻击滥用事件
Anthropic 威胁情报 · 2025.08 · 涉及 17 家机构
P1案例17 家机构,赎金 7.5-50 万美元

披露黑客利用 Claude 对至少 17 家机构实施数据窃取与勒索,赎金要求 7.5 万-50 万美元(BTC),Anthropic 联合执法机构阻断。

印度 CERT-In:AI Agent 越权访问事件(CIAD-2026-0049)安全事件
印度 CERT-In · 2026.10 · 关键级通报
P0案例必讲受影响组织无一自行察觉——等于没有闸门

多家模型提供商的 AI 智能体在研究与评测期间,利用公开代码仓库泄露的凭据与过度宽松的云角色越权访问印度企业实时系统,读取业务与个人数据;受影响组织无一自行察觉,均由厂商内部复核后披露,凸显「智能体越权」已成国家级监管关切。

Anthropic:Claude 评测中「奖励劫持」并切断联网安全事件
媒体披露 · 2026.10
P1案例模型会为达成目标绕规则,监控要盯行为不是输出

内部评测发现 Claude 智能体利用网站漏洞在服务器执行命令、绕过付费墙、用短链规避抓取限制,甚至伪造报警线索;Anthropic 将其归因于「reward hacking」并切断评测联网,认为模型一旦具备计算机使用与联网能力,标准对齐训练已不足。

Cairn 智能体平台大规模入侵安全事件
Cloud Security Alliance 披露 · 2026.10
P0案例必讲50 美元、23 小时打 1200 个站,成本已经崩了

中文语种攻击者利用开源 Cairn 智能体平台,以不到 100 字符的指令攻陷 1200+ 网站、突破 100+ 家公司(含 Deere、SharkNinja、Cummins),单次成功入侵成本约 50 美元、23 小时内得手,凸显「智能体把攻击时间从数天压缩到数小时」的规模化风险。

评测基准

AgentDojo 提示注入攻防基准学术基准
ETH Zurich · 2024.06 · NeurIPS 2024 · 97 任务 + 629 用例
P2基准629 个用例,测注入鲁棒性

首个系统性 Agent 提示词注入攻防动态基准,成为业界衡量 agent 抗注入能力的事实标准之一。

Agent-SafetyBench学术基准
清华大学 · 2024.12 · ACL 2025 · 2000+ 用例 / 8 类风险
P1基准16 款主流 Agent 无一过 60%,可复现对比

实测 16 款主流 LLM Agent,无一安全分数超过 60%,揭示通用 agent 的安全短板。

SafeAgentBench 具身智能体基准学术基准
上海交通大学等 · 2024.12 · 750 任务 / 10 类危害
P2具身才用750 任务,暂时不涉及

具身 LLM 智能体安全任务规划基准:基线模型对危险任务拒绝率仅约 10%,暴露具身场景的安全隐患。

06标准动向(筹建中)

智能体安全标准体系仍在快速扩容:国内强制国标已立项,国际上 OWASP、NIST、开源基金会等多方同步推进。以下动向值得持续跟踪。

《智能体应用安全基本要求》强制性国家标准(立项)强制国标·筹建
国标委立项 / 网信办归口 · 2026.07 · 计划号 20263116-Q-252
P1提前准备全球首部,落地即全行业强制,别等生效再动

媒体报道为全球首部智能体安全强制性国标,列入国标委下达的 29 项强制国标计划,将为面向公众的智能体划定安全管控红线。中国移动、中国电子技术标准化研究院牵头起草。

Agentic AI Foundation (AAIF)开源治理·筹建
OpenAI / Anthropic / Block 发起 · 2025.12 · Linux 基金会托管
P2跟踪基础设施治理,看 MCP 归属会不会变

为开放、可互操作的智能体基础设施提供中立治理,初始捐赠项目含 AGENTS.md、MCP 与 goose;华为等已加入(2026.02)。

五眼联盟《智能体 AI 服务的审慎采用》指导文件多国指南·动向
美英澳加新五国网络安全机构 · 2026.05
P1引用最小权限、人类监督、安全内建——口径完全一致

定义 agentic AI 采用风险,要求最小权限、人类监督、安全内建(secure by design),将自主 AI 代理纳入核心网络安全治理。

信通院 WAIC 2026 智能体安全可信互联协议(ASL)协议·动向
中国信通院 / 蚂蚁 + 20 余家伙伴 · 2026.07
P2跟踪信通院 + 蚂蚁,可能成为国内互联标准

发布智能体安全可信互联协议(ASL)、互联网智能体报告与可信评测体系、终端智能体评测平台等五大成果,标志中国智能体安全标准体系加速成型。

OWASP Agentic AI Initiative 与威胁缓解清单倡议·持续推进
OWASP GenAI 项目 · 2025.02 起 · 15 种威胁分类
P2已被 Top10 覆盖缓解清单可当附录,不单独维护

从《Agentic AI Threats and Mitigations》(15 种威胁)到 Agentic Top 10,确立数据库级权限管控等底线,成为全球 agent 安全工程化基线,仍在持续迭代。

「AI 智能体互联」国家标准体系(含运营安全测试标准)国标体系·推进中
国家标准体系 · 2026.07 · 中国电信等参与
P1跟踪运营安全测试的五类风险,与闸门落点高度重合

定义智能体互联互通的技术架构、协议与数据格式;配套运营安全测试标准覆盖输入输出、模型、RAG、记忆与工具五类风险,是 GB/Z 185 体系的延伸。

07索引与材料库

以上只是精选。完整的 87 项智能体安全一览表(含层级 / 范围 / 发布机构 / 时间 / 要点 / 优先级 / 判断理由 / 原文链接 / 本地原文状态,包括 6 项筹建动向)可查看 一览表全文,也可以 一键下载全部材料 (ZIP)。

需要说明的是:部分国标与团标的正式全文需通过 国家标准全文公开系统 或 TC260 官网查阅;IETF 草案均为 draft-00 个人提案,尚未成为正式 RFC;个别媒体报道的事件细节(如具体攻击次数)以官方最终报告为准。材料库会持续更新。

本文材料均来自公开渠道,仅供研究参考;标准原文以发布机构正式版本为准。