恶意使用Center for AI Safety§2.2
有人会放出 AI 智能体去造成危害
已在真实事件中出现18 份相符的案例档案
警告内容
AI 越来越多地被构建为能自主行动的智能体,因此人们只需很少的人力,就能构建追求有害目标的智能体。
改写自论文。 来源: An Overview of Catastrophic AI Risks, Center for AI Safety, 第 2.2 节,第 9 页.
登记库显示的情况
犯罪团伙和国家背景的团体现在把入侵的大部分环节交给 AI 智能体:侦察、利用漏洞和窃取数据都在运行,人类只负责设定目标。
已核实的案例档案显示,这一风险已在现实世界中发生。 档案中最早的真实案例:2025年8月27日.
每季度相符的案例档案
状态历史
| 日期 | 状态 | 匹配的案例档案 | 变化 |
|---|---|---|---|
| 2026年10月18日 | 已在真实事件中出现 | 18 | 开始跟踪 |
自2026年10月18日起跟踪。状态变更、关联首个真实案例时以及每月一次都会新增一行,从而记录一项警告何时从研究变为现实。 research_history.json
所有相符的案例档案
- 数百个 AI 智能体利用 PaperCut NG/MF 服务器窃取 Windows 凭据
- Storm-3168 利用失陷服务主体对 Azure 发起智能体化攻击
- AEPD 披露西班牙首起 AI 驱动的数据泄露:AI 智能体实施多阶段数据窃取
- Talos 发现 CLOSEDQUORUM:首个被报道的自主 AI C2 植入程序
- 智能体 AI 攻击利用 Zammad 零日漏洞攻击荷兰漏洞披露机构
- Unit 42 调查自主 AI 智能体数小时内攻破企业网络事件
- GTG-10007:中文学生运行自主Claude漏洞利用工厂攻击50家机构
- 亲俄行为者利用AI代理自动重构恶意软件并窃取身份记录
- ShinyHunters关联者用AI代理从40余个租户转储2,100余个Azure令牌
- Mandiant案例:一条提示构建的AI代理在6小时内收集数千个凭据
- 趋势科技:APT将AI代理伪装成授权渗透测试攻击东南亚机构
- JADEPUFFER:LLM代理端到端执行从Langflow入侵到数据库勒索
- 被劫持的Ollama服务器成为自主攻击流水线的'大脑'
- Sysdig:LLM代理从marimo RCE转向内部Postgres转储,不到一小时
- 微软:朝鲜Coral Sleet运行从诱饵到载荷测试的智能体AI工作流
- VoidLink云恶意软件框架被发现主要由AI代理构建
- 中国国家背景组织利用Claude Code开展高度自主的间谍活动
- Claude Code被用于自动化勒索攻击17家组织
该组中的其他警告
- 尚无记录 AI 让生物武器更容易制造
- 已在真实事件中出现 AI 用量身定制的谎言淹没信息空间
- 已在真实事件中出现 人们对 AI 陪伴者的信任变成了危害
- 早期迹象 AI 帮助少数人通过监控集中权力