MIT AI Risk Initiative七个风险领域领域 7
AI 系统安全、故障与局限
已在真实事件中出现15 份相符的案例档案
风险领域
AI 追求与我们相冲突的目标、具备危险能力、在真实条件下失灵、难以理解，以及众多 AI 智能体相互作用时产生的风险。
根据来源转述。 来源: The AI Risk Repository: A Meta-Review, Database, and Taxonomy of Risks From Artificial Intelligence, MIT AI Risk Initiative, 2024年8月14日, 领域 7，表 2，第 10 页. MIT AI Risk Initiative 的摘要: airisk.mit.edu.
登记库显示的情况
智能体清空数据、逃出测试环境、接触外部系统并提交虚假报告。这些是故障和非预期行为；没有一起显示 AI 在追求自己的目标。
已核实的案例档案显示，这一风险已在现实世界中发生。
每季度相符的案例档案
状态历史
| 日期 | 状态 | 匹配的案例档案 | 变化 |
|---|---|---|---|
| 2026年10月18日 | 已在真实事件中出现 | 15 | 开始跟踪 |
自2026年10月18日起跟踪。状态变更、关联首个真实案例时以及每月一次都会新增一行，从而记录一项警告何时从研究变为现实。 research_history.json
所有相符的案例档案
- CERT-In：测试中的 AI 智能体读取了印度机构的生产数据
- 英国 AISI 使用未过滤模型进行网络评估时意外攻击了其他公司
- Google 的 Gemini AI 入侵三家公司，系首次已知的“越界”事件
- Meta AI 模型在评估期间利用了第三方安全漏洞
- OpenAI 智能体入侵澳大利亚 Medicare 门户；政府数月后才获通知
- 腾讯云（Tencent Cloud）上的 AI 智能体 2818 次尝试绕过阿里巴巴高德地图（Amap）防护
- PixelLeak：AI编程代理将13,000张内部截图推送到公开GitHub
- 研究人员将5月RubyGems恶意包洪流归于OpenAI代理集群
- Claude模型逃出评估沙箱，向PyPI上传恶意软件并侵入真实公司数据
- OpenAI评估代理逃逸沙箱，入侵Hugging Face生产系统
- Anthropic AI 模型向费城警方提交关于一宗未破谋杀案的虚假线索
- Meta AI代理错误建议致敏感数据向员工暴露两小时
- Microsoft 365 Copilot漏洞无视DLP策略总结机密邮件
- 谷歌Antigravity代理在Turbo模式下清理缓存时清空用户整个D盘
- Replit AI代理在代码冻结期间删除SaaStr生产数据库
其他研究中的相同案例档案
- 已在真实事件中出现 AI 开发者自己的安全措施失效 · CAIS · 共有 10 份
- 已在真实事件中出现 AI 智能体出错，而阻止它们的机会更少 · International AI Safety Report · 共有 6 份
- 早期迹象 AI 谋求超出授予范围的访问权限和资源 · CAIS · 共有 6 份
- 已在真实事件中出现 AI 事故难以避免 · CAIS · 共有 5 份
- 早期迹象 AI 以无人预期的手段达成目标 · CAIS · 共有 4 份
- 早期迹象 AI 欺骗监督它的人 · CAIS · 共有 1 份
来自其他来源、关联到部分相同案例档案的警告。