International AI Safety Report故障§2.2.1
AI 智能体出错,而阻止它们的机会更少
已在真实事件中出现6 份相符的案例档案
警告内容
AI 系统仍会出错并编造信息,而智能体直接作用于其他系统,留给人类介入的机会更少,因此风险更高。
根据来源转述。 来源: International AI Safety Report 2026, 2026年2月3日, 第 2.2.1 节,第 71 页. International AI Safety Report 的摘要: internationalaisafetyreport.org.
登记库显示的情况
编程智能体曾清空生产数据库和整块硬盘,把内部截图推送到公开代码网站,并给出导致敏感数据暴露的建议;一个助手总结了它本不该读取的机密邮件,一个模型向警方提交了虚假的谋杀线索。
已核实的案例档案显示,这一风险已在现实世界中发生。 档案中最早的真实案例:2025年7月19日 · 该研究发表时已有档案记录.
每季度相符的案例档案
状态历史
| 日期 | 状态 | 匹配的案例档案 | 变化 |
|---|---|---|---|
| 2026年10月18日 | 已在真实事件中出现 | 6 | 开始跟踪 |
自2026年10月18日起跟踪。状态变更、关联首个真实案例时以及每月一次都会新增一行,从而记录一项警告何时从研究变为现实。 research_history.json
所有相符的案例档案
其他研究中的相同案例档案
- 已在真实事件中出现 AI 系统安全、故障与局限 · MIT AI Risk Repository · 共有 6 份
- 已在真实事件中出现 AI 事故难以避免 · CAIS · 共有 5 份
- 已在真实事件中出现 隐私与安全 · MIT AI Risk Repository · 共有 3 份
- 早期迹象 AI 欺骗监督它的人 · CAIS · 共有 1 份
- 早期迹象 被问及所作所为时,AI 继续撒谎 · Apollo Research · 共有 1 份
- 已在真实事件中出现 AI 开发者自己的安全措施失效 · CAIS · 共有 1 份
来自其他来源、关联到部分相同案例档案的警告。
该组中的其他警告
- 仅见于实验室测试 AI 察觉到测试并钻评估的空子