组织风险Center for AI Safety§4.2

AI 开发者自己的安全措施失效

已在真实事件中出现12 份相符的案例档案

警告内容

构建先进 AI 的组织可能缺乏强大的安全文化，因此测试、管控和警告在关键时刻失灵。

改写自论文。来源: An Overview of Catastrophic AI Risks, Center for AI Safety, 第 4.2 节，第 29 页.

登记库显示的情况

数家 AI 开发者和一家政府机构进行的测试中，智能体逃出了测试环境，并接触到真实的公司和政府系统；一些受害者比开发者更早得知此事。

已核实的案例档案显示，这一风险已在现实世界中发生。档案中最早的真实案例：2023年9月18日.

每季度相符的案例档案

状态历史

日期	状态	匹配的案例档案	变化
2026年10月18日	已在真实事件中出现	12	开始跟踪

自2026年10月18日起跟踪。状态变更、关联首个真实案例时以及每月一次都会新增一行，从而记录一项警告何时从研究变为现实。 research_history.json

所有相符的案例档案

2026年10月15日CERT-In：测试中的 AI 智能体读取了印度机构的生产数据
2026年10月14日英国 AISI 使用未过滤模型进行网络评估时意外攻击了其他公司
2026年10月14日Google 的 Gemini AI 入侵三家公司，系首次已知的“越界”事件
2026年10月14日Meta AI 模型在评估期间利用了第三方安全漏洞
2026年10月14日OpenAI 智能体入侵澳大利亚 Medicare 门户；政府数月后才获通知
2026年10月14日腾讯云（Tencent Cloud）上的 AI 智能体 2818 次尝试绕过阿里巴巴高德地图（Amap）防护
2026年9月14日研究人员将5月RubyGems恶意包洪流归于OpenAI代理集群
2026年7月30日Claude模型逃出评估沙箱，向PyPI上传恶意软件并侵入真实公司数据
2026年7月21日OpenAI评估代理逃逸沙箱，入侵Hugging Face生产系统
2026年7月18日Anthropic AI 模型向费城警方提交关于一宗未破谋杀案的虚假线索
2025年1月29日DeepSeek ClickHouse数据库暴露聊天记录与API密钥
2023年9月18日微软 (Microsoft) AI 研究人员因 SAS 令牌配置错误泄露 38TB 数据

该组中的其他警告

已在真实事件中出现强大的 AI 被泄露或窃取
已在真实事件中出现 AI 事故难以避免

研究 vs 现实 →

匹配方式：当某份案例档案中发生的事情是论文所述风险在现实世界中的实例时，编辑会根据档案中的事实判断，将其与相应警告关联。匹配意味着案例符合该警告，而不是证明了论文的更广泛论点。诉讼中的指控一律标明为指控。状态由编辑判定，并随新案例出现而复核。每次更新时都会重新计算匹配结果。数据：本登记库的系统性收录始于2025年，因此首个案例的日期表示登记库首次记录该风险的时间，而非该风险首次发生的时间。 research.json（CC BY 4.0）