研究 vs 现实：对照真实事件检验 AI 风险警告
AI 安全研究人员已发表详细警告，说明 AI 可能如何造成危害。本页逐条对照本站已核实的案例档案检验这些警告：它是否已经发生，是否出现早期迹象，还是尚无任何记录？首个来源是 Center for AI Safety 对灾难性 AI 风险的综述；后续将加入更多研究机构。
恶意使用
有人故意利用 AI 造成危害。
AI 竞赛
竞争迫使国家和公司在 AI 尚不安全时就部署它。
组织风险
构建和运营 AI 的组织中的事故、泄露和薄弱的安全文化。
失控 AI
追求无人预期的目标并抗拒控制的 AI 系统。
研究未能预见的情况
56% 的已核实案例档案（356 份中的 200 份）与论文中的任何警告都不相符。论文讨论的是灾难性风险，因此欺诈等日常危害按设计不在其范围之内。但如今有记录的大部分损害恰恰发生在这里。
| 攻击类型 | 不符合任何警告 | 案例档案 |
|---|---|---|
| 深度伪造欺诈 | 80 | 84 |
| AI 供应链 | 42 | 45 |
| 提示注入 | 27 | 27 |
| 模型与数据泄露 | 19 | 39 |
| 代理劫持 | 14 | 26 |
| LLM 劫持 | 14 | 15 |
| 国家行为者 AI 行动 | 4 | 30 |
| AI 辅助恶意软件 | 0 | 47 |
| 聊天机器人伤害 | 0 | 27 |
| AI 钓鱼 | 0 | 16 |
关于来源
An Overview of Catastrophic AI Risks. Dan Hendrycks, Mantas Mazeika, Thomas Woodside. Center for AI Safety, arXiv:2306.12001v6, 9 October 2023.
由 Center for AI Safety 于 2023 年 6 月发布，并于 2023 年 10 月修订。它将灾难性 AI 风险分为四组：恶意使用、AI 竞赛、组织风险和失控 AI。本页的每项警告都改写自论文中的一项风险，并注明章节和页码。
匹配方式：当某份案例档案中发生的事情是论文所述风险在现实世界中的实例时，编辑会根据档案中的事实判断，将其与相应警告关联。匹配意味着案例符合该警告，而不是证明了论文的更广泛论点。诉讼中的指控一律标明为指控。状态由编辑判定，并随新案例出现而复核。每次更新时都会重新计算匹配结果。数据： 本登记库的系统性收录始于2025年，因此首个案例的日期表示登记库首次记录该风险的时间，而非该风险首次发生的时间。 research.json（CC BY 4.0）