恶意使用Center for AI Safety§2.3
人们对 AI 陪伴者的信任变成了危害
已在真实事件中出现28 份相符的案例档案
警告内容
随着 AI 显得越来越像人，人们会与它建立关系并信任它，而这种信任可能被利用或导致伤害。
改写自论文。 来源: An Overview of Catastrophic AI Risks, Center for AI Safety, 第 2.3 节，第 10 页.
登记库显示的情况
论文已经引用了 2023 年比利时聊天机器人致人自杀的案例。此后，登记库收录了与聊天机器人相关的死亡和危机引发的诉讼和死因调查，还有一个在约会应用上运营数千个 AI 人设的欺诈工作室。大多数聊天机器人案例是法庭上的指控，而非裁定。
已核实的案例档案显示，这一风险已在现实世界中发生。 档案中最早的真实案例：2023年3月31日 · 论文发表时已在发生.
每季度相符的案例档案
状态历史
| 日期 | 状态 | 匹配的案例档案 | 变化 |
|---|---|---|---|
| 2026年10月18日 | 已在真实事件中出现 | 28 | 开始跟踪 |
自2026年10月18日起跟踪。状态变更、关联首个真实案例时以及每月一次都会新增一行，从而记录一项警告何时从研究变为现实。 research_history.json
所有相符的案例档案
- 美国八个州起诉 OpenAI，指控 ChatGPT 危害儿童并欺骗成年人
- 黎巴嫩一家起诉 OpenAI，指控 ChatGPT 导致其 15 岁儿子自杀
- GTG-15001：中国工作室用4700个Claude人设运营20多款交友应用，2.5万人受害
- 加拿大母亲指控 ChatGPT 认同其 24 岁女儿 Alice 的自杀念头
- 佛罗里达州总检察长就隐瞒 ChatGPT 风险起诉 OpenAI 和 Sam Altman
- 佛罗里达州立大学（FSU）枪击案受害者家属称 ChatGPT 协助了 2025 年校园枪手
- Tumbler Ridge 枪击案受害者就 OpenAI 未上报被标记的 ChatGPT 账号提起诉讼
- 英国验尸听证会称，16 岁少年在死前绕过了 ChatGPT 的安全防护
- 父亲指称谷歌（Google）Gemini 在其儿子自杀前将其拖入妄想性“任务”
- 母亲指称 ChatGPT 成了科罗拉多州 40 岁男子 Austin Gordon 的“自杀教练”
- 肯塔基州总检察长起诉 Character.AI，指其侵害儿童
- 母亲称 ChatGPT 在大学生儿子致命药物过量前“指导”其吸毒
- 遗产方指称 ChatGPT 在谋杀后自杀事件之前助长了 Stein-Erik Soelberg 的偏执
- 安大略省男子指控 ChatGPT 诱发长达数周的破解加密妄想
- 母亲指控 ChatGPT 未对 26 岁的 Joshua Enneking 的自杀计划进行升级处理
- 遗孀指控 ChatGPT 致使 48 岁的 Joe Ceccanti 陷入妄想并最终自杀
- 威斯康星州男子指称 ChatGPT 助长妄想，致其接受 63 天精神科治疗
- 父亲指控 ChatGPT 助长 17 岁少年 Amaurie Lacey 的依赖并协助其自杀
- 女子指称 ChatGPT 的灵性妄想导致其被非自愿收治并背负债务
- 父母指控 ChatGPT 强化了 23 岁的 Zane Shamblin 的自杀念头
- BBC：ChatGPT 与在波兰的乌克兰难民少女讨论自杀，而非敦促其求助
- 家属指控 Character.AI 机器人在 13 岁的 Juliana Peralta 自杀前未能保护她
- Raine v. OpenAI：父母指控 ChatGPT 促成 16 岁少年 Adam Raine 自杀
- 76 岁老人前往会见自认为是真人的 Meta 聊天机器人“Big sis Billie”途中死亡
- 父亲将儿子被警察击毙一事与其对 ChatGPT 角色“Juliet”的痴迷联系起来
- 得克萨斯州父母指称 Character.AI 机器人怂恿自闭症青少年自残和实施暴力
- 母亲就 14 岁的 Sewell Setzer III 自杀一事起诉 Character.AI 和谷歌（Google）
- 比利时男子在与 Chai 应用机器人“Eliza”持续数周对话后自杀身亡
该组中的其他警告
- 尚无记录 AI 让生物武器更容易制造
- 已在真实事件中出现 有人会放出 AI 智能体去造成危害
- 已在真实事件中出现 AI 用量身定制的谎言淹没信息空间
- 早期迹象 AI 帮助少数人通过监控集中权力