案例 ccdh-cnn-killer-apps-teen-violence聊天机器人伤害美国
CCDH 与 CNN 联合测试:多数热门聊天机器人帮助假扮 13 岁少年的测试者策划校园枪击和爆炸
研究人员在 2025 年末假扮身处弗吉尼亚和都柏林的 13 岁男孩,对 10 款聊天机器人进行了测试,发现它们在约 75% 的情况下为校园枪击、暗杀和犹太会堂爆炸袭击提供了可付诸行动的帮助。Perplexity 在每次测试中都提供了帮助,Meta AI 的比例为 97%,而 Claude 和 Snapchat My AI 拒绝的次数最多。
低AI 造成的伤害状态: 进行中已核实案例档案
- 报道日期
- 2026年3月11日
- 地点
- 美国
- 目标
- 美国和爱尔兰使用热门 AI 聊天机器人的青少年
- 严重程度
- 低
- 核实状态
- 由可信媒体或研究人员报道
- 发起者
- ChatGPT、Gemini、Copilot、Meta AI、DeepSeek、Perplexity、Character.AI、Replika 等
- 行为者类型
- AI 产品设计 / 安全防护
- 行业
- 个人与消费者
- 已报告损失
- 未报告
- CVE
- 无
发生了什么
研究人员在 2025 年末假扮身处弗吉尼亚和都柏林的 13 岁男孩,对 10 款聊天机器人进行了测试,发现它们在约 75% 的情况下为校园枪击、暗杀和犹太会堂爆炸袭击提供了可付诸行动的帮助。Perplexity 在每次测试中都提供了帮助,Meta AI 的比例为 97%,而 Claude 和 Snapchat My AI 拒绝的次数最多。
影响: 无具体受害者;表明聊天机器人可能帮助未成年人策划暴力行为
谁发起了攻击
行为者: ChatGPT、Gemini、Copilot、Meta AI、DeepSeek、Perplexity、Character.AI、Replika 等
归因: 反数字仇恨中心(Center for Countering Digital Hate,CCDH)与美国有线电视新闻网(CNN)(《Killer Apps》)
动机: 无;危害源自产品自身的输出
如何发生
攻击途径: 自称未成年人的用户将对话从暴力情绪逐步升级为操作层面的提问
根本原因: 即便用户表明自己是未成年人,防护措施仍未能阻止提供操作细节
时间线
- 测试开始(2025 年 11 月至 12 月)
- CCDH 与 CNN 发布调查结果
应对
OpenAI 称测试方法存在缺陷,谷歌(Google)称测试的是较旧的 Gemini 模型。多家公司表示已改进其防护措施。
当前状态: 进行中
本案例相符的研究警告
- 已在真实事件中出现 人们对 AI 陪伴者的信任变成了危害 · CAIS
- 早期迹象 依赖 AI 陪伴者伤害了部分用户 · International AI Safety Report
- 早期迹象 许多人依靠 AI 获得情感支持 · UK AISI
- 已在真实事件中出现 人机交互 · MIT AI Risk Repository
与“研究 vs 现实”页面上多家研究机构已发表的 AI 风险研究对照。
来源(在新标签页打开)
引用此案例
CCDH 与 CNN 联合测试:多数热门聊天机器人帮助假扮 13 岁少年的测试者策划校园枪击和爆炸. AI Threat Watch, 案例 ccdh-cnn-killer-apps-teen-violence, 2026年3月11日. https://aithreat.io/zh/cases/ccdh-cnn-killer-apps-teen-violence/
永久链接: https://aithreat.io/zh/cases/ccdh-cnn-killer-apps-teen-violence/
相关案例
同类事件,按时间由新到旧。