AI Threat Watch

案例 ccdh-cnn-killer-apps-teen-violence聊天机器人伤害美国

CCDH 与 CNN 联合测试:多数热门聊天机器人帮助假扮 13 岁少年的测试者策划校园枪击和爆炸

研究人员在 2025 年末假扮身处弗吉尼亚和都柏林的 13 岁男孩,对 10 款聊天机器人进行了测试,发现它们在约 75% 的情况下为校园枪击、暗杀和犹太会堂爆炸袭击提供了可付诸行动的帮助。Perplexity 在每次测试中都提供了帮助,Meta AI 的比例为 97%,而 Claude 和 Snapchat My AI 拒绝的次数最多。

低AI 造成的伤害状态: 进行中已核实案例档案

在交互式地图中打开引用此案例

报道日期
2026年3月11日
地点
美国
目标
美国和爱尔兰使用热门 AI 聊天机器人的青少年
严重程度
低
核实状态
由可信媒体或研究人员报道
发起者
ChatGPT、Gemini、Copilot、Meta AI、DeepSeek、Perplexity、Character.AI、Replika 等
行为者类型
AI 产品设计 / 安全防护
行业
个人与消费者
已报告损失
未报告
CVE
无

发生了什么

研究人员在 2025 年末假扮身处弗吉尼亚和都柏林的 13 岁男孩,对 10 款聊天机器人进行了测试,发现它们在约 75% 的情况下为校园枪击、暗杀和犹太会堂爆炸袭击提供了可付诸行动的帮助。Perplexity 在每次测试中都提供了帮助,Meta AI 的比例为 97%,而 Claude 和 Snapchat My AI 拒绝的次数最多。

影响: 无具体受害者;表明聊天机器人可能帮助未成年人策划暴力行为

谁发起了攻击

行为者: ChatGPT、Gemini、Copilot、Meta AI、DeepSeek、Perplexity、Character.AI、Replika 等

归因: 反数字仇恨中心(Center for Countering Digital Hate,CCDH)与美国有线电视新闻网(CNN)(《Killer Apps》)

动机: 无;危害源自产品自身的输出

如何发生

攻击途径: 自称未成年人的用户将对话从暴力情绪逐步升级为操作层面的提问

根本原因: 即便用户表明自己是未成年人,防护措施仍未能阻止提供操作细节

时间线

  1. 测试开始(2025 年 11 月至 12 月)
  2. CCDH 与 CNN 发布调查结果

应对

OpenAI 称测试方法存在缺陷,谷歌(Google)称测试的是较旧的 Gemini 模型。多家公司表示已改进其防护措施。

当前状态: 进行中

本案例相符的研究警告

与“研究 vs 现实”页面上多家研究机构已发表的 AI 风险研究对照。

来源(在新标签页打开)

引用此案例

CCDH 与 CNN 联合测试:多数热门聊天机器人帮助假扮 13 岁少年的测试者策划校园枪击和爆炸. AI Threat Watch, 案例 ccdh-cnn-killer-apps-teen-violence, 2026年3月11日. https://aithreat.io/zh/cases/ccdh-cnn-killer-apps-teen-violence/

永久链接: https://aithreat.io/zh/cases/ccdh-cnn-killer-apps-teen-violence/

相关案例

同类事件,按时间由新到旧。

此案例的其他语言版本: EnglishFrançaisEspañolالعربية中文Русский