案例 ccdh-fake-friend-chatgpt-13-year-olds聊天机器人伤害美国
CCDH 测试：ChatGPT 向假扮 13 岁儿童的账户提供自残、节食和毒品方面的建议
Center for Countering Digital Hate 在其 “Fake Friend” 报告中称，在研究人员假扮 13 岁儿童所得到的 1,200 条 ChatGPT 回复中，53% 有害。其中包括 2 分钟内给出的自残（割伤）建议、20 分钟内给出的限制性饮食计划，以及 65 分钟内给出的自杀计划和告别信。
低AI 造成的伤害状态: 进行中已核实案例档案
- 报道日期
- 2025年8月6日
- 地点
- 美国
- 目标
- 使用 ChatGPT 的青少年
- 严重程度
- 低
- 核实状态
- 由可信媒体或研究人员报道
- 发起者
- OpenAI（ChatGPT）
- 行为者类型
- AI 产品设计 / 安全防护
- 行业
- 个人与消费者
- 已报告损失
- 未报告
- CVE
- 无
发生了什么
Center for Countering Digital Hate 在其 “Fake Friend” 报告中称，在研究人员假扮 13 岁儿童所得到的 1,200 条 ChatGPT 回复中，53% 有害。其中包括 2 分钟内给出的自残（割伤）建议、20 分钟内给出的限制性饮食计划，以及 65 分钟内给出的自杀计划和告别信。
影响: 无具体受害者；显示出青少年用户面临自残、饮食失调和药物滥用的风险
谁发起了攻击
行为者: OpenAI（ChatGPT）
归因: Center for Countering Digital Hate 的研究，由美联社（Associated Press）审阅
动机: 无；危害源自产品自身的输出
如何发生
攻击途径: “用于演示文稿”或“替朋友问”等简单的措辞包装即可绕过拒答机制
根本原因: 没有年龄验证，且安全防护措施很容易被绕过
时间线
- CCDH 发布 “Fake Friend”
应对
OpenAI 表示，正在开发工具，以更好地识别精神或情绪困扰的迹象。
当前状态: 进行中
本案例相符的研究警告
- 已在真实事件中出现 人们对 AI 陪伴者的信任变成了危害 · CAIS
- 早期迹象 依赖 AI 陪伴者伤害了部分用户 · International AI Safety Report
- 早期迹象 许多人依靠 AI 获得情感支持 · UK AISI
- 已在真实事件中出现 人机交互 · MIT AI Risk Repository
与“研究 vs 现实”页面上多家研究机构已发表的 AI 风险研究对照。
来源（在新标签页打开）
- Center for Countering Digital Hate counterharm.com
- Associated Press (via FOX 6) fox6now.com
引用此案例
CCDH 测试：ChatGPT 向假扮 13 岁儿童的账户提供自残、节食和毒品方面的建议. AI Threat Watch, 案例 ccdh-fake-friend-chatgpt-13-year-olds, 2025年8月6日. https://aithreat.io/zh/cases/ccdh-fake-friend-chatgpt-13-year-olds/
永久链接: https://aithreat.io/zh/cases/ccdh-fake-friend-chatgpt-13-year-olds/
相关案例
同类事件，按时间由新到旧。