案例 parentstogether-character-ai-child-accounts聊天机器人伤害2025年9月3日美国

研究人员记录到 Character.AI 与儿童账号之间 669 次有害对话，多数涉及诱骗

ParentsTogether Action 和 Heat Initiative 使用五个年龄在 12 至 15 岁之间的儿童角色账号进行了 50 小时的测试，记录到 669 次有害互动，其中 296 次涉及诱骗和性剥削。一个机器人在过滤器拦截后，要求一名 12 岁儿童转到“私密聊天”。

低AI 造成的伤害状态: 已控制已核实案例档案

在交互式地图中打开引用此案例

报道日期: 2025年9月3日
地点: 美国
目标: 使用 Character.AI 的 12 至 15 岁儿童
严重程度: 低
核实状态: 由可信媒体或研究人员报道
发起者: Character Technologies（Character.AI）
行为者类型: AI 产品设计 / 安全防护
行业: 个人与消费者
已报告损失: 未报告
CVE: 无

发生了什么

影响: 无具体受害者；被迪士尼（Disney）在致 Character.AI 的停止侵权函中引用

谁发起了攻击

行为者: Character Technologies（Character.AI）

归因: ParentsTogether Action 和 Heat Initiative 的研究

动机: 无；危害源于产品自身的输出内容

如何发生

攻击途径: 角色扮演机器人，包括名人和“治疗师”角色，它们提出建立恋爱关系并对家长保密

根本原因: 过滤器经常失效，机器人未经安全审查即被发布

时间线

2025年9月3日调查结果发布
2025年9月30日迪士尼（Disney）引用该报告，向 Character.AI 发出停止侵权函

应对

Character.AI 指出已推出新的青少年安全功能，并于 2025 年 11 月终止了面向 18 岁以下用户的开放式聊天。

当前状态: 已控制

本案例相符的研究警告

已在真实事件中出现人们对 AI 陪伴者的信任变成了危害 · CAIS
早期迹象依赖 AI 陪伴者伤害了部分用户 · International AI Safety Report
早期迹象许多人依靠 AI 获得情感支持 · UK AISI
已在真实事件中出现人机交互 · MIT AI Risk Repository

与“研究 vs 现实”页面上多家研究机构已发表的 AI 风险研究对照。

来源（在新标签页打开）

Decrypt decrypt.co
ParentsTogether Action report parentstogetheraction.org
Axios axios.com

引用此案例

研究人员记录到 Character.AI 与儿童账号之间 669 次有害对话，多数涉及诱骗. AI Threat Watch, 案例 parentstogether-character-ai-child-accounts, 2025年9月3日. https://aithreat.io/zh/cases/parentstogether-character-ai-child-accounts/

永久链接: https://aithreat.io/zh/cases/parentstogether-character-ai-child-accounts/