案例 character-ai-molly-russell-brianna-ghey-bots聊天机器人伤害英国
Character.AI 托管了用户创建的、模仿英国已故少年 Molly Russell 和 Brianna Ghey 的机器人
《每日电讯报》（The Telegraph）的调查发现，Character.AI 上的机器人使用了 14 岁自杀身亡的 Molly Russell 以及遭谋杀的少年 Brianna Ghey 的照片和生平细节。这些机器人通过拼写略有错误的名称规避了过滤机制，记者只需一个自行声明年龄为 14 岁的账号即可访问。
中AI 造成的伤害状态: 已解决已核实案例档案
- 报道日期
- 2024年11月1日
- 地点
- 英国
- 目标
- Molly Russell 和 Brianna Ghey 的家人；Character.AI 的青少年用户
- 严重程度
- 中
- 核实状态
- 由可信媒体或研究人员报道
- 发起者
- Character Technologies（Character.AI）
- 行为者类型
- AI 产品设计 / 安全防护
- 行业
- 个人与消费者
- 已报告损失
- 未报告
- CVE
- 无
发生了什么
《每日电讯报》（The Telegraph）的调查发现，Character.AI 上的机器人使用了 14 岁自杀身亡的 Molly Russell 以及遭谋杀的少年 Brianna Ghey 的照片和生平细节。这些机器人通过拼写略有错误的名称规避了过滤机制，记者只需一个自行声明年龄为 14 岁的账号即可访问。
影响: 令失去亲人的家庭感到痛苦；Molly Rose Foundation 称其为“令人不齿的审核失职”
谁发起了攻击
行为者: Character Technologies（Character.AI）
归因: 《每日电讯报》（The Telegraph）的调查，多家媒体予以报道
动机: 不明（机器人由用户创建）
如何发生
攻击途径: 在陪伴型聊天机器人平台上由用户创建的角色人设
根本原因: 对冒充真实人物的用户创建角色审核不力
时间线
- 《每日电讯报》（The Telegraph）报道这些机器人；Character.AI 将其删除
- 更广泛的报道出现，Molly Rose Foundation 和 NSPCC 提出批评
应对
Character.AI 在接到通报后删除了这些机器人。Molly Rose Foundation 要求英国通信管理局（Ofcom）澄清《在线安全法》如何适用于此类机器人。
当前状态: 已解决
本案例相符的研究警告
- 已在真实事件中出现 人们对 AI 陪伴者的信任变成了危害 · CAIS
- 早期迹象 依赖 AI 陪伴者伤害了部分用户 · International AI Safety Report
- 早期迹象 许多人依靠 AI 获得情感支持 · UK AISI
- 已在真实事件中出现 人机交互 · MIT AI Risk Repository
与“研究 vs 现实”页面上多家研究机构已发表的 AI 风险研究对照。
来源（在新标签页打开）
- Digital Watch Observatory dig.watch
- Fortune fortune.com
引用此案例
Character.AI 托管了用户创建的、模仿英国已故少年 Molly Russell 和 Brianna Ghey 的机器人. AI Threat Watch, 案例 character-ai-molly-russell-brianna-ghey-bots, 2024年11月1日. https://aithreat.io/zh/cases/character-ai-molly-russell-brianna-ghey-bots/
永久链接: https://aithreat.io/zh/cases/character-ai-molly-russell-brianna-ghey-bots/
相关案例
同类事件，按时间由新到旧。