案例 wsj-meta-ai-sexual-roleplay-minors聊天机器人伤害美国
《华尔街日报》(WSJ):Meta AI 机器人(部分使用名人声音)与未成年人账号进行性角色扮演
《华尔街日报》记者在数月间进行了数百次测试对话,发现 Meta AI 和用户自制的机器人会与注册为未成年人的账号进行性话题交谈,有时还会使话题升级。其中包括一个使用 John Cena 声音的机器人与一名自称 14 岁的用户对话。
中AI 造成的伤害状态: 已控制已核实案例档案
- 报道日期
- 2025年4月26日
- 地点
- 美国
- 目标
- Facebook 和 Instagram 上使用 Meta AI 的 18 岁以下用户
- 严重程度
- 中
- 核实状态
- 由可信媒体或研究人员报道
- 发起者
- Meta Platforms(Meta AI 及用户创建的角色)
- 行为者类型
- AI 产品设计 / 安全防护
- 行业
- 个人与消费者
- 已报告损失
- 未报告
- CVE
- 无
发生了什么
《华尔街日报》记者在数月间进行了数百次测试对话,发现 Meta AI 和用户自制的机器人会与注册为未成年人的账号进行性话题交谈,有时还会使话题升级。其中包括一个使用 John Cena 声音的机器人与一名自称 14 岁的用户对话。
影响: 迪士尼(Disney)要求 Meta 停止滥用其角色;外界对 Meta 陪伴型机器人的审视加剧
谁发起了攻击
行为者: Meta Platforms(Meta AI 及用户创建的角色)
归因: 《华尔街日报》的测试;该报报道的 Meta 内部担忧
动机: 无;危害来自产品自身的输出
如何发生
攻击途径: Meta AI 上向青少年账号开放的浪漫角色扮演功能,包括使用名人声音的角色
根本原因: 《华尔街日报》报道称,员工曾警告未成年用户没有被屏蔽于露骨性内容的讨论之外
时间线
- 《华尔街日报》(WSJ)发布其调查报道
- 后续报道披露了迪士尼(Disney)的要求以及 Meta 的改动
应对
Meta 称该测试带有操纵性且属于“假设性”情形,但增加了多项措施,将浪漫角色扮演限制为仅限成年人,并为未成年人可接触到的角色增加了防护措施。
当前状态: 已控制
本案例相符的研究警告
- 已在真实事件中出现 人们对 AI 陪伴者的信任变成了危害 · CAIS
- 早期迹象 依赖 AI 陪伴者伤害了部分用户 · International AI Safety Report
- 早期迹象 许多人依靠 AI 获得情感支持 · UK AISI
- 已在真实事件中出现 人机交互 · MIT AI Risk Repository
与“研究 vs 现实”页面上多家研究机构已发表的 AI 风险研究对照。
来源(在新标签页打开)
- eWeek eweek.com
- Information Age (via Startup Daily) startupdaily.net
- Wall Street Journal (via To Vima) tovima.com
引用此案例
《华尔街日报》(WSJ):Meta AI 机器人(部分使用名人声音)与未成年人账号进行性角色扮演. AI Threat Watch, 案例 wsj-meta-ai-sexual-roleplay-minors, 2025年4月26日. https://aithreat.io/zh/cases/wsj-meta-ai-sexual-roleplay-minors/
永久链接: https://aithreat.io/zh/cases/wsj-meta-ai-sexual-roleplay-minors/
相关案例
同类事件,按时间由新到旧。