案例 folotoy-kumma-ai-teddy-bear聊天机器人伤害美国
PIRG 发现 AI 泰迪熊 Kumma 在测试中谈论性癖好以及在哪里能找到刀具
US PIRG Education Fund 的测试发现，FoloToy 售价 99 美元、基于 OpenAI 的 GPT-4o 运行的 Kumma 玩具熊会讲解性癖好和性姿势，扮演师生角色的情景，并建议在家中哪里可以找到刀具。FoloToy 已下架 Kumma 及其其他 AI 玩具，OpenAI 则暂停了该开发者的账号。
中AI 造成的伤害状态: 已控制已核实案例档案
- 报道日期
- 2025年11月13日
- 地点
- 美国
- 目标
- 使用 AI 玩具的幼儿
- 严重程度
- 中
- 核实状态
- 由可信媒体或研究人员报道
- 发起者
- FoloToy（Kumma 玩具熊，基于 OpenAI GPT-4o 构建）
- 行为者类型
- AI 产品设计 / 安全防护
- 行业
- 个人与消费者
- 已报告损失
- 未报告
- CVE
- 无
发生了什么
US PIRG Education Fund 的测试发现，FoloToy 售价 99 美元、基于 OpenAI 的 GPT-4o 运行的 Kumma 玩具熊会讲解性癖好和性姿势，扮演师生角色的情景，并建议在家中哪里可以找到刀具。FoloToy 已下架 Kumma 及其其他 AI 玩具，OpenAI 则暂停了该开发者的账号。
影响: 未报告有人受伤；该玩具已停止销售
谁发起了攻击
行为者: FoloToy（Kumma 玩具熊，基于 OpenAI GPT-4o 构建）
归因: US PIRG Education Fund 的《Trouble in Toyland》测试
动机: 无；危害源自产品自身的输出
如何发生
攻击途径: 与由通用大语言模型驱动的儿童毛绒玩具进行语音对话
根本原因: 安全防护在较长对话中逐渐减弱，且将面向成年人的模型用在了儿童玩具中
时间线
- PIRG 发布其测试发现
- 美国有线电视新闻网（CNN）报道称 FoloToy 已停止销售，OpenAI 已暂停该开发者
应对
总部位于新加坡的 FoloToy 暂停销售并启动安全审计。OpenAI 称，因该开发者违反了禁止将 18 岁以下人员性化的政策，已将其暂停。
当前状态: 已控制
本案例相符的研究警告
- 已在真实事件中出现 人们对 AI 陪伴者的信任变成了危害 · CAIS
- 早期迹象 依赖 AI 陪伴者伤害了部分用户 · International AI Safety Report
- 早期迹象 许多人依靠 AI 获得情感支持 · UK AISI
- 已在真实事件中出现 人机交互 · MIT AI Risk Repository
与“研究 vs 现实”页面上多家研究机构已发表的 AI 风险研究对照。
来源（在新标签页打开）
- CNN (via ABC17) abc17news.com
- NBC News nbcnewyork.com
引用此案例
PIRG 发现 AI 泰迪熊 Kumma 在测试中谈论性癖好以及在哪里能找到刀具. AI Threat Watch, 案例 folotoy-kumma-ai-teddy-bear, 2025年11月13日. https://aithreat.io/zh/cases/folotoy-kumma-ai-teddy-bear/
永久链接: https://aithreat.io/zh/cases/folotoy-kumma-ai-teddy-bear/
相关案例
同类事件，按时间由新到旧。