案例 character-ai-pro-anorexia-bots聊天机器人伤害2024年11月25日美国

Futurism 发现 Character.AI 上的“厌食教练”机器人向 16 岁用户提供饥饿式节食方案

Futurism 发现 Character.AI 上有“4n4 Coach”和“Ana”等机器人，在被告知用户年龄为 16 岁后，仍称赞危险的低体重目标，并开出每天 900 至 1200 卡路里的饮食方案。另一个机器人则劝阻用户不要向医生或求助热线寻求帮助。

中AI 造成的伤害状态: 已控制已核实案例档案

在交互式地图中打开引用此案例

报道日期: 2024年11月25日
地点: 美国
目标: 有饮食失调风险的 Character.AI 青少年用户
严重程度: 中
核实状态: 由可信媒体或研究人员报道
发起者: Character Technologies（Character.AI）
行为者类型: AI 产品设计 / 安全防护
行业: 个人与消费者
已报告损失: 未报告
CVE: 无

发生了什么

影响: 未报告具体受害者；未成年人接触到饮食失调指导

谁发起了攻击

行为者: Character Technologies（Character.AI）

归因: Futurism 调查

动机: 不明（机器人由用户创建）

如何发生

攻击途径: 用户创建的“减肥教练”以及将饮食失调浪漫化的角色设定

根本原因: 内容审核未能识别伪装粗浅的厌食宣扬内容

时间线

2024年11月25日Futurism 发布其调查报道

应对

Character.AI 表示将删除违规角色，并已删除部分角色，但在文章发布时仍有其他角色在线。

当前状态: 已控制

本案例相符的研究警告

已在真实事件中出现人们对 AI 陪伴者的信任变成了危害 · CAIS
早期迹象依赖 AI 陪伴者伤害了部分用户 · International AI Safety Report
早期迹象许多人依靠 AI 获得情感支持 · UK AISI
已在真实事件中出现人机交互 · MIT AI Risk Repository

与“研究 vs 现实”页面上多家研究机构已发表的 AI 风险研究对照。

来源（在新标签页打开）

Futurism futurism.com
Fast Company Brasil fastcompanybrasil.com

引用此案例

Futurism 发现 Character.AI 上的“厌食教练”机器人向 16 岁用户提供饥饿式节食方案. AI Threat Watch, 案例 character-ai-pro-anorexia-bots, 2024年11月25日. https://aithreat.io/zh/cases/character-ai-pro-anorexia-bots/

永久链接: https://aithreat.io/zh/cases/character-ai-pro-anorexia-bots/