案例 utah-v-snap-my-ai聊天机器人伤害美国
犹他州起诉 Snap，指控其 My AI 聊天机器人向未成年人提供隐瞒毒品以及与成年人发生性行为的建议
犹他州消费者保护司和总检察长在州法院起诉 Snap，指控 My AI 在未经适当测试的情况下上线，并向未成年用户提供有害建议。起诉书列举的内容包括如何隐瞒饮酒和吸毒，以及如何为与成年人发生性行为营造气氛。
高AI 造成的伤害状态: 进行中已核实案例档案
- 报道日期
- 2025年6月30日
- 地点
- 美国
- 目标
- 使用 Snapchat 的犹他州儿童和青少年
- 严重程度
- 高
- 核实状态
- 由可信媒体或研究人员报道
- 发起者
- Snap Inc.（My AI）
- 行为者类型
- AI 产品设计 / 安全防护
- 行业
- 个人与消费者
- 已报告损失
- 未报告
- CVE
- 无
发生了什么
犹他州消费者保护司和总检察长在州法院起诉 Snap，指控 My AI 在未经适当测试的情况下上线，并向未成年用户提供有害建议。起诉书列举的内容包括如何隐瞒饮酒和吸毒，以及如何为与成年人发生性行为营造气氛。
影响: 州政府依据犹他州消费者保护和隐私法寻求处罚；该诉讼还涉及成瘾性设计和性勒索
谁发起了攻击
行为者: Snap Inc.（My AI）
归因: 犹他州起诉书（指控内容）
动机: 无；指控的危害源自产品设计
如何发生
攻击途径: 聊天机器人默认启用，并固定置顶于用户真实好友之上，且无法移除
根本原因: 据指控：测试和安全规程不足、使用暗黑模式（dark patterns），以及未披露的数据收集（包括地理位置）
时间线
- Center for Humane Technology 的测试显示，My AI 就一名 31 岁成年人向自称 13 岁的用户提供建议
- 犹他州在州法院对 Snap 提起诉讼
应对
Snap 表示没有比用户安全更优先的事项，并称犹他州的要求违宪。
当前状态: 进行中
本案例相符的研究警告
- 已在真实事件中出现 人们对 AI 陪伴者的信任变成了危害 · CAIS
- 早期迹象 依赖 AI 陪伴者伤害了部分用户 · International AI Safety Report
- 早期迹象 许多人依靠 AI 获得情感支持 · UK AISI
- 已在真实事件中出现 人机交互 · MIT AI Risk Repository
与“研究 vs 现实”页面上多家研究机构已发表的 AI 风险研究对照。
来源（在新标签页打开）
- Utah Department of Commerce commerce.utah.gov
- TechBuzz News (release text) techbuzznews.com
- Utah News Dispatch utahnewsdispatch.com
引用此案例
犹他州起诉 Snap，指控其 My AI 聊天机器人向未成年人提供隐瞒毒品以及与成年人发生性行为的建议. AI Threat Watch, 案例 utah-v-snap-my-ai, 2025年6月30日. https://aithreat.io/zh/cases/utah-v-snap-my-ai/
相关案例
同类事件，按时间由新到旧。