案例 ico-snap-my-ai-preliminary-notice聊天机器人伤害2023年10月6日英国

英国 ICO 就 My AI 对儿童的隐私风险向 Snap 发出初步执法通知

英国信息专员办公室（ICO）初步认定，Snap 在推出其生成式 AI 聊天机器人 My AI 之前，未能充分评估其数据保护风险，尤其是对儿童的风险。若发出最终通知，Snap 可能被迫停止在英国提供 My AI。

高AI 造成的伤害状态: 已解决已核实案例档案

在交互式地图中打开引用此案例

报道日期: 2023年10月6日
地点: 英国
目标: 英国使用 My AI 的 Snapchat 用户，包括 13 至 17 岁的儿童
严重程度: 高
核实状态: 经受害方、厂商或官方确认
发起者: Snap Inc.（My AI，基于 OpenAI 模型构建）
行为者类型: AI 产品设计 / 安全防护
行业: 个人与消费者
已报告损失: 未报告
CVE: 无

发生了什么

影响: 发出初步执法通知；这是 ICO 首次针对生成式 AI 产品采取行动

谁发起了攻击

行为者: Snap Inc.（My AI，基于 OpenAI 模型构建）

归因: 英国信息专员办公室（ICO）

动机: 无；监管机构针对产品风险评估采取行动

如何发生

攻击途径: 该聊天机器人被固定在 Snapchat 用户聊天列表顶部，英国数百万青少年使用

根本原因: 上线前的数据保护风险评估不充分

时间线

2023年4月My AI 向所有英国 Snapchat 用户推出
2023年10月6日ICO 发出初步执法通知
2024年5月21日ICO 结束调查，未发出最终通知

应对

Snap 表示正在审查调查结果。2024 年 5 月，在 Snap 完成合规的风险评估后，ICO 结案，未发出最终通知。

当前状态: 已解决

本案例相符的研究警告

已在真实事件中出现人们对 AI 陪伴者的信任变成了危害 · CAIS
早期迹象依赖 AI 陪伴者伤害了部分用户 · International AI Safety Report
早期迹象许多人依靠 AI 获得情感支持 · UK AISI
已在真实事件中出现人机交互 · MIT AI Risk Repository

与“研究 vs 现实”页面上多家研究机构已发表的 AI 风险研究对照。

来源（在新标签页打开）

LBC lbc.co.uk
Addleshaw Goddard addleshawgoddard.com
ICO via Wired-Gov wired-gov.net

引用此案例

英国 ICO 就 My AI 对儿童的隐私风险向 Snap 发出初步执法通知. AI Threat Watch, 案例 ico-snap-my-ai-preliminary-notice, 2023年10月6日. https://aithreat.io/zh/cases/ico-snap-my-ai-preliminary-notice/

永久链接: https://aithreat.io/zh/cases/ico-snap-my-ai-preliminary-notice/