案例 italy-garante-replika-minors-block聊天机器人伤害2023年2月3日意大利

意大利隐私监管机构以对未成年人存在风险为由，责令 Replika 停止处理意大利用户数据

2023 年 2 月 2 日，意大利 Garante 发出紧急命令，禁止陪伴型聊天机器人 Replika 的开发商 Luka Inc. 处理意大利用户的数据。Garante 认定该服务没有有效的年龄验证，未成年人可接触到性内容，并对仍在成长或情感脆弱的人群构成风险。

高AI 造成的伤害状态: 已解决已核实案例档案

在交互式地图中打开引用此案例

报道日期: 2023年2月3日
地点: 意大利
目标: 意大利境内的未成年 Replika 用户及情感脆弱的用户
严重程度: 高
核实状态: 经受害方、厂商或官方确认
发起者: Luka Inc.（Replika）
行为者类型: AI 产品设计 / 安全防护
行业: 个人与消费者
已报告损失: 未报告
CVE: 无

发生了什么

影响: 暂时禁止处理意大利用户的个人数据，实际上使该服务在意大利被暂停

谁发起了攻击

行为者: Luka Inc.（Replika）

归因: Garante per la protezione dei dati personali，紧急临时命令

动机: 无；危害源于产品设计及缺乏保护措施

如何发生

攻击途径: 陪伴型聊天机器人，任何人只要提供姓名、电子邮件和性别即可使用，没有年龄门槛，用户自称未成年时也不会被阻止

根本原因: 没有年龄验证，回复未经过滤（包括性内容），且处理未成年人数据缺乏有效的法律依据

时间线

2023年2月2日Garante 发出紧急命令，限制 Replika 处理意大利用户的数据
2023年2月3日命令公开；路透社（Reuters）报道称其援引了对未成年人的风险
2025年4月10日Garante 通过决定，对 Luka 处以 500 万欧元罚款

应对

Luka 被给予 20 天时间报告其已采取的措施。Garante 后来于 2025 年对该公司处以 500 万欧元罚款。

当前状态: 已解决

本案例相符的研究警告

已在真实事件中出现人们对 AI 陪伴者的信任变成了危害 · CAIS
早期迹象依赖 AI 陪伴者伤害了部分用户 · International AI Safety Report
早期迹象许多人依靠 AI 获得情感支持 · UK AISI
已在真实事件中出现人机交互 · MIT AI Risk Repository

与“研究 vs 现实”页面上多家研究机构已发表的 AI 风险研究对照。

来源（在新标签页打开）

Reuters (via Kitco) kitco.com
Gala Law blog.galalaw.com
European Data Protection Board edpb.europa.eu

引用此案例

意大利隐私监管机构以对未成年人存在风险为由，责令 Replika 停止处理意大利用户数据. AI Threat Watch, 案例 italy-garante-replika-minors-block, 2023年2月3日. https://aithreat.io/zh/cases/italy-garante-replika-minors-block/

永久链接: https://aithreat.io/zh/cases/italy-garante-replika-minors-block/