案例 esafety-ai-companion-legal-notices聊天机器人伤害2025年10月23日澳大利亚

澳大利亚 eSafety 专员就儿童安全问题向四款 AI 陪伴应用送达法律通知

eSafety 依据《在线安全法》（Online Safety Act）向 Character.AI、Nomi（Glimpse.AI）、Chai Research 和 Chub AI 发出通知。通知要求这些公司说明如何保护儿童免受露骨性聊天和图像的影响，以及免受鼓励自杀、自残和饮食失调的内容的影响。

高AI 造成的伤害状态: 进行中已核实案例档案

在交互式地图中打开引用此案例

报道日期: 2025年10月23日
地点: 澳大利亚
目标: 使用 AI 陪伴聊天机器人的澳大利亚儿童
严重程度: 高
核实状态: 经受害方、厂商或官方确认
发起者: Character.AI、Nomi（Glimpse.AI）、Chai Research、Chub AI
行为者类型: AI 产品设计 / 安全防护
行业: 个人与消费者
已报告损失: 未报告
CVE: 无

发生了什么

影响: 四家提供商被要求报告其对《基本在线安全期望》（Basic Online Safety Expectations）的合规情况

谁发起了攻击

行为者: Character.AI、Nomi（Glimpse.AI）、Chai Research、Chub AI

归因: 澳大利亚 eSafety 专员

动机: 无；监管机构针对产品设计采取行动

如何发生

攻击途径: eSafety 称可与未成年人进行露骨性对话的陪伴型聊天机器人

根本原因: 担忧这些服务在设计上未能防止对儿童造成伤害

时间线

2025年10月23日eSafety 向四家 AI 陪伴服务提供商发出法律通知

应对

不遵守报告通知可能面临每天最高 82.5 万澳元的罚款。专员 Julie Inman Grant 表示，这些公司必须说明其如何设计服务以预防伤害，而不仅仅是在伤害发生后作出回应。

当前状态: 进行中

本案例相符的研究警告

已在真实事件中出现人们对 AI 陪伴者的信任变成了危害 · CAIS
早期迹象依赖 AI 陪伴者伤害了部分用户 · International AI Safety Report
早期迹象许多人依靠 AI 获得情感支持 · UK AISI
已在真实事件中出现人机交互 · MIT AI Risk Repository

与“研究 vs 现实”页面上多家研究机构已发表的 AI 风险研究对照。

来源（在新标签页打开）

eSafety Commissioner esafety.gov.au
EducationHQ educationhq.com
MinterEllison minterellison.com

引用此案例

澳大利亚 eSafety 专员就儿童安全问题向四款 AI 陪伴应用送达法律通知. AI Threat Watch, 案例 esafety-ai-companion-legal-notices, 2025年10月23日. https://aithreat.io/zh/cases/esafety-ai-companion-legal-notices/

永久链接: https://aithreat.io/zh/cases/esafety-ai-companion-legal-notices/