案例 lausd-allhere-ed-chatbot-data模型与数据泄露美国
举报人称:在供应商 AllHere 崩溃之前,LAUSD 耗资 600 万美元的“Ed”AI 聊天机器人已将学生数据传往海外
AllHere 一名前工程总监指控,为洛杉矶联合学区(LAUSD)打造的“Ed”聊天机器人在每条 AI 提示词中都带入学生个人数据,并将其共享给第三方,且大部分请求在海外服务器上处理。2024 年 6 月 AllHere 让大部分员工休无薪假后,LAUSD 关停了该聊天机器人,并称学生数据仍受到保护。
中AI 造成的伤害状态: 已控制已核实案例档案
- 报道日期
- 2024年7月1日
- 地点
- 美国
- 目标
- 洛杉矶联合学区(Los Angeles Unified School District)的学生
- 严重程度
- 中
- 核实状态
- 由可信媒体或研究人员报道
- 发起者
- AllHere Education(供应商)
- 行为者类型
- AI 产品设计 / 安全防护
- 行业
- 教育与科研
- 已报告损失
- 未报告
- CVE
- 无
发生了什么
AllHere 一名前工程总监指控,为洛杉矶联合学区(LAUSD)打造的“Ed”聊天机器人在每条 AI 提示词中都带入学生个人数据,并将其共享给第三方,且大部分请求在海外服务器上处理。2024 年 6 月 AllHere 让大部分员工休无薪假后,LAUSD 关停了该聊天机器人,并称学生数据仍受到保护。
影响: 聊天机器人上线数月后即被关停;约 600 万美元合同中大约一半已支付;学生数据存在暴露风险
谁发起了攻击
行为者: AllHere Education(供应商)
归因: The 74 报道了举报人的指控;LAUSD 未予证实
动机: 无(据称是数据处理不当)
如何发生
攻击途径: 与学区学生档案集成的第三方 AI 聊天机器人
根本原因: 据称提示词中缺乏数据最小化措施并存在境外处理;供应商财务崩溃
时间线
- LAUSD 推出“Ed”聊天机器人(仅有月份信息)
- AllHere 称大部分员工被休无薪假;聊天机器人被关闭
- The 74 发布举报人关于数据处理的指控
应对
LAUSD 终止与 AllHere 的合作,并称 Ed 的数据仍归学区所有并受到保护;监察长约谈了举报人
当前状态: 已控制
本案例相符的研究警告
- 已在真实事件中出现 隐私与安全 · MIT AI Risk Repository
与“研究 vs 现实”页面上多家研究机构已发表的 AI 风险研究对照。
来源(在新标签页打开)
引用此案例
举报人称:在供应商 AllHere 崩溃之前,LAUSD 耗资 600 万美元的“Ed”AI 聊天机器人已将学生数据传往海外. AI Threat Watch, 案例 lausd-allhere-ed-chatbot-data, 2024年7月1日. https://aithreat.io/zh/cases/lausd-allhere-ed-chatbot-data/
永久链接: https://aithreat.io/zh/cases/lausd-allhere-ed-chatbot-data/
相关案例
同类事件,按时间由新到旧。