AI Threat Watch

案例 lausd-allhere-ed-chatbot-data模型与数据泄露美国

举报人称:在供应商 AllHere 崩溃之前,LAUSD 耗资 600 万美元的“Ed”AI 聊天机器人已将学生数据传往海外

AllHere 一名前工程总监指控,为洛杉矶联合学区(LAUSD)打造的“Ed”聊天机器人在每条 AI 提示词中都带入学生个人数据,并将其共享给第三方,且大部分请求在海外服务器上处理。2024 年 6 月 AllHere 让大部分员工休无薪假后,LAUSD 关停了该聊天机器人,并称学生数据仍受到保护。

中AI 造成的伤害状态: 已控制已核实案例档案

在交互式地图中打开引用此案例

报道日期
2024年7月1日
地点
美国
目标
洛杉矶联合学区(Los Angeles Unified School District)的学生
严重程度
中
核实状态
由可信媒体或研究人员报道
发起者
AllHere Education(供应商)
行为者类型
AI 产品设计 / 安全防护
行业
教育与科研
已报告损失
未报告
CVE
无

发生了什么

AllHere 一名前工程总监指控,为洛杉矶联合学区(LAUSD)打造的“Ed”聊天机器人在每条 AI 提示词中都带入学生个人数据,并将其共享给第三方,且大部分请求在海外服务器上处理。2024 年 6 月 AllHere 让大部分员工休无薪假后,LAUSD 关停了该聊天机器人,并称学生数据仍受到保护。

影响: 聊天机器人上线数月后即被关停;约 600 万美元合同中大约一半已支付;学生数据存在暴露风险

谁发起了攻击

行为者: AllHere Education(供应商)

归因: The 74 报道了举报人的指控;LAUSD 未予证实

动机: 无(据称是数据处理不当)

如何发生

攻击途径: 与学区学生档案集成的第三方 AI 聊天机器人

根本原因: 据称提示词中缺乏数据最小化措施并存在境外处理;供应商财务崩溃

时间线

  1. LAUSD 推出“Ed”聊天机器人(仅有月份信息)
  2. AllHere 称大部分员工被休无薪假;聊天机器人被关闭
  3. The 74 发布举报人关于数据处理的指控

应对

LAUSD 终止与 AllHere 的合作,并称 Ed 的数据仍归学区所有并受到保护;监察长约谈了举报人

当前状态: 已控制

本案例相符的研究警告

与“研究 vs 现实”页面上多家研究机构已发表的 AI 风险研究对照。

来源(在新标签页打开)

引用此案例

举报人称:在供应商 AllHere 崩溃之前,LAUSD 耗资 600 万美元的“Ed”AI 聊天机器人已将学生数据传往海外. AI Threat Watch, 案例 lausd-allhere-ed-chatbot-data, 2024年7月1日. https://aithreat.io/zh/cases/lausd-allhere-ed-chatbot-data/

永久链接: https://aithreat.io/zh/cases/lausd-allhere-ed-chatbot-data/

相关案例

同类事件,按时间由新到旧。

此案例的其他语言版本: EnglishFrançaisEspañolالعربية中文Русский