案例 evolv-ftc-school-weapons-scannerAI 工具误判美国
FTC 对 Evolv 采取行动：其 AI 武器扫描仪漏检了一把在校内刺伤学生的刀具
美国联邦贸易委员会（FTC）指控 Evolv 作出欺骗性宣传，声称其 AI 驱动的 Evolv Express 扫描仪能检测出所有武器，并列举了 2022 年 10 月的一起案件：一把七英寸长的刀在一所学校未被检出，后被用来刺伤一名学生。Evolv 必须允许部分 K-12 客户取消合同，并被禁止作出缺乏依据的 AI 检测宣传。
高AI 造成的伤害状态: 已解决已核实案例档案
- 报道日期
- 2024年11月26日
- 地点
- 美国
- 目标
- 使用 Evolv Express AI 武器扫描仪的 K-12 学校（800 多所学校）
- 严重程度
- 高
- 核实状态
- 经受害方、厂商或官方确认
- 发起者
- Evolv Technologies
- 行为者类型
- AI 产品设计 / 安全防护
- 行业
- 教育与科研
- 已报告损失
- 未报告
- CVE
- 无
发生了什么
美国联邦贸易委员会（FTC）指控 Evolv 作出欺骗性宣传，声称其 AI 驱动的 Evolv Express 扫描仪能检测出所有武器，并列举了 2022 年 10 月的一起案件：一把七英寸长的刀在一所学校未被检出，后被用来刺伤一名学生。Evolv 必须允许部分 K-12 客户取消合同，并被禁止作出缺乏依据的 AI 检测宣传。
影响: 一名学生被扫描仪漏检的刀具刺伤；学校被锁定在多年期合同中；灵敏度调高后误报率高达 50%
谁发起了攻击
行为者: Evolv Technologies
归因: 美国联邦贸易委员会的投诉及双方同意的命令
动机: 商业动机（夸大 AI 能力）
如何发生
攻击途径: 学校入口处的 AI 武器筛查
根本原因: 扫描仪漏检武器且误报率高，却被宣传为 AI 精准检测
时间线
- 扫描仪漏检一把刀，该刀后来在一所学校被用来刺伤学生（仅报道了月份）
- FTC 公布投诉及拟议和解方案
应对
拟议命令允许在 2022 年 4 月至 2023 年 6 月期间签约的 K-12 客户取消合同；不涉及金钱赔偿
当前状态: 已解决
来源（在新标签页打开）
- US Federal Trade Commission ftc.gov
- KSL ksl.com
引用此案例
FTC 对 Evolv 采取行动：其 AI 武器扫描仪漏检了一把在校内刺伤学生的刀具. AI Threat Watch, 案例 evolv-ftc-school-weapons-scanner, 2024年11月26日. https://aithreat.io/zh/cases/evolv-ftc-school-weapons-scanner/
永久链接: https://aithreat.io/zh/cases/evolv-ftc-school-weapons-scanner/
相关案例
同类事件，按时间由新到旧。