Expediente evolv-ftc-school-weapons-scannerFallo de herramienta de IAEstados Unidos
La FTC actúa contra Evolv por escáneres de armas con IA que no detectaron un cuchillo utilizado para apuñalar a un estudiante en una escuela
La FTC alegó que Evolv afirmó de forma engañosa que sus escáneres Evolv Express, basados en IA, detectarían todas las armas, y citó un caso de octubre de 2022 en el que un cuchillo de siete pulgadas pasó sin ser detectado en una escuela y fue usado para apuñalar a un estudiante. Evolv deberá permitir que ciertos clientes de enseñanza primaria y secundaria (K-12) cancelen sus contratos, y se le prohíbe hacer afirmaciones sin fundamento sobre la detección mediante IA.
AltaDaño causado por la IAEstado: ResueltoExpediente verificado
Abrir en el mapa interactivoCitar este expediente
- Reportado
- 26 nov 2024
- Ubicación
- Estados Unidos
- Objetivo
- Escuelas de enseñanza primaria y secundaria (K-12) que usan los escáneres de armas con IA Evolv Express (más de 800 escuelas)
- Gravedad
- Alta
- Verificación
- Confirmado por la víctima, el proveedor o una autoridad
- Provocado por
- Evolv Technologies
- Tipo de actor
- Diseño del producto de IA / salvaguardas
- Sector
- Educación e investigación
- Pérdida reportada
- Ninguna reportada
- CVE
- Ninguno
Qué ocurrió
La FTC alegó que Evolv afirmó de forma engañosa que sus escáneres Evolv Express, basados en IA, detectarían todas las armas, y citó un caso de octubre de 2022 en el que un cuchillo de siete pulgadas pasó sin ser detectado en una escuela y fue usado para apuñalar a un estudiante. Evolv deberá permitir que ciertos clientes de enseñanza primaria y secundaria (K-12) cancelen sus contratos, y se le prohíbe hacer afirmaciones sin fundamento sobre la detección mediante IA.
Impacto: Un estudiante fue apuñalado con un cuchillo que el escáner no detectó; escuelas atadas a contratos plurianuales; tasa de falsas alarmas de hasta el 50 % tras aumentar la sensibilidad
Quién lo provocó
Actor: Evolv Technologies
Atribución: Demanda de la Comisión Federal de Comercio de EE. UU. (FTC) y orden acordada entre las partes
Motivo: Comercial (exageración de las capacidades de la IA)
Cómo ocurrió
Vector de ataque: Control de armas mediante IA en las entradas de las escuelas
Causa raíz: Los escáneres no detectaban armas y generaban muchas falsas alarmas, a pesar de ser comercializados como precisos gracias a la IA
Cronología
- El escáner no detecta un cuchillo que luego se usa para apuñalar a un estudiante en una escuela (solo se informó del mes)
- La FTC anuncia la demanda y una propuesta de acuerdo
Respuesta
La orden propuesta permite cancelar a los clientes K-12 que firmaron entre abril de 2022 y junio de 2023; no hay compensación económica
Estado actual: Resuelto
Fuentes (pestaña nueva)
- US Federal Trade Commission ftc.gov
- KSL ksl.com
Citar este expediente
La FTC actúa contra Evolv por escáneres de armas con IA que no detectaron un cuchillo utilizado para apuñalar a un estudiante en una escuela. AI Threat Watch, expediente evolv-ftc-school-weapons-scanner, 26 nov 2024. https://aithreat.io/es/cases/evolv-ftc-school-weapons-scanner/
Enlace permanente: https://aithreat.io/es/cases/evolv-ftc-school-weapons-scanner/
Casos relacionados
El mismo tipo de incidente, del más reciente al más antiguo.