AI Threat Watch

Expediente carmel-ny-principal-deepfake-tiktokAbuso con deepfakesEstados Unidos

Estudiantes de secundaria publican en TikTok deepfakes con IA de un director de Carmel, Nueva York, que hace amenazas racistas

Estudiantes de Carmel High School publicaron en TikTok vídeos manipulados con IA en los que aparentemente un director de una escuela intermedia y un agente de la oficina del sheriff destinado en los colegios hacían comentarios racistas y violentos sobre estudiantes negros. El distrito calificó los clips de vídeos falsos creados con inteligencia artificial y sancionó a los estudiantes conforme a su código de conducta.

MediaAtaque con IAEstado: ResueltoExpediente verificado

Abrir en el mapa interactivoCitar este expediente

Reportado
17 feb 2023
Ubicación
Estados Unidos
Objetivo
El director de George Fischer Middle School y otros miembros del personal del Carmel Central School District
Gravedad
Media
Verificación
Confirmado por la víctima, el proveedor o una autoridad
Provocado por
Estudiantes de Carmel High School (menores, sin identificar)
Tipo de actor
Desconocido
Sector
Educación e investigación
Pérdida reportada
Ninguna reportada
CVE
Ninguno

Qué ocurrió

Estudiantes de Carmel High School publicaron en TikTok vídeos manipulados con IA en los que aparentemente un director de una escuela intermedia y un agente de la oficina del sheriff destinado en los colegios hacían comentarios racistas y violentos sobre estudiantes negros. El distrito calificó los clips de vídeos falsos creados con inteligencia artificial y sancionó a los estudiantes conforme a su código de conducta.

Impacto: Amenazas racistas atribuidas a un director y a un agente de policía circularon entre estudiantes y padres; los padres criticaron la lentitud del distrito al comunicar información sobre la seguridad de los estudiantes.

Quién lo provocó

Actor: Estudiantes de Carmel High School (menores, sin identificar)

Atribución: El distrito afirmó que estudiantes de secundaria crearon y publicaron los clips; VICE informó de que había tres estudiantes implicados.

Motivo: Desconocido; se ha descrito como una broma o acoso

Cómo ocurrió

Vector de ataque: Imágenes reales de los anuncios matutinos del director, redobladas con audio imitado mediante IA y publicadas en TikTok

Causa raíz: Fácil acceso a herramientas de clonación de voz y ausencia de una disposición legal que contemple la suplantación de personal mediante deepfakes

Cronología

  1. Los vídeos se comunican por primera vez a los responsables del centro
  2. La Junta de Educación afirma que los clips eran vídeos falsos creados con inteligencia artificial
  3. WABC informa de que los estudiantes fueron sancionados, incluso con suspensiones
  4. VICE informa de las críticas de los padres y de que no se presentaron cargos penales

Respuesta

La Junta de Educación condenó los vídeos; los estudiantes fueron sancionados, incluso con suspensiones. No se informó de cargos penales.

Estado actual: Resuelto

Fuentes (pestaña nueva)

Citar este expediente

Estudiantes de secundaria publican en TikTok deepfakes con IA de un director de Carmel, Nueva York, que hace amenazas racistas. AI Threat Watch, expediente carmel-ny-principal-deepfake-tiktok, 17 feb 2023. https://aithreat.io/es/cases/carmel-ny-principal-deepfake-tiktok/

Enlace permanente: https://aithreat.io/es/cases/carmel-ny-principal-deepfake-tiktok/

Casos relacionados

El mismo tipo de incidente, del más reciente al más antiguo.

Este expediente en otros idiomas: EnglishFrançaisEspañolالعربية中文Русский