Expediente character-ai-molly-russell-brianna-ghey-botsDaño causado por chatbotsReino Unido
Character.AI alojó bots creados por usuarios que imitaban a las adolescentes británicas fallecidas Molly Russell y Brianna Ghey
Una investigación de The Telegraph halló bots de Character.AI que utilizaban las fotos y los detalles biográficos de Molly Russell, quien se quitó la vida a los 14 años, y de la adolescente asesinada Brianna Ghey. Los bots eludían los filtros con nombres ligeramente mal escritos, y a los periodistas les bastó una cuenta con una edad autodeclarada de 14 años para acceder a ellos.
MediaDaño causado por la IAEstado: ResueltoExpediente verificado
Abrir en el mapa interactivoCitar este expediente
- Reportado
- 1 nov 2024
- Ubicación
- Reino Unido
- Objetivo
- Las familias de Molly Russell y Brianna Ghey; usuarios adolescentes de Character.AI
- Gravedad
- Media
- Verificación
- Reportado por prensa o investigadores fiables
- Provocado por
- Character Technologies (Character.AI)
- Tipo de actor
- Diseño del producto de IA / salvaguardas
- Sector
- Personas y consumidores
- Pérdida reportada
- Ninguna reportada
- CVE
- Ninguno
Qué ocurrió
Una investigación de The Telegraph halló bots de Character.AI que utilizaban las fotos y los detalles biográficos de Molly Russell, quien se quitó la vida a los 14 años, y de la adolescente asesinada Brianna Ghey. Los bots eludían los filtros con nombres ligeramente mal escritos, y a los periodistas les bastó una cuenta con una edad autodeclarada de 14 años para acceder a ellos.
Impacto: Angustia para las familias en duelo; la Molly Rose Foundation lo calificó de “fallo de moderación reprobable”
Quién lo provocó
Actor: Character Technologies (Character.AI)
Atribución: Investigación de The Telegraph, recogida por varios medios
Motivo: Desconocido (bots creados por usuarios)
Cómo ocurrió
Vector de ataque: Personajes creados por usuarios en una plataforma de chatbots de compañía
Causa raíz: Moderación deficiente de los personajes creados por usuarios que suplantan a personas reales
Cronología
- The Telegraph informa sobre los bots; Character.AI los elimina
- Mayor cobertura mediática y críticas de la Molly Rose Foundation y de la NSPCC
Respuesta
Character.AI eliminó los bots tras ser alertada. La Molly Rose Foundation pidió a Ofcom que aclarara cómo se aplica la Online Safety Act a este tipo de bots.
Estado actual: Resuelto
Advertencias de la investigación con las que coincide este caso
- Vista en incidentes reales La confianza en los acompañantes de IA se vuelve dañina · CAIS
- Señales tempranas Depender de acompañantes de IA perjudica a algunos usuarios · International AI Safety Report
- Señales tempranas Muchas personas se apoyan en la IA para recibir apoyo emocional · UK AISI
- Vista en incidentes reales Interacción persona-ordenador · MIT AI Risk Repository
Comparado con la investigación publicada por varios institutos sobre riesgos de la IA en la página Investigación frente a realidad.
Fuentes (pestaña nueva)
- Digital Watch Observatory dig.watch
- Fortune fortune.com
Citar este expediente
Character.AI alojó bots creados por usuarios que imitaban a las adolescentes británicas fallecidas Molly Russell y Brianna Ghey. AI Threat Watch, expediente character-ai-molly-russell-brianna-ghey-bots, 1 nov 2024. https://aithreat.io/es/cases/character-ai-molly-russell-brianna-ghey-bots/
Enlace permanente: https://aithreat.io/es/cases/character-ai-molly-russell-brianna-ghey-bots/
Casos relacionados
El mismo tipo de incidente, del más reciente al más antiguo.