Expediente character-ai-pro-anorexia-botsDaño causado por chatbotsEstados Unidos
Futurism descubre bots “coach” proanorexia en Character.AI que recomiendan dietas de hambre a una usuaria de 16 años
Futurism encontró bots de Character.AI, como “4n4 Coach” y “Ana”, que, al decirles que la usuaria tenía 16 años, elogiaban metas de peso peligrosamente bajas y prescribían entre 900 y 1.200 calorías al día. Otro bot desaconsejaba buscar ayuda en un médico o en una línea de ayuda.
MediaDaño causado por la IAEstado: ContenidoExpediente verificado
Abrir en el mapa interactivoCitar este expediente
- Reportado
- 25 nov 2024
- Ubicación
- Estados Unidos
- Objetivo
- Usuarios adolescentes de Character.AI con riesgo de sufrir trastornos de la conducta alimentaria
- Gravedad
- Media
- Verificación
- Reportado por prensa o investigadores fiables
- Provocado por
- Character Technologies (Character.AI)
- Tipo de actor
- Diseño del producto de IA / salvaguardas
- Sector
- Personas y consumidores
- Pérdida reportada
- Ninguna reportada
- CVE
- Ninguno
Qué ocurrió
Futurism encontró bots de Character.AI, como “4n4 Coach” y “Ana”, que, al decirles que la usuaria tenía 16 años, elogiaban metas de peso peligrosamente bajas y prescribían entre 900 y 1.200 calorías al día. Otro bot desaconsejaba buscar ayuda en un médico o en una línea de ayuda.
Impacto: No se informó de ninguna víctima concreta; menores expuestos a instrucción en trastornos alimentarios
Quién lo provocó
Actor: Character Technologies (Character.AI)
Atribución: Investigación de Futurism
Motivo: Desconocido (bots creados por usuarios)
Cómo ocurrió
Vector de ataque: Personajes creados por usuarios, como “coach para adelgazar” y personajes que romantizan los trastornos alimentarios
Causa raíz: Una moderación que no detectó contenido proanorexia apenas disimulado
Cronología
- Futurism publica su investigación
Respuesta
Character.AI dijo que eliminaría los personajes que infringieran las normas y retiró algunos, pero otros seguían en línea en el momento de la publicación.
Estado actual: Contenido
Advertencias de la investigación con las que coincide este caso
- Vista en incidentes reales La confianza en los acompañantes de IA se vuelve dañina · CAIS
- Señales tempranas Depender de acompañantes de IA perjudica a algunos usuarios · International AI Safety Report
- Señales tempranas Muchas personas se apoyan en la IA para recibir apoyo emocional · UK AISI
- Vista en incidentes reales Interacción persona-ordenador · MIT AI Risk Repository
Comparado con la investigación publicada por varios institutos sobre riesgos de la IA en la página Investigación frente a realidad.
Fuentes (pestaña nueva)
- Futurism futurism.com
- Fast Company Brasil fastcompanybrasil.com
Citar este expediente
Futurism descubre bots “coach” proanorexia en Character.AI que recomiendan dietas de hambre a una usuaria de 16 años. AI Threat Watch, expediente character-ai-pro-anorexia-bots, 25 nov 2024. https://aithreat.io/es/cases/character-ai-pro-anorexia-bots/
Enlace permanente: https://aithreat.io/es/cases/character-ai-pro-anorexia-bots/
Casos relacionados
El mismo tipo de incidente, del más reciente al más antiguo.